亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

數據中臺產品的一些思路

發布時間:2020-08-02 12:08:40 來源:網絡 閱讀:1461 作者:allenniu 欄目:大數據

數據中臺系統的一些思路。
* 引言*
企業借助于大數據/數據湖項目,一般同時需要完善對企業數據的梳理:對企業數據資產數據盤點,完善數據治理相關流程。對內便于數據用戶使用數據。對外滿足部監管對多種數據口徑要求。
基本解決思路**
這類問題的基本解決思路是從元數據管理(包括業務,技術)角度完善數據生命周期管理。這里的元數據包含:

  • 傳統意義的數據字典 (表單,字段的含有)
  • 業務元數據梳理,包括業務指標,統計口徑等 (通常對應 維度數據,業務描述數據code table, mapping table 的梳理)
  • 數據 data lineage, audit

* 挑戰及現有問題
這類工具市場上比較多,傳統的數倉產品都有元數據管理工具。但多數存在些問題如:

  • 對數據用戶不友好。這里數據用戶包括a)數據分析人員 b) 數據維護操作人員
  • 落地困難:不能很好的融合到企業現有的開發流程中
  • 傳統企業有大量遺留系統,這些系統本身的元數據(數據描述)由于歷史原因不太完善。在遺留系統數據集成到大數據/數據湖的過程中,這些元數據需要在項目過程中完善,但缺乏工具,或現有工具不友好。

** 產品化及切入點選擇***
基于以上分析,數據平臺(中臺)產品中元數據管理部分可以采用以下設計思路:

  • 借助圖數據庫提升前端數據展示
  • 借助NLP及傳統元數據數據管理提升數據關聯關系分析
  • 開發定制工具針對遺留系統及項目開發流程元數據進行維護。(進一步解釋以下,在多數數倉,大數據項目中,業務數據分析人員均需準備Mapping 文檔。目前mapping 文檔多以 excel 形式存在,不利于維護,共享,進一步挖掘。可以開發定制在線mapping文檔工具作為一個切入點)
  • 參照(邏輯)架構圖:

數據中臺產品的一些思路

目前市場上已經用一些類似產品,也可以做個參照:

  • http://www.stargraph.cn/ 金融智能 BDP
  • https://memect.cn/ 知識圖譜技術
  • http://www.primeton.com/ 元數據平臺
  • https://www.topquadrant.com/
向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

通道| 淮南市| 苏州市| 西城区| 乌拉特前旗| 安庆市| 宝坻区| 桂阳县| 法库县| 大新县| 娄烦县| 茌平县| 谢通门县| 凤阳县| 义马市| 平利县| 兴和县| 遵义市| 淳安县| 荔浦县| 汉阴县| 老河口市| 梨树县| 双城市| 济阳县| 平湖市| 佛山市| 龙泉市| 盖州市| 曲阳县| 鹿泉市| 广东省| 彩票| 察雅县| 龙井市| 长乐市| 周至县| 济阳县| 巩留县| 徐汇区| 聂拉木县|