溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
關于千萬級數據的OLAP場景是什么樣的，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
前段時間接手一個比較棘手的項目.
6千萬的股票行情數據聚合場景.
用戶發起query, 到解析, 再到聚合, 最后展現給用戶耗時不超過2秒.
因為聚合維度比較多, 可以劃分為時間維度, 指標維度. 指標維度多達10幾個.
使用mongo, 先扔進去了2千萬左右的數據, 不加索引的情況下, 幾乎出不了結果.
如果每個維度都使用索引的話成本太高, 最后果斷放棄了mongo.
使用mysql, 數據分片, 很細粒度的, 準備以空間換時間.
主要是以時間維度做數據冗余, 針對幾個主要的時間段, 時間點提前做數據準備.
其他維度采用硬算的方式.
想法是好的, 測試的結果對我來說相當殘酷.
1.硬算時間太長.
2.非主要時間維度跨度太細, 不是所有都做數據pre.
采用elasticsearch, 準備了5臺服務器. 準備采用5臺es集群應對OLAP場景.
導進5千萬數據后, 開始測試.
時間維度+其他單一維度在1秒以內
時間維度+其他多維度(3個以內)在3秒內
看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
