亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

ES聚合學習筆記之--HyperLogLog與BloomFilter

發布時間:2020-06-12 20:24:24 來源:網絡 閱讀:2169 作者:sbp810050504 欄目:大數據

ES的聚合是其一大特色。然而出于性能的考慮, ES的聚合是以分片Shard為單位,而非Index為單位, 所以
有些聚合的準確性是需要注意的。 比如: TermAggregations.

es的基數聚合使用到了hyperloglog算法。 出于好奇,了解了一下。

在海量數據場景下, 我們通常會遇到這樣的兩個問題:

  1. 數據排重。比如在推送消息場景,消息重復對用戶是打擾, 用戶發券場景, 重復發券就是損失了。

  2. pv/uv統計。這類場景下, 對精確度要求沒必要錙銖必較。

如何高效解決這兩類問題呢?

對于數據排重, 我們可以使用布隆過濾器。java 樣列代碼如下:

BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {

            private static final long serialVersionUID = 1L;

            @Override
            public void funnel(String arg0, PrimitiveSink arg1) {

                arg1.putString(arg0, Charsets.UTF_8);
            }

        }, 1024*1024*32);

        bloomFilter.put("asdf");
        bloomFilter.mightContain("asdf");

對于計數, 我們可以使用HyperLogLog算法,ES中已經有相關的實現。

其實封裝一下,布隆過濾器也是能直接實現HyperLogLog算法的功能的。

這里遺留幾個問題,思考清楚后補充:

  1. BloomFilter跟HyperLogLog算法的原理
  2. 相同量級數據下的效率及內存消耗
  3. 各自的適用場景有哪些
向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

简阳市| 荥经县| 九龙坡区| 泸州市| 宁强县| 大新县| 寻乌县| 马边| 凌云县| 依安县| 广河县| 阳朔县| 三都| 尚志市| 三原县| 平顺县| 汉寿县| 康乐县| 临西县| 卫辉市| 麻城市| 台江县| 古蔺县| 荣成市| 诸城市| 涟源市| 武穴市| 望奎县| 东海县| 双江| 眉山市| 永修县| 依兰县| 甘孜| 大悟县| 手游| 金川县| 阿巴嘎旗| 达州市| 大化| 朝阳市|