kafka文件的存儲機制原理

這篇文章主要介紹“kafka文件的存儲機制原理”，在日常操作中，相信很多人在kafka文件的存儲機制原理問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”kafka文件的存儲機制原理”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

每一個topic，分為多個partition，每一個partition在文件系統當中是一個文件夾。

而每一個partition當中，又分成了多個segment，每個segment，包括了2個文件，.index文件和.log文件，分別是消息的索引信息和消息內容。而文件的名字形如下面的格式

00000000000000000000.log

00000000000000000000.index

0000000000000999.log

0000000000000999.index

文件名的就是消息在本分區當中的序號，以上面的文件為例，第一個segment當中存儲了0-999的消息，而第二個segment從1000開始。

需要注意的是segment的劃分規則，目前據我的研究，是綜合了2方面的因素，一個是設定的segment的大小，滿了自然會再來一個segment；第二個因素是時間的因素，比如某個topic長時間沒有消息寫入，那么在有新消息進來的時候，很可能會重新建一個segment，這樣做的目的是為了方便在消息失效的時候，針對整個segment進行刪除。

index文件當中，包含了2部分內容，分別是消息的在本segment當中的編號和物理offset。這里需要注意的是，在index文件當中，并不是存儲了每一條消息的的索引信息，而是采用了 稀疏索引的策略，也就是隔幾個存一個索引。

在查找一條消息的時候，首先是根據segment的名字和輸入的消息編號，查找所在的segment，之后在根據index文件找到消息的具體位置。

寫過程：

消息從java堆轉入page cache(即物理內存)

由異步線程刷盤,消息從page cache刷入磁盤

讀過程：

消息直接從page cache轉入socket發送出去

當從page cache沒有找到相應數據時，此時會產生磁盤IO,從磁 盤Load消息到page cache,然后直接從socket發出去

存儲設計的優點：

Kafka把topic中一個parition大文件分成多個小文件段，通過多個小文件段，就容易定期清除或刪除已經消費完文件，減少磁盤占用。

通過索引信息可以快速定位message

通過index元數據全部映射到memory，可以避免segment file的IO磁盤操作

通過索引文件稀疏存儲，可以大幅降低index文件元數據占用空間大小

到此，關于“kafka文件的存儲機制原理”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！