您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關KafkaOffsetMonitor如何安裝部署,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
1.從標題都可以看出來,Kafka Offset Monitor,是對consumer消費情況進行監控,并能列出每 個consumer offset,滯后數據。
2.消費者組列表
3.每個topic的所有parition列表(topic,pid,offset,logSize,lag,owner)
4.查看topic的歷史消費信息.
在安裝KafkaOffsetMonitor管理平臺時,我們需要先下載其安裝包,其資源可以在Github上找到
KafkaOffsetMonitor的安裝部署較為簡單,所有的資源都打包到一個JAR文件中了,因此,直接運行即可,省去了我們去配置。這里我們可以新建一個目錄單獨用于Kafka的監控目錄,我這里新建一個kafka_monitor文件目錄,然后我們在準備啟動腳本,腳本內容如下所示:
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk ZookeeperAddress \
--port 8089 \
--refresh 10.seconds \
--retain 1.days
給大家解釋以下這條啟動命令的含義,首先我們需要指明運行Web監控的類,然后需要用到ZooKeeper,所有要填寫ZK集群信息,接著是Web運行端口,頁面數據刷新的時間以及保留數據的時間值。
啟動步驟如下所示:
步驟1:啟動ZK zkServer.sh start
步驟2:啟動Kafka服務(集群依次輸入以下命令啟動)
./kafka-server-start.sh config/server.properties &
步驟3:啟動Web監控服務
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk dn1:2181,dn2:2181,dn3:2181 \
--port 8089 \
--refresh 10.seconds \
--retain 1.days
Web服務啟動成功后,如下圖所示:
下面,我們來使用Kafka代碼生產消費一些消息,使用Web監控來瀏覽消息情況。這里直接預覽演示結果,如下圖所示:
在運行KafkaOffsetMonitor的JAR包時,需要確保啟動參數的配置正確,以免啟動出錯,另外,Github的上的KafkaOffsetMonitor的JAR中的靜態資源有些鏈接用到了Google的超鏈接,所有如果直接只用,若本地木有代理軟件會啟動出錯,這里使用我所提供的JAR,這個JAR是經過靜態資源改版后重新編譯的使用本地靜態資源。
另外圖中的一些參數的含義如下:
Topic:創建Topic名稱
Partition:分區編號
Offset:表示該Parition已經消費了多少Message
LogSize:表示該Partition生產了多少Message
Lag:表示有多少條Message未被消費
Owner:表示消費者
Created:表示該Partition創建時間
Last Seen:表示消費狀態刷新最新時間
關于“KafkaOffsetMonitor如何安裝部署”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。