亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

kafka broker Leader -1引起spark Streaming不能消費 已解決

發布時間:2020-08-05 18:38:19 來源:網絡 閱讀:1078 作者:Stitch_x 欄目:大數據

一、問題描述:

Kafka生產集群中有一臺機器cdh-003由于物理故障原因掛掉了,并且系統起不來了,使得線上的spark Streaming實時任務不能正常消費,重啟實時任務都不行。查看kafka topic狀態,發現broker Leader出現-1的情況,如下圖
kafka broker Leader -1引起spark Streaming不能消費  已解決

二、問題分析

Kafka Broker Leader 為-1,表示有partition在選舉Leader的時候失敗了,因此引起了消費該Topic的實時任務都出現了異常,經過排除發現掛掉的cdh-003機器正好是broker id為257。(但為何192沒有被選舉為leader呢??)

?

三、解決方法:修改kafka元數據,手動指定kakfa Leader。

kafka partition狀態信息存在Zookeeper上,我的環境目錄是 /kafka/brokers/topics/,具體操作如下:

1、查看leader為-1的partition狀態

[zk: localhost:2181(CONNECTED) 2] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":-1,"version":1,"leader_epoch":96,"isr":[257]}

2、強制修改partition leader為192

[zk: localhost:2181(CONNECTED) 3] set /kafka/brokers/topics/mds001/partitions/1/state {"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

3、查看修改是否成功

[zk: localhost:2181(CONNECTED) 4] get /kafka/brokers/topics/mds001/partitions/1/state

{"controller_epoch":87,"leader":192,"version":1,"leader_epoch":96,"isr":[192]}

[zk: localhost:2181(CONNECTED) 5]
kafka broker Leader -1引起spark Streaming不能消費  已解決

4、重啟Kafka服務 (必須重啟,我最開始就是沒有重啟,使得SS消費依然不正常)

5、重啟Spark Streaming實時任務,此時消費正常,則完美解決

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

南部县| 广州市| 永寿县| 潞城市| 都昌县| 玉环县| 诸暨市| 晋城| 罗江县| 邓州市| 怀安县| 拉孜县| 营口市| 瑞昌市| 道孚县| 那曲县| 青铜峡市| 阿巴嘎旗| 大庆市| 南平市| 方正县| 额济纳旗| 丰宁| 壤塘县| 夏邑县| 绍兴县| 松桃| 赤水市| 林州市| 五寨县| 合作市| 儋州市| 广灵县| 汕头市| 民丰县| 广东省| 鄯善县| 林西县| 仁化县| 平安县| 平泉县|