kafka參數配置broker是什么意思

這篇文章給大家分享的是有關kafka參數配置broker是什么意思的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

#唯一標識在集群中的ID，要求是正數。

broker.id=0

#服務端口，默認9092

port=9092

#監聽地址，不設為所有地址

host.name=debugo01

# 處理網絡請求的最大線程數

num.network.threads=2

# 處理磁盤I/O的線程數

num.io.threads=8

# 一些后臺線程數

background.threads = 4

# 等待IO線程處理的請求隊列最大數

queued.max.requests = 500

#  socket的發送緩沖區（SO_SNDBUF）

socket.send.buffer.bytes=1048576

# socket的接收緩沖區 (SO_RCVBUF) 

socket.receive.buffer.bytes=1048576

# socket請求的最大字節數。為了防止內存溢出，message.max.bytes必然要小于

socket.request.max.bytes = 104857600

############################# Topic #############################

# 每個topic的分區個數，更多的partition會產生更多的segment file

num.partitions=2

# 是否允許自動創建topic ，若是false，就需要通過命令創建topic

auto.create.topics.enable =true

# 一個topic ，默認分區的replication個數 ，不能大于集群中broker的個數。

default.replication.factor =1

# 消息體的最大大小，單位是字節

message.max.bytes = 1000000

############################# ZooKeeper #############################

# Zookeeper quorum設置。如果有多個使用逗號分割

zookeeper.connect=debugo01:2181,debugo02,debugo03

# 連接zk的超時時間

zookeeper.connection.timeout.ms=1000000

# ZooKeeper集群中leader和follower之間的同步實際

zookeeper.sync.time.ms = 2000

############################# Log #############################

#日志存放目錄，多個目錄使用逗號分割

log.dirs=/var/log/kafka

# 當達到下面的消息數量時，會將數據flush到日志文件中。默認10000

#log.flush.interval.messages=10000

# 當達到下面的時間(ms)時，執行一次強制的flush操作。interval.ms和interval.messages無論哪個達到，都會flush。默認3000ms

#log.flush.interval.ms=1000

# 檢查是否需要將日志flush的時間間隔

log.flush.scheduler.interval.ms = 3000

# 日志清理策略（delete|compact）

log.cleanup.policy = delete

# 日志保存時間 (hours|minutes)，默認為7天（168小時）。超過這個時間會根據policy處理數據。bytes和minutes無論哪個先達到都會觸發。

log.retention.hours=168

# 日志數據存儲的最大字節數。超過這個時間會根據policy處理數據。

#log.retention.bytes=1073741824

# 控制日志segment文件的大小，超出該大小則追加到一個新的日志segment文件中（-1表示沒有限制）

log.segment.bytes=536870912

# 當達到下面時間，會強制新建一個segment

log.roll.hours = 24*7

# 日志片段文件的檢查周期，查看它們是否達到了刪除策略的設置（log.retention.hours或log.retention.bytes）

log.retention.check.interval.ms=60000

# 是否開啟壓縮

log.cleaner.enable=false

# 對于壓縮的日志保留的最長時間

log.cleaner.delete.retention.ms = 1 day

# 對于segment日志的索引文件大小限制

log.index.size.max.bytes = 10 * 1024 * 1024

#y索引計算的一個緩沖區，一般不需要設置。

log.index.interval.bytes = 4096

############################# replica #############################

# partition management controller 與replicas之間通訊的超時時間

controller.socket.timeout.ms = 30000

# controller-to-broker-channels消息隊列的尺寸大小

controller.message.queue.size=10

# replicas響應leader的最長等待時間，若是超過這個時間，就將replicas排除在管理之外

replica.lag.time.max.ms = 10000

# 是否允許控制器關閉broker ,若是設置為true,會關閉所有在這個broker上的leader，并轉移到其他broker

controlled.shutdown.enable = false

# 控制器關閉的嘗試次數

controlled.shutdown.max.retries = 3

# 每次關閉嘗試的時間間隔

controlled.shutdown.retry.backoff.ms = 5000

# 如果relicas落后太多,將會認為此partition relicas已經失效。而一般情況下,因為網絡延遲等原因,總會導致replicas中消息同步滯后。如果消息嚴重滯后,leader將認為此relicas網絡延遲較大或者消息吞吐能力有限。在broker數量較少,或者網絡不足的環境中,建議提高此值.

replica.lag.max.messages = 4000

#leader與relicas的socket超時時間

replica.socket.timeout.ms= 30 * 1000

# leader復制的socket緩存大小

replica.socket.receive.buffer.bytes=64 * 1024

# replicas每次獲取數據的最大字節數

replica.fetch.max.bytes = 1024 * 1024

# replicas同leader之間通信的最大等待時間，失敗了會重試

replica.fetch.wait.max.ms = 500

# 每一個fetch操作的最小數據尺寸,如果leader中尚未同步的數據不足此值,將會等待直到數據達到這個大小

replica.fetch.min.bytes =1

# leader中進行復制的線程數，增大這個數值會增加relipca的IO

num.replica.fetchers = 1

# 每個replica將最高水位進行flush的時間間隔

replica.high.watermark.checkpoint.interval.ms = 5000

# 是否自動平衡broker之間的分配策略

auto.leader.rebalance.enable = false

# leader的不平衡比例，若是超過這個數值，會對分區進行重新的平衡

leader.imbalance.per.broker.percentage = 10

# 檢查leader是否不平衡的時間間隔

leader.imbalance.check.interval.seconds = 300

# 客戶端保留offset信息的最大空間大小

offset.metadata.max.bytes = 1024

感謝各位的閱讀！關于“kafka參數配置broker是什么意思”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！