CentOS7中怎么安裝kafka環境

這篇文章將為大家詳細講解有關CentOS7中怎么安裝kafka環境，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

第一步：安裝zookeeper環境

1、下載zookeeper包 zookeeper-3.4.5.tar.gz
2、解壓至  /usr/local/zookeeper-3.4.5
3、在 /usr/local/zookeeper-3.4.5 創建兩個文件夾 

   #mkdir data #數據文件保存目錄
   #mkdir logs #日志文件保存目錄

4、在conf目錄下新增zoo.cfg配置文件  內容如下

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/zookeeper-3.4.5/data
dataLogDir=/usr/local/zookeeper-3.4.5/logs
# the port at which the clients will connect
clientPort=2181

5、把zookeeper注冊為centos服務

#在/usr/lib/systemd/system 目錄下創建zookeeper.service文件

#vim /usr/lib/systemd/system/zookeeper.service

[Unit]
Description=zookeeper service
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/zookeeper-3.4.5/bin/zkServer.sh start
ExecReload=/usr/local/zookeeper-3.4.5/bin/zkServer.sh restart
ExecStop=/usr/local/zookeeper-3.4.5/bin/zkServer.sh stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target

6、后續在文件/zookeeper/apache-zookeeper-3.5.6-bin/bin/zkEnv.sh開頭處插入JAVA環境路徑：

JAVA_HOME="/usr/java/jdk1.8.0_231"

二、kafka安裝

1、把文件解壓到 /usr/local/kafka_2.12-1.0.2

2、修改配置文件/usr/local/kafka_2.12-1.0.2/config/server.properties

broker.id=1     # 唯一ID同一集群下broker.id不能重復
listeners=PLAINTEXT://localhost:9092   # 監聽地址
log.dirs=/opt/kafka_2.11-1.0.1/data      # 數據目錄
log.retention.hours=168   # kafka數據保留時間單位為hour 默認 168小時即 7天 
log.retention.bytes=1073741824  #(kafka數據量最大值，超出范圍自動清理，和 log.retention.hours配合使用，注意其最大值設定不可超磁盤大小）
zookeeper.connect:192.168.8.13:2181  #(zookeeper連接ip及port,多個以逗號分隔)

3、注冊kafka為服務

#在/etc/systemd/system 目錄下創建kafka.service文件

#vim /etc/systemd/system/kafka.service

[Unit]
Description=kafka service
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/kafka_2.12-1.0.2/bin/kafka-server-start.sh -daemon /usr/local/kafka_2.12-1.0.2/config/server.properties
ExecStop=/usr/local/kafka_2.12-1.0.2/bin/kafka-server-stop.sh
PrivateTmp=true

[Install]
WantedBy=multi-user.target

4、設置sasl加密

# 1.新建配置文件
vi ./config/kafka_server_jaas.conf
# 文件內容
# username定義一個公共的用戶名，用于節點之間進行通信，user_xxxx主要是客戶端用來連接kafka的，等號后面是密碼，xxxxx是用戶名，這里大小寫一個字都不能差，除了用戶名和密碼
KafkaServer {
  org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-sec"
    user_admin="admin-sec"
    user_producer="prod-sec"
    user_consumer="cons-sec";
};
# 2.修改kafka啟動時的配置文件，server.properties
# 我的做法是復制一份
cp ./config/server.properties ./config/server_sasl.properties
# 修改內容如下，在文末添加如下內容：
# 注意點：192.168.8.13是我當前主機ip,9092是kafka通信端口，其他的地方保持一致
listeners=SASL_PLAINTEXT://192.168.8.13:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
# 3.修改啟動腳本
vi ./bin/kafka-server-start.sh
# 找到  export KAFKA_HEAP_OPTS
#添加jvm 參數，注意kafka_server_jaas.conf文件是之前第一步創建的安全認證文件
#-Djava.security.auth.login.config=/usr/local/software/kafka/config/kafka_server_jaas.conf

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G -Djava.security.auth.login.config=/usr/local/software/kafka/config/kafka_server_jaas.conf"
fi

關于CentOS7中怎么安裝kafka環境就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。