Kafka的安裝教程

這篇文章主要介紹“Kafka的安裝教程”，在日常操作中，相信很多人在Kafka的安裝教程問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Kafka的安裝教程”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1.Kafka基本術語
Producer ：消息生產者，就是向kafka broker發消息的客戶端
Consumer ：消息消費者，向kafka broker取消息的客戶端
Topic ：話題，可以理解為一個隊列
Consumer Group （CG）：這是kafka用來實現一個topic消息的廣播（發給所有的consumer）和單播（發給任意一個consumer）的手段。一個topic可以有多個CG。topic的消息會復制（不是真的復制，是概念上的）到所有的CG，但每個CG只會把消息發給該CG中的一個consumer。如果需要實現廣播，只要每個consumer有一個獨立的CG就可以了。要實現單播只要所有的consumer在同一個CG。用CG還可以將consumer進行自由的分組而不需要多次發送消息到不同的topic。
Broker ：一臺kafka服務器就是一個broker。一個集群由多個broker組成。一個broker可以容納多個topic。
Partition：為了實現擴展性，一個非常大的topic可以分布到多個broker（即服務器）上，一個topic可以分為多個partition，每個partition是一個有序的隊列。 partition中的每條消息都會被分配一個有序的id（offset）。 kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的整體（多個partition間）的順序。
Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset做名字的好處是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。當然the first offset就是00000000000.kafka

2.安裝Kafka
## 下載
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
[grid@hadoop4 ~]$ tar -zxf kafka_2.11-0.8.2.1.tgz

## 修改$KAFKA_HOME/config/server.properties
[grid@hadoop4 ~]$ cd kafka_2.11-0.8.2.1
[grid@hadoop4 kafka_2.11-0.8.2.1]$ vim config/server.properties
## 主要是修改以下幾項配置：broker.id、port、host.name、log.dirs、zookeeper.connect
## zookeeper集群的安裝請參考http://my.oschina.net/zc741520/blog/399233

3.Kafka基本命令
啟動kafka bin/kafka-server-start.sh ./config/server.properties
創建topic bin/kafka-topics.sh --topic kafkaToptic --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partition 1
查看consumer bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic kafkaToptic --from-beginning
查看topic bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
生產消息 bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic kafkaToptic

4.啟動Kafka（需要先啟動Zookeeper）
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-server-start.sh ./config/server.properties &

5.創建名為apache_log的topic
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --topic apache_log --create --zookeeper hadoop4:2181 --replication-factor 1 --partition 1 &
[grid@hadoop4 kafka_2.11-0.8.2.1]$ bin/kafka-topics.sh --list --zookeeper hadoop4:2181
apache_log

到此，關于“Kafka的安裝教程”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！