如何安裝部署flume1.4

這篇文章將為大家詳細講解有關如何安裝部署flume1.4，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

一、引言

　　flume-ng是一個分布式、高可靠和高效的日志收集系統，flume-ng是flume的新版本的意思，其中“ng”意為new generate(新一代)，目前來說，flume-ng 1.4是最新的版本。flume-ng與flume相比，發生了很大的變化，因為之前一直在flume0.9的版本，一直沒有升級到flume-ng，最 近因為項目需要，做了一次升級，發現了一些問題，特記錄下來，分享給大家。

二、版本說明

　　flume-ng 1.4.0

三、安裝步驟

　　下載、解壓、安裝JDK、設置環境變量部分已經有很多介紹性的問題，不做說明。需要特別說明之處的是，flume-ng不需要要zookeeper，無需設置。

四、flume-ng bug　　

　　安裝完成后運行flume-ng會出現錯誤信息，這主要是因為shell腳本的問題，我將修改后的flume-ng完整的上傳如下，其中標注：#zhangzl下面的行是需要修改的部分。

五、測試配置文件

　　在conf目錄下創建example-conf.properties文件，屬性如下所示：　　

 1 # Describe the source 
 2 a1.sources = r1 3 a1.sinks = k1 4 a1.channels = c1 5  6 # Describe/configure the source 7 a1.sources.r1.type = avro 8 a1.sources.r1.bind = localhost 9 a1.sources.r1.port = 4444410 11 # Describe the sink12 # 將數據輸出至日志中13 a1.sinks.k1.type = logger14 15 16 # Use a channel which buffers events in memory17 a1.channels.c1.type = memory18 a1.channels.c1.capacity = 100019 a1.channels.c1.transactionCapacity = 10020 21 # Bind the source and sink to the channel22 a1.sources.r1.channels = c123 a1.sinks.k1.channel = c1

六、運行命令

　　6.1 啟動代理

[hadoop@hadoop1 conf]$ flume-ng agent -n a1 -f example-conf.properties

　　6.2 啟動avro-client客戶端向agent代理發送數據-需要單獨啟動新的窗口

[hadoop@hadoop1 conf]$ flume-ng avro-client -H localhost -p 44444 -F file01

七、結果查看

1 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] OPEN2 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] BOUND: /127.0.0.1:444443 14/01/16 22:26:34 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 => /127.0.0.1:44444] CONNECTED: /127.0.0.1:542894 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] DISCONNECTED5 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] UNBOUND6 14/01/16 22:26:36 INFO ipc.NettyServer: [id: 0x0100c7e4, /127.0.0.1:54289 :> /127.0.0.1:44444] CLOSED7 14/01/16 22:26:36 INFO ipc.NettyServer: Connection to /127.0.0.1:54289 disconnected.8 14/01/16 22:26:38 INFO sink.LoggerSink: Event: { headers:{} body: 68 65 6C 6C 6F 20 77 6F 72 6C 64                hello world }

關于“如何安裝部署flume1.4”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。