Flume NG 學習筆記（三）流配置

版權聲明：本文為博主原創文章，未經博主允許不得轉載。

目錄(?)[+]

在通過flume采集日志數據的時候，一般都是通過flume 代理從日志源或者日志客戶端采集數據到flume代理中，然后再由flume代理送到目標存儲.上圖中就是每個一級flume代理負責從webserv采集數據,然后再由一個二級flume代理進行日志匯總。

Flume支持從一個源發送事件到多個通道中，這被稱為事件流的復用。這里需要在配置中定義事件流的復制/復用，選擇1個或者多個通道進行數據流向。

下面的內容主要介紹flume 流配置，這節比較水，因為都比較簡單。

一、單一代理流配置

下面的配置例子是外部數據源通過avro客戶端發送數據到HDFS上。下面無節操的直接拷官網

[html] view plain copy

1. agent_foo.sources= avro-AppSrv-source  

2. agent_foo.sinks= hdfs-Cluster1-sink  

3. agent_foo.channels= mem-channel-1  

4.    

5. # set channel for sources, sinks  

6.    

7. # properties of avro-AppSrv-source  

8. agent_foo.sources.avro-AppSrv-source.type= avro  

9. agent_foo.sources.avro-AppSrv-source.bind= localhost  

10. agent_foo.sources.avro-AppSrv-source.port= 10000  

11.    

12. # properties of mem-channel-1  

13. agent_foo.channels.mem-channel-1.type= memory  

14. agent_foo.channels.mem-channel-1.capacity= 1000  

15. agent_foo.channels.mem-channel-1.transactionCapacity= 100  

16.    

17. # properties of hdfs-Cluster1-sink  

18. agent_foo.sinks.hdfs-Cluster1-sink.type= hdfs  

19. agent_foo.sinks.hdfs-Cluster1-sink.hdfs.path= hdfs://namenode/flume/webdata  

二、單代理多流配置

單代理多流配置是上面的加強版，相當于一個代理兩個流，一個是從外部avro客戶端到HDFS，另一個是Linux命令（tail）的輸出到Avro接受代理，2個做成配置。繼續無節操的直接拷官網

[html] view plain copy

1. # list the sources, sinks and channelsin the agent  

2. agent_foo.sources= avro-AppSrv-source1 exec-tail-source2  

3. agent_foo.sinks= hdfs-Cluster1-sink1 avro-forward-sink2  

4. agent_foo.channels= mem-channel-1 file-channel-2  

5.    

6. # flow #1 configuration  

7. agent_foo.sources.avro-AppSrv-source1.channels= mem-channel-1  

8. agent_foo.sinks.hdfs-Cluster1-sink1.channel= mem-channel-1  

9.    

10. # flow #2 configuration  

11. agent_foo.sources.exec-tail-source2.channels= file-channel-2  

12. agent_foo.sinks.avro-forward-sink2.channel= file-channel-2  

三、配置多代理流程

這個配置就是學習（二）的第二個例子，簡單的講就是數據源發送的事件由第一個Flume代理發送到下一個Flume代理中。下面是官網：

[html] view plain copy

1. # list sources, sinks and channels inthe agent  

2. agent_foo.sources= avro-AppSrv-source  

3. agent_foo.sinks= avro-forward-sink  

4. agent_foo.channels= file-channel  

5.    

6. # define the flow  

7. agent_foo.sources.avro-AppSrv-source.channels= file-channel  

8. agent_foo.sinks.avro-forward-sink.channel= file-channel  

9.    

10. # avro sink properties  

11. agent_foo.sources.avro-forward-sink.type= avro  

12. agent_foo.sources.avro-forward-sink.hostname= 10.1.1.100  

13. agent_foo.sources.avro-forward-sink.port= 10000  

14.    

15. # configure other pieces  

16. #...  

例子都不難理解

四、多路復用流

Flume支持從一個源到多個通道和sinks,叫做fan out。有兩種模式的fan out，復制和復用。復制就是流的事件被發送到所有的配置通道去。

[html] view plain copy

1. # List the sources, sinks and channelsfor the agent  

2. <Agent>.sources= <Source1>  

3. <Agent>.sinks= <Sink1> <Sink2>  

4. <Agent>.channels= <Channel1> <Channel2>  

5.    

6. # set list of channels for source(separated by space)  

7. <Agent>.sources.<Source1>.channels= <Channel1> <Channel2>  

8.    

9. # set channel for sinks  

10. <Agent>.sinks.<Sink1>.channel= <Channel1>  

11. <Agent>.sinks.<Sink2>.channel= <Channel2>  

12.    

13. <Agent>.sources.<Source1>.selector.type= replicating  

其中，<Agent>.sources.<Source1>.selector.type= replicating 這個源的選擇類型為復制。這個參數不指定一個選擇的時候，默認情況下它復制

復用則是麻煩一下，流的事情是被篩選的發生到不同的渠道，需要指定源和扇出通道的規則，感覺與case when 類似。

復用的參數為：<Agent>.sources.<Source1>.selector.type = multiplexing

[html] view plain copy

1. # Mapping for multiplexing selector  

2. <Agent>.sources.<Source1>.selector.type= multiplexing  

3. <Agent>.sources.<Source1>.selector.header= <someHeader>  

4. <Agent>.sources.<Source1>.selector.mapping.<Value1>= <Channel1>  

5. <Agent>.sources.<Source1>.selector.mapping.<Value2>= <Channel1> <Channel2>  

6. <Agent>.sources.<Source1>.selector.mapping.<Value3>= <Channel2>  

7. #...  

8.    

9. <Agent>.sources.<Source1>.selector.default= <Channel2>  

官網中給出例子，可以看出流的事件要聲明一個頭部，然后我們檢查頭部對應的值，這里我們可以認為是事件屬性，如果指定的值與設定的通道相匹配，那么就將該事件發送到被匹配到的通道中去。這個參數就是默認通道<Agent>.sources.<Source1>.selector.default =<Channel2>

下面是官網中復用的詳細配置例子

[html] view plain copy

1. # list the sources, sinks and channelsin the agent  

2. agent_foo.sources= avro-AppSrv-source1  

3. agent_foo.sinks= hdfs-Cluster1-sink1 avro-forward-sink2  

4. agent_foo.channels= mem-channel-1 file-channel-2  

5.    

6. # set channels for source  

7. agent_foo.sources.avro-AppSrv-source1.channels= mem-channel-1 file-channel-2  

8.    

9. # set channel for sinks  

10. agent_foo.sinks.hdfs-Cluster1-sink1.channel= mem-channel-1  

11. agent_foo.sinks.avro-forward-sink2.channel= file-channel-2  

12.    

13. # channel selector configuration  

14. agent_foo.sources.avro-AppSrv-source1.selector.type= multiplexing  

15. agent_foo.sources.avro-AppSrv-source1.selector.header= State  

16. agent_foo.sources.avro-AppSrv-source1.selector.mapping.CA= mem-channel-1  

17. agent_foo.sources.avro-AppSrv-source1.selector.mapping.AZ= file-channel-2  

18. agent_foo.sources.avro-AppSrv-source1.selector.mapping.NY= mem-channel-1 file-channel-2  

19. agent_foo.sources.avro-AppSrv-source1.selector.default= mem-channel-1  

上面例子中，設置事件的頭屬性Header 為“State”作為的選擇檢查。剩下的就是與case when 基本一樣。其中，例子中的配置

agent_foo.sources.avro-AppSrv-source1.selector.mapping.NY= mem-channel-1 file-channel-2 從這里可以看出映射允許每個值通道可以重疊。默認值可以包含任意數量的通道。