您好,登錄后才能下訂單哦!
這篇文章主要介紹Flume如何安裝部署,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
1、Flume的安裝非常簡單,只需要解壓即可,當然,前提是已有hadoop環境
上傳安裝包到數據源所在節點上
然后解壓 tar -zxvf apache-flume-1.6.0-bin.tar.gz,最終解壓到的位置是:/home/tuzq/software/apache-flume-1.6.0-bin
然后進入flume的目錄,修改conf下的flume-env.sh,在里面配置JAVA_HOME
2、根據數據采集的需求配置采集方案,描述在配置文件中(文件名可任意自定義)
3、指定采集方案配置文件,在相應的節點上啟動flume agent
vi netcat-logger.conf(這個是我們自己定義的采集方案的配置文件)
#定義這個agent中各組件的名字 ##表示agent中的source組件 a1.sources = r1 ##表示的是下沉組件sink a1.sinks = k1 ##agent內部的數據傳輸通道channel,用于從source將數據傳遞到sink a1.channels = c1 #描述和配置source組件:r1 ##netcat用于監聽一個端口的 a1.sources.r1.type = netcat ##配置的綁定地址,這個機器的hostname是hadoop1,所以下面也可以配置成hadoop1 a1.sources.r1.bind = localhost ##配置的綁定端口 a1.sources.r1.port = 44444 #描述和配置sink組件:k1 a1.sinks.k1.type = logger ##描述和配置channel組件,此處使用時內存緩存的方式
以上是“Flume如何安裝部署”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。