如何分析Ganglia本質及SparkOnGanglia的配置

今天就跟大家聊聊有關如何分析Ganglia本質及SparkOnGanglia的配置，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

前言   

    Ganglia 是 UC Berkeley 發起的一個開源監視項目，設計用于測量數以千計的節點。每臺計算機都運行一個收集和發送度量數據（如處理器速度、內存使用量等）的名為 gmond 的守護進程。它將從操作系統和指定主機中收集。接收所有度量數據的主機可以顯示這些數據并且可以將這些數據的精簡表單傳遞到層次結構中。正因為有這種層次結構模式，才使得 Ganglia 可以實現良好的擴展。gmond 帶來的系統負載非常少，這使得它成為在集群中各臺計算機上運行的一段代碼，而不會影響用戶性能。

一 Ganglia組件

    Ganglia 監控套件包括三個主要部分：gmond，gmetad，和網頁接口，通常被稱為ganglia-web。

    Gmond :是一個守護進程，他運行在每一個需要監測的節點上，收集監測統計，發送和接受在同一個組播或單播通道上的統計信息 如果他是一個發送者(mute=no)他會收集基本指標，比如系統負載（load_one）,CPU利用率。他同時也會發送用戶通過添加C/Python模塊來自定義的指標。 如果他是一個接收者（deaf=no）他會聚合所有從別的主機上發來的指標，并把它們都保存在內存緩沖區中。

    Gmetad:也是一個守護進程，他定期檢查gmonds，從那里拉取數據，并將他們的指標存儲在RRD存儲引擎中。他可以查詢多個集群并聚合指標。他也被用于生成用戶界面的web前端。

    Ganglia-web :顧名思義，他應該安裝在有gmetad運行的機器上，以便讀取RRD文件。 集群是主機和度量數據的邏輯分組，比如數據庫服務器，網頁服務器，生產，測試，QA等，他們都是完全分開的，你需要為每個集群運行單獨的gmond實例。

    一般來說集群中每個節點需要一個接收的gmond，每個網站需要一個gmetad。

二 安裝依賴

    注：建議全程使用超級用戶安裝,本例安裝環境centos6.6

    1.#yum install –y gcc gcc-c++ libpng freetype zlib libdbi apr* libxml2-devel pkg-config glib pixman pango pango-devel freetye-devel fontconfig cairo cairo-devel libart_lgpl libart_lgpl-devel pcre* rrdtool*

三 安裝expat依賴  

    1. #cd ~

    2.#wget http://jaist.dl.sourceforge.net/project/expat/expat/2.1.0/expat-2.1.0.tar.gz

    3.#tar -xf expat-2.1.0.tar.gz && cd expat-2.1.0 && ./configure --prefix=/usr/local/expat && make && make install && cd ..

對于64位操作系統，需要手動的拷貝下動態鏈接庫到lib64下

    1.#mkdir /usr/local/expat/lib64 && cp -a /usr/local/expat/lib/* /usr/local/expat/lib64/

四 安裝confuse

    1.#wget http://ftp.twaren.net/Unix/NonGNU//confuse/confuse-2.7.tar.gz

    2.#tar -xf confuse-2.7.tar.gz && cd confuse-2.7 && ./configure CFLAGS=-fPIC --disable-nls --prefix=/usr/local/confuse && make && make install && cd ..

64bit機器需要拷貝動態鏈接庫：

    1.#mkdir -p /usr/local/confuse/lib64 && cp -a -f /usr/local/confuse/lib/* /usr/local/confuse/lib64/

五 安裝ganglia

    1.#wget http://jaist.dl.sourceforge.net/project/ganglia/ganglia%20monitoring%20core/3.6.0/ganglia-3.6.0.tar.gz

    2.#tar -xf ganglia-3.6.0.tar.gz && cd ganglia-3.6.0 && ./configure --with-gmetad --enable-gexec --with-libconfuse=/usr/local/confuse --with-libexpat=/usr/local/expat --prefix=/usr/local/ganglia --sysconfdir=/etc/ganglia && make && make install && cd ..

六 服務端配置。

    1.#mkdir -p /var/lib/ganglia/rrds && mkdir -p /var/lib/ganglia/dwoo && chown -R root:root /var/lib/ganglia

    修改/etc/ganglia/gmetad.conf文件

    1.data_source "glo" master(master映射要監控的主機Ip,在本例中只監控一臺機器即master。如非必要不用填端口，默認8649，

這里的 " glo" 表示的是集群的名稱，后面的內容是這個集群中所包含的主機信息，也就是要監控的主機。)

    2.setuid_username "root"

    添加自啟動腳本

    1.#cp -f ganglia-3.6.0/gmetad/gmetad.init /etc/init.d/gmetad && cp -f /usr/local/ganglia/sbin/gmetad /usr/sbin/gmetad && chkconfig --add gmetad

    啟動gmetad服務

    1.#service gmetad start

    看見Starting GANGLIA gmetad: [ OK ]就代表運行正常了。 通過telnet localhost 8651驗證gmetad是否正常

七 客戶端配置（gmond節點）

    本機安裝如下：

    1.#cp -f ganglia-3.6.0/gmond/gmond.init /etc/init.d/gmond && cp -f /usr/local/ganglia/sbin/gmond /usr/sbin/gmond && chkconfig --add gmond && gmond --default_config > /etc/ganglia/gmond.conf

對于生成的默認配置文件/etc/ganglia/gmond.conf需要做適當的修改

globals {

 user = root /*運行Ganglia的用戶*/

 host_dmax = 120 /*secs */

 send_metadata_interval = 15 /*發送數據的時間間隔*/

}

cluster {

 name = "glo" /*集群名稱*/

 owner = "root" /*運行Ganglia的用戶*/

}

udp_send_channel {

     # mcast_join = 239.2.11.71 /*注釋掉組播*/

 host = 192.168.1.108/*發送給安裝gmetad的機器*/

}

udp_recv_channel { #接受UDP包配置

 # mcast_join = 239.2.11.71

 # bind = 239.2.11.71

}

    其中name是將要在服務端進行的分組，是服務端的數據源。接下來開啟服務

    1.#service gmond start

    看見Starting GANGLIA gmetad: [ OK ]代表啟動成功。如果有失敗，可以講gmond.conf中的debug從0改為100，看更多的日志，然后進行排查。

八 服務端的WEB配置

    PHP程序需要依賴Apache來運行，因此需要安裝如下依賴

    1.# yum -y install php httpd

    2.# service httpd start //啟動httpd 服務

九 安裝ganglia web

    1.#cd /root

    2.#wget http://jaist.dl.sourceforge.net/project/ganglia/ganglia-web/3.5.10/ganglia-web-3.5.10.tar.gz

    3.#tar -xf ganglia-web-3.5.10.tar.gz && cd ganglia-web-3.5.10 && make install && cd ..

    這樣 在/var/www/html/下 生成了 ganglia 目錄

    注：

    Ganglia訪問失敗：

    There was an error collecting ganglia data (127.0.0.1:8652): fsockopen error: Permission denied

解決：

    需要關閉selinux：vi /etc/selinux/config，把SELINUX=enforcing改成SELINUX=disable；需要重啟機器。

    可以使用命令setenforce 0來關閉selinux而不需要重啟，刷新頁面，即可訪問。但此方法只是一權宜之計。要想永久修改selinux設置，還是要使用第一種方法。 

    重啟httpd服務器即可看到效果

    1.#service httpd restart

    使用http://master/ganglia查看對應的ganglia信息。（注：master為運行gmetad的主機的hostname）

十 SparkOnGanglia中配置（前提為編譯好帶有ganglia組件的SPARK）

(本例spark版本1.5.1)

在$SPARK_HOME/conf/metrics.properties添加

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink

*.sink.ganglia.host=master

*.sink.ganglia.port=8649

*.sink.ganglia.period=2

*.sink.ganglia.unit=seconds

*.sink.ganglia.ttl=1

*.sink.ganglia.mode=unicast

然后在ganglia  web中查看Metric項

看完上述內容，你們對如何分析Ganglia本質及SparkOnGanglia的配置有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。