搭建 ELK 日志分析系統

一、ELK 日志分析系統簡介：

日志服務器：

1、提高安全性；
2、集中存放日志；
3、缺陷：對日志的分析困難

二、ELK日志處理步驟：

1、將日志進行集中格式化；
2、將日志格式化（logstash）并輸出到 Elasticsearch；
3、對格式化后的數據進行索引和存儲（Elasticsearch）；
4、前端數據的展示（Kibana）

ELK：Elasticsearch + Logstash + Kibana
ELK是Elasticsearch、Logstash、Kibana的簡稱，這三者是核心套件，但并非全部。
（1）Elasticsearch 是實時全文搜索和分析引擎，提供搜集、分析、存儲數據三大功能；是一套開放REST和JAVA API等結構提供高效搜索功能，可擴展的分布式系統。它構建于Apache Lucene搜索引擎庫之上。
（2）Logstash 是一個用來搜集、分析、過濾日志的工具。它支持幾乎任何類型的日志，包括系統日志、錯誤日志和自定義應用程序日志。它可以從許多來源接收日志，這些來源包括 syslog、消息傳遞（例如 RabbitMQ）和JMX，它能夠以多種方式輸出數據，包括電子郵件、websockets和Elasticsearch。
（3）Kibana 是一個基于Web的圖形界面，用于搜索、分析和可視化存儲在 Elasticsearch指標中的日志數據。它利用Elasticsearch的REST接口來檢索數據，不僅允許用戶創建他們自己的數據的定制儀表板視圖，還允許他們以特殊的方式查詢和過濾數據。

功能：

1、Elasticsearch無縫之集成；
2、整合數據，復雜數據分析；
3、接口靈活，分享更容易；
4、配置簡單，可視化多數據源；
5、簡單數據導出；
6、讓更多團隊成員收益。

二、搭建 ELK 日志分析系統：

第一步：先配置 elasticsearch 環境
（1）修改兩臺主機名，分別是：node1 和 node2

（2）修改 hosts 文件：

（3）防火墻都關閉

第二步：部署安裝 elasticsearch 軟件（兩臺節點都需要）
（1）安裝：

（2）修改配合文件：

注意：第二臺節點服務器配置和第一臺一樣，注意修改一下節點名和ip地址即可。

（3）創建數據存放路徑并授權：
（4）開啟服務：



1、瀏覽器輸入以下網址，檢查群集健康狀態：


2、檢查群集狀態信息：


第三步：安裝 elasticsearch-head 插件
（1）安裝依賴包：
（2）編譯安裝 node 組件：


（3）安裝 phantomjs 前端框架：

（4）安裝 elasticsearch-head 數據可視化工具：

（5）修改主配置文件：


（6）啟動 elasticsearch-head
此時，可以檢查一下 9100和9200 這個兩個端口的狀態：



第四步：創建索引
可以直接新建索引：

也可以輸入以下命令創建索引：

curl -XPUT '192.168.220.136:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//索引名為 index-demo，類型為test

瀏覽器刷新一下，就會看到剛剛創建的索引信息，可以看出索引默認被分片5個，并且有一個副本。


第五步：安裝 logstash 并做一些日志搜集輸出到 elasticsearch中
（1）修改主機名
（2）安裝Apache服務：


（3）安裝 logstash

（4）logstash（Apache）與 elasticsearch（node）功能是否正常，做對接測試：

  可以用 logstash 這個命令測試：

（5）輸入采用標準輸入、輸出采用標準輸出：

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.136:9200"] } }'

此時，瀏覽器訪問 http://192.168.220.136:9200/ 查看索引信息，就會多出 logstash-2019.12.17


（6）登錄Apache主機，做對接配置：

logstash 配置文件主要由三部分組成：input、output、filter（這個視情況做不做

重啟服務：

（7）瀏覽器查看索引信息：會多出 system-2019.12.17


第六步：node1主機安裝 kibana

（1）

瀏覽器訪問：192.168.220.136:5601
接下來在可視化界面中創建一個索引名：system-* （對接系統日志文件）


（2）對接 Apache 主機的 Apache 日志文件 （包括正常訪問的、錯誤的）

重啟服務：

再在可視化界面上， 創建兩個索引：

1、apache_access-
2、apache_error-

稍等片刻，就可以在Discover 看見這兩個日志文件了：


由于，我們之前給node節點都做了同步備份，同時也提高了容災的能力，一臺宕機不會造成數據的丟失。

謝謝觀看！