ELK日志平臺原理

1. 作為運維工程師，我們每天需要對服務器進行故障排除，那么最先能幫助我們定位問題的就是查看服務器日志，通過日志可以快速的定位問題。目前我們說的日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常需要分析日志可以了解服務器的負荷，性能，安全性，從而及時采取措施糾正錯誤。而且日志被分散的儲存不同的設備上。

2. 如果你管理數上百臺服務器，我們登錄到每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務器上的日志收集匯總。

3. 集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用find、grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。今天給大家分享的開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。

1)? Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等，ELK官網：https://www.elastic.co/

2)? Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。

3)? Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。

4)? Logstash和Elasticsearch是用Java語言編寫，而Kibana使用node.js框架，在配置ELK環境要保證系統有JAVA JDK開發庫。

?

???????????????????????????????????????ELK原理拓撲圖

1)? ELK工作流程

通過logstash收集客戶端APP的日志數據，將所有的日志過濾出來，存入Elasticsearch 搜索引擎里，然后通過Kibana GUI在WEB前端展示給用戶，用戶需要可以進行查看指定的日志內容。

同時也可以加入redis通信隊列：

圖一；

圖二；

? 2）??加入Redis隊列后工作流程

Logstash包含Index和Agent（shipper） ，Agent負責客戶端監控和過濾日志，而Index負責收集日志并將日志交給ElasticSearch，ElasticSearch將日志存儲本地，建立索引、提供搜索，kibana可以從ES集群中獲取想要的日志信息。