ClickHouse與威脅日志分析

　　概要

　　威脅分析現在已經成為日常工作的一部分。基于ELK這種大數據工具已經成為日志分析的一個很流行的選擇方案，開源免費部署方便，對日志的檢索及匯聚提供很好的用戶體驗。之前糖果實驗室就介紹過基于Graylog這種類ELK工具的整體日志處理方案。在經過生產實踐后的體會總結，發現了這種日志處理方案的好處，也發現了不足。隨著后續系統不斷接入新的安全日志數據，更多校的日志分析需求來講，系統變的會越加復雜。針對復雜的策略查詢，有時我們基于ES和REST API的日志數據提供方式，在處理復雜查詢開發時，開發效率會隨著規模變大而變慢，我們需求一種更高抽象級別，和業務數據的直接關聯的業務性語言，類似于SQL或是DSL一樣的操作指令，讓安全策略實現的落地成本降低。

　　ELK模式回顧

　　為從上層部署更好說明問題，我們用卡通一點的方式來描述系統結構，不涉及到更多的負載均衡和線路保障這種細節點。我們先回憶一下基于類似Graylog的日志分析方案。日志的數據的被封裝抽象成Stream流的概念，引用Pipeline管道，把日志從邏輯上進行更高一級的抽象，這樣我們不對直接面對文件和索引這些概念，有了Stream、Input、Output、Pipeline、這種概念的模式設計，可以更好的把原生的日志數據更好的歸類和業務靠近。

　　從日志的收集、到數據的格式化、到ES存儲、到REST API數據對外提供查詢、到自動化查詢、到數據的可視化是我們一般的使用套路，我們在這條思路上耕耘了有一段時間，更多的文章可以參考糖果實驗室之前的文章，這里就是高度的概括一下這種系統的結構。

　　戰斗民族的武器ClickHouse

　　我們再介紹一下基于ClickHouse的數據采集分析方案。其實從數據的收集、處理、查詢、展示，對用戶來說體驗上大多數也有幾分類似，不同的一點是ClickHouse提供SQL方式的查詢。本身Graylog這種也內含了MongoDB和Kafka等部件，而ClickHouse不是一種集成的解決處理方案。 相對簡化的介紹一下。從系統部署構成來看，很相似。

　　方案間的差異性

　　ClickHouse和ES是兩種不同的數據檢索引擎。ClickHouse提供了基于SQL的查詢功能， ClickHouse對SQL支持和性能如何，在后期我們會給出相關的數據。像Graylog這種整體解決方案，提供了自己的數據查詢DSL，但這種DSL是獨立于Graylog本身的系統，而SQL具有更強的通用性。ES也支持ES SQL，但這點上就是誰用誰知道了。這兩種方案核心的區別在于ES和ClickHouse不同的數據檢索方案，安全業務會針對不同的數據產生不同的安全審計需求。對于數據收集和數據的展示的都是類似，當然ES也有ES SQL,但這不是SQL之間區別，而是兩種生態和設計的不同。

　　我們可以類似使用MySQL的方式來使用ClickHouse的表， 被監控服務器將自身的數據通過特定的工具推送Kafka上，ClickHouse端去取得推送的數據，然后將數據存到二維數據結構的表中，之后我們就可以使用SQL語名去實現日志安全自動審計。Graylog這種類ELK的服務我們已經在生產中使用了，基于REST API為核心的設計很方便前端和移動端的審計應用擴展。基于威脅數據分析，我們基于ClickHouse實驗出新的解決方案，重要針對的是復雜的數據檢索和業務數據碰撞。有了SQL這種高抽象實現，減少純代碼對DSL操作依賴，代碼寫的少了，安全策略都被翻譯成SQL語句，但同時底層的引擎又不一樣。

　　方案間的共性

　　對于使用者來說，這兩個方案總體思路上還把日志和“流”和“管道”聯系在一起，邏輯上的日志數據流向，無論采用什么樣的工具和存儲，日志數據聚合模式都類似，只是協議上，是采用syslog協議，還是JSON協議，還是兩者都支持，基于數據匯聚的角度來說，兩種方案都可以達到目標。但對安全策略實現，那種方案更快，更方便，后續我們還會有新實驗內存和數據實現。最大的共性，就是數據收集到外放數據的模式類似。

　　上面的圖大大的簡化了實際生產中的服務物理部署，用單點代替集群。簡化到最后，就可以相對清晰的看到日志數據的流向。從訪問者在請求服務者時產生的數據，到數據推送到Kafka隊列，再由Kafka消費者消費數據給ClickHouse存儲，然后提供Openresty為基礎的API網關，再提供給API使用者作用。　　

　　基于Graylog、ELK的API網關是基于ES的數據檢索，網關會把安全策略轉換成查詢， 而基于ClickHouse的API網關，采用的就是基于ClickHouse的SQL查詢為基礎的安全策略落地執行。我們在設計系統時，讓安全策略和系統不依賴，或者說通用的安全策略不考慮實現的方案到底是ELK還是ClickHouse， 只要是安全分析策略，用一種腳本或是類似DSL的語言可能解析和執行即可。

　　總結

　　ClickHouse是戰斗民族的產品，CloudFlare公司已經用于生產分析中，也將繼續探索這些產品的新動向和實踐。將流量分析和日志分析統計結合起來分析威脅，發現威脅。一些系統形式都是手段，系統可以實現安全人員的策略并行之有效的解決安全問題，是實踐要達成的目標。我們可以基于ClickHouse開發更高級抽象的DSL描述安全的人員的安全策略與其它系統聯動，完成威脅的分析與防護。后續會介紹一些相關的設計和工具及代碼。