graylog3.0收集飛塔防火墻日志

公司有一臺飛塔防火墻，是基于utm的，很多功能都過期了，之前我配置了破解的anlayer來收集分析防火墻策略日志，非常好用，但是這玩意要錢，只能試用30天，我是把系統時間調成了2017年，避免到期，但是收集的時間不準，非常麻煩。

如下所示：

所以想用graylog3.0來收集分析飛塔防火墻的日志

首先graylog是一個大數據分析平臺，只拿來收集日志有點大材小用，但是我又不懂大數據=。=

1、graylog 的content packs和marketplace

content pack(內容包）內容包是共享配置的便捷方式。內容包是一個JSON文件，其中包含一組Graylog組件的配置。可以將此JSON文件上載到Graylog實例，然后進行安裝。花費時間為特定類型的日志格式創建輸入，管道和儀表板的用戶可以輕松地與社區分享他的努力。

graylog marketplace是分享和購買內容包的市場。

可以簡單理解為，有很多大神提供給了不同的數據分析方式供人下載使用，滿足不通的數據分析需求

地址為

https://marketplace.graylog.org/

收索forita相關

搜索結果如下：

我使用第一個

包含了github地址和配置方法

github地址為https://github.com/juiceman84/Fortigate_Content_Pack

2、graylog導入內容包

登陸graylog后，在system->connet packs中配置內容包

可以看到系統自帶內容包，點擊create a content pack來導入

然后按照如下填寫

切記 url要填寫 github地址https://github.com/juiceman84/Fortigate_Content_Pack

然后下一步，不用調整

再然后下一步

其他的不用管，因為我也不知道是干嘛的 然后點擊create

完成后點擊安裝

此時內容包就已經安裝完畢了，是不是很簡單

但是你以為簡單是因為不知道那么多選項是干嘛的=。=

3、配置input

在system->input中配置日志接收方式

因為防火墻日志都是syslog格式，所以要新建一個syslog udp的input

按照如下進行配置即可，端口是30000，這是內容包說明要求的，udp還是tcp協議取決于防火墻是否支持，公司這款飛塔防火墻只支持udp協議

完成后，去防火墻上配置日志發送,端口需要一致

然后去配置input的extrators（提取器），所謂提取器以下是官方說明

簡單來說，就是syslog協議太簡單了，需要提取器來配置一定的格式，比如顯示時間，主機，內容等，不然收集到的日志就是一堆亂糟糟的cvs文本

然后在action中點擊import extrators

這里要求你輸入一段json格式代碼

老子搞運維的，懂哥毛的json

不要緊，之前內容包的github中已經包含了提取器的json,只是要我們手動寫入

然后把代碼復制粘貼

然后點擊添加

添加成功后，可以看到出現了很多提取器，這是之前內容包中配置好的

配置完了后，然后就可以收集了，點擊啟動

然后就就可以看到收集的信息了

4、配置

收集的日志信息很亂，包括策略日志，信息日志，而且內容很雜，所以要調整

首先配置信息顯示的字段（fields)，包括日期啊，源地址，目的地址等,不要都選，選擇重要的即可，按照防火墻策略五元組信息（源目的端口，原目的地址，協議）進行勾選

其次，在搜索框中，輸入搜索的信息類型，使用type=traffic代表過濾出流量類型的信息

說明：

1、搜索框中，輸入字段 type=taffic,代表流量

2、這些可以選擇的字段，是因為配置了內容包采用，沒有配置內容包，是沒有這些字段過濾和選擇的

簡單說明下字段作用

timestamp：時間戳

source:發送日志的源設備

dst:目的地址

dst_int:目的接口

level:日志等級

msg:處理動作

policyid:命中的策略id

proto:協議類型

servie:服務類型

sercetiy:安全等級

src:源地址

src_int:源接口

tpye:日志類型

基本上有這些東西就可以分析策略日志了

然后我們點開一個信息

就可以看到信息具體類容，基本上就是一條防火墻策略信息，很詳細

然后我們可以把搜索的結果保存，方便下次直接使用

同時可以把搜索的結果放到儀表盤中

除了可以搜索以外，還可以配置字段統計，比如統計源地址排行，策略排行等

比如配置策略數量排行，就可以看到哪些策略被引用的最多

配置generate chart(通用圖標），可以查看一定時間內的字段信息的數量和保存的空間大小，可以添加到儀表盤

配置Quick values，可以統計一定數量，圖形,默認餅圖統計，可以添加到儀表盤

字段統計，統計該字段出現的數量，最大值，最小值等，可以添加到儀表盤

最后一個world map，需要配置地理信息擴展，顯示字段在地理區域出現的頻率，這次用不上

好了來看看儀表盤，配置好了后，可以直接展現

基本上就能滿足日常運維需要了

5、思考與擴展

1、graylog支持流式計算和告警，就是說支持實時的講收集到數據按照一定的規則進行過濾，然后按照配置的告警規則進行告警，但是我沒配置成功過，看來需要去學大數據相關知識

2、graylog的搜索語法太簡單了，而且不準，感覺就是簡單的正則匹配，比起splunk還有其他專門自帶搜索語法的日志軟件，差太遠了

3、防火墻的日志量十分巨大，基本上發送量高峰是每秒1500條信息，ipos峰值30，帶寬峰值30MBps要占用5G左右的存儲空間。我的graylog幾次差點掛了，IO承受不住，實際生產使用，不要用虛擬機化，也可以考慮分布式多節點部署，分攤壓力

4、簡單測試了存儲壓力，1000條數據美妙，數據寫入大小，4-8kB較多，64-512kB其次，70%左右的隨機寫IO，平均IO寫延遲100ms,對存儲的要求還是有的

5、cpu和內存壓力，16g內存平均占用99.5%,2路4核8vcpu長期占用88.5%，此時graylog明顯搜索和反應緩慢

graylog的優勢就是開源，簡單，開箱易用，使用內容包，幾乎可以收集分析任何類型的數據

但是對于 防火墻日志收集，還是得有專門硬件比較好