如何搭建威脅情報數據庫

如何搭建威脅情報數據庫，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

一、前言

威脅情報是一種基于數據的，對組織即將面臨的攻擊進行預測的行動。預測（基于數據）將要來臨的的攻擊。威脅情報利用公開的可用資源，預測潛在的威脅，可以幫助你在防御方面做出更好的決策。 在企業或政府乃至國家，擁有一個高準確度，大數據量的威脅情報庫是至關重要的。

二、簡介

主要針對是初學者，剛起步的搭建自己的威脅情報庫的企業，通過簡單便捷的python腳本來搭建自己的惡意ip數據庫。此惡意數據庫的IP來源于國外較為權威的威脅情報。講述其中的黑名單ip如何搜集，方向還可以拓展為惡意域名，惡意證書，可用類似方法。之所以要收錄國外的開源情報威脅庫，更大程度上是因為國內各個網絡安全公司不會將自己的數據庫分享，也是用與我一樣的思路爬取國外信息為主。

三、黑名單IP（C＆C，惡意軟件，垃圾郵件，網絡爬蟲）

首先，代碼將從國外權威平臺的威脅情報源下載黑名單IP列表，其中包含（c2 服務器，垃圾郵件，網絡爬蟲，間諜軟件和其他惡意軟件）。并且在收集含有黑名單ip的文件同時，還需要聚合篩選數據，只提取重要可用的數據。

我們需要將下面的命令寫入cron中，可用來每5分鐘自動下載一次黑名單IP

"""
crontab -e
"""

在配置文件中添加下面三行

"""
*/5 * * * * cd && wget http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
*/5 * * * * cd && wget reputation.alienvault.com/reputation.data
*/5 * * * * cd && wget https://myip.ms/files/blacklist/general/latest_blacklist.txt

在Home中，創建新py文件叫merge.py

"""
Filename: merge.py
Arthor:Mike
Date:2019.8.5
"""

打開文件

c2=open("c2-ipmasterlist.txt","r")
bl=open("latest_blacklist.txt","r")
reputation=open("reputation.data","a")

以行來分開下載的數據

for line in c2:
  ip = line.split(',')
  reputation.write(ip[0]+ ",c2\n")
for line in bl:
  ip = line.split()
  try:
    reputation.write(ip[0]+ "\n")
  except:
    pass

在執行代碼之前，還需要添加一個命令在cron文件中，它會用下面的命令每5分鐘導入黑名單IP列表:

打開cron的配置文件

crontab -e

添加運行每5分鐘一次的merge.py文件，用于拓展黑名單數據量。

然后再重啟cmikewhorontab服務：

service cron restart

這張截圖顯示merge.py所結合的惡意ip，域名的總文件

再次創建新py文件，檢查IP是否被列入收錄中的黑名單。

import mmap

打開IP收錄文件，檢測流量中的IP是否在黑名單中

file = open("reputation.data")
IP ='207.241.231.146'
s = mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ)
if s.find(IP) != -1:
  print "This "+IP+" is blacklisted"
  file.close()

四、總結

本文簡單地描述如何利用開源威脅情報，幫助我們更好的防護網絡不受到惡意的攻擊。閱讀者可以展開思維，通過爬蟲技術去搜集各個情報源的C2數據庫。

五、提示

經提示因為配置文件不同，可能造成一些同學無法啟動crontab。這里為更詳細的教程圖解幫助大家配置威脅情報庫。

開啟crontab日志

crontab默認情況下是不執行開啟日子的，所以一開始寫完后，不能執行，想查看日志，卻找不到。所以先開啟定時任務的日志來查看

修改rsyslog服務，將 /etc/rsyslog.d/50-default.conf 文件中的 #cron.* 和#daedon.* 前的 # 刪掉；

用以下命令重啟rsyslog服務：

service rsyslog restart

然后再重啟crontab服務：

service cron restart

看完上述內容，你們掌握如何搭建威脅情報數據庫的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！