數據集下載

下載地址：https://grouplens.org/datasets/movielens/

 

Logstash 下載與安裝

首先去官網下載 Logstash 安裝包：https://www.elastic.co/downloads/logstash

 

如果下載速度太慢可以選用這個代理地址下載：http://mirror.azk8s.cn/elastic/logstash/

 

下載完安裝包并解壓進入 config 目錄：

 

同時配置如下內容,你只需要按照你的數據集的路徑改一下配置文件中最開始的path即可：

• logstash.conf

input {
  file {
    path => "/Users/tanjian/Desktop/logstash-7.6.1/movielens/ml-latest-small/movies.csv" # 這里指定數據集路徑
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

Logstash 運行

配置好上面的 logstash.conf 文件后，我們就可以啟動 Logstash 并開始導入數據了：

sudo ./bin/logstash -f config/logstash.conf

如下圖 Logstash 日志所示，正在導入數據集：

 

打開 Kibana 查看數據

在查看數據之前，我們需要打開 http://localhost:5601 通過 Kibana 創建一個 Index Pattern：

 

之后，我們就可以通過 Discover 去查看我們的數據了：

 

剩下的就交給你自己折騰吧，你可以去 Dev Tools 通過 QSL 語法搜索數據熟悉一下語法。