如何在elasticsearch中導入數據

ElasticSearch

ElasticSearch是一個基于Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發的，并作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜索引擎。設計用于云計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

1.工具安裝

elasticsearch-jdbc是一個將關系型數據庫（RDBMS）數據導入到ElasticSearch庫中的一個工具包，支持mysql、oracle、postgrey、csv等存儲列式數據的容器。目前最新的版本是2.3.4.1，支持的ElasticSearch的版本為2.3.4。

下載數據導入工具包 elasticsearch-jdbc-2.3.4.1-dist.zip，可以到官方網站上下載，

由于github上是只有原代碼，沒有編譯好的可執行包，可以到版本庫上[下載] (http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/) 相應的版本

注意elasticsearch-jdbc版本與 elasticsearch要對應上，具體版本對應可以到github上看

https://github.com/jprante/elasticsearch-jdbc

下載

wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/

如果這種方式下載慢，也可以本地下載后上傳

得到的elasticsearch-jdbc-2.3.4.1-dist.zip 的包可以解壓到任何目錄，elasticsearch-jdbc是一個獨立的項目，并不是原來的老版本需要導入elasticsearch的plugins目錄中，作為elasticsearch的插件安裝

unzip elasticsearch-jdbc-2.3.4.1-dist.zip

解壓得到目錄

/bin

/lib

這樣就安裝成功了

注意如果你導入的數據庫不是mysql數據庫，那你需要在lib目錄中放入相應數據庫的驅動包，因為elasticsearch-jdbc默認就有mysql的驅動，所以數據庫是mysql就不用了

2.編寫導入腳本

可以進入bin目錄下，里面很多數據導入腳本的范例腳本，可以稍做修改就可以用了，例如mysql-blog.sh  就是mysql數據庫導入的例子

我的導入腳本如下

#!/bin/sh bin=/opt/elasticsearch-jdbc-2.3.4.1/bin lib=/opt/elasticsearch-jdbc-2.3.4.1/lib echo ' {     "type" : "jdbc",     "jdbc" : {         "url" : "jdbc:mysql://10.3.5.21:3306/998pz?useUnicode=true&characterEncoding=utf-8",         "user" : "root",         "password" : "roottest",         "sql" : "select p.name,p.type from prompt p;",         "index" : "prompt",         "type" : "prompt",         "metrics": {             "enabled" : true         },         "elasticsearch" : {          "cluster" : "es-cluster",              "host" : "10.3.32.83",              "port" : 9300          }        } } ' | java \     -cp "${lib}/*" \     -Dlog4j.configurationFile=${bin}/log4j2.xml \     org.xbib.tools.Runner \     org.xbib.tools.JDBCImporter

該腳本將表prompt的數據導入到索引prompt中去

注意：導入的字段名一定要跟索引的字段名一樣

腳本編輯完成后需要賦予文件相應的執行權限

chmod 777 prompt.sh

如果導入腳本是你本地windows上編輯好上傳到服務器，可能會因為windows編碼與linux編碼不一致，出現莫名其妙的錯誤，可以用vi編輯進入文件

在命令模式下，轉換相應的編碼

set ff=unix

3.導入地理坐標數據

索引

"location": {"store": true,"type": "geo_point"}

腳本

#!/bin/sh bin=/opt/elasticsearch-jdbc-2.3.4.1/bin lib=/opt/elasticsearch-jdbc-2.3.4.1/lib echo ' {     "type" : "jdbc",     "jdbc" : {         "url" : "jdbc:mysql://10.3.5.21:3306/998pz?useUnicode=true&characterEncoding=utf-8",         "user" : "root",         "password" : "roottest",         "sql" : "SELECT bh.,bh.name as nameSuggest,bh.latitude AS \"location.lat\", bh.longitude as \"location.lon\" FROM bd_hospital bh;",         "index" : "hospital2",         "type" : "hospital2",         "metrics": {             "enabled" : true         },         "elasticsearch" : {          "cluster" : "es-cluster",              "host" : "10.3.32.83",              "port" : 9300          }        } } ' | java \     -cp "${lib}/" \     -Dlog4j.configurationFile=${bin}/log4j2.xml \     org.xbib.tools.Runner \     org.xbib.tools.JDBCImporter