Presto分布式安裝查詢Hive的步驟

本篇內容主要講解“Presto分布式安裝查詢Hive的步驟”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Presto分布式安裝查詢Hive的步驟”吧!

    Hadoop的版本是2.7.2，Hive的版本是2.1.1，Presto的版本是0.197。Presto是個master-slave結果的查詢引擎，所以我們用三臺機器來安裝，如下List-1

    List-1

192.168.33.34 presto-coordinator
192.168.33.35 presto-slave1
192.168.33.36 presto-slave2

如下圖1

                                                                                圖1

    每臺上都要安裝JDK，我使用的JDK版本是1.8.0_131，步驟略；將Hadoop集群上的Hadoop包拷貝到/opt上，將Hadoop加入到PATH中，每臺都是。

presto-coordinator

在presto-coordinator上，將presto安裝包放在/opt下，解壓，

1、config.properties，在etc下新建config.properties文件，文件內容如下List-2

    List-2

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=18080
query.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.168.33.34:18080
#是否允許presto server服務中即作為coordinator有作為worker，我們這是為false
node-scheduler.include-coordinator=false

2、jvm.config，在etc下新建jvm.config，文件內容如下List-3

    List-3

-server
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=256M

3、log.properties，在etc下新建log.properties，文件內容如下List-4

    List-4

com.facebook.presto=INFO

4、node.properties，在etc下新建node.properties，文件內容如下List-5

    List-5

node.environment=production
node.id=node_master
node.data-dir=/opt/prestoserver/data

5、在etc下新建catalog目錄，在etc/catalog下新建hive.properties，如下List-6所示，192.168.33.33:9083是hive的metastore服務地址

    List-6

connector.name=hive-hadoop2
hive.metastore.uri=thrift://192.168.33.33:9083
hive.config.resources=/opt/hadoop/core-site.xml,/opt/hadoop/etc/hadoop/hdfs-site.xml

presto-slave1

    和presto-coordinator一樣，在etc下新建config.properties、jvm.config、log.properties、node.properties、catalog/hive.properties，只是config.properties的內容和coordinator的不同，如下List-7，node.properties的值和coordinator的不同，如下List-8所示

    List-7  coordinator的值為false

coordinator=false
http-server.http.port=18080
query.max-memory=1GB
discovery-server.enabled=true
discovery.uri=http://192.168.33.34:18080
node-scheduler.include-coordinator=false

    List-8 node-id要修改

node.environment=production
node.id=node_node1
node.data-dir=/opt/prestoserver/data

presto-slave2

    在slave2上和slave1的一樣，只是node.properties的值和slave1的不同，如下List-9所示，將node.id修改為自己的

    List-9

node.environment=production
node.id=node_node2
node.data-dir=/opt/prestoserver/data

啟動

1. presto-coordinator上執行"bin/launcher  run"，這樣會將日志打印到控制臺，我們好調試，如果是launcher  start則后臺運行，看不到日志。

2. presto-slave1上執行"bin/launcher run"

3. presto-slave2上執行"bin/launcher run"

之后瀏覽器中訪問192.168.33.34:18080

Presto由三部分組成，

1. 一個Coordinator節點，Coordinator: 負責解析SQL語句，生成執行計劃，分發執行任務給Worker節點執行

2. 一個Discovery Server節點，Discovery Server: 通常內嵌于Coordinator節點中，worker會將自己注冊到這里

3. 多個Worker節點，負責實際執行查詢任務,負責與HDFS交互讀取數據

Presto查詢引擎低延遲的原因:

1. 基于內存的并行計算

2. 流水線式計算作業

3. 本地化計算

4. 動態編譯執行計劃

Hive是存儲、計算引擎，不過Persto不做存儲。

Reference

1. https://blog.51cto.com/simplelife/1967220

2. https://www.liangzl.com/get-article-detail-40387.html

到此，相信大家對“Presto分布式安裝查詢Hive的步驟”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！