場景下的交互式計算引擎Impala和Presto是怎樣的

今天就跟大家聊聊有關場景下的交互式計算引擎Impala和Presto是怎樣的，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

應用于ROLAP場景下的交互式計算引擎Impala和Presto

具有以下特點：

1、跟Hadoop生態系統完好結合，可與Hive Metastore對接，處理hive中的表，可直接處理存儲在HDFS和Hbase中的數據。

2、計算與存儲分析：僅僅是查詢引擎，不提供數據存儲服務。

3、MPP架構，采用經典的MPP架構，具有良好的擴展性，能夠應對TB甚至PB級數據交互式查詢需求；

4、嵌套式數據存儲，支持常見的列式存儲格式，比如ORC和Parquet。

Impala：由Cludera公司開發，充分結合傳統數據庫與大數據系統Hadoop的優勢，構造一個全新的、支持SQL與多租戶、并具備良好的靈活性和擴展性的高性能查詢引擎。

一、特征:

1、Impala完全拋棄了MapReduce這個不太適合做SQL查詢的范式，借鑒了MPP并行數據庫思想，采用了全服務進程的設計架構。

2、采用全內存實現，不需要把中間結果寫入磁盤，省掉大量的I/O開銷。

3、充分利用本地讀，盡可能的將數據和計算分配到同一臺機器上。

4、用C++實現，做了很多針對底層的優化，eg：SSE指令。

二、基本架構：

1、Catalogd：元信息管理服務

2、Statestored：狀態管理服務器

3、Impalad：同時承擔協調者和執行這雙重角色。

三、訪問方式

通過JDBC/ODBC訪問，通過Kerberos或LADP進行認證。

Presto：由Facebook公司開源，能夠處理TB甚至PB級別的數據量，由于Presto能與Hive進行無縫集成，因而成為主流的OLAP引擎。

一、基本架構：

是一個Master-Slave架構，由一個Coordinator服務，一個Discovery Server服務，多個Worker服務組成。

1、Coordinator：協調者，接收客戶端查詢請求（SQL）并對齊進行詞法分析，語法分析生成邏輯查詢計劃及物理查詢計劃，將各個任務調度到各位worker上執行，并在worker返回結果后對其進一步匯總。在一個Presto集群中可同時存在多個Coordinator防止單點故障。

2、Discovery Server：服務發現組件，各個Worker啟動時會定期向Discovery Server注冊，并將狀態信息匯報給Discovery Server

3、Worker：任務執行者。

Presto是一個分布式查詢引擎，并不提供數據存儲功能，為此，Presto采用了插件化設計思路，支撐多種數據樣，包括Hive、HDFS、Mysql、Cassanddra、Hbase和Redis等。

二、訪問方式

Presto是插件式架構，通過連接器接入外部數據源，為了區分各個數據源中的數據，它在數據庫之上引入了一層命名空間：catalog，前面提到的Hive、Cassandra和Mysql等在Presto中均以catalog存在。不同的catalog中可以有多個數據庫，每個數據庫中進一步可以存在多張表。

區別于多維度數據組織的MOLAP類型的OLAP查詢引擎Druid和Kylin。

看完上述內容，你們對場景下的交互式計算引擎Impala和Presto是怎樣的有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。