Spark 系列（一）—— Spark 簡介

一、簡介

Spark 于 2009 年誕生于加州大學伯克利分校 AMPLab，2013 年被捐贈給 Apache 軟件基金會，2014 年 2 月成為 Apache 的頂級項目。相對于 MapReduce 的批處理計算，Spark 可以帶來上百倍的性能提升，因此它成為繼 MapReduce 之后，最為廣泛使用的分布式計算框架。

二、特點

Apache Spark 具有以下特點：

• 使用先進的 DAG 調度程序，查詢優化器和物理執行引擎，以實現性能上的保證；
• 多語言支持，目前支持的有 Java，Scala，Python 和 R；
• 提供了 80 多個高級 API，可以輕松地構建應用程序；
• 支持批處理，流處理和復雜的業務分析；
• 豐富的類庫支持：包括 SQL，MLlib，GraphX 和 Spark Streaming 等庫，并且可以將它們無縫地進行組合；
• 豐富的部署模式：支持本地模式和自帶的集群模式，也支持在 Hadoop，Mesos，Kubernetes 上運行；
• 多數據源支持：支持訪問 HDFS，Alluxio，Cassandra，HBase，Hive 以及數百個其他數據源中的數據。

三、集群架構

執行過程：

1. 用戶程序創建 SparkContext 后，它會連接到集群資源管理器，集群資源管理器會為用戶程序分配計算資源，并啟動 Executor；
2. Dirver 將計算程序劃分為不同的執行階段和多個 Task，之后將 Task 發送給 Executor；
3. Executor 負責執行 Task，并將執行狀態匯報給 Driver，同時也會將當前節點資源的使用情況匯報給集群資源管理器。

四、核心組件

Spark 基于 Spark Core 擴展了四個核心組件，分別用于滿足不同領域的計算需求。

3.1 Spark SQL

Spark SQL 主要用于結構化數據的處理。其具有以下特點：

• 能夠將 SQL 查詢與 Spark 程序無縫混合，允許您使用 SQL 或 DataFrame API 對結構化數據進行查詢；
• 支持多種數據源，包括 Hive，Avro，Parquet，ORC，JSON 和 JDBC；
• 支持 HiveQL 語法以及用戶自定義函數 (UDF)，允許你訪問現有的 Hive 倉庫；
• 支持標準的 JDBC 和 ODBC 連接；
• 支持優化器，列式存儲和代碼生成等特性，以提高查詢效率。

3.2 Spark Streaming

Spark Streaming 主要用于快速構建可擴展，高吞吐量，高容錯的流處理程序。支持從 HDFS，Flume，Kafka，Twitter 和 ZeroMQ 讀取數據，并進行處理。

Spark Streaming 的本質是微批處理，它將數據流進行極小粒度的拆分，拆分為多個批處理，從而達到接近于流處理的效果。

3.3 MLlib

MLlib 是 Spark 的機器學習庫。其設計目標是使得機器學習變得簡單且可擴展。它提供了以下工具：

• 常見的機器學習算法：如分類，回歸，聚類和協同過濾；
• 特征化：特征提取，轉換，降維和選擇；
• 管道：用于構建，評估和調整 ML 管道的工具；
• 持久性：保存和加載算法，模型，管道數據；
• 實用工具：線性代數，統計，數據處理等。

3.4 Graphx

GraphX 是 Spark 中用于圖形計算和圖形并行計算的新組件。在高層次上，GraphX 通過引入一個新的圖形抽象來擴展 RDD(一種具有附加到每個頂點和邊緣的屬性的定向多重圖形)。為了支持圖計算，GraphX 提供了一組基本運算符（如： subgraph，joinVertices 和 aggregateMessages）以及優化后的 Pregel API。此外，GraphX 還包括越來越多的圖形算法和構建器，以簡化圖形分析任務。

更多大數據系列文章可以參見 GitHub 開源項目： 大數據入門指南