spark如何整合hadoop

這篇文章主要介紹了spark如何整合hadoop，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

Spark應用程序有兩部分組成
1.Driver 2 Executor
Spark基本概念
Application基于Spark的用戶程序，包含一個Driver 和集群的多個executor
Driver program運行Application的main函數并創建SparkContext通常用SparkContxet代表Driver Programe
Executor是為某Application運行在work node上的一個進程，該進程負責運行task，并且負責將數據存在內存
或者磁盤上，每個Application都有各自獨立的executor
Cluster manager，在集群上獲取集群資源的外部服務列如Standalone,Mesos ,yarn
worker node 集群中任何可以運行application代碼的節點
task被送到某個executor的工作單元
job包含多個task組成的并行運算，往往由spark action催生，該術語可以經常在日志中看到
rdd由spark的基本計算單元，可以通過一系列算子操作，主要有transaformation和action操作
并行化scala集合
spark使用parallelize方法轉換成RDD
val rdd1=sc.parallelize(Array(1,2,3,4,5))
val rdd2=sc.parallelize(List(0 to 10),5)
參數是slice對數據集切片，每一個slice啟動一個task進行處理
Spark支持text files可以支持讀取本地文件，支持整個目錄讀取，壓縮文件的讀取gzip 通配符的讀取第二個參數是分片可選
使用wholeTextFiles讀取目錄里面的小文件
使用sequenceF可以將sequenceFile轉換成rdd
使用hadoopRDD方法可以將其他任何hadoop的輸入類型轉化為RDD
廣播變量
廣播變量緩存到各個節點內存中，而不是每個task
廣播變量創建后，能在任何運行的函數中調用
廣播變量是只讀的，不能在廣播后修改
對于大數據集的廣播，spark嘗試用高效的傳播算法來降低通信成本
使用方法 val broadcastVar=sc.broadcast(Array(1,2,3))
broadcastVar.value
累加器
累加器只支持加法操作
累加器可以高效的并行，用于實現計數器和變量求和
Spark支持原生類型和標準可變的集合計數器，但用戶可以添加新的類型
只有驅動程序才能獲取累加器的值
使用方法
val accnum=sc.accumulator(0)
sc.parallelize(Array(1,2,3,4)).foreach(x=>accnum+=x)
accnum.value

spark要啟動start all
[root@localhost bin]# ./spark-submit --master spark://127.0.0.1:7077 --class week2.SougoQA --executor-memory 3g scala.jar hdfs://127.0.0.1:9000/dataguru/data/SogouQ1.txt hdfs://127.0.0.1:9000/dataguru/week2/output
./spark-submit --master  --class week2.SougoQA --executor-memory 3g scala.jar hdfs://127.0.0.1:9000/dataguru/data/SogouQ1.txt hdfs://127.0.0.1:9000/dataguru/week2/output

感謝你能夠認真閱讀完這篇文章，希望小編分享的“spark如何整合hadoop”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!