Spark Broadcast運行機制解密（42）

 一、Broadcast徹底解密

    1、Broadcast就是將數據從一個節點發送到其他節點。

   2、Broadcast是分布式的共享數據，默認情況下只要程序運行Broadcast變量就會存在，因為Broadcast底層是由BlockManager管理的，但是也可以手動銷毀Broadcast變量。

   3、Broadcast一般用于處理共享的配置文件，通用的Dataset、常用的數據結構等等，但是不適合存放太大的數據在Broadcast,Broadcast不會內存溢出，因為其數據的保存的StorageLevel是MEMORY_AND_DISK，雖然如此，也不可以放太大的數據，因為網絡IO和可能的單點壓力會非常大。

   4、廣播的Broadcast變量是只讀變量，保持了數據的一致性。

   5、Broadcast的使用：

     * {{{

     * scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))

     * broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

     *

     * scala> broadcastVar.value

     * res0: Array[Int] = Array(1, 2, 3)

     * }}}
   6、HttpBroadcast方式的Broadcast:最開始的時候數據存在Driver的文件系統中，Driver會在本地創建一個文件夾存放Broadcast中的data，然后啟動HttpServer來訪問文件夾中的數據，同時寫入到BlockManager中，獲得BlockId（BroacastBlockId）。當第一次Executor中Task要訪問Broadcast變量的時候，會向Driver通過HttpServer來訪問數據，然后會在Executor中的BlockManager中注冊，這樣后續的Task需要訪問Broadcast變量的時候會首先查詢當前Executor的BlockManager中是否存在，如果存在就就直接獲取數據。

    7、BroadcastManager是用來管理Broadcast的，該對象是在SparkContext創建SparkEnv的時候創建的。在實例化BroadcastManager的時候會創建BroadcastFactory工廠來構建具體的Broadcst類型，默認是TorrentBroadcastFactory。

    8、HttpBroadcast存在單點故障和網絡IO性能問題，所以默認使用TorrentBroadcast的方式，開始數據存放在Driver端，假設A點需要訪問數據，就會去Driver端拿數據，然后在本地存儲一份，A節點也就擁有了一個副本，A節點也就成了數據源，降低了節點壓力。

     9、TorrentBroadcast按照BLOCK_SIZE（默認4m）將Broadcast中的數據劃分成不同的block，然后講分塊信息也就是meta信息存放到Driver端的BlockManager中，同時會通知BlockManagerMaster說明meta信息存放完畢。

二、Broadcast源碼解密

    當廣播數據的時候，會調用SparkContext的broadcast方法，在方法內部，Broadcast是由BroadcastManager管理創建的，而BroadcastManager又是有SparkEnv管理的，

SparkEnv是由SparkContext中的createSparkEnv創建的，進而調用SparkEnv的createDriverEnv方法，最終會調用create自身的方法，構建一些所需的組建。管理Broadcast的BoradcastManager就在此方法中創建。

在創建BroadcastManager實例的時候，回調用initialize初始化方法，創建BoradcastFactory，默認是TorrentBroadcastFactory：咋

BroadcastManager初始化之后，就可以調用newBroadcast方法，根據BroadcastFactory創建相應的Broadcast（TorrentBroadcast）進行數據的廣播：

TorrentBroadcastFactory的newBroadcast方法創建一個TorrentBroadcast實例。當我們進行數據的廣播的時候，會調用writeBlocks方法，將廣播的數據劃分成多個block塊（默認是4m），把這些block塊存放在Driver端：

當獲取廣播變量的值時，會調用相應Broadcast的getValue方法，在TorrentBroadcast中readBroadcastBlock方法，首先會在本地的BlockManager根據BroadcastBlockId獲取數據，如果獲取不到進而調用readBlocks方法

  TorrentBroadcast中的readBlocks方法會從Driver端或者其他的Executor獲取相應的block快數據，然后把獲取的block數據保存到Executor的BlockManager中：