Spark的HA是如何處理的

本篇內容介紹了“Spark的HA是如何處理的”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

Q1：Master和Driver的是同一個東西嗎？

• 兩者不是同一個東西，在Standalone模式下Master是用于集群資源管理和調度的，而Driver適用于指揮Worker上的Executor通過多線的方式處理任務的；

• Master位于集群的管理節點，一般和 NameNode在同一個節點上；

• Driver一般都位于客戶機上，客戶機一般都不屬于集群，但是和集群在同一個網絡環境下，因為客戶機中的Driver要和集群中的Executor頻繁的交互；

Q2：Standalone和Yarn之間如何選擇

• Standalone和Yarn都是用于資源管理的系統，Standalone是專門為Spark打造的資源管理和分配方式，是輕量級的，而Yarn是大數據通用的資源管理框架，不僅可以用于管理Spark頂點資源分配，也可以用于管理實現了Yarn的其它計算平臺的資源管理和分配；

• 如果在生產系統中有多套計算框架 ，例如Spark、MapReduce、Mahout并存，建議使用Yarn或者Mesos進行資源統一的管理和調度；如果只使用Spark的話，建議使用Standalone就足夠了，Yarn比較消耗資源；

Q3：Spark 的HA怎么處理的？

• 對于Master的HA，在Standalone模式下，Worker節點自動是HA的，對于Master的HA，一般采用Zookeeper；

• Utilizing ZooKeeper to provide leader election and some state storage, you can launch multiple Masters in your cluster connected to the same ZooKeeper instance. One will be elected “leader” and the others will remain in standby mode. If the current leader dies, another Master will be elected, recover the old Master’s state, and then resume scheduling. The entire recovery process (from the time the the first leader goes down) should take between 1 and 2 minutes. Note that this delay only affects scheduling new applications – applications that were already running during Master failover are unaffected；

• 對于Yarn和Mesos模式，ResourceManager一般也會采用ZooKeeper進行HA;

“Spark的HA是如何處理的”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！