亚洲激情专区-91九色丨porny丨老师-久久久久久久女国产乱让韩-国产精品午夜小视频观看

溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

為什么我們生產上要選擇Spark On Yarn模式？

發布時間：2020-07-12 13:13:17 來源：網絡 閱讀：1032 作者：Stitch_x 欄目：大數據

為什么我們生產上要選擇Spark On Yarn？

開發上我們選擇local[2]模式
生產上跑任務Job，我們選擇Spark On Yarn模式 ，

將Spark Application部署到yarn中，有如下優點：

1.部署Application和服務更加方便

  • 只需要yarn服務，包括Spark，Storm在內的多種應用程序不要要自帶服務，它們經由客戶端提交后，由yarn提供的分布式緩存機制分發到各個計算節點上。

2.資源隔離機制

  • yarn只負責資源的管理和調度，完全由用戶和自己決定在yarn集群上運行哪種服務和Applicatioin，所以在yarn上有可能同時運行多個同類的服務和Application。Yarn利用Cgroups實現資源的隔離，用戶在開發新的服務或者Application時，不用擔心資源隔離方面的問題。

3.資源彈性管理

  • Yarn可以通過隊列的方式，管理同時運行在yarn集群種的多個服務，可根據不同類型的應用程序壓力情況，調整對應的資源使用量，實現資源彈性管理。

Spark On Yarn有兩種模式，一種是cluster模式，一種是client模式。

運行client模式：

  • “./spark-shell –master yarn”
  • “./spark-shell –master yarn-client”
  • “./spark-shell –master yarn –deploy-mode client”

運行的是cluster模式

  • “./spark-shell –master yarn-cluster”
  • “./spark-shell –master yarn –deploy-mode cluster”

client和cluster模式的主要區別：a. client的driver是運行在客戶端進程中b. cluster的driver是運行在Application Master之中

向AI問一下細節

免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。

AI
助
手
抚松县| 元江| 福州市| 河北区| 招远市| 三门峡市| 绿春县| 同仁县| 察隅县| 咸丰县| 上饶市| 乳源| 徐州市| 宜宾市| 庄河市| 青川县| 正定县| 青岛市| 内黄县| 合山市| 雅安市| 玉林市| 旺苍县| 田东县| 宁德市| 普陀区| 无锡市| 威宁| 边坝县| 孟津县| 象山县| 梅州市| 合肥市| 江华| 河源市| 浑源县| 冕宁县| 文安县| 中牟县| 乐山市| 青铜峡市|