溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關Spark工作流程是怎樣的呢，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
一、Spark架構組成圖：
The following table summarizes terms you’ll see used to refer to cluster concepts:
| Term | Meaning |
|---|---|
| Application | 基于Spark的用戶程序(創建了一個SparkContext).由一個driver 進程和N個executor 進程 on the cluster模式下. |
| Application jar | Spark包含的jar包 |
| Driver program | 一個Driver進程運行 main()方法,創建一個SparkContext |
| Cluster manager | 提交集群(--master local/standalone/on yarn)模式下的資源管理(提交設置code memory....) |
| Deploy mode | 區分Driver進程在什么地方cluster or client,主要區別是Driver在本地還是集群的Container里 |
| Worker node | 運行Spark代碼的應用程序的節點(standalone模式概念),在(on yarn)模式下是NodeManager |
| Executor | 一個Executor進程,運行在Container里,能夠運行我們Task,保存數據到內存里或者磁盤上，每一個應用程序有自己獨立的Executor |
| Task | 最小的工作單元,Driver發送代碼到Executor然后Task執行 |
| Job | 每一個Action就會產生job(map,conllect) |
| Stage | 每個Job被拆成Task集合,遇到shuffle會stage+1 |
以上就是Spark工作流程是怎樣的呢，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
