您好,登錄后才能下訂單哦!
這期內容當中小編將會給大家帶來有關為什么使用oozie coordinator,文章內容豐富且以專業的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。
Oozie所支持工作流,工作流定義通過將多個Hadoop Job的定義按照一定的順序組織起來,然后作為一個整體按照既定的路徑運行。一個工作流已經定義了,通過啟動該工作流Job,就會執行該工作流中包含的多個Hadoop Job,直到完成,這就是工作流Job的生命周期。
那么,現在我們有一個工作流Job,希望每天半夜00:00啟動運行,我們能夠想到的就是通過寫一個定時腳本來調度程序運行。如果我們有多個工作流Job,使用crontab的方式調用可能需要編寫大量的腳本,還要通過腳本來控制好各個工作流Job的執行時序問題,不但腳本不好維護,而且監控也不方便。基于這樣的背景,Oozie提出了Coordinator的概念,他們能夠將每個工作流Job作為一個動作(Action)來運行,相當于工作流定義中的一個執行節點(我們可以理解為工作流的工作流),這樣就能夠將多個工作流Job組織起來,稱為Coordinator Job,并指定觸發時間和頻率,還可以配置數據集、并發數等。一個Coordinator Job包含了在Job外部設置執行周期和頻率的語義,類似于在工作流外部增加了一個協調器來管理這些工作流的工作流Job的運行。
上述就是小編為大家分享的為什么使用oozie coordinator了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。