Flink on Yarn的部署和設置

這篇文章主要講解了“Flink on Yarn的部署和設置”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Flink on Yarn的部署和設置”吧！

執行ansible腳本部署CDH和Flink(ansible電腦)

1. 進入ansible電腦的<font color="blue">~/playbooks</font>目錄，經過上一篇的準備工作，該目錄下應該是下圖這些內容：

2. 檢查ansible遠程操作CDH服務器是否正常，執行命令<font color="blue">ansible deskmini -a "free -m"</font>，正常情況下顯示CDH服務器的內存信息，如下圖：

3. 執行命令開始部署：<font color="blue">ansible-playbook cm6-cdh6-flink1.7-single-install.yml</font>

4. 整個部署過程涉及在線安裝、傳文件等耗時的操作，因此請耐心等待（半小時左右），如果部署期間出錯退出（例如網絡問題），只需重復執行上述命令即可，ansible保證了操作的冪等性；

5. 部署成功如下圖所示：

重啟CDH服務器

由于修改了selinux和swap的設置，需要重啟操作系統才能生效，因此請重啟CDH服務器；

執行ansible腳本啟動CDH服務(ansible電腦)

1. 等待CDH服務器重啟成功；

2. 登錄ansible電腦，進入<font color="blue">~/playbooks</font>目錄；

3. 執行初始化數據庫和啟動CDH的腳本：<font color="blue">ansible-playbook cdh-single-start.yml</font>

4. 啟動完成輸出如下信息：

5. ssh登錄CDH服務器，執行此命令觀察CDH服務的啟動情況：<font color="blue">tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log</font>，看到下圖紅框中的內容時，表示啟動完成，可以用瀏覽器登錄了：

設置(瀏覽器操作)

現在CDH服務已經啟動了，可以通過瀏覽器來操作：

1. 瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是<font color="blue">admin</font>：

2. 一路next，在選擇版本頁面選擇60天體驗版：

3. 選擇主機頁面可見CDH服務器（deskmini）：

4. 在選擇CDH版本的頁面，請選擇下圖紅框中的<font color="blue">5.16.2-1</font>：

5. 進入安裝Parcel的頁面，由于提前上傳了離線parcle包，因此下載進度瞬間變成百分之百，此時請等待分配、解壓、激活的完成：

6. 接下來有一些推薦操作，這里選擇如下圖紅框，即可跳過：

7. 接下來是選擇服務的頁面，我選擇了自定義服務，然后選擇了<font color="blue">HDFS、YARN、Zookeeper</font>這三項，可以滿足運行Flink的需要：

8. 在選擇主機的頁面，都選擇CDH服務器：

9. 接下來是數據庫設置的頁面，<font color="red">您填寫的內容必須與下圖保持一致</font>，即主機名為<font color="blue">localhost</font>，Activity Monitor的數據庫、用戶、密碼都是<font color="red">amon</font>，Reports Manager的數據庫、用戶、密碼都是<font color="red">rman</font>，這些內容在ansible腳本中已經固定了，此處的填寫必須保持一致：

10. 在設置參數的頁面，請按照您的硬盤實際情況設置，我這里<font color="blue">/home</font>目錄下空間充足，因此存儲位置都改為<font color="blue">/home</font>目錄下：

11. 等待服務啟動：

12. 各服務啟動完成：

YARN設置

默認的YARN參數是非常保守的，需要做一些設置才能順利執行Flink任務：

1. 點下圖紅框位置，進入YARN管理頁：

2. 如下圖所示，檢查參數<font color="blue">yarn.nodemanager.resource.cpu-vcores</font>的值，該值必須大于1，否則提交Flink任務后YARN不分配資源執行任務，（如果您的CDH服務器是虛擬機，當CPU只有單核時，則此參數就會被設置為1，解決辦法是先提升虛擬機CPU核數，再來修改此參數）：

3. <font color="blue">yarn.scheduler.minimum-allocation-mb</font>：單個容器可申請的最小內存，我這里設置為<font color="red">1G</font>

4. <font color="blue">yarn.scheduler.maximum-allocation-mb</font>：單個容器可申請的最大內存，我這里設置為<font color="red">8G</font>

5. <font color="blue">yarn.nodemanager.resource.memory-mb</font>：節點最大可用內存，我這里設置為<font color="red">8G</font>

6. 上述三個參數的值，是基于我的CDH服務器有32G內存的背景，請您按照自己硬件資源自行調整；

7. 設置完畢后重啟YARN服務，操作如下圖所示：

8. 至此，部署和設置都已完成，Flink on Yarn的環境已經可用了。

感謝各位的閱讀，以上就是“Flink on Yarn的部署和設置”的內容了，經過本文的學習后，相信大家對Flink on Yarn的部署和設置這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！