您好,登錄后才能下訂單哦!
這篇文章主要介紹了DataWorks如何使用Shell節點調用自定義資源組執行腳本,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
1.1根據文檔添加對應空間下的自定義資源組
https://help.aliyun.com/document_detail/169950.html
1.2查看添加的自定義資源組
1.3登陸添加為自定義資源組的ECS,建立對應目錄,并給admin用戶設置權限
目錄下的odps_haudong為MaxCompute的客戶端
upfile.txt內容為
chown -R amdin:admin /home
2.1創建臨時節點,并執行以下語句
create table shell_test(key string);insert overwrite table shell_test values('hadoop'),('kafka'),('habse');select * from shell_test;
查看當前數據展示
2.2建立手動業務流程,并配置Shell腳本,以及添加調度資源組為自定義資源組
/home/export/odps_huadong/bin/odpscmd -e "tunnel upload -overwrite true /home/export/upfile.txt shell_test"
3.1提交業務流程
3.2發布任務到生產環境,并在手動任務執行
顯示執行命令成功
4.1返回數據開發界面執行語句,確認數據是否被覆蓋寫入
select * from shell_test;
可以看到數據寫入成功
感謝你能夠認真閱讀完這篇文章,希望小編分享的“DataWorks如何使用Shell節點調用自定義資源組執行腳本”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。