溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關CDSW中Run Experiments異常的示例分析，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
CDSW Experiments簡介
從CDSW (Cloudera Data Science Workbench) 1.4開始，CDSW中新增了一個Experiments 功能，它允許數據科學家運行批處理實驗，跟蹤不同版本的代碼，并進行參數輸入和輸出。Experiments 是批量執行的工作負載，將代碼、輸入參數和輸出模板化。此功能還提供輕量級跟蹤輸出數據的功能，包括文件、指標和元數據用以進行比較。
測試環境：
1.RedHat7.2
2.CDH5.16.1
問題描述
當我們在項目中添加一個腳本，這里使用官方示例 add.py
import sys
import cdsw
args = len(sys.argv) - 1
sum = 0
x = 1
while (args >= x):
print ("Argument %i: %s" % (x, sys.argv[x]))
sum = sum + int(sys.argv[x])
x = x + 1
print ("Sum of the numbers is: %i." % sum)
參數如下：
run experiments ，會出現如下錯誤
解決辦法
關于上面的問題主要在于run experiments 時，會run /home/cdsw/cdsw-build.sh,這個腳本中會執行pip install sklearn,當我們在離線的環境下，無法安裝sklearn 包，就會出現該問題，那么解決該問題有兩種辦法
添加定制鏡像，引入sklearn的安裝包
如何定制鏡像可以參考Fayson 之前的文章《如何基于CDSW基礎鏡像定制Docker》和《如何在CDSW中定制Docker鏡像》這里不多描述，定制完成后選擇新的鏡像并保存
然后重新打開會話，run experiments
發現可以正常pip install sklearn，并成功執行完成
到會話中注釋/home/cdsw/cdsw-build.sh 文件中的pip install sklearn
進入會話中，點擊_Terminal access
注釋/home/cdsw/cdsw-build.sh 文件中的pip install sklearn
然后再重新執行，也可以正常執行完成
關于“CDSW中Run Experiments異常的示例分析”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
