溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
采用Apache版本spark1.2.1時沒有出現亂碼，但spark-1.1.0-cdh6.2.1版本中，在分布處理的map函數里對數據進行打印輸出進行debug時
val rs = rdd.filter(e => {val (lable,text) = (e._2(2), e._2(3)); m.filterItem(lable, text) })
.reduceByKey((x,y) => m.merge(x, y))
.map{case (x,y) => {println(x + "\t" + y); (x._1.toLong, x._2, y(1), y(3) )}}發現stdout文件里面中文內容亂碼
(5,?????????????) List(????????????? ? ??, http://xinligs.cn.china.cn/, A0, ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,, false, 4, 7) ????????????? 17 ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,
在/var/run/spark/work/目錄中查看對應app-20150605171809-0003中的stdout文件
stderr: ASCII C++ program text stdout: UTF-8 Unicode text, with very long lines
stdout是ASCII編碼的，對中文肯定顯示不了
在使用service啟動Java程序時，機器上hadoop中stdout輸出的日志也是是中文亂碼
修改 /sbin/service ，在env -i 后面加上 LANG="$LANG"
重啟spark的各節點
service spark-master restart service spark-worker restart
最后日志中文顯示正常
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
