溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關如何安裝和使用Pig框架，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
Pig是一個利用mapreduce進行計算的框架。有自己的一套語法Pig latin，可以非常方便的書寫計算代碼。
1、如何使用Pig?
解壓縮之后，修改文件conf/pig.properties，增加兩行內容，如下:
fs.default.name=hdfs://hadoop0:9000
mapred.job.tracker=hadoop0:9001
保存退出后，執行bin/pig進行命令行.
2、使用pig完成電信手機號碼統計流量例子：
#加載hdfs中的數據
這里的A是別名
A = LOAD '/Kpi' AS (f0：chararray，f1：chararray，f2：chararray，f3：chararray，f4：chararray);
DUMP A; //查看結果A
#過濾A中有用的字段
B = FOREACH A GENERATE f1,f2,f3,f4;
DUMP B; //查看結果B
#對B中的記錄按照f1進行分組
C = GROUP B BY f1;
DUMP C; //查看結果C
#對分組后的記錄，按照分組字段進行累加
D = FOREACH C GENERATE group , SUM(B.f1)，SUM(B.f2)，SUM(B.f3);
DUMP D; //查看結果D
#把最后的結果保存到HDFS中
STORE D INTO '/out';
3、以上的Pig命令可以放到一個文件中執行文件內容是如下，執行方式pig kpi.pig
內容如同上面一樣。
關于“如何安裝和使用Pig框架”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
