您好,登錄后才能下訂單哦!
Spark API編程中在Spark 1.2版本如何實現對Job輸出結果進行排序,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。
從wordcount的輸出結果可以看出來結果是未經排序的,如何對spark的輸出結果進行排序呢?
先對reduceByKey的結果進行key,value位置置換(數字,字符),然后再進行數字排序,再將key,value位置置換后就是排序后的結果了,最終將結果存儲到HDFS中
可以發現我們成功對輸出結果進行排序!
看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注億速云行業資訊頻道,感謝您對億速云的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。