Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序
生活随笔
收集整理的這篇文章主要介紹了
Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Spark API編程中在Spark 1.2版本如何實現對Job輸出結果進行排序,很多新手對此不是很清楚,為了幫助大家解決這個難題,下面小編將為大家詳細講解,有這方面需求的人可以來學習下,希望你能有所收獲。
從wordcount的輸出結果可以看出來結果是未經排序的,如何對spark的輸出結果進行排序呢?
先對reduceByKey的結果進行key,value位置置換(數字,字符),然后再進行數字排序,再將key,value位置置換后就是排序后的結果了,最終將結果存儲到HDFS中
可以發現我們成功對輸出結果進行排序!
看完上述內容是否對您有幫助呢?如果還想對相關知識有進一步的了解或閱讀更多相關文章,請關注億速云行業資訊頻道,感謝您對箭頭云的支持。
總結
以上是生活随笔為你收集整理的Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 青春美少女的意思是
- 下一篇: 春天古诗100首二年级