hadoop学习--数据排序
生活随笔
收集整理的這篇文章主要介紹了
hadoop学习--数据排序
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
對(duì)輸入文件中的數(shù)據(jù)進(jìn)行排序,輸入文件中每行為一個(gè)數(shù)字。輸出的每行為2個(gè)間隔的數(shù)字,第一個(gè)代表序號(hào),第二個(gè)代表原始數(shù)字。
輸入:
2
7
5
1
7
6
8
7
輸出:
1 1
2 2
3 5
4 6
5 7
6 7
7 7
8 8
1、設(shè)計(jì)思路
在map過(guò)程中就有排序,因此利用這個(gè)默認(rèn)的排序。并將其作為key值輸出。reduce得到<Key,value-list>,將key值作為value輸出,根據(jù)value-list的個(gè)數(shù)確定輸出次數(shù)。此外還需要輸出num,表示次序。
代碼如下:
[java]總結(jié)
以上是生活随笔為你收集整理的hadoop学习--数据排序的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Hadoop学习--Hive安装与配置
- 下一篇: hadoop学习--单表关联