作者信息

Elesdspline
目前從事NLP與知識(shí)圖譜相關(guān)工作。

工作中需熟練掌握的Hadoop命令

導(dǎo)讀

工作中經(jīng)常要用到一些Hadoop命令，這里簡(jiǎn)單列舉一下，熟悉基本的命令操作，工作效率事半功倍。

Hadoop的基本命令與Linux的基本命令非常相似，對(duì)于熟練Linux的同學(xué)來(lái)說(shuō)，看五分鐘就get到重點(diǎn)了。

Hadoop基本常用命令

在介紹基本常用命令之前，這里有三個(gè)命令先加以區(qū)分，即 hadoop fs、hadoop dfs 與 hdfs dfs 三個(gè)命令。這三個(gè)命令都可以完成一些基本的操作，但是稍微有所不同，具體如下：

fs 是一個(gè)通用的文件系統(tǒng)，可以指向任何的文件系統(tǒng)如本地系統(tǒng)local，分布式HDFS等， dfs 僅是針對(duì)HDFS的。

hadoop fs : 該命令可以用于其他文件系統(tǒng)，不僅僅是HDFS系統(tǒng)，該命令的使用范圍更廣。

hadoop dfs: 該命令專(zhuān)門(mén)針對(duì)HDFS分布式文件系統(tǒng)

hdfs dfs: 和 haddoop dfs 命令作用一樣，在使用 hadoop dfs 命令時(shí)內(nèi)部會(huì)轉(zhuǎn)化為 hdfs dfs命令，相比之下，更為推薦。

下面我們以 hadoop fs 命令來(lái)嘗試學(xué)習(xí)常用的基本命令。

命令基本格式:

hadoop?fs?-cmd?

列出目錄下的文件和文件夾

列出目錄下的文件和文件夾
hadoop?fs?-ls?/home/data/basic?

遞歸列出目錄下的文件和文件夾
hadoop?fs?-ls?-R?/home/data/basic?

創(chuàng)建文件夾

一級(jí)一級(jí)的建目錄，父目錄不存在會(huì)報(bào)錯(cuò)
hadoop?fs?-mkdir?/home/data/basic/new

創(chuàng)建的目錄如果父目錄不存在同時(shí)創(chuàng)建該父目錄
hadoop?fs?-mkdir?-p?/home/data/basic/new

上傳文件

hadoop?fs?-put?<local?file>?
hadoop?fs?-put?./text.txt?/home/data/basic/new/text.txt
hdfs?file?的父目錄要存在
hadoop?fs?-put?<local?file?or?dir>?
hadoop?fs?-put?./test.txt?/home/data/basic/new/
hdfs?dir目錄要存在

下載文件

hadoop?fs?-get??local?file?or?dir>
hadoop?fs?-get?/home/data/basic/new/text.txt?./tmp
local?file?和?hdfs?file?的名字不能相同，否則會(huì)提示文件已存在，沒(méi)有重名的文件會(huì)復(fù)制到本地

也可以采用查看文件重定向的方式
hadoop?fs?-text?/home/data/basic/new/text.txt?>?./tmp/text.txt

查看文件

hadoop?fs?-text?/home/data/basic/new/text.txt?
hadoop?fs?-cat?/home/data/basic/new/text.txt

刪除文件(文件夾)

刪除文件
hadoop?fs?-rm?/home/data/basic/new/text.txt
刪除文件夾
hadoop?fs?-rm?-r?/home/data/basic/new/

查看文件大小

hadoop?fs?-du?/home/data/basic

合并文件

hadoop?fs?-getmerge??<local?file>
將?hdfs?dir下面的所有文件經(jīng)過(guò)排序合并到?local?file?文件
hadoop?fs?-getmerge?/home/data/basic/new/?./merge.txt

拷貝文件

hadoop?fs?-cp??
將hdfs?file?拷貝到另外的hdfs路徑下，目標(biāo)文件不能存在，否則出錯(cuò)
hadoop?fs?-cp??
目標(biāo)文件夾要存在，否在出錯(cuò)

移動(dòng)文件

hadoop?fs?-mv??
目標(biāo)文件不能存在，否則出錯(cuò)
hadoop?fs?-mv??
源文件有多個(gè)時(shí)，目標(biāo)文件夾必須存在

查看文件目錄信息

hadoop?fs?-count?/home/data/basic
統(tǒng)計(jì)hdfs對(duì)應(yīng)路徑下的目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小
顯示為目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小，輸入路徑

---

歡迎點(diǎn)贊、在看、分享三步走哈~

總結(jié)

以上是生活随笔為你收集整理的hadoop put命令的格式_工作中需熟练掌握的Hadoop命令的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。