本文轉(zhuǎn)自：http://blog.csdn.net/zcf1002797280/article/details/49560961

在Hadoop/bin 目錄下使用下列命令，前面要加./

ls 命令

hadoop fs -ls /

列出hdfs文件系統(tǒng)根目錄下的目錄和文件

hadoop fs -ls -R /

列出hdfs文件系統(tǒng)所有的目錄和文件

Put 命令

hadoop fs -put < local file > < hdfs file >

hdfs file的父目錄一定要存在，否則命令不會(huì)執(zhí)行(一次將多個(gè)文件進(jìn)行傳輸)

hadoop fs -put < local file or dir >...< hdfs dir >

hdfs dir 一定要存在，否則命令不會(huì)執(zhí)行

hadoop fs -put - < hdsf file>

從鍵盤讀取輸入到hdfs file中，按Ctrl+D結(jié)束輸入，hdfs file不能存在，否則命令不會(huì)執(zhí)行

moveFromLocal 命令

hadoop fs -moveFromLocal < local src > ... < hdfs dst >

與put相類似，命令執(zhí)行后源文件 local src 被刪除，也可以從從鍵盤讀取輸入到hdfs file中

copyFromLocal 命令

hadoop fs -copyFromLocal < local src > ... < hdfs dst >

與put相類似，也可以從從鍵盤讀取輸入到hdfs file中

get 命令

hadoop fs -get < hdfs file > < local file or dir>

local file不能和 hdfs file名字不能相同，否則會(huì)提示文件已存在，沒有重名的文件會(huì)復(fù)制到本地

hadoop fs -get < hdfs file or dir > ... < local dir >

拷貝多個(gè)文件或目錄到本地時(shí)，本地要為文件夾路徑

注意：如果用戶不是root， local 路徑要為用戶文件夾下的路徑，否則會(huì)出現(xiàn)權(quán)限問題，

moveToLocal 命令

當(dāng)前版本中還未實(shí)現(xiàn)此命令

copyToLocal 命令

hadoop fs -copyToLocal < local src > ... < hdfs dst >

與get相類似

rm 命令

hadoop fs -rm < hdfs file > ...

hadoop fs -rm -r < hdfs dir>...

每次可以刪除多個(gè)文件或目錄

mkdir 命令

hadoop fs -mkdir < hdfs path>

只能一級(jí)一級(jí)的建目錄，父目錄不存在的話使用這個(gè)命令會(huì)報(bào)錯(cuò)

hadoop fs -mkdir -p < hdfs path>

所創(chuàng)建的目錄如果父目錄不存在就創(chuàng)建該父目錄

getmerge 命令

hadoop fs -getmerge < hdfs dir > < local file >

將hdfs指定目錄下所有文件排序后合并到local指定的文件中，文件不存在時(shí)會(huì)自動(dòng)創(chuàng)建，文件存在時(shí)會(huì)覆蓋里面的內(nèi)容

hadoop fs -getmerge -nl < hdfs dir > < local file >

加上nl后，合并到local file中的hdfs文件之間會(huì)空出一行

cp 命令

hadoop fs -cp < hdfs file > < hdfs file >

目標(biāo)文件不能存在，否則命令不能執(zhí)行，相當(dāng)于給文件重命名并保存，源文件還存在

hadoop fs -cp < hdfs file or dir >... < hdfs dir >

目標(biāo)文件夾要存在，否則命令不能執(zhí)行

mv 命令

hadoop fs -mv < hdfs file > < hdfs file >

目標(biāo)文件不能存在，否則命令不能執(zhí)行，相當(dāng)于給文件重命名并保存，源文件不存在

hadoop fs -mv < hdfs file or dir >... < hdfs dir >

源路徑有多個(gè)時(shí)，目標(biāo)路徑必須為目錄，且必須存在。

注意：跨文件系統(tǒng)的移動(dòng)(local到hdfs或者反過來)都是不允許的

count 命令

hadoop fs -count < hdfs path >

統(tǒng)計(jì)hdfs對(duì)應(yīng)路徑下的目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小

顯示為目錄個(gè)數(shù)，文件個(gè)數(shù)，文件總計(jì)大小，輸入路徑

du 命令

hadoop fs -du < hdsf path>

顯示hdfs對(duì)應(yīng)路徑下每個(gè)文件夾和文件的大小

hadoop fs -du -s < hdsf path>

顯示hdfs對(duì)應(yīng)路徑下所有文件和的大小

hadoop fs -du - h < hdsf path>

顯示hdfs對(duì)應(yīng)路徑下每個(gè)文件夾和文件的大小,文件的大小用方便閱讀的形式表示，例如用64M代替67108864

text 命令

hadoop fs -text < hdsf file>

將文本文件或某些格式的非文本文件通過文本格式輸出

setrep 命令

hadoop fs -setrep -R 3 < hdfs path >

改變一個(gè)文件在hdfs中的副本個(gè)數(shù)，上述命令中數(shù)字3為所設(shè)置的副本個(gè)數(shù)，-R選項(xiàng)可以對(duì)一個(gè)人目錄下的所有目錄+文件遞歸執(zhí)行改變副本個(gè)數(shù)的操作

stat 命令

hdoop fs -stat [format] < hdfs path >

返回對(duì)應(yīng)路徑的狀態(tài)信息

[format]可選參數(shù)有：%b(文件大小)，%o(Block大小)，%n(文件名)，%r(副本個(gè)數(shù))，%y(最后一次修改日期和時(shí)間)

可以這樣書寫hadoop fs -stat %b%o%n < hdfs path >，不過不建議，這樣每個(gè)字符輸出的結(jié)果不是太容易分清楚

tail 命令

hadoop fs -tail < hdfs file >

在標(biāo)準(zhǔn)輸出中顯示文件末尾的1KB數(shù)據(jù)

archive 命令

hadoop archive -archiveName name.har -p < hdfs parent dir > < src >* < hdfs dst >

命令中參數(shù)name：壓縮文件名，自己任意取；

< hdfs parent dir > ：壓縮文件所在的父目錄；

< src >：要壓縮的文件名；

< hdfs dst >：壓縮文件存放路徑

*示例：hadoop archive -archiveName hadoop.har -p /user 1.txt 2.txt /des

示例中將hdfs中/user目錄下的文件1.txt，2.txt壓縮成一個(gè)名叫hadoop.har的文件存放在hdfs中/des目錄下，如果1.txt，2.txt不寫就是將/user目錄下所有的目錄和文件壓縮成一個(gè)名叫hadoop.har的文件存放在hdfs中/des目錄下

顯示har的內(nèi)容可以用如下命令：

hadoop fs -ls /des/hadoop.jar

顯示har壓縮的是那些文件可以用如下命令

hadoop fs -ls -R har:///des/hadoop.har

注意：har文件不能進(jìn)行二次壓縮。如果想給.har加文件，只能找到原來的文件，重新創(chuàng)建一個(gè)。har文件中原來文件的數(shù)據(jù)并沒有變化，har文件真正的作用是減少NameNode和DataNode過多的空間浪費(fèi)。

balancer 命令

hdfs balancer

如果管理員發(fā)現(xiàn)某些DataNode保存數(shù)據(jù)過多，某些DataNode保存數(shù)據(jù)相對(duì)較少，可以使用上述命令手動(dòng)啟動(dòng)內(nèi)部的均衡過程

dfsadmin 命令

hdfs dfsadmin -help

管理員可以通過dfsadmin管理HDFS，用法可以通過上述命令查看

hdfs dfsadmin -report

顯示文件系統(tǒng)的基本數(shù)據(jù)

hdfs dfsadmin -safemode < enter | leave | get | wait >

enter：進(jìn)入安全模式；leave：離開安全模式；get：獲知是否開啟安全模式；

wait：等待離開安全模式

distcp 命令

用來在兩個(gè)HDFS之間拷貝數(shù)據(jù)

總結(jié)

以上是生活随笔為你收集整理的hdfs mv命令_Hdfs常用命令的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。