一.HDFS命令行

Hadoop help命令的使用

1.hadoop -help查詢所有Hadoop Shell支持的命令

2.distcp

這是Hadoop下的一個(gè)分布式復(fù)制程序，可以在不t同的HDFS集群間復(fù)制數(shù)據(jù)，也可以在本地文件間復(fù)制數(shù)據(jù)。

hadoop distcp

將/test/test.txt文件復(fù)制到/test/cp下面：hadoop distcp/test/test.txt/test/cp

將master1集群/test目錄(包含內(nèi)容)復(fù)制到master2集群/test_cp目錄下：

Hadoop distcp hdfs://master1/test hdfs://master2/test_cp

3.用戶可以把MapReduce代碼捆綁到j(luò)ar文件中，使用這個(gè)jar文件

命令格式：hadoop jar [mainClass]arges

4.archive 創(chuàng)建一個(gè)Hadoop存檔文件，這是一種特殊的文檔格式。一個(gè)Hadoop archive對(duì)應(yīng)一個(gè)文件系統(tǒng)目錄。Hadoop archive的擴(kuò)展名為*.har?？梢詫⑽募懭際DFS塊，一定程度上解決了大量小文件耗費(fèi)NameNode節(jié)點(diǎn)的現(xiàn)象，同時(shí)允許對(duì)文件的透明訪問。

命令格式：hadoop archive-archiveName*

命令選項(xiàng)：

-archiveName 要?jiǎng)?chuàng)建存檔文件的名字

src 文件系統(tǒng)的路徑名，和通常含正則表達(dá)式一樣

dest 保存存檔文件的目錄索引目標(biāo)

for example:

1.hadoop archive-archiveName part-20170906-0.har -p/input/ child1 child2/ah_input/har

2.查看歸檔后的目錄結(jié)構(gòu)：hadoop fs-lsr/

3.查看結(jié)果文件part -0的內(nèi)容：hadoop fs-cat /test/in/har/0825.har/part-0

4.使用har uri訪問原始數(shù)據(jù)

har是HDFS之上的一個(gè)文件系統(tǒng)，因此所有fs shell命令對(duì)har文件有用，只不過路徑格式不一樣

hadoop -lsr har://ah_input/har/part-20170906-0.har

5.?用har uri訪問下一級(jí)目錄

hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input

6.遠(yuǎn)程訪問

hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har

其中master是NameNode所在節(jié)點(diǎn)的主機(jī)名，8020是core-site.xml文件中的fs.defaultFS參數(shù)配置中對(duì)應(yīng)的端口號(hào)

7.刪除har文件

必須使用rmr命令來刪除har文件，rm命令是不行的

hadoop fs-rmr/ah_input/har/part-20170906-0.har

除此之外，har還可以作為MapReduce的輸入進(jìn)行使用。

HDFS常用命令行操作

1.dfsadmin -help

help命令會(huì)在屏幕客戶端列出dfsadmin下的命令的列表及語法的命令格式的幫助信息

hadoop dfsadmin -help

2.report

-report [-live][-dead][-decommissioning]:報(bào)告HDFS的基本信息和統(tǒng)計(jì)信息

3.safemode

-safemode:安全模式維護(hù)命令，可以說它是NameNode狀態(tài)。處于安全模式時(shí)，它不接受對(duì)空間名字的修改(即只讀)，同時(shí)它不復(fù)制或刪除塊。在NameNode啟動(dòng)時(shí)，系統(tǒng)自動(dòng)進(jìn)入安全模式，當(dāng)配置最小的Block百分比滿足最小的復(fù)制條件時(shí)，就會(huì)自動(dòng)離開安全模式。安全模式也可以手動(dòng)輸入，此時(shí)只能手動(dòng)關(guān)閉。

4.job -history 看歷史日志匯總

5.dfs- mkdir在DFS創(chuàng)建目錄

hadoop dfs- mkdir/testmkdir

6.fs- put該命令上傳本地file到HDFS指定目錄

7.fs-lsr查看所有文件以及所在的目錄信息

8.fs- cat查看HDFS上的文件內(nèi)容

9.fs-rm刪除指定文件

10.fs-rm-r 刪除HDFS上的文件夾以及文件夾的內(nèi)容

11.fs-chmod更改HDFS文件權(quán)限

-r只讀權(quán)限

-w寫入權(quán)限

-rw讀寫權(quán)限

-x執(zhí)行權(quán)限

總結(jié)

以上是生活随笔為你收集整理的hadoop put命令的格式_HDFS常用命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。