一.HDFS命令行

Hadoop help命令的使用

1.hadoop -help查詢所有Hadoop Shell支持的命令

2.distcp

這是Hadoop下的一個分布式復制程序，可以在不t同的HDFS集群間復制數據，也可以在本地文件間復制數據。

hadoop distcp

將/test/test.txt文件復制到/test/cp下面：hadoop distcp/test/test.txt/test/cp

將master1集群/test目錄(包含內容)復制到master2集群/test_cp目錄下：

Hadoop distcp hdfs://master1/test hdfs://master2/test_cp

3.用戶可以把MapReduce代碼捆綁到jar文件中，使用這個jar文件

命令格式：hadoop jar [mainClass]arges

4.archive 創建一個Hadoop存檔文件，這是一種特殊的文檔格式。一個Hadoop archive對應一個文件系統目錄。Hadoop archive的擴展名為*.har。可以將文件寫入HDFS塊，一定程度上解決了大量小文件耗費NameNode節點的現象，同時允許對文件的透明訪問。

命令格式：hadoop archive-archiveName*

命令選項：

-archiveName 要創建存檔文件的名字

src 文件系統的路徑名，和通常含正則表達式一樣

dest 保存存檔文件的目錄索引目標

for example:

1.hadoop archive-archiveName part-20170906-0.har -p/input/ child1 child2/ah_input/har

2.查看歸檔后的目錄結構：hadoop fs-lsr/

3.查看結果文件part -0的內容：hadoop fs-cat /test/in/har/0825.har/part-0

4.使用har uri訪問原始數據

har是HDFS之上的一個文件系統，因此所有fs shell命令對har文件有用，只不過路徑格式不一樣

hadoop -lsr har://ah_input/har/part-20170906-0.har

5.?用har uri訪問下一級目錄

hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input

6.遠程訪問

hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har

其中master是NameNode所在節點的主機名，8020是core-site.xml文件中的fs.defaultFS參數配置中對應的端口號

7.刪除har文件

必須使用rmr命令來刪除har文件，rm命令是不行的

hadoop fs-rmr/ah_input/har/part-20170906-0.har

除此之外，har還可以作為MapReduce的輸入進行使用。

HDFS常用命令行操作

1.dfsadmin -help

help命令會在屏幕客戶端列出dfsadmin下的命令的列表及語法的命令格式的幫助信息

hadoop dfsadmin -help

2.report

-report [-live][-dead][-decommissioning]:報告HDFS的基本信息和統計信息

3.safemode

-safemode:安全模式維護命令，可以說它是NameNode狀態。處于安全模式時，它不接受對空間名字的修改(即只讀)，同時它不復制或刪除塊。在NameNode啟動時，系統自動進入安全模式，當配置最小的Block百分比滿足最小的復制條件時，就會自動離開安全模式。安全模式也可以手動輸入，此時只能手動關閉。

4.job -history 看歷史日志匯總

5.dfs- mkdir在DFS創建目錄

hadoop dfs- mkdir/testmkdir

6.fs- put該命令上傳本地file到HDFS指定目錄

7.fs-lsr查看所有文件以及所在的目錄信息

8.fs- cat查看HDFS上的文件內容

9.fs-rm刪除指定文件

10.fs-rm-r 刪除HDFS上的文件夾以及文件夾的內容

11.fs-chmod更改HDFS文件權限

-r只讀權限

-w寫入權限

-rw讀寫權限

-x執行權限

總結

以上是生活随笔為你收集整理的hdfs复制文件夹_HDFS常用命令的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。