用法

1.hadoop xxx

• hadoop fs命令可用于其他文件系統(tǒng)，不止是hdfs文件系統(tǒng)內(nèi)
• 也就是說該命令的使用范圍更廣，可以用于HDFS、Local FS等不同的文件系統(tǒng)

2.hdfs xxx

• hdfs dfs命令只用于hdfs文件系統(tǒng)

命令

1.用戶命令

• fsck：磁盤檢查
• dfs：這個命令很重要，單獨講
• version：版本
• classpath：類路徑
• jar
• job：運行mapreduce任務

2.管理命令

• namenode -format：格式化namenode
• secondarynamenode：運行secondarynamenode
• namenode：運行namenode
• journalnode：運行journalnode
• zkfc：故障遷移
• dfsadmin：登錄DFS客戶端
• datanode：運行datanode
• haadmin：登錄DFS HA客戶端
• balancer：run a cluster balancing utility
• daemonlog
• jobtracker

3.其他運維命令

• 不重要，先不展示了，需要思維導圖內(nèi)有，也可以百度

用戶命令之dfs

1.查看文件結(jié)構(gòu)

• 沒有cd命令：hdfs dfs -cd /
  
• 查看hdfs根目錄下文件：hdfs dfs -ls /
  
• 查看hdfs某個目錄下的所有文件：hdfs dfs -ls -R /
  

2.創(chuàng)建文件

• 在根目錄下創(chuàng)建文件：hdfs dfs -mkdir /test
  
• 遞歸創(chuàng)建多級目錄：hdfs dfs -mkdir -p /test/test1/…
  

3.移動文件

• 本地文件移動上傳hdfs某個目錄：hdfs dfs -moveFromLocal /本地文件 /hdfs文件
  
• hdfs文件移動到本地

hdfs dfs -moveToLocal /hdfs文件/ /本地目錄/

• hdfs內(nèi)部進行文件移動：hdfs dfs -mv /hdfs文件1 /hdfs文件2
  

4.上傳文件

• 本地文件放到hdfs某個目錄：hdfs dfs -put /本地文件/ /hdfs目錄/

5.下載文件

• 將hdfs文件下載到linux本地

hadoop dfs -get /hdfs文件/

6.文件內(nèi)容

• 如果數(shù)據(jù)量比較大，不能使用
• 查看hello.txt文件內(nèi)容：hdfs dfs -cat /test/hello.txt
  
• 查看文件末尾，一直等待查看：hdfs dfs -tail -f /path
• 查看文件的大小：hdfs dfs -du -h /path
• 追加一個或者多個文件到hdfs指定文件中：hdfs dfs -appendToFile /test/aa.txt /bb.txt /test/hello.txt

7.復制文件

• 本地文件復制到hdfs某個目錄

hdfs dfs -copyFromLocal /本地文件 /hdfs文件

• hdfs文件復制到本地

hdfs dfs -copyToLocal /hdfs文件/ /本地目錄/

• hdfs間文件拷貝，可以覆蓋，可以保留原有權限信息
  

8.刪除文件

• 刪除文件或者目錄：hdfs dfs -rmr /test/a
  
• 這樣做其實并沒有真正刪除文件，只是將文件放到了回收站(/user/root/.Trash/Current)中 ; 每一個用戶都有一個回收站

---

文件永久刪除

• 回收站自動清理：fs.trash.interval 1440
• 手動刪除回收站：hdfs dfs -rmr /user/root/.Trash/Current
• 強制刪除：dfs -rmr -skipTrash /a

9.安全模式

• 查看當前hadoop安全模式的開關狀態(tài)

hdfs dfsadmin -safemode get

• 打開安全模式

hdfs dfsadmin -safemode enter

• 離開安全模式

hdfs dfsadmin -safemode leave

總結(jié)

以上是生活随笔為你收集整理的HDFS命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。