三、HDFS常用Shell操作

3.1、HDFS文件系統

HDFS Shell 指的是可以使用類似shell的命令來直接和Hadoop分布式文件系統（HDFS）進行交互。

使用命令：

bin/hadoop fs <args> bin/hdfs dfs <args>

參數中的路徑使用scheme://authority/path 的格式，如默認配置的是hdfs,那么路徑如： hdfs://namenodehost:port/parent/child 。

如果使用相對路徑，那么當前的工作目錄就是/user/{username}， 比如當前是root賬號，那么工作目錄就是/user/root。

示例：

3.2、常用Shell命令-appendToFile

用法：

hadoop fs -appendToFile <localsrc> ... <dst>

示例：

hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile hadoop fs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile

3.3、常用Shell命令-cat

用法：

hadoop fs -cat [-ignoreCrc] URI [URI ...]

示例：

hadoop fs -cat hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2 hadoop fs -cat file:///file3 /user/hadoop/file4

3.4、常用Shell命令-copyFromLocal | put

用法：

hadoop fs -put [-f] [-p] [-l] [-d] [-t <thread count>] [ - | <localsrc1> .. ]. <dst>

示例：

hadoop fs -put localfile /user/hadoop/hadoopfile hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir hadoop fs -put -d localfile hdfs://nn.example.com/hadoop/hadoopfile hadoop fs -put - hdfs://nn.example.com/hadoop/hadoopfile

3.5、常用Shell命令-cp

用法：

hadoop fs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

可選項：
-f : 如果目標文件存在，則覆寫目標文件;
-p : 保存文件的屬性，[topx] (timestamps, ownership, permission, ACL, XAttr).

3.6、常用Shell命令-du

用法：

hadoop fs -du [-s] [-h] [-v] [-x] URI [URI ...]

可選項：
-s : 統計文件夾;
-h : 格式化友好輸出;
-v : 顯示列名;
-x ： 去除snapshots 進行計算;

3.7、常用Shell命令-copyToLocal | get

用法：

hadoop fs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst>

示例：

hadoop fs -get /user/hadoop/file localfile hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

3.8、常用Shell命令-ls

用法：

hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] <args>

可選項：
-C ： 只顯示文件及文件夾 ； -d : 只顯示給定文件夾 ; -h ： 格式化文件大小顯示
-q : 使用？替代不可打印字符 ; -R ： 遞歸顯示 ；-t : 按照最近修改文件排序
-S : 按照文件大小排序 ; -r : 翻轉排序規則 ; -u : 使用創建時間進行排序

3.9、常用Shell命令-mkdir

用法：

hadoop fs -mkdir [-p] <paths>

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 hadoop fs -mkdir hdfs://nn1.example.com/user/hadoop/dir hdfs://nn2.example.com/user/hadoop/dir

3.10、常用Shell命令-rm

用法：

hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

可選項：
-f : 忽略錯誤信息 ； -R : 遞歸刪除 ； -r : -R
-skipTrash : 不放回收站，直接刪除 ； -safely : 強制確認是否需要刪除

3.11、HDFS UI交互

開啟方法：
① 終端開啟HDFS：hadoop的sbin目錄下執行./start-dfs.sh
② 瀏覽器網址輸入：master:50070

文件基本信息：

總結

以上是生活随笔為你收集整理的学习笔记Hadoop（十）—— Hadoop基础操作（2）—— HDFS常用Shell操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。