hadoop集群搭建好之后，通過HDFS命令操作HDFS分布式文件系統(tǒng)，HDFS命令與linux命令類似

所有命令有/bin/hadoop腳本引發(fā)，可以使用命令查看幫助文檔

hadoop fs-help

使用HDFS命令之前，必須啟動hadoop集群，且命令執(zhí)行在master節(jié)點上

hadoop常用命令

格式：

hadoop fs -命令 [-選項] [文件/目錄]

命令說明補充

hadoop fs -mkdir	創(chuàng)建HDFS目錄	-p選項，可以一次性創(chuàng)建多級目錄
hadoop fs -ls	列出HDFS目錄	-R選項，查看目錄下所有的文件（遞歸Recursive) hadoop fs –ls /查看HDFS根目錄 hadoop fs –ls –R /查看HDFS所有子目錄
hadoop fs -copyFromLocal	上傳本地文件到HDFS	-f選項，強制復(fù)制（存在則替換文件）
hadoop fs -put	上傳本地文件到HDFS	-f選項，強制復(fù)制（存在則替換文件），特別的可以寫入內(nèi)容
hadoop fs -copyToLocal	將HDFS文件下載到本地
hadoop fs -get	將HDFS文件下載到本地
hadoop fs -cp	復(fù)制HDFS文件
hadoop fs -rm	刪除HDFS文件	-R選項，刪除目錄
hadoop fs -cat	查看HDFS目錄下的文件內(nèi)容	（只有文本文件的內(nèi)容可以查看，其它類型會亂碼） hadoop fs –test查看文件 hadoop fs –tail查看文件

Linux本機和HDFS之間文件傳輸

即虛擬機的linux系統(tǒng)的文件與hadoop的HDFS分布式系統(tǒng)的文件之間的文件共享

上傳文件（linux—>hdfs）

hadoop fs -copyFromLocal [linux] [hdfs]
hadoop fs -put [linux] [hdfs]

可以進(jìn)行文件重命名
hdfs沒有寫文件名，默認(rèn)為原來的命名
linux上傳的文件必須存在
hdfs已經(jīng)存在文件，不會上傳，使用下面選項，強制上傳
-f選項，強制復(fù)制（存在則替換文件）
可以上傳多個文件
可以上傳目錄

-put命令，還可以接收輸入stdin

將指定內(nèi)容顯示在屏幕上：echo [內(nèi)容]
通過"|"（管道符pipe）將屏幕的內(nèi)容傳遞存入文件（存入文件不能已經(jīng)存在）
例：（注意有-put命令后還有 - ）
echo abc | hadoop fs -put - /test/echoin.txt
ls ./hadoop—/etc/hadoop | hadoop fs -put - /test/hadoopetc.txt

文件下載（hdfs—>linux）

hadoop fs -copyToLocal [hdfs] [linux]
hadoop fs -get [hdfs] [linux]

可以進(jìn)行文件重命名
hdfs下載的文件必須存在
可以下載目錄

linux命令

命令說明

cd 目錄	進(jìn)入目錄(.表示當(dāng)前目錄，…表示上層目錄)
ls [選項] 目錄或文件	列出目錄[-l -a -R -d -i -h]
cat [選項] 文件名	查看文件內(nèi)容[-n -b -s]
mkdir [選項] 目錄名	創(chuàng)建文件夾[-p]
rm [選項] 文件或目錄	刪除文件夾[-f -r -i]
cp [選項] 源文件或目錄 目標(biāo)文件或目錄	復(fù)制文件夾[-p -f -r -i]
mv [選項] 源文件或目錄 目標(biāo)文件或目錄	移動文件夾[-f -i -u]
pwd	顯示當(dāng)前工作目錄的絕對路徑

總結(jié)

以上是生活随笔為你收集整理的Hadoop HDFS命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。