hadoop基本操作命令小结
啟動和關閉Hadoop
啟動Hadoop?
1.進入HADOOP_HOME目錄。?
2.執行bin/start-all.sh
關閉Hadoop?
1.進入HADOOP_HOME目錄。?
2.執行bin/stop-all.sh
?
HDFS文件文件系統操作 Hadoop使用的是HDFS,能夠實現的功能和我們使用的磁盤系統
類似。并且支持通配符,如*。
?
查看文件列表?
查看hdfs中/user/hadoop目錄下的文件和目錄。?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop fs -ls /user/hadoop
列出hdfs中/user/hadoop目錄下的所有文件(包括子目錄下的文件)。?
1.進入HADOOP_HOME目錄。?
2.執行sh bin/hadoop fs -lsr /user/hadoop
?
創建文件目錄?
查看hdfs中/user/hadoop目錄下再新建一個叫做newDir的新目錄。?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop fs -mkdir /user/hadoop/newDir
?
刪除文件?
刪除hdfs中/user/hadoop目錄下一個名叫needDelete的文件?
1.進入HADOOP_HOME目錄。?
2.執行sh bin/hadoop fs -rm /user/hadoop/needDelete
刪除hdfs中/user/hadoop目錄以及該目錄下的所有文件?
1.進入HADOOP_HOME目錄。?
2.執行sh bin/hadoop fs -rmr /user/hadoop
?
上傳文件?
上傳一個本機/home/hadoop/newFile的文件到hdfs中/user/hadoop目錄下?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop
?
下載文件?
下載hdfs中/user/hadoop目錄下的newFile文件到本機/home/hadoop/newFile中?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile
?
查看文件內容?
查看hdfs中/user/hadoop目錄下的newFile文件?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop fs –cat /home/admin/newFile
?
MapReduce Job操作?
提交MapReduce Job?
原則上說,Hadoop所有的MapReduce Job都是一個jar包。
運行一個/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop jar job.jar [jobMainClass] [jobArgs]
殺死某個正在運行的JOB 假設Job_Id為: job_201112161201_0069?
1.進入HADOOP_HOME目錄。?
2.執行sh bin/hadoop job -kill job_201112161201_0069
?
更多Hadoop的命令?
上面介紹的這些Hadoop的操作命令是我們最常用的。如果你希望了解更多,可以按照如下的方式獲取命令的說明信息。?
1.進入HADOOP_HOME目錄。?
2.執行bin/hadoop?
可以看到更多命令的說明信息
轉載于:https://www.cnblogs.com/huidaoli/articles/4632753.html
總結
以上是生活随笔為你收集整理的hadoop基本操作命令小结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 学习进度04
- 下一篇: pandownload提示“初始化脚本失