引言：我們維護hadoop系統的時候，必不可少需要對HDFS分布式文件系統做操作，例如拷貝一個文件/目錄，查看HDFS文件系統目錄下的內容，刪除HDFS文件系統中的內容（文件/目錄），還有HDFS管理信息，單獨啟動停止 namenode??datanode??jobtracker??tasktracker等等一系列的操作。大家跟著做一遍呢！就會對HDFS的體系架構有更加深入的理解，不多說我們開始吧。
環境
操作系統：centos 6.0
hadoop版本：0.20.2
部署目錄：/home/grid/hadoop-0.20.2
名稱節點元數據位置：/home/grid/hadoop-0.20.2/tmp
數據節點數據位置：/home/grid/hadoop-0.20.2/data
master節點：h1
slave節點：h2 h4
master 和 slave 節點進程狀態 ，現在進程都在啟動著
[grid@h1 bin]$ jps? ?? ???
5182 Jps
4600 NameNode
4791 JobTracker
4728 SecondaryNameNode
[grid@h2 ~]$ jps
4471 Jps
3935 DataNode
4012 TaskTracker
[grid@h4 ~]$ jps
4001 TaskTracker
4508 Jps
3924 DataNode
[grid@h1 grid]$ mkdir input? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???linux命令，創建一個input目錄
[grid@h1 grid]$ ll
總用量 44
drwxr-xr-x. 14 grid hadoop 4096??9月??2 20:29 hadoop-0.20.2
drwxr-xr-x.??2 grid hadoop 4096??9月 16 19:56 input
drwxr-xr-x.??7 grid hadoop 4096 10月 22 2009 vmware-tools-distrib
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 公共的
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 模板
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 視頻
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 圖片
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 文檔
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 下載
drwxr-xr-x.??2 grid hadoop 4096??9月??1 13:55 音樂
drwxr-xr-x.??3 grid hadoop 4096??9月??2 18:50 桌面
[grid@h1 grid]$ cd input/? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? linux命令，進入目錄
[grid@h1 input]$ echo "hello leonarding" > test1.txt? ?? ?? ?? ?? ?? ?? ? linux命令，把字符串"hello leonarding"重定向到test1.txt
[grid@h1 input]$ echo "hello world" > test2.txt? ?? ?? ?? ?? ?? ?? ?? ?? ?linux命令，把字符串"hello world"重定向到test2.txt
[grid@h1 input]$ cat test1.txt? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???linux命令，查看test1.txt文件內容
hello leonarding
[grid@h1 input]$ cat test2.txt? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???linux命令，查看test2.txt文件內容
hello world
[grid@h1 input]$ cd ../hadoop-0.20.2/? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? linux命令，進入hadoop-0.20.2目錄
[grid@h1 input]$ cd /usr/java/jdk1.6.0_25/bin
[grid@h1 bin]$ jps? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???直接輸入jps=java進程統計
28037 NameNode? ?? ?? ?? ?? ???名稱節點
32455 Jps
28220 SecondaryNameNode? ?? ???輔助名稱節點
28259 JobTracker? ?? ?? ?? ?? ?作業跟蹤器

1.把linux操作系統的input目錄拷貝到hadoop文件系統中重命名為in目錄
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -put ../input in? ?? ?? ???把linux操作系統的input目錄拷貝到hadoop文件系統中重命名為in目錄12/09/16 20:18:20 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 192.168.2.103:50010? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?沒有關閉防火墻
12/09/16 20:18:20 INFO hdfs.DFSClient: Abandoning block blk_-2034091982680781464_102612/09/16 20:18:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack withfirstBadLink192.168.2.103:5001012/09/16 20:18:26 INFO hdfs.DFSClient: Abandoning block blk_-3493343259834508347_102612/09/16 20:18:32 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 192.168.2.103:50010
12/09/16 20:18:32 INFO hdfs.DFSClient: Abandoning block blk_4302532573839164645_1026
12/09/16 20:18:38 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host12/09/16 20:18:38 INFO hdfs.DFSClient: Abandoning block blk_4602162403828631999_1026
12/09/16 20:18:44 WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2845) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)12/09/16 20:18:44 WARN hdfs.DFSClient: Error Recovery for block blk_4602162403828631999_1026 bad datanode[0] nodes == null12/09/16 20:18:44 WARN hdfs.DFSClient: Could not get block locations. Source file "/user/grid/in/input/test2.txt" - Aborting...
put: No route to host12/09/16 20:18:44 ERROR hdfs.DFSClient: Exception closing file /user/grid/in/input/test2.txt : java.net.NoRouteToHostException: No route to hostjava.net.NoRouteToHostException: No route to host at sun.nio.ch.SocketChannelImpl.checkConnect(Natve Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567) at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:404) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.createBlockOutputStream(DFSClient.java:2870) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2826) atorg.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
小結：這是沒有關閉Linux防火墻造成的，使用 service iptables stop/start??臨時關閉/開啟??chkconfig iptables off/on??永久關閉/開啟防火墻命令來控制防火墻，關閉之后就可以順利的進行下面操作了。

[grid@h1 grid]$ hadoop dfs -put abc.txt abc? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? 把linux操作系統東西拷貝到hadoop文件系統中并重命名abc
[grid@h1 grid]$ hadoop dfs -ls? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???abc文件已經在hadoop文件系統根目錄下了
Found 3 items
-rw-r--r--? ?2 grid supergroup? ?? ?? ?44 2012-09-18 19:12 /user/grid/abc 隨機存放到某一個節點
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 19:44 /user/grid/in
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 20:41 /user/grid/out

2.查看hadoop文件系統中根目錄下in子目錄中所有內容

[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? 查看hadoop文件系統根目錄內容
Found 1 items
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 19:44 /user/grid/in? ?? ?? ?? ???只有一個in目錄
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls ./in/*? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?查看hadoop文件系統中根目錄下in子目錄內容
-rw-r--r--? ?2 grid supergroup? ?? ?? ?17 2012-09-17 19:44 /user/grid/in/test1.txt? ? 有 2個 文件
-rw-r--r--? ?2 grid supergroup? ?? ?? ?12 2012-09-17 19:44 /user/grid/in/test2.txt
小結：Hadoop沒有當前目錄的概念，當然也不能進入in目錄，更沒有cd命令。所以查看時必須輸入目錄路徑

3.測試map_reduce系統是否可以正常工作，map reduce 采用“就近分配節點”原則執行數據
jar包：/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar? ?? ? 安裝hadoop時從源代碼拷貝過來的，我們可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out? ?把這個jar包里wordcount功能提交給map_reduce當做一個作業運行，測試map_reduce系統是否可以正常工作，in??輸入數據目錄（數據源） out 輸出數據目錄（即輸出到哪里）
12/09/17 20:39:06 INFO input.FileInputFormat: Total input paths to process : 2
12/09/17 20:39:07 INFO mapred.JobClient: Running job: job_201209172027_0002? ?? ???運行作業號“2012年9月17日1856不是時間”
12/09/17 20:39:08 INFO mapred.JobClient:??map 0% reduce 0%? ?? ?? ?? ?? ?? ?? ?? ??
12/09/17 20:40:34 INFO mapred.JobClient:??map 50% reduce 0%
12/09/17 20:40:49 INFO mapred.JobClient:??map 100% reduce 0%? ?? ?? ?? ?? ?? ?? ???map??reduce進度
12/09/17 20:41:02 INFO mapred.JobClient:??map 100% reduce 100%
12/09/17 20:41:04 INFO mapred.JobClient: Job complete: job_201209172027_0002? ?? ? 作業完成
12/09/17 20:41:04 INFO mapred.JobClient: Counters: 17
12/09/17 20:41:04 INFO mapred.JobClient:? ?Job Counters? ?? ?? ?? ?? ?? ?? ?? ?? ? 作業計數器
12/09/17 20:41:04 INFO mapred.JobClient:? ???Launched reduce tasks=1? ?? ?? ?? ?? ?啟動reduce任務1個
12/09/17 20:41:04 INFO mapred.JobClient:? ???Launched map tasks=3? ?? ?? ?? ?? ?? ?啟動map任務3個
12/09/17 20:41:04 INFO mapred.JobClient:? ???Data-local map tasks=3
12/09/17 20:41:04 INFO mapred.JobClient:? ?FileSystemCounters? ?? ?? ?? ?? ?? ?? ? 文件系統計數器
12/09/17 20:41:04 INFO mapred.JobClient:? ???FILE_BYTES_READ=59
12/09/17 20:41:04 INFO mapred.JobClient:? ???HDFS_BYTES_READ=29
12/09/17 20:41:04 INFO mapred.JobClient:? ???FILE_BYTES_WRITTEN=188
12/09/17 20:41:04 INFO mapred.JobClient:? ???HDFS_BYTES_WRITTEN=29
12/09/17 20:41:04 INFO mapred.JobClient:? ?Map-Reduce Framework? ?? ?? ?? ?? ?? ???map_reduce框架
12/09/17 20:41:04 INFO mapred.JobClient:? ???Reduce input groups=3? ?? ?? ?? ?? ???reduce輸入組3
12/09/17 20:41:04 INFO mapred.JobClient:? ???Combine output records=4? ?? ?? ?? ???合并輸出記錄4
12/09/17 20:41:04 INFO mapred.JobClient:? ???Map input records=2? ?? ?? ?? ?? ?? ? map輸入記錄2
12/09/17 20:41:04 INFO mapred.JobClient:? ???Reduce shuffle bytes=65? ?? ?? ?? ?? ?reduce shuffle=預處理 減少計算量 算的更快
12/09/17 20:41:04 INFO mapred.JobClient:? ???Reduce output records=3? ?? ?? ?? ?? ?reduce輸出記錄3
12/09/17 20:41:04 INFO mapred.JobClient:? ???Spilled Records=8? ?? ?? ?? ?? ?? ?? ?溢出記錄8
12/09/17 20:41:04 INFO mapred.JobClient:? ???Map output bytes=45? ?? ?? ?? ?? ?? ? map輸出字節45
12/09/17 20:41:04 INFO mapred.JobClient:? ???Combine input records=4? ?? ?? ?? ?? ?合并輸入記錄4
12/09/17 20:41:04 INFO mapred.JobClient:? ???Map output records=4? ?? ?? ?? ?? ?? ?map輸出記錄4
12/09/17 20:41:04 INFO mapred.JobClient:? ???Reduce input records=4? ?? ?? ?? ?? ? reduce輸入記錄4
瀏覽器：http://192.168.2.102:50030/jobtracker.jsp? ?這里有job更詳細的信息?
小結：報錯信息【org.apache.hadoop.util.DiskChecker$DiskErrorException: Could no find taskTracker/jobcache/job_201209171856_0001/attempt_201209171856_0001_m_000000_0/output/file.out.index in any of the configured local directories】??請執行stop-all.sh -> start-all.sh? ? 重啟hadoop所有進程

4.列出根目錄下所有內容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls
Found 2 items
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 19:44 /user/grid/in
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 19:56 /user/grid/out
??列出根目錄下out子目錄所有內容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls ./out/
Found 2 items
drwxr-xr-x? ?- grid supergroup? ?? ?? ? 0 2012-09-17 20:39 /user/grid/out/_logs
-rw-r--r--? ?2 grid supergroup? ?? ?? ?29 2012-09-17 20:40 /user/grid/out/part-r-00000

5.查看part-r-00000文件內容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -cat /user/grid/out/part-r-00000? ?? ?必須寫絕對路徑，因為hadoop下沒有當前目錄概念
hello 2? ?? ?? ?? ?? ?? ?? ?統計單詞出現2次
leonarding 1? ?? ?? ?? ? 統計單詞出現1次
world 1? ?? ?? ?? ?? ?? ?? ?統計單詞出現1次
小結：cat 對象必須是文件，不能對目錄查看

6.刪除hadoop文件系統文件和目錄
必須選項 -rmr? ?不能-rm? ?use -rmr instead
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in/input/test2.txt? ???刪除hadoop文件系統里的test2.txt文件，一定要加目錄路徑
Deleted hdfs://h1:9000/user/grid/in/input/test2.txt
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in/test2.txt? ?? ?? ???刪除hadoop文件系統文件，一定要加目錄路徑
Deleted hdfs://h1:9000/user/grid/in/test2.txt
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in? ?? ?? ?? ?? ?? ?? ?刪除in目錄
Deleted hdfs://h1:9000/user/grid/in
h2??h4??的Linux操作系統上面看文件是不是已經被刪除了，占用block已經被釋放了
小結：刪除HDFS文件系統內文件和目錄時選項必須要寫 -rmr??而不能 -rm哦

7.從Linux操作系統上看hadoop文件存放在哪里? ?數據只會存放在數據節點??h2??h4，而不會存放在名稱節點 h1
rid@h4?current]$ pwd
/home/grid/hadoop-0.20.2/data/current
[grid@h4 current]$ ll? ?? ?? ?? ?? ???h4節點
總用量 224
-rw-r--r--. 1 grid hadoop? ???17??9月 17 19:44 blk_1740766816993665795
-rw-r--r--. 1 grid hadoop? ???11??9月 17 19:44 blk_1740766816993665795_1013.meta
-rw-r--r--. 1 grid hadoop? ?9151??9月 17 20:41 blk_5787152218309601238
-rw-r--r--. 1 grid hadoop? ???79??9月 17 20:41 blk_5787152218309601238_1026.meta
-rw-r--r--. 1 grid hadoop 142466??9月 17 20:35 blk_-5912167526685784374
-rw-r--r--. 1 grid hadoop? ?1123??9月 17 20:35 blk_-5912167526685784374_1020.meta
-rw-r--r--. 1 grid hadoop? ?? ?4??9月 17 20:28 blk_618795584037082806
-rw-r--r--. 1 grid hadoop? ???11??9月 17 20:28 blk_618795584037082806_1019.meta
-rw-r--r--. 1 grid hadoop? ???29??9月 17 20:40 blk_-6836333776136840432
-rw-r--r--. 1 grid hadoop? ???11??9月 17 20:40 blk_-6836333776136840432_1026.meta
-rw-r--r--. 1 grid hadoop? ???12??9月 17 19:44 blk_7008012568223069759
-rw-r--r--. 1 grid hadoop? ???11??9月 17 19:44 blk_7008012568223069759_1012.meta
-rw-r--r--. 1 grid hadoop??16737??9月 17 20:39 blk_8327174067432266416
-rw-r--r--. 1 grid hadoop? ? 139??9月 17 20:39 blk_8327174067432266416_1025.meta
-rw-r--r--. 1 grid hadoop? ?1734??9月 18 07:51 dncp_block_verification.log.curr
-rw-r--r--. 1 grid hadoop? ? 158??9月 17 20:27 VERSION
[grid@h2 current]$ ll? ?? ?? ?? ?? ???h2節點
總用量 224
-rw-r--r--. 1 grid hadoop? ???17??9月 17 19:44 blk_1740766816993665795
-rw-r--r--. 1 grid hadoop? ???11??9月 17 19:44 blk_1740766816993665795_1013.meta
-rw-r--r--. 1 grid hadoop? ?9151??9月 17 20:41 blk_5787152218309601238
-rw-r--r--. 1 grid hadoop? ???79??9月 17 20:41 blk_5787152218309601238_1026.meta
-rw-r--r--. 1 grid hadoop 142466??9月 17 20:35 blk_-5912167526685784374
-rw-r--r--. 1 grid hadoop? ?1123??9月 17 20:35 blk_-5912167526685784374_1020.meta
-rw-r--r--. 1 grid hadoop? ?? ?4??9月 17 20:28 blk_618795584037082806
-rw-r--r--. 1 grid hadoop? ???11??9月 17 20:28 blk_618795584037082806_1019.meta
-rw-r--r--. 1 grid hadoop? ???29??9月 17 20:40 blk_-6836333776136840432
-rw-r--r--. 1 grid hadoop? ???11??9月 17 20:40 blk_-6836333776136840432_1026.meta
-rw-r--r--. 1 grid hadoop? ???12??9月 17 19:44 blk_7008012568223069759
-rw-r--r--. 1 grid hadoop? ???11??9月 17 19:44 blk_7008012568223069759_1012.meta
-rw-r--r--. 1 grid hadoop??16737??9月 17 20:39 blk_8327174067432266416
-rw-r--r--. 1 grid hadoop? ? 139??9月 17 20:39 blk_8327174067432266416_1025.meta
-rw-r--r--. 1 grid hadoop? ?1541??9月 18 07:51 dncp_block_verification.log.curr
-rw-r--r--. 1 grid hadoop? ? 158??9月 17 20:27 VERSION
小結：hadoop數據只在datanode節點保存（h2 h4）不在namenode保存，由于我設置了 數據塊復制2份，那么在h2 h4 里面文件都是一模一樣的（冗余防錯）hdfs_site.xml ->?dfs.data.dir指定數據節點存放數據位置 /home/grid/hadoop-0.20.2/data/
hadoop一個文件是由數據塊組成，容量最大不超過64M，是由數據和元數據組成。
datanode文件采用一次性寫入多次讀，不需修改，可以刪除在重新寫入
NAMENODE介紹
namenode節點中保存是映像文件和事務日志，即元數據，如果元數據被破壞了，那么我們整個HDFS系統就崩潰了
映像文件：存放文件系統命名空間 ，例如 文件映像??文件屬性
事務日志：存放HDFS元數據記錄
什么是元數據：記錄每個文件數據塊在各個datanode上位置和副本（文件數據塊都放在哪個節點上，副本有幾個），元數據也可以復制多個副本，只在namenode里添加副本，缺點就是副本越多，空間利用率越小，安全性越大，速度越慢
namenode冗余：namenode是HDFS文件系統總控節點，但它是一個單點，如果出現故障也需要手動切換到secondarynamenode SNN
namenode不參與實際數據傳輸，只負責元數據查詢
namenode元數據位置：
[grid@h1 current]$ pwd
/home/grid/hadoop-0.20.2/tmp/dfs/name/current
[grid@h1 current]$ ll
總用量 16
-rw-r--r--. 1 grid hadoop? ? 4??9月 18 08:58 edits? ?? ?事務日志
-rw-r--r--. 1 grid hadoop 2130??9月 18 08:58 fsimage? ? 映像文件
-rw-r--r--. 1 grid hadoop? ? 8??9月 18 08:58 fstime? ???事務日志
-rw-r--r--. 1 grid hadoop??101??9月 18 08:58 VERSIO

8.hadoop文件系統的管理報告，即HDFS基本統計信息
[grid@h4 ~]$ hadoop dfsadmin -report? ?? ?? ?? ?h4 節點
Configured Capacity: 19865944064 (18.5 GB)? ?? ?分配總容量
Present Capacity: 8934457344 (8.32 GB)? ?? ?? ??
DFS Remaining: 8933957632 (8.32 GB)? ?? ?? ?? ? DFS剩余容量
DFS Used: 499712 (488 KB)? ?? ?? ?? ?? ?? ?? ???DFS已使用容量
DFS Used%: 0.01%? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???DFS已使用百分比
Under replicated blocks: 1? ?? ?? ?? ?? ?? ?? ? 復制成功塊數
Blocks with corrupt replicas: 0? ?? ?? ?? ?? ???復制失敗塊數
Missing blocks: 0? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? 丟失塊數
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)? ?? ???數據節點有效
Name: 192.168.2.103:50010? ?? ?? ?? ?? ?? ?? ???h2數據節點ip和端口
Decommission Status : Normal? ?? ?? ?? ?? ?? ???狀態正常
Configured Capacity: 9932972032 (9.25 GB)? ?? ? 配置總容量
DFS Used: 249856 (244 KB)? ?? ?? ?? ?? ?? ?? ???DFS使用量
Non DFS Used: 5350871040 (4.98 GB)? ?? ?? ?? ???linux容量非DFS使用的
DFS Remaining: 4581851136(4.27 GB)? ?? ?? ?? ???DFS剩余容量
DFS Used%: 0%? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???DFS已使用百分比
DFS Remaining%: 46.13%? ?? ?? ?? ?? ?? ?? ?? ???DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012? ?? ?最后的聯接

Name: 192.168.2.105:50010? ?? ?? ?? ?? ?? ?? ???h2數據節點ip和端口
Decommission Status : Normal? ?? ?? ?? ?? ?? ???狀態正常
Configured Capacity: 9932972032 (9.25 GB)? ?? ? 配置總容量
DFS Used: 249856 (244 KB)? ?? ?? ?? ?? ?? ?? ???DFS使用量
Non DFS Used: 5580615680 (5.2 GB)? ?? ?? ?? ?? ?linux容量非DFS使用的
DFS Remaining: 4352106496(4.05 GB)? ?? ?? ?? ???DFS剩余容量
DFS Used%: 0%? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ???DFS已使用百分比
DFS Remaining%: 43.81%? ?? ?? ?? ?? ?? ?? ?? ???DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012? ?? ?最后的聯接

9.單獨啟動停止 namenode??datanode??jobtracker??tasktracker
單獨啟動/停止 namenode? ?? ?start-dfs.sh/stop-dfs.sh
單獨啟動/停止 datanode? ?? ?hadoop-daemon.sh start datanode/hadoop-daemon.sh stop datanode
單獨啟動/停止 jobtracker? ? hadoop-daemon.sh start tasktracker/hadoop-daemon.sh stop tasktracker
單獨啟動/停止 tasktracker? ?start-mapred.sh/stop-mapred.sh
舉例
[grid@h4 bin]$ pwd
/home/grid/hadoop-0.20.2/bin
[grid@h4 bin]$ jps
27736 Jps
17119 DataNode
17230 TaskTracker
[grid@h4 bin]$ hadoop-daemon.sh stop tasktracker? ?? ?? ?停止tasktracker
stopping tasktracker
[grid@h4 bin]$ jps
27783 Jps
17119 DataNode
[grid@h4 bin]$ hadoop-daemon.sh start tasktracker? ?? ???啟動tasktracker
starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h4.out
[grid@h4 bin]$ jps
27829 TaskTracker? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ? 已經重新啟動，pid都改變了
17119 DataNode
27868 Jps
[grid@h4 bin]$ pwd
/home/grid/hadoop-0.20.2/bin

10.均衡負載
[grid@h4 bin]$ start-balancer.sh
starting balancer, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-balancer-h4.out
場合：新增節點 或 節點故障??把所有數據塊重新均衡負載到各各節點上，包括新增節點。例如 幾個G數據，均衡負載十幾分鐘

總結

以上是生活随笔為你收集整理的Hadoop HDFS分布式文件系统 常用命令汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。