使用CDH遇到機器并沒有跑什么生產項目，但是產生了將近300G/每個節點的數據。
過程中使用hadoop fs -du -h / 來查看hadoop根目錄下文件的空間占用量，在這里看到spark占用了差不多1.3T左右的磁盤空間。

運行命令會提示用戶沒有權限，進去CDH下面的HDFS的配置，搜索dfs.permissions，把檢查HDFS權限的√去掉，然后權限就打開了。

同時確定spark并沒有需要落定在本地的生產數據，從而確定占用空間的都是代碼運行的時候產生的運行文件。
確定可以刪除，那就果斷刪了它們，這里使用hdfs -rm -r /user/**/spark/ 把這些無用文件都刪掉。
這里就顯示所有的文件是被move到hadoop的回收站。
接下來進入回收站，使用hadoop dfs -expunge 顯示標記了checkpoint，但是沒有刪除記錄。
等待大約兩分鐘后發現并沒有刪除，果斷進入回收站路徑，hadoop fs -rmr /user/***/.Trash命令直接刪除回收站。
查看文件的占用量發現已經清空了，但是CDH并沒有刷新出來，那好，回頭去restart一下CDH的agent，再來看，發現已經刷新了，顯示占用量之后200G左右。

記錄一下可能出現的問題：刪除的時候直接把.Trash文件刪除了，如果下次出現找不到這個文件，可以試著自行新建一個/user/root/.Trash。

pss：因為刪除的時候把spark下面的文件都給刪除了，所以運行spark的時候報錯說找不到文件/user/spark/applicationHistory。我靈光一閃，進去hdfs -mkdir /user/spark/applicationHistory 自己創建了一個文件，然后。。他就好了。。

總結

以上是生活随笔為你收集整理的记录一次hadoop的空间清理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。