Hadoop從一出生就只面向Linux操作系統，且一直未曾考慮支持Windows操作系統。但隨著Hadoop的普及，微軟不得不開始為Hadoop增加patch以推進Windows成為生產環境。經過各方努力，Apache Hadoop已經同意將這些windows patch融入到核心代碼中（ http://hortonworks.com/blog/hadoop-in-windows/ ），目前，Hadoop svn上已經增加了兩個分支：branch-1-win和branch-trunk-win，且Hortonworks聯合微軟發布了Hadoop windows安裝版（ http://hortonworks.com/blog/installing-hadoop-on-windows/ ）。

對于Hadoop平臺支持問題，很多讀者可能有這樣的疑問：既然Hadoop是采用JAVA語言編寫的，而JAVA具有跨平臺特性，那么為什么官方只推薦Linux作為生產環境，而不推薦Windows呢？ 在本文中，我將簡單介紹目前Hadoop的哪些特性不能夠得到windows平臺的支持。

總體上講，Hadoop中的以下幾個特性無法得到windows平臺的支持，換句話說，為了支持windows平臺，必須修改這幾個特性的實現（https://issues.apache.org/jira/browse/HADOOP-8079）：

（1）管理腳本。?在Hadoop 1.0的安裝目錄中有一個bin目錄，里面存放著各種shell管理腳本。很明顯，對于Windows而言，無法運行直接這些shell腳本，需要對這些腳本進行修改。 在Hadoop Windows中，重新添加了后綴為.cmd的一系列管理腳本。

（2）HDFS權限管理。?HDFS的文件權限管理采用了Linux操作系統的權限管理，如果移植到Hadoop windows上，需要將對應的文件權限管理改為windows中的權限管理機制。

（3）Hadoop native library。?Hadoop中有一種native library機制，允許用戶直接采用本地庫（一般為C/C++編寫）進行某種操作以優化性能，比如壓縮解壓庫，Native IO等。如果將Hadoop移植到windows，這些對應的庫需要跟著移植。

（4）Native TaskController。?TaskTracker啟動時，會調用一個插拔式組件TaskController運行任務，TaskController一般會添加一些任務控制機制，比如設定任務啟動用戶。默認實現是DefaultTaskController，另外一個可使用的是LinuxTaskController，該TaskController將以提交用戶的身份運行任務（默認情況下是以TaskTracker啟動用戶運行任務）。

（5）單元測試用例。原始的Hadoop很多測試用例無法再windows上運行通過，需要進行修改。

（6）其他零散問題。比如路徑問題、資源泄露等（具體參考：https://issues.apache.org/jira/browse/HADOOP-8079）。

參考資料：

http://hortonworks.com/blog/hadoop-in-windows/

https://issues.apache.org/jira/browse/HADOOP-8079

原創文章，轉載請注明：?轉載自董的博客

本文鏈接地址:?http://dongxicheng.org/mapreduce/hadoop-for-windows/

總結

以上是生活随笔為你收集整理的Hadoop For Windows的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。