Windows 10下编译安装Hadoop2.6
轉自:https://www.linuxidc.com/Linux/2016-08/134131.htm
Windows 10下安裝Hadoop2.6,Windows10下編譯64位Hadoop2.x。詳細記錄了Windows10版本下對Hadoop的編譯、安裝步驟,以及相關包或者軟件下載安裝過程。
-
不需要在Cygwin下安裝Hadoop,官方也不推薦使用Cygwin。
-
Hadoop版本支持情況:Hadoop 2.2版本起包括Windows的原生支持。截至2014年一月份,官方的Apache Hadoop的版本不包括Windows二進制文件。
-
Windows版本支持情況:Hadoop官方人員開發、測試環境分別是32的 Windows Server 2008 和32位的 Windows Server 2008 R2 。因為服務器型號win32位的API相似,所以官方推測Windows7或者Windows Vista應該也是支持的。Windows XP Hadoop官方不測試也不支持。
總之,Windows版本的Hadoop需要在2.2之后可自行編譯,并且不支持Windows XP,在其他Windows平臺下,官方不予嚴格的支持(僅僅提供二進制文件,部分組件需要自行編譯)。
以下內容是具體實施,Hadoop集群在Windows環境下支持情況調研與測試部署,羅列了Windows實際部署情況,以及所遇到的問題和解決方案。
?
1. 自行編譯Windows環境的二進制包
Requirements:
* Windows System
* JDK 1.6+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer
* Windows SDK or Visual Studio 2010 Professional
* Unix command-line tools from GnuWin32 or Cygwin: sh, mkdir, rm, cp, tar, gzip
* zlib headers (if building native code bindings for zlib)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
1. 配置編譯環境
1.1. 設置JDK環境
JAVA_HOME設置
jdk設置path
1.2. 安裝編譯工具maven
下載maven的zip包 將maven的根目錄放置系統變量path中
測試mvn -v
1.3. 安裝ProtocolBuffer
下載 先切換到帶有pom文件路徑中
cd E:\IDE\protobuf-3.0.0-beta-3\java
通過mvn 安裝 mvn test 測試 mvn install
1.4. 安裝CMake
下載 安裝即可。
1.5. 安裝visual studio 2010之后(直接下載安裝,不再贅述) 或者安裝Windows SDK
下面關于Hadoop的文章您也可能喜歡,不妨看看:
CentOS7.2下Hadoop2.7.2集群搭建?http://www.linuxidc.com/Linux/2016-07/133644.htm
Ubuntu14.04下Hadoop2.4.1單機/偽分布式安裝配置教程??http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS安裝和配置Hadoop2.2.0??http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04上搭建Hadoop環境?http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置?http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop環境(單機模式+偽分布模式)?http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop環境的配置?http://www.linuxidc.com/Linux/2012-11/74539.htm
單機版搭建Hadoop環境圖文教程詳解?http://www.linuxidc.com/Linux/2012-02/53927.htm
2. 編譯安裝
設置環境編譯環境位數 set Platform=x64 (when building on a 64-bit system) set Platform=Win32 (when building on a 32-bit system) 設置安裝包環境 設置環境變量添加至將ZLIB_HOME至環境變量中 set ZLIB_HOME=C:\zlib-1.2.7 mvn編譯命令
mvn package -Pdist,native-win -DskipTests -Dtar
總結
以上是生活随笔為你收集整理的Windows 10下编译安装Hadoop2.6的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2022-2028年中国废矿物油行业市场
- 下一篇: 局字开头的成语有哪些?