hadoop window 搭建
生活随笔
收集整理的這篇文章主要介紹了
hadoop window 搭建
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
hadoop 原理參考:用 Hadoop 進(jìn)行分布式并行編程
官方中文文檔:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安裝 cygwin ssh? 參考?windows ssh 搭建
2.?搭建hadoop??參考?Cygwin下的Hadoop快速入門-偽分布式模式的查缺補(bǔ)漏
????這里還有 cygwin putty 控制臺(tái)方法設(shè)置
3.?開發(fā)環(huán)境和 demo?參考
通過參考應(yīng)該環(huán)境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改?hadoop-site.xml 。
?? 在這個(gè)版本已經(jīng)在conf下找不到了,我這嘗試修改的?hdfs-site.xml 。測試的時(shí)候竟然通過了。
<?xml?version="1.0"?>
<?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>
<configuration>
??<property>
????<name>fs.default.name</name>
????<value>hdfs://localhost:9000</value>
??</property>
??<property>
????<name>mapred.job.tracker</name>
????<value>localhost:9001</value>
??</property>
??<property>
????<name>dfs.data.dir</name>
????<!--linux?-->
????<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
????<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
??</property>
??<property>
????<name>hadoop.tmp.dir</name>
????<value>/tmp</value>
??</property>
??<property>
????<name>dfs.replication</name>
????<value>1</value>
??</property>
<property>
??<name>fs.trash.interval</name>
??<value>60</value>
??<description>Number?of?minutes?between?trash?checkpoints.
??If?zero,?the?trash?feature?is?disabled.
??</description>
</property>
??
</configuration>
本文轉(zhuǎn)自博客園劉凱毅的博客,原文鏈接:hadoop window 搭建,如需轉(zhuǎn)載請自行聯(lián)系原博主。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)
官方中文文檔:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安裝 cygwin ssh? 參考?windows ssh 搭建
2.?搭建hadoop??參考?Cygwin下的Hadoop快速入門-偽分布式模式的查缺補(bǔ)漏
????這里還有 cygwin putty 控制臺(tái)方法設(shè)置
3.?開發(fā)環(huán)境和 demo?參考
通過參考應(yīng)該環(huán)境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改?hadoop-site.xml 。
?? 在這個(gè)版本已經(jīng)在conf下找不到了,我這嘗試修改的?hdfs-site.xml 。測試的時(shí)候竟然通過了。
<?xml?version="1.0"?>
<?xml-stylesheet?type="text/xsl"?href="configuration.xsl"?>
<configuration>
??<property>
????<name>fs.default.name</name>
????<value>hdfs://localhost:9000</value>
??</property>
??<property>
????<name>mapred.job.tracker</name>
????<value>localhost:9001</value>
??</property>
??<property>
????<name>dfs.data.dir</name>
????<!--linux?-->
????<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
????<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
??</property>
??<property>
????<name>hadoop.tmp.dir</name>
????<value>/tmp</value>
??</property>
??<property>
????<name>dfs.replication</name>
????<value>1</value>
??</property>
<property>
??<name>fs.trash.interval</name>
??<value>60</value>
??<description>Number?of?minutes?between?trash?checkpoints.
??If?zero,?the?trash?feature?is?disabled.
??</description>
</property>
??
</configuration>
本文轉(zhuǎn)自博客園劉凱毅的博客,原文鏈接:hadoop window 搭建,如需轉(zhuǎn)載請自行聯(lián)系原博主。
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)
總結(jié)
以上是生活随笔為你收集整理的hadoop window 搭建的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Redux的全家桶与最佳实践
- 下一篇: Gradle插件学习笔记(二)