這里介紹Hadoop在mac下的安裝與配置。

安裝及配置Hadoop

首先安裝Hadoop

$ brew install Hadoop

配置ssh免密碼登錄
用dsa密鑰認(rèn)證來生成一對公鑰和私鑰：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

將生成的公鑰加入到用于認(rèn)證的公鑰文件中：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

接下來測試一下是否配置成功

$ ssh localhost

如果遇到connection refused之類的錯誤，檢查一下mac是否開啟遠(yuǎn)程登錄功能，在系統(tǒng)偏好設(shè)置中可以設(shè)置。

配置Hadoop文件

core-site.xml文件配置如下：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

hdfs-site.xml配置如下；
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

mapred-site.xml配置如下：
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

yarn-site.xml配置如下：

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

以上過程需要注意的是如果mapred-site.xml文件不存在，需要自己創(chuàng)建（可以復(fù)制一下mapred-site.xml.template文件再進(jìn)行修改）

運(yùn)行Hadoop樣例程序

此部分內(nèi)容主要參考自Setting up Hadoop 2.6 on Mac OS X Yosemite

進(jìn)入Hadoop的目錄，以mac系統(tǒng)為例目錄為
/usr/local/Cellar/hadoop/2.7.2/libexec
然后格式化文件系統(tǒng):
$ bin/hdfs namenode -format

啟動NameNode和DataNode的守護(hù)進(jìn)程。
$ sbin/start-dfs.sh

啟動ResourceManager和NodeManager的守護(hù)進(jìn)程。
$ sbin/start-yarn.sh

訪問localhost:50070和localhost:8088測試是否正常。

創(chuàng)建hdfs目錄:
$ bin/hdfs dfs -mkdir -p /user/robin/input

拷貝一些文件到input目錄:
$ bin/hdfs dfs -put etc/hadoop input

運(yùn)行樣例: （下面命令中的hadoop版本號是2.7.2，根據(jù)你自己的hadoop版本修改版本號）
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

在localhost:50070中的Utilities標(biāo)簽下找到/user/robin目錄，下載part-r-00000文件，可以看到其中內(nèi)容如下所示：

4 dfs.class 4 dfs.audit.logger 3 dfs.server.namenode. 2 dfs.period 2 dfs.audit.log.maxfilesize 2 dfs.audit.log.maxbackupindex 1 dfsmetrics.log 1 dfsadmin 1 dfs.servers 1 dfs.replication 1 dfs.file

轉(zhuǎn)載于:https://www.cnblogs.com/micrari/p/5716851.html

總結(jié)

以上是生活随笔為你收集整理的Mac Hadoop的安装与配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。