之前已經(jīng)在七臺物理機(jī)上以全分布模式安裝了Hadoop集群，除了制動NameNode、JobTracker、DataNode、TaskTracker及相關(guān)的端口號外，并沒有對集群配置做進(jìn)一步的設(shè)定，都保留了默認(rèn)值。而要想使Hadoop集群發(fā)揮更大的作用則需要根據(jù)實(shí)際情況對配置做修改，下面將介紹如何在Hadoop集群中對一些配置項(xiàng)做修改，由于運(yùn)維Hadoop集群的經(jīng)驗(yàn)尚淺難免有所遺漏或者不足。

Hadoop默認(rèn)的配置文件為${HADOOP_HOME}\src\core\core-default.xml、${HADOOP_HOME}\src\hdfs\hdfs-default.xml、${HADOOP_HOME}\src\mapred\mapred-default.xml。而定制的配置文件則位為${HADOOP_HOME}\conf\core-site.xml、${HADOOP_HOME}\conf\hdfs-site.xml、${HADOOP_HOME}\conf\mapred-site.xml。在對定制配置文件不做修改的情況下，Hadoop使用默認(rèn)配置文件的默認(rèn)選項(xiàng)。另外還可以修改${HADOOP_HOME}\conf\hadoop-env.sh中的特定值來控制${HADOOP_HOME}\bin\hadoop腳本的執(zhí)行行為。

Hadoop的定制配置主要包括兩個方面，一是Hadoop守護(hù)進(jìn)程的運(yùn)行環(huán)境，二是Hadoop守護(hù)進(jìn)程的配置參數(shù)。Hadoop守護(hù)進(jìn)程分別為NameNode、JobTracker、DataNode、TaskTracker。

首先看看Hadoop守護(hù)進(jìn)程運(yùn)行環(huán)境的管理，可以通過修改${HADOOP_HOME}\conf\hadoop-env.sh中的特定值達(dá)到管理運(yùn)行環(huán)境的目的。每臺節(jié)點(diǎn)上的hadoop-env.sh都要正確指設(shè)置JAVA_HOME的值，多數(shù)情況下需要指定HADOOP_PID_DIR的值，該值為某個目錄，其含義是只有運(yùn)行Hadoop守護(hù)進(jìn)程的用戶可以在該目錄中執(zhí)行寫操作，否則存在潛在的符號鏈接攻擊。管

總結(jié)

以上是生活随笔為你收集整理的Hadoop学习之Hadoop集群的定制配置（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。