有勇氣的牛排
官方地址: https://www.920vip.net/

hdoop官網：https://hadoop.apache.org/docs/r3.2.2/

1. 前期環境搭建

1.1 java環境配置

先解壓到下面目錄

/usr/lib/jvm/jdk-15.0.2

然后到home里面cd ~

vim .bashrc

將下面配置粘貼到任意位置

#java environment export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2 #export PATH=$PATH:$JAVA_HOME/bin export PATH=${JAVA_HOME}/bin:$PATH # Hadoop Enviroment export HADOOP_HOME=/usr/local/hadoop-3.2.2 export HADOOP_MAPRED_HOME=$HADOOP_HOME export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.2 安裝免密

sudo apt instll ssh ssh-keygen

查看

ls .ssh cat .ssh/id_rsa.pub>> .ssh/authorized_keys

登陸其他電腦

ssh localhost

2.hadoop 配置

2.1 權限配置

將hadoop解壓到 /usr/loca/目錄下

并且給 /usr/local/hadoop-3.2.2 授權超級用戶

chown -R charles /usr/local/hadoop-3.2.2

2.2 修改配置文件

2.2.1 hadoop-env.sh

vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh

在54行左右

export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2

2.2.2 核心配置core-site.xml

臨時目錄不用自己建，系統會自動生成

vim /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml <configuration><!--配置hdfs默認的命名--><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!--配置臨時目錄--><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop-3.2.2/tmp</value></property> </configuration>

2.2.3 hdfs-site.xml

vim /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml <configuration><!--配置副本個數 偽分布 默認為1--><property><name>dfs.replication</name><value>1</value></property><!--配置元數據的存儲位置--><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/namenode</value></property><!--配置datanode數據存放位置--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/datanode</value></property></configuration>

2.2.4 mapreduce設置 mapred-site.xml

分配計算任務位若干個任務，再分配到各個節點

vim /usr/local/hadoop-3.2.2/etc/hadoop/mapred-site.xml <configuration><!--指定mapreduce運行框架--><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final> <!--此處是否加上待定--></property><!----><property><name>mapreduce.application.classpath</name><value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value></property></configuration>

2.2.5 yarn設置 yarn-site.xml

資源、節點管理器，看各個節點是否可用

vim /usr/local/hadoop-3.2.2/etc/hadoop/yarn-site.xml <configuration><!--指定mapreduce的shuffle--><property> <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- --><property> <name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property> </configuration>

2.3 格式化名字節點

接下來構建分布式文件系統

hadoop namenode -format

后面這個刪除了相當于把分布式文件系統干掉了（一般不執行這里）

ls /usr/local/hadoop-3.2.2/hadoop_data/ rm -rf /usr/local/hadoop-3.2.2/hadoop_data/

2.4 啟動全分布式文件系統

start-dfs.sh

查看節點 有4個進程

jps

2.5 啟動資源管理器

這里啟動了兩個服務

start-yarn.sh

這時候后臺有5個服務

hadoop jar /usr/local/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 5 10

3 ubuntu軟件安裝

傳送門：Ubuntu 軟件安裝

總結

以上是生活随笔為你收集整理的Ubuntu伪分布式hadoop安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。