基于Ubuntu系统下的Hadoop 环境搭建(新手可尝)
文章目錄
- Hadoop 環(huán)境搭建
- 1、安裝虛擬機(jī)
- 2.安裝 Ubuntu 操作系統(tǒng)
- 3、關(guān)閉防火墻
- 4、 SSH 安裝
- 5、 安裝 Xshell 及 Xftp
- 6、 安裝 JDK
- 7、安裝 hadoop
- 8. 結(jié)語(yǔ)
Hadoop 環(huán)境搭建
1、安裝虛擬機(jī)
在一切行動(dòng)的前提，我們需要先安裝好虛擬機(jī)，畢竟是供我們學(xué)習(xí)用的，因此我們需要通過(guò)虛擬機(jī)利用Linux系統(tǒng)來(lái)實(shí)現(xiàn)我們的Hadoop環(huán)境。
安裝虛擬機(jī)步驟：
(1）下載 VMware 安裝包。到 VMware? Workstation Pro 官網(wǎng)，選擇對(duì)應(yīng)的版本 進(jìn)行下載。本教程選擇的版本是 VMware? Workstation 14 Pro。
(2）安裝 VMware。雙擊安裝文件，按提示操作至安裝完成。
(3）新建虛擬機(jī)。打開 VMware 軟件，單擊主頁(yè)的【創(chuàng)建新的虛擬機(jī)】按鈕開始 創(chuàng)建虛擬機(jī)，如圖 2-1 所示。
單擊“自定義（高級(jí)）”選項(xiàng)，如圖 2-2 所示，并單擊【下一步】按鈕。 選擇“虛擬機(jī)硬件兼容性”，默認(rèn)即可，直接單擊【下一步】按鈕，如圖 2-3 所示。
選擇“稍后安裝操作系統(tǒng)”，單擊【下一步】按鈕，如圖 2-4 所示。 選擇“客戶機(jī)操作系統(tǒng)”，單擊選中“Linux（L）”，如圖 2-5 所示，再單擊【下 一步】按鈕。
設(shè)置“虛擬機(jī)名稱（例如：Ubuntu）”，并選擇虛擬機(jī)的安裝位置，最好選擇一個(gè) 有空余空間的磁盤分區(qū)來(lái)安裝，如圖 2-6 所示，再單擊【下一步】按鈕。 設(shè)置“處理器配置”，保持默認(rèn)即可，并單擊【下一步】按鈕，如圖 2-7 所示。
分配虛擬機(jī)內(nèi)存（內(nèi)存建議大于或等于 1024MB），然后單擊【下一步】按鈕，如 圖 2-8 所示。
設(shè)置“網(wǎng)絡(luò)類型”，單擊“使用網(wǎng)絡(luò)地址轉(zhuǎn)換（NAT）”，并單擊【下一步】按鈕， 如圖 2-9 所示。
選擇“I/O 控制器類型”，使用默認(rèn)選項(xiàng)“LSI Logic”，并單擊【下一步】按鈕， 如圖 2-10 所示。
選擇“磁盤類型”，使用默認(rèn)選項(xiàng)“SCSI”，并單擊【下一步】按鈕，如圖 2-11 所示。
選擇“磁盤”，選擇“創(chuàng)建新虛擬磁盤”，并單擊【下一步】按鈕，如圖 2-12 所 示。
指定“磁盤容量”，建議為 20GB 或更大，并單擊【下一步】按鈕，如圖 2-13 所示。
指定“磁盤文件”，保留默認(rèn)的位置或單擊【瀏覽】按鈕選擇其他位置，并單擊【下 一步】按鈕，如圖 2-14 所示。 單擊【完成】按鈕，完成虛擬機(jī)的安裝，如圖 2-15 所示。
2.安裝 Ubuntu 操作系統(tǒng)
雖然Windows和Unix以及Linux都支持Hadoop的開發(fā)，但是只有Linux系統(tǒng)是支持Hadoop的生產(chǎn)，因此我們需要利用Linux來(lái)配置我們的Hadoop，上面我們已經(jīng)把虛擬機(jī)安裝好了，同時(shí)在上面也介紹了安裝Ubuntu操作系統(tǒng)的一小步步驟，VMware以及Ubuntu的鏡像文件都已打包在點(diǎn)我！！
提取碼是：rmne
接下來(lái)我們就正式進(jìn)入安裝Ubuntu系統(tǒng)的過(guò)程：
（1）下載 Ubuntu ISO 鏡像文件。到 Ubuntu 官網(wǎng)選擇對(duì)應(yīng)的版本進(jìn)行下載。本教程選擇的版本是 ubuntu-16.04.4-desktop-amd64.iso。
（2）打開 VMware Workstation Pro 軟件，單擊左側(cè)欄的虛擬機(jī)（如 Ubuntu），再 單擊右側(cè)的“編輯虛擬機(jī)設(shè)置”，如圖 2-16 所示。
選擇“CD/DVD(SATA)”，連接選擇“使用 ISO 映像文件”，單擊【瀏覽】按鈕， 選擇下載的 ISO 鏡像文件，單擊【確定】按鈕，如圖 2-17 所示。
單擊“開啟此虛擬機(jī)”，然后根據(jù)提示安裝至完成，如圖 2-18 所示。
3、關(guān)閉防火墻
如果不關(guān)閉 Ubuntu 操作系統(tǒng)的防火墻，會(huì)出現(xiàn)以下幾種情況。
（1）無(wú)法正常訪問(wèn) Hadoop HDFS 的 Web 管理頁(yè)面。
（2）會(huì)導(dǎo)致后臺(tái)某些運(yùn)行腳本（例如后面要學(xué)習(xí)的 HIVE 程序）出現(xiàn)假死狀態(tài)。
（3）在刪除和增加節(jié)點(diǎn)的時(shí)候，會(huì)讓數(shù)據(jù)遷移處理時(shí)間更長(zhǎng)，甚至不能正常完成 相關(guān)操作。 所以我們要關(guān)閉防火墻。關(guān)閉防火墻的命令如下。
查看防火墻狀態(tài)，狀態(tài)為“不活動(dòng)”，說(shuō)明防火墻已經(jīng)關(guān)閉。
$ sudo ufw status Status: inactive注意：本教程使用的命令以“＄”開頭時(shí)，代表當(dāng)前用戶為普通用戶；“#”開頭代表 當(dāng)前用戶為 root 用戶。命令行中的“＄”或者“#”是不需要輸入的，例如，“$ sudo ufw status”只需要在終端命令行輸入“sudo ufw status”即可。
4、 SSH 安裝
SSH 是 Secure Shell 的縮寫，它是一種建立在應(yīng)用層基礎(chǔ)上的安全協(xié)議。SSH 是目 前較可靠，專為遠(yuǎn)程登錄會(huì)話和其他網(wǎng)絡(luò)服務(wù)提供安全性的協(xié)議。利用 SSH 協(xié)議可以 有效防止遠(yuǎn)程管理過(guò)程中的信息泄露。
SSH 由客戶端（openssh-client）軟件和服務(wù)端（openssh-server）軟件組成。在安 裝 SSH 服務(wù)時(shí)，需要 Ubuntu 操作系統(tǒng)連接互聯(lián)網(wǎng)。
（1）安裝 SSH 客戶端軟件
Ubuntu 操作系統(tǒng)默認(rèn)安裝有 SSH 客戶端軟件，通過(guò)以下命令查看是否已安裝，如 果返回包含“openssh-client”的字樣，說(shuō)明已經(jīng)安裝 SSH 客戶端軟件。
$ sudo dpkg -l | grep ssh否則，用以下命令安裝。
$ sudo apt-get install openssh-client（2）安裝 SSH 服務(wù)端軟件
Ubuntu 操作系統(tǒng)默認(rèn)沒有安裝 SSH 服務(wù)端軟件，安裝命令如下。
$ sudo apt-get install openssh-server重啟 SSH 服務(wù)，命令如下。
$ sudo /etc/init.d/ssh restart5、 安裝 Xshell 及 Xftp
采用 Xshell 可以通過(guò) SSH 協(xié)議遠(yuǎn)程連接 Linux 主機(jī)，采用 Xftp 可實(shí)現(xiàn)安全地在 UNIX/Linux 和 Windows 之間傳輸文件?？纱蜷_ NetSarang 官網(wǎng)下載最新的 Xshell 及 Xftp 免費(fèi)版本。本書采用的是 Xshell 6.0 及 Xftp 6.0 免費(fèi)版本。安裝 Xshell 和 Xftp 較簡(jiǎn) 單，只需要雙擊安裝文件默認(rèn)安裝即可。
利用xftp6可以進(jìn)行windows與linux文件傳輸，比如在windows系統(tǒng)安裝了jdk1.8要上傳到linux系統(tǒng)，則需要用到xftp6,（前提也是xftp6要連接到Linux）
安裝 Xshell 及 Xftp可以在上面提供的鏈接下載，此處再給出鏈接提取碼為：rmne
如果覺得云盤下載實(shí)在是太麻煩了，也可以選擇在這里下載
安裝完 Xshell 及 Xftp 后，打開 Xshell，選中左側(cè)所有會(huì)話，單擊右鍵，選擇【新建】 -【會(huì)話】，如圖 2-19 所示。
在連接中，配置名稱及主機(jī)。其中，主機(jī)是上面安裝的 Ubuntu 操作系統(tǒng)的 IP 地址， 如圖 2-20 所示。
tips:如果要查看 Ubuntu 操作系統(tǒng)的 IP 地址，可采用如下命令。
例如，顯示如下結(jié)果，表示 Ubuntu 操作系統(tǒng)的 IP 地址是“192.168.30.128”。目 前的 IP 地址是自動(dòng)獲取的，建議讀者參考相關(guān)資料將 IP 地址設(shè)置為固定的。
ens160 Link encap:Ethernet HWaddr 00:0c:29:bf:e1:df inet addr:192.168.30.128 Bcast:192.168.30.255 Mask:255.255.255.0再在 Xshell 會(huì)話配置中，配置 Ubuntu 操作系統(tǒng)的登錄用戶名和密碼，單擊【連接】 按鈕即可開始連接上前面安裝好 Ubuntu 操作系統(tǒng)，如圖 2-21 所示。
6、 安裝 JDK
Hadoop 是基于 Java 語(yǔ)言開發(fā)的，運(yùn)行 Hadoop 需要安裝 JDK（Java Development Kit）。
（1）下載安裝包并上傳到 Linux 系統(tǒng) JDK 安裝包需要在 Oracle 官網(wǎng)下載。本書采用的 JDK 安裝包為 jdk-8u171-linux-x64.tar.gz。將安裝包下載至 Windows 本地目錄下，例如 D:\soft。在 Xshell 軟件中，單擊上方的綠色小圖標(biāo)，打開 Xftp，如圖 2-22 所示。
在彈出的 Xftp 窗口中，把 JDK 的安裝包上傳到 Ubuntu 系統(tǒng)~目錄下，如圖 2-23 所示。
上傳成功后，在 Ubuntu 操作系統(tǒng)下通過(guò) ls 命令查看，結(jié)果如下。
（2）解壓安裝包到~目錄下
$ cd ~ $ tar -zxvf jdk-8u171-linux-x64.tar.gz（3）建立 JDK 軟鏈接，以方便后續(xù)使用
$ ln -s jdk1.8.0_171 jdk（4）配置 JDK 環(huán)境變量
$ vi ~/.bashrc /*vi 為打開文件命令在文件內(nèi)容的末尾添加如下代碼（注意：等號(hào)兩側(cè)不要有空格）。
export JAVA_HOME=~/jdk export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:. export PATH=${JAVA_HOME}/bin:$PATH熟悉Linux操作命令的童鞋已經(jīng)開始操作起來(lái)了，當(dāng)然如果對(duì)于這些操作命令不熟悉的同學(xué)也不要怕，可以點(diǎn)擊這個(gè)鏈接，學(xué)習(xí)一下Linux的相關(guān)操作命令，再接著進(jìn)入配置環(huán)境的操作。
（5）使配置生效
（6）檢驗(yàn)是否安裝成功
$ java –version出現(xiàn)如下版本信息表示 JDK 安裝成功。
java version "1.8.0_171" Java(TM) SE Runtime Environment (build 1.8.0_171-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)7、安裝 hadoop
Hadoop的三種啟動(dòng)模式分別為：
1.單機(jī)模式（獨(dú)立模式）（Local或Standalone Mode）
2.偽分布式模式（Pseudo-Distrubuted Mode）
3.全分布式集群模式（Full-Distributed Mode）
對(duì)于我們學(xué)習(xí)使用的話，其實(shí)我們只需要配置偽分布式來(lái)模擬一個(gè)小規(guī)模的集群就可以的了。偽分布式其實(shí)是完全分布式的一種特例，但它只有一個(gè)節(jié)點(diǎn)。下面開始安裝Hadoop的偽分布式吧！
（1）修改主機(jī)名
查看 Ubuntu 操作系統(tǒng)的主機(jī)名，參考下面的命令。
$ hostname hadoop-virtual-machine為了安裝方便和易于記憶，將這臺(tái)主機(jī)的主機(jī)名修改為 node1。
用 vi 命令編輯/etc/hostname 文件。
將原有內(nèi)容刪除，添加如下內(nèi)容。
node1重啟 Ubuntu 操作系統(tǒng)，使修改生效。
$ sudo reboot（2）映射 IP 地址及主機(jī)名
先查看 Ubuntu 操作系統(tǒng)的 IP 地址，可參考 上文配置jdk的教程。比如，這里查到的 IP 地址 是“192.168.30.128”。
修改/etc/hosts 文件。
$ sudo vi /etc/hosts在文件末尾添加一下內(nèi)容，下面的 IP 地址根據(jù)實(shí)際的 IP 地址修改。
192.168.30.128 node1（3）免密登錄設(shè)置
如果只需要本機(jī)登錄別的主機(jī)，把本機(jī)當(dāng)作客戶端，則在本機(jī)安裝 SSH 客戶端 （openssh-client）軟件即可。如果要讓別的主機(jī)（包括本機(jī)自己）登錄本機(jī)，也就是 說(shuō)把本機(jī)當(dāng)作服務(wù)端，就需要安裝 SSH 服務(wù)端（openssh-server）軟件。Ubuntu 操作 系統(tǒng)默認(rèn)沒有安裝 SSH 服務(wù)端軟件，請(qǐng)參考 2.1.4 進(jìn)行安裝。
登錄其他主機(jī)時(shí)，通常需要輸入密碼。如果要讓普通用戶（如 hadoop）無(wú)需輸入 密碼就可以登錄集群內(nèi)的主機(jī)，即實(shí)現(xiàn)免密登錄，通常的做法是在本機(jī)創(chuàng)建一個(gè)密鑰對(duì) （包括公鑰和私鑰），并將公鑰發(fā)送給集群內(nèi)所有的主機(jī)進(jìn)行認(rèn)證，即可實(shí)現(xiàn)免密登錄。
偽分布式只有一個(gè)節(jié)點(diǎn)，本機(jī)同時(shí)扮演著客戶端和服務(wù)端的角色。在 SSH 客戶端軟 件和 SSH 服務(wù)端軟件都安裝好的前提下，進(jìn)行以下免密登錄設(shè)置。
(1）生成密鑰對(duì)
$ ssh-keygen -t rsa其中，rsa 表示加密算法，鍵入上面一條命令后連續(xù)敲擊三次回車鍵，系統(tǒng)會(huì)自動(dòng)在~/.ssh 目錄下生成公鑰（id_rsa.pub）和私鑰（id_rsa），可通過(guò)命令$ ls ~/.ssh 查看。
$ ls ~/.ssh id_rsa id_rsa.pub（2）追加公鑰
我們以本機(jī)登錄本機(jī)自己為例（連接本機(jī)），將公鑰追加到~/.ssh/authorized_keys 文件中。
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys $ chmod 600 .ssh/authorized_keys通過(guò)命令$ ls ~/.ssh 查看，認(rèn)證文件 authorized_keys 已經(jīng)生成。讀者如果感興趣， 可以通過(guò) cat 命令查看 authorized_keys 內(nèi)容是否包含有 id_rsa.pub 的內(nèi)容。
$ ls ~/.ssh authorized_keys id_rsa id_rsa.pub(3）免密登錄驗(yàn)證
執(zhí)行命令 ssh node1，首次登陸需要輸入“yes”，第二次登錄就不需要輸入任何信 息了。注意命令行路徑的變化。以下例子免密登錄之前的路徑是“~/.ssh”，登錄后的 路徑是“~”。
hadoop@node1:~/.ssh$ ssh node1 Welcome to Ubuntu 16.04.4 LTS (GNU/Linux 4.13.0-36-generic x86_64) * Documentation: https://help.ubuntu.com * * Management: https://landscape.canonical.com 250 packages can be updated. 134 updates are security updates. Last login: Sat Jul 14 21:19:26 2018 from 192.168.30.128hadoop@node1:~$用命令$ exit 退出 node1 登錄，路徑由 “~” 變?yōu)榱说卿浨暗摹皛/.ssh”。
hadoop@node1:~$ exit logout Connection to node1 closed. hadoop@node1:~/.ssh$（4）設(shè)置 Hadoop 配置文件
安裝 Hadoop 偽分布式模式，總共有 5 個(gè)文件需配置，它們分別是 hadoop-env.sh、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。這些配置文件的路徑均 在${HADOOP_HOME}/ etc/hadoop 目錄下。
（4_1）配置 hadoop-env.sh
進(jìn)入 Hadoop 配置文件所在目錄，修改 hadoop-env.sh 文件。
$ cd ~/hadoop/etc/hadoop $ vi hadoop-env.sh找到 export JAVA_HOME 一行，把行首的#去掉，并按實(shí)際修改 JAVA_HOME 的值。
# The java implementation to use. export JAVA_HOME=/home/hadoop/jdk注意：JAVA_HOME=/home/hadoop/jdk，其中的 hadoop 為用戶名，注意要按實(shí)際 修改。
（4_2）配置 core-site.xml
用 vi 命令打開 core-site.xml。
$ vi core-site.xml參考以下內(nèi)容進(jìn)行修改，修改完保存退出。
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property> <name>fs.defaultFS</name> <value>hdfs://node1:8020</value> <!-- 以上ip 地址或主機(jī)名要按實(shí)際情況修改 --> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/tmp</value> </property> </configuration>配置說(shuō)明： fs.defaultFS 屬性指定默認(rèn)文件系統(tǒng)的 URI 地址，一般格式為“hdfs://host:port”。 其中，host 可以設(shè)置為 Ubuntu 操作系統(tǒng)的 IP 地址以及主機(jī)名稱中的任意一個(gè)，這里 設(shè)置為主機(jī)名；port 如果不配置，則使用默認(rèn)端口號(hào) 8020。
hadoop.tmp.dir 指定 Hadoop 的臨時(shí)工作目錄，設(shè)置為/home/<用戶 名>/hadoop/tmp，<用戶名>請(qǐng)根據(jù)實(shí)際情況修改。注意：一定要配置 hadoop.tmp.dir， 否則默認(rèn)的 tmp 目錄在/tmp 下，重啟 Ubuntu 操作系統(tǒng)時(shí) tmp 目錄下的 dfs/name 文件 夾會(huì)被刪除，造成沒有 NameNode。
（4_3）配置 hdfs-site.xml
用 vi 命令打開 hdfs-site.xml。
$ vi hdfs-site.xml修改成以下內(nèi)容，保存退出。
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>dfs.replication 的默認(rèn)值是 3，因?yàn)閭畏植际街挥幸粋€(gè)節(jié)點(diǎn)，所以值設(shè)置為 1。
（4_4）配置 mapred-site.xml
復(fù)制 mapred-site.xml.template，生成 mapred-site.xml。
cp mapred-site.xml.template mapred-site.xml用 vi 命令打開 mapred-site.xml。
$ vi mapred-site.xml修改成以下內(nèi)容，保存退出。
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>mapreduce.framework.name 默認(rèn)值為 local，設(shè)置為 yarn，讓 MapReduce 程序運(yùn) 行在 YARN 框架上。
（4_5）配置 yarn-site.xml
用 vi 命令打開 yarn-site.xml。
$ vi yarn-site.xml修改成以下內(nèi)容，保存退出。
<?xml version="1.0"?> <configuration><property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> <!-- 以上主機(jī)名或IP 地址按實(shí)際情況修改 --> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>yarn.resourcemanager.hostname 屬性為資源管理器的主機(jī)，設(shè)置為 Ubuntu 操作 系統(tǒng)的主機(jī)名或 IP 地址。
yarn.nodemanager.aux-services 屬性為節(jié)點(diǎn)管理器的輔助服務(wù)器，默認(rèn)值為空，設(shè) 置為 mapreduce_shuffle。
通過(guò)以上設(shè)置，我們完成了 Hadoop 偽分布式模式的配置。其實(shí) Hadoop 可以配置 的屬性還有很多，沒有配置的屬性就用默認(rèn)值，默認(rèn)屬性配置存放在 core-default.xml、 hdfs-default.xml、mapred-default.xml 和 yarn-default.xml 文件中?？梢缘焦倬W(wǎng)查詢對(duì) 應(yīng)文檔或通過(guò)命令 locate <查找的文件名> 來(lái)查找文件所在路徑，再通過(guò) cat 命令查看 其內(nèi)容，例如：
$ locate core-default.xml /home/hadoop/soft/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common /core-default.xml $ cat /home/hadoop/soft/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/cor e-default.xml（5）格式化 HDFS
格式化的過(guò)程是創(chuàng)建初始目錄和文件系統(tǒng)結(jié)構(gòu)的過(guò)程。執(zhí)行以下命令格式化 HDFS。
$ hdfs namenode –format $ sudo chmod 777 hadoop-2.7.1注意：格式化只需進(jìn)行一次，下次啟動(dòng)不要再次格式化，否則會(huì)少 DataNode 進(jìn)程。
（6）啟動(dòng) Hadoop
采用下面命令啟動(dòng) HDFS。
$ start-dfs.sh用 jps 命令驗(yàn)證，正確啟動(dòng)會(huì)出現(xiàn)以下 3 個(gè)進(jìn)程
$ jps NameNode DataNode SecondaryNameNode采用下面命令啟動(dòng) YARN。
$start-yarn.sh（7）驗(yàn)證 Hadoop 進(jìn)程
用 jps 命令驗(yàn)證，正確啟動(dòng)將多出以下兩個(gè)進(jìn)程。
$ jps ResourceManager NodeManagertips：start-dfs.sh、start-yarn.sh 也可以合并成下面一個(gè)命令。
$start-all.shtips：若使用$start-all.sh命令，在開啟Hadoop進(jìn)程的時(shí)候系統(tǒng)會(huì)提示我們輸入四次虛擬機(jī)的密碼！
如果某個(gè)主機(jī)少了某個(gè)進(jìn)程，應(yīng)該到相應(yīng)主機(jī)去找對(duì)應(yīng)的 log 查看原因，log 存放在 ${HADOOP_HOME}/logs 目錄下。例如，若少了 DataNode 進(jìn)程，那么就切換到 ${HADOOP_ HOME}/logs 目錄下，查看 DataNode 相關(guān)的 log，找到含有“WARN”“Error” “Exception”等的關(guān)鍵字句，通過(guò)上網(wǎng)搜索關(guān)鍵字句找到解決問(wèn)題的辦法
$ cd ${HADOOP_HOME}/logs $ cat hadoop-hadoop-datanode-node1.log也可以通過(guò) vi 命令查看。
$ vi hadoop-hadoop-datanode-node1.log最新出現(xiàn)的錯(cuò)誤，其信息都在文章末尾。
（8）通過(guò) Web 訪問(wèn) Hadoop
(8_1）HDFS Web 界面
在 Windows 瀏覽器中，輸入網(wǎng)址 http://ip地址:50070（例：http://192.168.30.128:50070），可以查看 NameNode 和 DataNode 的信息，如圖所示。
在 Windows 瀏覽器中，輸入網(wǎng)址 http://ip地址:50090（例：http://192.168.30.128:50090），可以查看 SecondaryNameNode 的信息，如圖所示。
(8_2）YARN Web 界面
在 Ubuntu 操作系統(tǒng)的瀏覽器中，輸入網(wǎng)址 http://ip地址:8088（例：http://192.168.30.128:8088），可以查看 集群所有應(yīng)用程序的信息，如圖所示。
步驟到了這里，基本已經(jīng)可以確定你的Hadoop已經(jīng)配置完成了！！！
8. 結(jié)語(yǔ)
以上就是配置Hadoop的初始步驟，對(duì)于作為初學(xué)者的同學(xué)，Hadoop的配置是最低要求，利用Linux下的Ubuntu操作系統(tǒng)來(lái)實(shí)現(xiàn)Hadoop偽分布式的運(yùn)行，學(xué)習(xí)Hadoop生態(tài)的各大功能，大家好好學(xué)習(xí)，共勉！！！
總結(jié)
以上是生活随笔為你收集整理的基于Ubuntu系统下的Hadoop 环境搭建(新手可尝)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 我和Git的第一次
- 下一篇： Linux kernel 同步机制（下篇