大数据学习——Hadoop本地模式搭建
Hadoop官網(wǎng)單機(jī)版教程
一.Centos7的安裝
1.安裝Centos7
前提需要安裝好VMware16.2x
下載地址：
[https://download3.vmware.com/software/WKST-1624-WIN/VMware-workstation-full-16.2.4-20089737.exe](https://download3.vmware.com/software/WKST-1624-WIN/VMware-workstation-full-16.2.4-20089737.ex
2.網(wǎng)絡(luò)配置
打開VMware16，點(diǎn)擊左上角編輯——>點(diǎn)擊虛擬網(wǎng)絡(luò)編輯——>點(diǎn)擊VMnet8 配置NET模式——在最下方配置子網(wǎng)IP和子網(wǎng)掩碼——>點(diǎn)擊NET模式 NET設(shè)置——>配置網(wǎng)關(guān)IP——>應(yīng)用，確定
以win10為例：
打開適配器選項(xiàng)——>鼠標(biāo)點(diǎn)擊VMware Network Adapter VMnet8——>屬性——>雙擊Internet協(xié)議版本(TCP/IPv4)——>手動(dòng)修改IP地址(如圖所示)
3.安裝Centos
1)下載centos7鏡像
阿里云鏡像下載地址：
https://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-2207-02.iso?spm=a2c6h.25603864.0.0.74092d1cqIt3cz
下載后創(chuàng)建一個(gè)獨(dú)立的目錄,在目錄下創(chuàng)建5個(gè)文件夾，分別是centos(固定存放centos7鏡像，方便尋找)、hadoop100(模板機(jī))、hadoop101、hadoop102、hadoop103(在之后搭建Hadoop集群需要)。
2)安裝鏡像
創(chuàng)建新的虛擬機(jī)——>自定義——>硬件兼容性選擇最上面的——>選擇稍后安裝操作系統(tǒng)——>客戶機(jī)操作系統(tǒng)選擇Linux，版本選擇CentOS 7 64 位——>虛擬機(jī)名稱hadoop100，位置選擇我們創(chuàng)建好的hadoop100文件夾下——>處理器配置(以8核心16線程為例)處理器數(shù)量4，每個(gè)核心數(shù)2，內(nèi)核總數(shù)8(不能超過自己電腦的核心總數(shù))——>內(nèi)存設(shè)置為4g(三臺機(jī)器總內(nèi)存不要超過機(jī)帶內(nèi)存3/4)，——>網(wǎng)絡(luò)連接類型選取NAT模式——>下兩步按照推薦來——>選擇磁盤選取創(chuàng)建新虛擬磁盤——>最大磁盤大小分配50g,選擇將虛擬磁盤拆分成多個(gè)文件——>指定磁盤文件保存到之前創(chuàng)建的hadoop100中——自定義硬件——>新CD/DVD選擇鏡像，使用ISO映像文件，瀏覽選擇之前創(chuàng)建的centos目錄下的centos7鏡像——>關(guān)閉，點(diǎn)擊完成，鏡像已經(jīng)安裝OK
3)centos7裝配
開啟此虛擬機(jī)——>鼠標(biāo)點(diǎn)進(jìn)黑色窗口，不要做其他選擇，直接回車，等待——>進(jìn)入語言選擇，鼠標(biāo)選擇中文——>進(jìn)入安裝配置頁面，按順序先設(shè)置時(shí)間，城市選擇上海，時(shí)間調(diào)整與本機(jī)同步——>鍵盤、語言支持、安裝源和軟件選擇都不用動(dòng)(默認(rèn)最小安裝,節(jié)約磁盤和內(nèi)存)——點(diǎn)擊右下角+號，先添加/boot，分配1G，然后設(shè)置設(shè)備類型為標(biāo)準(zhǔn)分區(qū)，文件系統(tǒng)為ext4，繼續(xù)添加swap分區(qū)，分配4G，設(shè)置設(shè)備類型為標(biāo)準(zhǔn)分區(qū)，文件系統(tǒng)為swap，繼續(xù)添加/分區(qū)，分配45G，設(shè)置設(shè)備類型為標(biāo)準(zhǔn)分區(qū)，文件系統(tǒng)為ext4,點(diǎn)擊完成，然后接受更改——>KDUMP默認(rèn)是啟用，我們將它關(guān)閉——>進(jìn)行網(wǎng)絡(luò)配置，首先打開右上角以太網(wǎng)，左下角將主機(jī)名改成hadoop100，完成——>點(diǎn)擊開始安裝，在等待安裝過程中配置一下root密碼，自己記住就行，不用創(chuàng)建用戶(后期創(chuàng)建hadoop用戶市創(chuàng)建)——>重啟，安裝結(jié)束
二.Hadoop模板機(jī)配置
1.基礎(chǔ)配置
1)重啟后進(jìn)入登錄頁面，安裝是為最小安裝，沒有圖形化界面——>使用root用戶登錄——>登陸成功
2)網(wǎng)絡(luò)配置
方式1:
[root@hadoop100 ~]# nmtui-
(使用上下左右進(jìn)行選擇)回車 Edit a connection，繼續(xù)回車，選擇IPv4 的Automatic回車，選擇Manual,選擇右側(cè)的Show回車，選擇Addresses 后的Add,填寫IP地址，網(wǎng)段要與本機(jī)網(wǎng)絡(luò)適配器配置的網(wǎng)絡(luò)在同一個(gè)網(wǎng)段，然后修改Gateway和DNS servers都為192.168.10.2(與細(xì)膩網(wǎng)絡(luò)配置的網(wǎng)關(guān)相同),右下角ok保存,back退出
-
選擇Active a connection 激活網(wǎng)絡(luò)，選擇Deactivate回車，變成Activate后再回車，back退出，重啟機(jī)器
- 使用命令查看網(wǎng)絡(luò)狀態(tài),可以看到本機(jī)ip為192.168.10.100/24
方式二:
打開網(wǎng)絡(luò)配置文件，手動(dòng)添加配置，將BOOTPROTO修改成static,在最后添加
wq保存退出,reboot重啟機(jī)器
2.網(wǎng)絡(luò)配置好后，虛擬機(jī)內(nèi)部操作不方便，我們使用遠(yuǎn)程工具鏈接虛擬機(jī)操作
先下載xshell工具h(yuǎn)ttps://www.xshellcn.com/xiazai.html下載Xmanger Power，隨便填寫下載后百度破解
先修改window和centos中的hosts文件
使用記事本打開windows中C:\Windows\System32\drivers\etc\hosts，添加如下內(nèi)容
使用命令打開centos中的hosts文件，在文件最下面添加
[root@hadoop100 ~]# vi /etc/hosts 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.106 hadoop102 192.168.10.103 hadoop103重啟機(jī)器
重啟后，回到windows中打開Xshell工具，左上角新建會(huì)話，因?yàn)樯线吪渲昧薶osts，所以windows和hadoop機(jī)器產(chǎn)生了映射關(guān)系，直接在主機(jī)輸入hadoop100就可以了知道hadoop100的ip，點(diǎn)擊用戶身份驗(yàn)證輸入root用戶名密碼，連接，跳出驗(yàn)證主機(jī)秘鑰，選擇接受并保存，登陸成功
3.模板虛擬機(jī)依賴工具下載
1)先下載wget,方便修改yum源
[root@hadoop100 ~]# yum install -y wget2)修改網(wǎng)絡(luò)YUM源
備份原來的yum文件
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak下載阿里云的 CentOS-Base.repo 到/etc/yum.repos.d/
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo或
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo清空原本yum緩存
yum clean all生成新的阿里云的yum緩存，加速下載預(yù)熱數(shù)據(jù)
yum makecache3)安裝epel-release
Extra Packages for Enterprise Linux是為“紅帽系”的操作系統(tǒng)提供額外的軟件包，相當(dāng)于是一個(gè)軟件倉庫，大多數(shù)rpm包在官方 repository 中是找不到的
4)安裝后期學(xué)習(xí)使用的工具包，如vim,ntp,nc…
[root@hadoop100 ~]# yum install -y net-tools vim psmisc nc rsync lrzsz ntp libzstd openssl-static tree iotop git nano4.關(guān)閉防火墻，關(guān)閉防火墻開機(jī)自啟
[root@hadoop100 ~]# systemctl stop firewalld [root@hadoop100 ~]# systemctl disable firewalld.service5.創(chuàng)建hadoop用戶，并修改hadoop用戶的密碼
[root@hadoop100 ~]# useradd hadoop [root@hadoop100 ~]# passwd hadoop6.配置atguigu用戶具有root權(quán)限，方便后期加sudo執(zhí)行root權(quán)限的命令
[root@hadoop100 ~]# vim /etc/sudoers在root ALL=(ALL) ALL下添加
hadoop ALL=(ALL) NOPASSWD:ALL此文件為只讀文件，所以退出時(shí)用wq!強(qiáng)制執(zhí)行保存退出
7.創(chuàng)建軟件安裝目錄
在/opt目錄下創(chuàng)建文件夾，并修改所屬主和所屬組
1）在/opt目錄下創(chuàng)建module、software文件夾
[root@hadoop100 ~]# mkdir /opt/module [root@hadoop100 ~]# mkdir /opt/software2）修改module、software文件夾的所有者和所屬組均為hadoop用戶，查看module、software文件夾的所有者和所屬組
[root@hadoop100 ~]# chown hadoop:hadoop /opt/module/ [root@hadoop100 ~]# chown hadoop:hadoop /opt/software/ [root@hadoop100 ~]# ll /opt/注：如果 安裝的是桌面版的，需要先卸載虛擬機(jī)自帶的java
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps環(huán)境配置好之后，關(guān)機(jī)。
三.Hadoop單機(jī)版搭建
1.根據(jù)模板機(jī)hadoop100克隆虛擬機(jī)hadoop101——>創(chuàng)建完整克隆——>修改克隆機(jī)名稱為hadoop101，保存位置為之前創(chuàng)建的hadoop101目錄下
2.克隆后開啟hadoop101,修改克隆機(jī)配置，和之前的hadoop100同理
要設(shè)置主機(jī)名(hadoop100在創(chuàng)建時(shí)就直接改了)，Set system hostname 回車，ok保存，修改IP并激活，重啟機(jī)器，使用命令查看機(jī)器網(wǎng)絡(luò)配置
可以看到主機(jī)名和ip已經(jīng)更新
3.在hadoop101安裝JDK
1）用Xftp傳輸工具將JDK導(dǎo)入到opt目錄下面的software文件夾下面
Xftp鏈接虛擬機(jī)連接虛擬機(jī)和Xshell相同
下載JDK和Hadoop的tar包
JDK1.8下載地址：https://www.oracle.com/java/technologies/downloads/#license-lightbox
Hadoop3下載地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.4/hadoop-3.2.4-src.tar.gz
直接拖動(dòng)tar包到/opt/software下
Xshell中使用hadoop賬戶登錄hadoop101，查看目錄下是否有文件
2）安裝JDK
先解壓JDK tar包到/opt/module下
3)配置JDK環(huán)境變量
1）新建/etc/profile.d/my_env.sh文件
在新建的my_env.sh中配置java環(huán)境變量
[hadoop@hadoop101 ~]$ sudo vim /etc/profile.d/my_env.sh添加如下內(nèi)容
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin2)source一下/etc/profile文件，讓新的環(huán)境變量PATH生效
[hadoop@hadoop101 ~]$ source /etc/profile3)測試JDK是否安裝成功
[hadoop@hadoop101 ~]$ java -version4.在hadoop101安裝Hadoop
將Hadoop和JDK將tar包放到/opt/software下
1）安裝Hadoop
先解壓JDK tar包到/opt/module下
2)配置Hadoop環(huán)境變量
1)打開/etc/profile.d/my_env.sh文件
在my_env.sh文件末尾添加如下內(nèi)容：
#HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin2)source一下/etc/profile文件，讓新的環(huán)境變量PATH生效
[hadoop@hadoop101 ~]$ source /etc/profile3)測試是否安裝成功
[hadoop@hadoop101 ~]$ hadoop version四.測試Hadoop本地運(yùn)行模式
1.創(chuàng)建在hadoop-3.1.3文件下面創(chuàng)建一個(gè)wcinput文件夾
[hadoop@hadoop101 ~]$ cd /opt/module/hadoop-3.1.3/ [hadoop@hadoop101 hadoop-3.1.3]$ mkdir wcinput [hadoop@hadoop101 hadoop-3.1.3]$ ll2.在wcinput文件下創(chuàng)建一個(gè)word.txt文件
[hadoop@hadoop101 hadoop-3.1.3]$ touch wcinput/word.txt [hadoop@hadoop101 hadoop-3.1.3]$ vim wcinput/word.txt在文件中輸入如下內(nèi)容
稻香 - 周杰倫 (Jay Chou) 詞：周杰倫 曲：周杰倫 編曲：黃雨勛 對這個(gè)世界如果你有太多的抱怨 跌倒了就不敢繼續(xù)往前走 為什么人要這么的脆弱墮落 請你打開電視看看 多少人為生命在努力勇敢的走下去 我們是不是該知足 珍惜一切就算沒有擁有 還記得你說家是唯一的城堡 隨著稻香河流繼續(xù)奔跑 微微笑 小時(shí)候的夢我知道 不要哭讓螢火蟲帶著你逃跑 鄉(xiāng)間的歌謠永遠(yuǎn)的依靠 回家吧 回到最初的美好 不要這么容易就想放棄 就像我說的 追不到的夢想換個(gè)夢不就得了 為自己的人生鮮艷上色 先把愛涂上喜歡的顏色 笑一個(gè)吧 功成名就不是目的 讓自己快樂快樂這才叫做意義 童年的紙飛機(jī) 現(xiàn)在終于飛回我手里 所謂的那快樂 赤腳在田里追蜻蜓追到累了 偷摘水果被蜜蜂給叮到怕了 誰在偷笑呢 我靠著稻草人 吹著風(fēng) 唱著歌 睡著了 午后吉他在蟲鳴中更清脆 陽光灑在路上就不怕心碎 珍惜一切 就算沒有擁有 還記得你說家是唯一的城堡 隨著稻香河流繼續(xù)奔跑 微微笑 小時(shí)候的夢我知道 不要哭讓螢火蟲帶著你逃跑 鄉(xiāng)間的歌謠永遠(yuǎn)的依靠 回家吧 回到最初的美好 還記得你說家是唯一的城堡 隨著稻香河流繼續(xù)奔跑 微微笑 小時(shí)候的夢我知道 不要哭讓螢火蟲帶著你逃跑 鄉(xiāng)間的歌謠永遠(yuǎn)的依靠 回家吧 回到最初的美好3.執(zhí)行程序
[hadoop@hadoop101 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
4.查看結(jié)果
[hadoop@hadoop101 hadoop-3.1.3]$ cat wcoutput/part-r-00000
下轉(zhuǎn)Hadoop集群搭建
總結(jié)
以上是生活随笔為你收集整理的大数据学习——Hadoop本地模式搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Python+C#】手把手搭建基于Hu
- 下一篇： BufferedInputStream的