文章目錄

• 一、大數據（持續更新）
• • 1. 前言
  • • 1.0作者感言
    • 1.1選擇Typora
    • • 1.1.1 選擇PicGo(APP)的原因
      • 1.1.2 下載PicGo并配置
      • 1.1.3 開始寫博客，記錄自己學習的點點滴滴
      • 1.1.4 附件下載地址
    • 1.2 為什么用Linux？
  • 2.下載VMware并安裝Linux
  • 3. 安裝VMwareTools
  • 4.配置網絡，確保能上網
  • • 4.1 vim /etc/sysconfig/network-scripts/ifcfg-eth0
    • 4.2 配置主機名與Ip的映射
  • 5. 配置SSH連接
  • 6. 配置SSH免密登錄
  • 7. 配置hadoop和java環境變量
  • • 7.1卸載自帶的Java
    • • 7.1.1檢查自帶的Java
      • • 7.1.1.1指令解析
      • 7.1.2卸載Java
    • 7.2解壓附件安裝包
    • • 7.2.1解壓指令解析
    • 7.3配置/etc/profile
  • 8.克隆虛擬機
  • • 8.1為什么要克隆虛擬機？
    • 附：更新在下一篇，歡迎讀者移步我的主頁查看

一、大數據（持續更新）

1. 前言

1.0作者感言

? 我水平有限，大數據仍在學習中，但學習日志會不斷更新，知識是個積累的過程，這個博客算是記錄我學習的過程，而非盈利性的教程。如果你們有更好的辦法或者意見，歡迎評論。

1.1選擇Typora

? 眾所周知，計算機是一門過程性知識非常多的學科，我們需要一款工具來記錄下我們的知識，Typora是一個非常好的選擇，支持多種代碼塊，畫面簡約，編寫方便，啟動快速。

1.1.1 選擇PicGo(APP)的原因

? 由于我們的圖片在本地，上傳md文件到CSDN的時候，CSDN不支持本地相對路徑上傳圖片，會提示失敗，這是就需要一個網絡中轉站，先把我們的圖片上傳到這個中轉站里面，那么我們的圖片地址就成了一個網絡地址，CSDN就會自動加載

1.1.2 下載PicGo并配置

? 1. 偏好設置

下載PicGo

這里注意不要選擇帶beta的版本，因為不穩定，容易崩潰

我選擇了

我們這里選擇騰訊云COS，不選Github，因為Github服務器不在中國，所以會有下載上傳緩慢的情況

創建對象存儲桶（訪問權限設置為 公開讀私有寫 ，提高安全性）

存儲桶名稱對應“設置存儲空間名”

所屬地域對應“確認存儲區域”

存儲桶名稱后面的一串數字對應“設定APPID”

最后授予PicGo密匙

1.1.3 開始寫博客，記錄自己學習的點點滴滴

1.1.4 附件下載地址

鏈接：https://pan.baidu.com/s/1oA1iDFWGUCYC6Sjk5OzVeQ
提取碼：s8h9
復制這段內容后打開百度網盤手機App，操作更方便哦–來自百度網盤超級會員V1的分享

1.2 為什么用Linux？

眾所周知，Linux最強的服務器操作系統，并且在一定程度上比windows安全。而大數據框架Hadoop也是運行在服務器之上，所以Linux是最優選。

2.下載VMware并安裝Linux

注：附件在前言1.1.4

如果你的電腦是16G內存可以選擇2GB，如果你的電腦是8G，則選擇1G內存

完成

開啟虛擬機

默認

跳過，選skip

耐心等待

這里重啟即可

3. 安裝VMwareTools

VMwareTools可以讓虛擬機和Windows10之間共享粘貼板

控制臺輸入以下兩條指令

cd /opt mkdir module software

解壓到第3步創建的module文件夾中

cd /opt/module/vmware-tools-distrib ./vmware-install.pl

然后一路回車采用默認設置

這里不要著急，不要按ctrl+C，否則會中斷，系統也會崩潰，耐心等待

這里同樣不要著急，不要跳過或者關閉窗口

安裝成功如圖所示

重啟即可生效

4.配置網絡，確保能上網

4.1 vim /etc/sysconfig/network-scripts/ifcfg-eth0

如果你是選擇了NAT，那么你的Linux配置好了就能上網，但是需要再配置/etc/sysconfig/network-scripts的ifcfg-eth0，以確保ssh遠程登錄成功

關鍵配置如下

BOOTPROTO=static ONBOOT=yes

配置完成保存，重啟即可生效

4.2 配置主機名與Ip的映射

vim /etc/hosts

輸入ifconfig指令查詢的ip地址

輸入hostname指令查詢的主機名

如圖

5. 配置SSH連接

終端輸入以下指令查看ip地址

ifconfig

此處端口號（port）不要改，否則會出錯

選yes即可

6. 配置SSH免密登錄

關閉防火墻

chkconfig iptables off

終端輸入

ssh-keygen -t rsa

回車

先用ssh登錄一遍，這步目的是為了生成.ssh文件

ssh localhost

傳遞公鑰

ssh-copy-id machine110

第一次會讓你輸入密碼，第二次就不用了

成功之后如圖

7. 配置hadoop和java環境變量

7.1卸載自帶的Java

7.1.1檢查自帶的Java

7.1.1.1指令解析

rpm命令
-q 　使用詢問模式，當遇到任何問題時，rpm指令會先詢問用戶。
-a 　查詢所有套件。
grep命令用于查找文件里符合條件的字符串。

rpm -qa |grep java rpm -qa |grep jdk rpm -qa |grep gcj

如果沒有輸入提示信息表示沒有安裝

7.1.2卸載Java

方法一：批量卸載

rpm -qa | grep java | xargs rpm -e --nodeps

方法二：單個卸載

rpm -e 安裝包的名字

7.2解壓附件安裝包

7.2.1解壓指令解析

-z或–gzip或–ungzip 通過gzip指令處理備份文件。
-x或–extract或–get 從備份文件中還原文件。
-v或–verbose 顯示指令執行過程。
-f<備份文件>或–file=<備份文件> 指定備份文件。
-C<目的目錄>或–directory=<目的目錄> 切換到指定的目錄。

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

7.3配置/etc/profile

終端輸入

vim /etc/profile

按 “i” 進入編輯模式，加入以下代碼

export JAVA_HOME=/opt/module/jdk1.8.0_144 export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

ESC退出編輯模式，按"wq"進行保存

重新加載配置文件

source /etc/profile

檢查是否配置正確

java -version hadoop version

8.克隆虛擬機

8.1為什么要克隆虛擬機？

讀者如果親自配置過虛擬機，你會知道配置的過程是非常繁瑣的，而且是非智力的勞動。在實際工作當中，你可能要配置3個節點以上，不可能一個一個配置，當你一個主機配置好后，選擇克隆會省下很多功夫。

從安全方面上說，克隆可以防止數據丟失，相當于備份，以免系統崩潰又要從頭再來的情況。

附：更新在下一篇，歡迎讀者移步我的主頁查看

總結

以上是生活随笔為你收集整理的Hadoop的详细配置（持续更新）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。