當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Ambari2.7.4 + HDP3.1.4 离线安装（2）

發布時間：2023/12/14 编程问答 22 豆豆

生活随笔收集整理的這篇文章主要介紹了 Ambari2.7.4 + HDP3.1.4 离线安装（2）小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

3.?系統環境設置

3.1?安裝JDK（所有節點）

3.1.1?卸載OpenJDK

3.1.2?安裝JDK

3.2?修改節點名稱（所有節點）

3.2.1?修改/etc/hosts文件（所有節點）

3.2.2?修改/etc/sysconfig/network（所有節點）

3.3?更新阿里巴巴yum源（所有節點）

?3.4?同步時間ntp

3.4.1?安裝ntp服務（所有節點）

3.5?關閉防火墻

3.6?關閉Selinux和THP（所有節點）

3.6.1?關閉Selinux

3.6.2?關閉THP?

3.7?修改文件打開最大限制（所有節點）

3.8?SSH無密碼登錄（主節點）

3.9?安裝MYSQL

3.9.1?安裝前準備

3.9.2 安裝Mysql

3.?系統環境設置

3.1?安裝JDK（所有節點）

Linux自帶的jdk或者是通過yum安裝的jdk都是openjdk
最好是卸載openjdk，通過自己來安裝oracle的jdk。

3.1.1?卸載OpenJDK

[root@master ~]# java -version openjdk version "1.8.0_212" OpenJDK Runtime Environment (build 1.8.0_212-c061) OpenJDK 64-Bit Server VM (build 25.212-c061, mixed mode) [root@master ~]# rpm -qa|grep java javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.212-0.c061.el7_7.x86_64 python-javapackages-3.4.1-11.el7_7.noarch tzdata-java-2018d-1.el7_7.noarch java-1.8.0-openjdk-headless-1.8.0.212-0.c061.el7_7.x86_64 [root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.212-0.c061.el7_7.x86_64 [root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.212-0.c061.el7_7.x86_64

注意變更當前機器的OpenJDK版本

3.1.2?安裝JDK

拷貝打包好的jdk文件，創建相應目錄，拷貝過去后解壓縮，配置環境變量，注意更換jdk.tar所在路徑

# mkdir -p /app/tools/java/ # cd /app/tools/java/ # cp -f /root/jdk.tar ./ # tar -xvf jdk.tar # export JAVA_HOME=$JAVA_HOME:/app/tools/java/jdk1.8.0_201 # export PATH=$PATH:/app/tools/java/jdk1.8.0_201/bin # export CLASSPATH=$CLASSPATH:/app/tools/java/jdk1.8.0_201/lib/dt.jar:/app/tools/java/jdk1.8.0_201/lib/tools.jar

3.2?修改節點名稱（所有節點）

3.2.1?修改/etc/hosts文件（所有節點）

# vi /etc/hosts

172.29.30.61 xxxx1.hadoop.com
172.29.30.62 xxxx2.hadoop.com
172.29.30.63 xxxx3.hadoop.com
172.29.30.64 xxxx4.hadoop.com
172.29.30.65 xxxx5.hadoop.com

需要修改的和主機名一樣

3.2.2?修改/etc/sysconfig/network（所有節點）

各節點改成相對應的節點名即可

[root@master ~]# vi /etc/sysconfig/network # Created by anaconda NETWORKING=yes HOSTNAME=master [root@master ~]# hostnamectl set-hostname master [root@master ~]# hostname

接下來通過測試ping各個節點名稱是否調通

3.3?更新阿里巴巴yum源（所有節點）

阿里巴巴開發者社區url： https://developer.aliyun.com/mirror/

選擇Centos

可直接運行如下

# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup # curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # yum makecache

?3.4?同步時間ntp

3.4.1?安裝ntp服務（所有節點）

# yum -y install ntp

?啟動服務，查看狀態并設置開機自啟

[root@master ~]# systemctl start ntpd.service [root@master ~]# systemctl status ntpd.service

3.5?關閉防火墻

查看防火墻狀態

# systemctl status firewalld.service

?關閉防火墻

# systemctl stop firewalld.service

設置開機不啟動

# systemctl disable firewalld.service

查看是否成功

# systemctl is-enabled firewalld.service

3.6?關閉Selinux和THP（所有節點）

3.6.1?關閉Selinux

查看Selinux狀態

# sestatus

關閉Selinux，提示沒有vim用yum裝一個或者用vi

# vim /etc/sysconfig/selinux

3.6.2?關閉THP?

查看狀態

[root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/defrag [always] madvise never [root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never

關閉THP并給予文件權限

# vim /etc/rc.d/rc.local

3.7?修改文件打開最大限制（所有節點）

（單獨設置需要重啟機器）

設置并查看

[root@master ~]# vim /etc/security/limits.conf # End of file * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072[root@master ~]# ulimit -Sn [root@master ~]# ulimit -Hn

?修改文件打開文件數

# vim /etc/systemd/system.conf

以下字段修改相應內容

DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000

3.8?SSH無密碼登錄（主節點）

# ssh-keygen -t rsa

回車通過，輸入密碼等確認通過即可

# ssh-copy-id xxx1.hadoop.com # ssh-copy-id xxx2.hadoop.com # ssh-copy-id xxx3.hadoop.com # ssh-copy-id xxx4.hadoop.com # ssh-copy-id xxx5.hadoop.com

?測試是否實現無密碼登錄，無輸入密碼即可通過

# ssh xxx1.hadoop.com date ;ssh xxx2.hadoop.com date;ssh xxx3.hadoop.com date;ssh xxx4.hadoop.com date;ssh xxx5.hadoop.com date;

?將剛剛創建的秘鑰拷出來，后面ambari安裝的時候需要上傳這個秘鑰。創建秘鑰是在隱藏文件夾/root/.ssh/下面的，所以需要先把秘鑰拷貝到可見區域，然后拷貝到本機上。

# cd /root/.ssh/ # cp id_rsa /root/ # ls /root/

?到這里reboot重啟一下

3.9?安裝MYSQL

3.9.1?安裝前準備

1、檢查是否已經安裝過mysql，執行命令

rpm -qa | grep mysql

2、已經安裝了mysql，執行刪除命令

rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64

3、再次執行查詢命令，查看是否刪除

rpm -qa | grep mysql

4、查詢所有Mysql對應的文件夾

[root@localhost /]# whereis mysql mysql: /usr/bin/mysql /usr/include/mysql [root@localhost lib]# find / -name mysql /data/mysql /data/mysql/mysql

5、刪除相關目錄或文件

rm -rf /usr/bin/mysql /usr/include/mysql /data/mysql /data/mysql/mysql

6、檢查mysql用戶組和用戶是否存在，如果沒有，則創建

cat /etc/group | grep mysql cat /etc/passwd |grep mysql groupadd mysql useradd -r -g mysql mysql

3.9.2 安裝Mysql

1、解壓

?tar -zxvf mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz -C /usr/local/

2、改名

cd /usr/local/ mv mysql-5.7.32-linux-glibc2.12-x86_64 mysql

3、創建data目錄

mkdir /usr/local/mysql/data

4、更改mysql目錄下所有的目錄及文件夾所屬的用戶組和用戶，以及權限

chown -R mysql:mysql /usr/local/mysql chmod -R 755 /usr/local/mysql

5、檢查該鏈接庫文件有沒有安裝使用命令進行核查

rpm -qa|grep libaio ?

系統中無該鏈接庫文件則需要安裝

yum install ?libaio-devel.x86_64

5、編譯安裝并初始化mysql,務必記住初始化輸出日志末尾的密碼（數據庫管理員臨時密碼）

?cd /usr/local/mysql/bin ./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql

6、運行初始化命令成功后，輸出日志，記錄日志最末尾位置root@localhost:后的字符串，此字符串為mysql管理員臨時登錄密碼。

7、編輯配置文件my.cnf，添加配置如下

vi /etc/my.cnf [mysqld] datadir=/usr/local/mysql/data port=3306 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES symbolic-links=0 max_connections=600 innodb_file_per_table=1 lower_case_table_names=1 character_set_server=utf8

相關參數解釋

lower_case_table_names：是否區分大小寫，1表示存儲時表名為小寫，操作時不區分大小寫；0表示區分大小寫；不能動態設置，修改后，必須重啟才能生效：

character_set_server：設置數據庫默認字符集，如果不設置默認為latin1

innodb_file_per_table：是否將每個表的數據單獨存儲，1表示單獨存儲；0表示關閉獨立表空間，可以通過查看數據目錄，查看文件結構的區別；

8、測試啟動mysql服務器

/usr/local/mysql/support-files/mysql.server start

9、添加軟連接，并重啟mysql服務

ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql service mysql restart

10、登錄mysql，修改密碼(密碼為步驟6生成的臨時密碼)

[root@centos807 bin]# mysql -u root -p mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file: No such file or directory [root@centos807 bin]#

如果登錄報錯，需要執行以下操作：

修改密碼

mysql> set password for root@localhost = password('123456');

11、開放遠程連接

use mysql; update user set user.Host='%' where user.User='root'; flush privileges;

12、設置開機自動啟動

#將服務文件拷貝到init.d下，并重命名為mysql

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld

#賦予可執行權限

chmod +x /etc/init.d/mysqld

#添加服務

chkconfig --add mysql

#顯示服務列表

chkconfig --list

?---------------???????-----???????-----???????-----???????-----???????-----???????-----???????-----

大數據萌新，期待與您共同成長！

可關注企鵝公眾號【懷瑾握瑜的嘉與嘉】獲取安裝包

?-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????
?

總結

以上是生活随笔為你收集整理的Ambari2.7.4 + HDP3.1.4 离线安装（2）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

离线