ambari搭建注意事项
環境準備
當需要將一臺主機加入到 Ambari 管理的Hadoop集群時,需要對主機進行以下相關設置。
設置hostname并分發hosts文件
每臺機器都需要設置唯一的hostname。集群內所有機器的IP和hostname對應關系應全部寫入每臺機器的hosts文件中。
設置系統語言
Ambari管理下的各節點主機請設置為英文,否則會無法加入集群。
centos7
localectl set-locale LANG=en_US.UTF-8 # 重新登錄后生效centos6,修改/etc/sysconfig/i18n內容
LANG="en_US.UTF-8"立刻生效:
source /etc/sysconfig/i18n禁用selinux
- 查看狀態:
- 臨時關閉:
- 永久禁用
關閉防火墻
centos6
service iptable status # 查看狀態 servcie iptables stop # 停止 chkconfig iptables off # 禁止開機啟動centos7
systemctl status firewalld # 查看狀態 systemctl stop firewalld # 停止 systemctl disable firewalld # 禁止開機啟動開啟ntp
centos6
yum install ntp # 安裝 service ntpd start # 啟動 chkconfig ntpd on # 設置為開機啟動centos7
yum install ntp # 安裝 systemctl start ntpd # 啟動 systemctl enable ntpd # 設置為開機啟動安裝jdk
centos6/7
yum install java-1.8.0-openjdk # JAVA_HOME 為 /usr/lib/jvm/jre安裝Ambari Server過程中如果選擇自定義JDK的話,需要填寫JAVA_HOME,請注意該JAVA_HOME的值在Ambari Agent上面也要可用。請安裝JDK1.8,避免不必要的麻煩。因為部分組件可能使用JDK1.8編譯,用JDK1.7無法運行。
關閉Transparent Huge Pages
- centos6
修改/etc/grub.conf,在kernel參數后添加 transparent_hugepage=never,如下:
title CentOS (2.6.32-431.el6.x86_64)root (hd0,0)kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet transparent_hugepage=neverinitrd /initramfs-2.6.32-431.el6.x86_64.img保存后重啟即可。
- centos7
首先檢查THP的啟用狀態:
cat /sys/kernel/mm/transparent_hugepage/defrag /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never [always] madvise never上面的輸出就說明都是啟用的。
編輯/etc/rc.d/rc.local,增加下列內容:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag fi保存退出,然后賦予rc.local文件執行權限:
chmod +x /etc/rc.d/rc.local重啟系統,再檢查THP應該就是被禁用了
cat /sys/kernel/mm/transparent_hugepage/enabled /sys/kernel/mm/transparent_hugepage/defrag always madvise [never] always madvise [never]自定義資源庫
安裝Ambari Server時如果使用了自定義資源庫,即使用/etc/yum.repos.d/ambari.repo文件配置了自定義資源庫地址,那么安裝Ambari Agent時也會使用該資源庫地址。
配置SSH免密碼登錄
設登錄服務器地址為hostname,登錄用戶名為username
ssh-copy-id -i ~/.ssh/id_rsa.pub username@hostname以后就可以使用私鑰(~/.ssh/id_rsa)進行免密碼登錄了
離線安裝可能需要的依賴包
在離線環境采用本地Ambari+HDP資源庫安裝時,還會遇到部分依賴包需要單獨安裝的情況,這些包應該都在操作系統默認的資源庫中,可以使用操作系統安裝盤掛載形成資源庫的方式安裝,或手工下載rpm包安裝。目前已知此類包有:
| postgresql,postgresql-server,postgresql-libs | CentOS Update | |
| libtirpc-devel | CentOS Base | |
| python-argparse | CentOS7中該模塊包含在python中,無需單獨安裝 |
轉載于:https://www.cnblogs.com/hibugs/p/10275590.html
總結
以上是生活随笔為你收集整理的ambari搭建注意事项的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java学习--泛型
- 下一篇: bzoj 3585 mex