CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-7主节点CM安装子节点Agent配置...
主節(jié)點安裝cloudera manager
準備工作:下載CM和mysql連接驅(qū)動包:
CM各版本下載地址:http://archive.cloudera.com/cm5/cm/5/
從里面選擇:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下載即可。
Mysql JDBC下載地址:http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip
這里驅(qū)動的版本要比Mysql的版本相符或稍低,否則安裝CM和CDH時創(chuàng)建數(shù)據(jù)庫時會出現(xiàn)訪問失敗或連接失敗等錯誤。
?把mysql.jar包拷貝到 /usr/shar/java (注意重命名為:mysql-connector-java.jar),這樣安裝cdh的時候如果缺少mysql連接器就會自動從哪個java文件夾中去拷貝,免得自己到處拷貝的麻煩。
在主節(jié)點cdh1中解壓安裝cloudera manager。
首先把我們下載好的cloudera-manager-*.tar.gz包和mysql驅(qū)動包mysql-connector-java-*-bin.jar放到主節(jié)點cm0的/opt中。
我下載的版本分別是:cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz和mysql-connector-java-5.1.40.zip。
cloudera manager的目錄默認位置在/opt下
所以我們在opt目錄解壓安裝文件,命令如下:
cd ?/opt
tar xzvf??cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz
使用命令
ls
確保cm-5.14.0和cloudera目錄在/opt目錄下。?
?
?
?
Cloudera Manager建立數(shù)據(jù)庫?
我們把mysql-connector-java-5.1.40.zip也解壓一下。
unzip?mysql-connector-java-5.1.40.zip
ls?
cd??mysql-connector-java-5.1.40
發(fā)現(xiàn)jar包mysql-connector-java-5.1.40-bin.jar已經(jīng)解壓出來了。
使用命令
cp?mysql-connector-java-5.1.40-bin.jar ??/opt/cm-5.14.0/share/cmf/lib/
把mysql-connector-java-5.1.40-bin.jar放到/opt/cm-5.14.0/share/cmf/lib/中。?
cd?/opt/cm-5.14.0/share/cmf/lib/
ls|more
確認已經(jīng)放進去了。
在主節(jié)點初始化CM5的數(shù)據(jù)庫
使用命令
在命令里scm_prepare_database.sh后面的參數(shù)分別是:數(shù)據(jù)庫類型 數(shù)據(jù)庫名稱(可以隨便起一個名稱) ? 數(shù)據(jù)庫主機名 ?數(shù)據(jù)庫用戶名 密碼 --scm-host 主節(jié)點機名 scm scm scm
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm ?-h cdh1? -u ?root ?-p ?123456 ?--scm-host ?cdh1? scm scm scm ?
如果出現(xiàn)如下提示,則證明CM元數(shù)據(jù)創(chuàng)建成功。
All done, your SCM database is configured correctly!
參考下圖:
Agent配置?
主節(jié)點修改agent配置文件。
?
/opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini中的server_host為主節(jié)點的主機名。?
使用命令
vim ?/opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
?
在主節(jié)點cdh1用命令同步Agent到其他所有節(jié)點
scp -r ? /opt/cm-5.14.0 ? ? root@cdh2:/opt/
scp -r ? /opt/cm-5.14.0 ? ? root@cdh3:/opt/ (如果有的話)
參考下圖:
?
?
在所有節(jié)點創(chuàng)建cloudera-scm用戶
在每臺機子中
使用命令
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/ ?--no-create-home ?--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm?
啟動cm和agent?
主節(jié)點cdh1通過命令
?
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
啟動服務端。?
所有節(jié)點通過命令
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
啟動Agent服務。 (所有節(jié)點都要啟動Agent服務,包括服務端)
我們啟動的其實是個service腳本,需要停止服務將以上的start參數(shù)改為stop就可以了,重啟是restart,查看狀態(tài)是status。
?
Cloudera?Manager?Server和Agent都啟動以后,等待1分鐘左右,就可以進行嘗試訪問了。
http://master:7180/cmf/login
我這里master是主節(jié)點cdh1,也就是應該訪問
http://192.168.43.101:7180/cmf/login
?
安裝CM成功。
安裝到此處,可以考慮備份節(jié)點,為將來的節(jié)點拓展做準備。
?
參考文章:https://www.cnblogs.com/felixzh/p/9082344.html
轉(zhuǎn)載于:https://www.cnblogs.com/qqflying/p/10697462.html
總結(jié)
以上是生活随笔為你收集整理的CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-7主节点CM安装子节点Agent配置...的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 阿里云物联网平台专题讲座
- 下一篇: Java-集合的简单介绍