當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-8CDH5安装和集群配置

發(fā)布時間：2023/11/29 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-8CDH5安装和集群配置小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

Cloudera Manager Server和Agent都啟動以后，就可以進行CDH5的安裝配置了。?

準備文件

從 http://archive.cloudera.com/cdh5/parcels/中下載CDH5.14.0的相關文件?

把CDH5需要的安裝文件放到主節(jié)點上，新建目錄為 /opt/cloudera/parcel-repo 把我們之前下載的三個文件放到這個目錄下 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1 manifest.json 需要注意的是 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1需要重命名成CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha 安裝過程一路執(zhí)行下去沒有任何錯誤，只是到下圖這一步中啟動Hive和Oozie時會報錯：

原因就是，mysql連接驅動沒有放到Hive和Oozie的相應目錄中。下文有詳解，這里不再重復。

其他都是一路綠燈通過，安裝過程相當順暢。

安裝parcel

訪問CM的主頁 http://192.168.43.101:7180/cmf/login 用戶名和密碼均為admin。登錄之后同意條款。右下角點擊繼續(xù)。選擇版本然后右下角繼續(xù)。點擊繼續(xù)，各個Agent節(jié)點正常啟動后，可以在當前管理的主機列表中看到對應的節(jié)點。選擇要安裝的節(jié)點，點繼續(xù)。

接下來，出現(xiàn)以下包名，說明本地Parcel包配置無誤，直接點繼續(xù)就可以了。

如果此處發(fā)現(xiàn)不到parcel包，就重啟所有節(jié)點的agent服務，和master的server服務，然后重新嘗試。并且確認CDH版本小于或者等于CM的版本

本地通過Parcel安裝過程與本地通過Package安裝過程完全一致，不同的是兩者的本地源的配置。

區(qū)別如下：

Package本地源：軟件包是.rpm格式的，數(shù)量通常較多，下載的時候比較麻煩。通過”createrepo .”的命令創(chuàng)建源，并要放到存放源文件主機的web服務器的根目錄下，詳見創(chuàng)建本地yum軟件源，為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做準備

Parcel本地源：軟件包是以.parcel結尾，相當于壓縮包格式的，一個系統(tǒng)版本對應一個，下載的時候方便。如centos 6.x使用的CDH版本為CDH-X.X.X-1.cdhX.X.X.p0.22-el6.parcel，而centos 5.x使用的CDH版本為CDH-X.X.X-1.cdhX.X.X.p0.22-el5.parcel。

這些文件放好之后，CM會獲取這個包，并出現(xiàn)在主機->包裹的頁面。出現(xiàn)的快慢跟你設置的包的刷新頻率有關，默認是1小時。也可以重啟CM服務和agent服務識別。

可以在管理頁面的屬性標簽下的包裹種類里修改。

等待parcel安裝

正常情況下內網網速速好的話 10分鐘左右激活完畢，最多不超過30分鐘如果卡住了建議看看日志

安裝過程中有什么問題可以用

/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent status
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server status

查看服務器客戶端狀態(tài)

也可以通過

/var/log/cloudera-scm-server/cloudera-scm-server.log

/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看日志

如果上面的路徑找不到則在

日志文件夾＂/opt/cm-5.14.0/log＂查看日志，里面包含server和agent的log,使用命令如下:

tail -f /opt/cm-5.14.0/log/cloudera-scm-server/cloudera-scm-server.log

tail -f /opt/cm-5.14.0/log/cloudera-scm-agent/cloudera-scm-agent.log

例如我這里NTP因為沒有外網，所以會報錯，不過有些錯誤不影響的話不需要管。

成功激活后繼續(xù)右下角點擊繼續(xù)

主機檢查

會進入自動檢查主機（耗時2分鐘左右）然后給出報告，包括需要修改的部分和組件的版本

解決警告

這里有2個警告需要解決一下，至于版本里的不可用不適用不需要管。

警告一

Cloudera 建議將 /proc/sys/vm/swappiness 設置為最大值 10。當前設置為 60。使用 sysctl 命令在運行時更改該設置并編輯 /etc/sysctl.conf，以在重啟后保存該設置。您可以繼續(xù)進行安裝，但 Cloudera Manager 可能會報告您的主機由于交換而運行狀況不良。以下主機將受到影響

解決方法

每臺受影響的主機運行

echo 10 > /proc/sys/vm/swappiness 即可解決。

警告二
已啟用透明大頁面壓縮，可能會導致重大性能問題。請運行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此設置，然后將同一命令添加到 /etc/rc.local 等初始腳本中，以便在系統(tǒng)重啟時予以設置。以下主機將受到影響

解決方法

每臺受影響的主機運行命令

echo never > /sys/kernel/mm/transparent_hugepage/defrag

并且

vim ??/etc/rc.local ?

加入echo never > /sys/kernel/mm/transparent_hugepage/defrag這條命令。

然后點擊重新運行進行重新檢查

全部綠勾了，然后點擊右下角的完成。

選擇安裝哪些組件服務--這里根據(jù)需求選擇即可。

選擇組件服務

右下角點擊繼續(xù)，然后配置角色。一般情況下保持默認就可以了（Cloudera Manager會根據(jù)機器的配置自動進行配置，如果需要特殊調整，自行進行設置就可以了）。

我這里使用默認配置，所以直接點擊繼續(xù)就可以了。

配置數(shù)據(jù)庫

然后配置數(shù)據(jù)庫

這里需要輸入自己的mysql的對應數(shù)據(jù)庫名稱和用戶名以及密碼。

我們之前在mysql中新建的數(shù)據(jù)名分布對應填入然后點擊測試連接。

hive ? root ?123456

oozie ?root ?123456

hue ? ?root ?123456

如果測試連接全部是Successful,則點擊右下角的繼續(xù)。

可能遇到的問題---hue--unable to verify

查看日志后發(fā)現(xiàn)原因是

Error loading MySQLdb module: libmysqlclient_r.so.16: cannot open shared object file: No such file or directory

這個是因為cm的服務端是用java編寫的，cm的客戶端是python編寫的，這里測試連接時是用python去連接數(shù)據(jù)庫。但是CentOS系統(tǒng)本身會缺少一些python連接數(shù)據(jù)庫需要的關聯(lián)庫。

解決方法

在mysql的安裝目錄找到系統(tǒng)缺少的這個包，關聯(lián)到系統(tǒng)即可。

根據(jù)最后提示，應該是找不著一個交libmysqlclient_r.so.16的文件，于是到mysql安裝目錄里找到這個文件并且做一個軟連接到/usr/lib

如果是按照我們之前的離線安裝mysql步驟安裝的話默認的mysql安裝目錄是/var/lib/mysql/?

ln -s?/var/lib/mysql/lib/libmysqlclient_r.so.16 ??/usr/lib64/libmysqlclient_r.so.16

但是/var/lib/mysql/ 目錄下沒有找到lib目錄

使用

find / -name libmysqlclient_r.so.16

whereis ? libmysqlclient_r.so.16

也找不到libmysqlclient_r.so.16。

我們在之前解壓mysql文件的目錄里發(fā)現(xiàn)了除了

MySQL-client-5.6.34-1.linux_glibc2.5.x86_64.rpm
MySQL-server-5.6.34-1.linux_glibc2.5.x86_64.rpm?

這兩個安裝文件之外另外的rpm包。

我們把其他幾個關聯(lián)rpm包也安裝一下。

rpm -ivh ? MySQL-shared-5.6.34-1.linux_glibc2.5.x86_64.rpm
rpm -ivh ? MySQL-devel-5.6.34-1.linux_glibc2.5.x86_64.rpm
rpm -ivh ? MySQL-shared-compat-5.6.34-1.linux_glibc2.5.x86_64.rpm
rpm -ivh ? MySQL-embedded-5.6.34-1.linux_glibc2.5.x86_64.rpm ??
rpm -ivh ? MySQL-test-5.6.34-1.linux_glibc2.5.x86_64.rpm

安裝完成后再查找

whereis ? libmysqlclient_r.so.16

發(fā)現(xiàn)已經有了libmysqlclient_r.so.16而且已經在/usr/lib64路徑下了。

再次點擊測試連接，成功。

審核更改

審核更改中列出相關目錄和配置，如果有需要的話就修改，無特殊需求使用默認的即可，點擊右下角的繼續(xù)。

另外如果需要自己設定文件夾，一定要先mkdir文件夾，否側hdfs會無法啟動，并且報錯文件夾不存在，并確保訪問權限。

集群啟動

集群會首次運行所有的組件，這過程中可能會有一些錯誤，不要擔心，解決重試即可。下面會依次給出我遇到的情況供大家參考，基本上都是權限或者驅動問題。

正確首次啟動后如下圖(是不是很激動^^)

右下角繼續(xù)，離成功安裝一步之遙。

可能遇到的問題---hdfs啟動失敗--創(chuàng)建/tmp目錄失敗

Directory /tmp does not currently exist

Can't open /opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp/supervisor.conf: Permission denied.

報錯信息

Mon Nov 28 14:20:59 CST 2016
JAVA_HOME=/usr/java/latest/
using /usr/java/latest/ as JAVA_HOME
using 5 as CDH_VERSION
using /opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp as CONF_DIR
using ?as SECURE_USER
using ?as SECURE_GROUP
unlimited
Directory /tmp does not currently exist.

+ HADOOP_CLASSPATH=/opt/cm-5.8.2/share/cmf/lib/plugins/event-publish-5.8.2-shaded.jar:/opt/cm-5.8.2/share/cmf/lib/plugins/tt-instrumentation-5.8.2.jar:/opt/cm-5.8.2/share/cmf/lib/plugins/navigator/cdh57/audit-plugin-cdh57-2.7.2-shaded.jar
+ set -x
+ replace_conf_dir
+ find /opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp -type f '!' -path '/opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp/logs/*' '!' -name '*.log' '!' -name '*.keytab' '!' -name '*jceks' -exec perl -pi -e 's#{{CMF_CONF_DIR}}#/opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp#g' '{}' ';'
Can't open /opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp/supervisor.conf: Permission denied.
+ make_scripts_executable
+ find /opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp -regex '.*\.py∥sh

原因是hdfs用戶或者cm用戶對這個文件沒有操作權限。我們進入這個目錄查看

cd ? ?/opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp/

ls -l

發(fā)現(xiàn)確實是這個文件只有root才能讀寫，那么我們應該設置一下權限，因為cm是用hdfs用戶在操作的。

使用命令

cd ? ?/opt/cm-5.8.2/run/cloudera-scm-agent/process/61-hdfs-NAMENODE-createtmp/

chmod 666 supervisor.conf

ls ?-l

然后點擊右下角的重試。

可能遇到的問題--啟動 Key-Value Store Indexer, YARN (MR2 Included)---Create Job History Dir 失敗

啟動 Key-Value Store Indexer, YARN (MR2 Included)
?僅完成 0/2 個步驟。首個失敗：在服務 Key-Value Store Indexer 上執(zhí)行命令 Start 失敗
僅完成 0/2 個步驟。首個失敗：在服務 YARN (MR2 Included) 上執(zhí)行命令 Create Job History Dir 失敗
使用用戶 mapred 組 hadoop 和權限 1777 創(chuàng)建 DFS 目錄 /tmp/logs
?主機運行狀況變成不良時，主機 cm0 (id=3) 上的進程 dfs-create-dir (id=72) 被標記為失敗
Mon Nov 28 14:53:18 CST 2016
JAVA_HOME=/usr/java/latest/
using /usr/java/latest/ as JAVA_HOME
using 5 as CDH_VERSION
using /opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir as CONF_DIR
using ?as SECURE_USER
using ?as SECURE_GROUP
unlimited
Directory /tmp/logs does not currently exist.
Created directory /tmp/logs.
Changed ownership of /tmp/logs to mapred:hadoop.
Can't open /opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir/supervisor.conf: Permission denied.

+ set -x+ replace_conf_dir+ find /opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir -type f '!' -path '/opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir/logs/*' '!' -name '*.log' '!' -name '*.keytab' '!' -name '*jceks' -exec perl -pi -e 's#{{CMF_CONF_DIR}}#/opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir#g' '{}' ';'Can't open /opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir/supervisor.conf: Permission denied.+ make_scripts_executable+ find /opt/cm-5.8.2/run/cloudera-scm-agent/process/72-dfs-create-dir -regex '.*\.py∥sh

點擊stderr看了詳細的報錯發(fā)現(xiàn)仍然是權限問題，解決方法跟之前一樣，進入這個路徑后更改下權限即可。

可能遇到的問題--Solr, HBase--Command Start is not currently available for execution

這種情況界面上沒有詳細的信息但是在日志中可以看到是超時了，這種情況下確保局域網網絡好的情況下并且master服務器服務良好的情況下直接重試。

可能遇到問題---啟動hive---Failed to Create Hive Metastore Database Tables

++ false++ exec /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop/bin/hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/hive-cli-1.1.0-cdh5.8.0.jar org.apache.hive.beeline.HiveSchemaTool -verbose -dbType mysql -initSchemaJava HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driverorg.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driverat org.apache.hive.beeline.HiveSchemaHelper.getConnectionToMetastore(HiveSchemaHelper.java:79)at org.apache.hive.beeline.HiveSchemaTool.getConnectionToMetastore(HiveSchemaTool.java:113)at org.apache.hive.beeline.HiveSchemaTool.testConnectionToMetastore(HiveSchemaTool.java:159)at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:257)at org.apache.hive.beeline.HiveSchemaTool.doInit(HiveSchemaTool.java:243)at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:473)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at java.lang.reflect.Method.invoke(Method.java:498)at org.apache.hadoop.util.RunJar.run(RunJar.java:221)at org.apache.hadoop.util.RunJar.main(RunJar.java:136)Caused by: java.lang.ClassNotFoundException: com.mysql.jdbc.Driverat java.net.URLClassLoader.findClass(URLClassLoader.java:381)at java.lang.ClassLoader.loadClass(ClassLoader.java:424)at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)at java.lang.ClassLoader.loadClass(ClassLoader.java:357)at java.lang.Class.forName0(Native Method)at java.lang.Class.forName(Class.java:264)at org.apache.hive.beeline.HiveSchemaHelper.getConnectionToMetastore(HiveSchemaHelper.java:70)... 11 more*** schemaTool failed ***

這是hive的lib包中缺少mysql的驅動導致的。我們之前已經把mysql驅動包mysql-connector-java-*-bin.jar放到主節(jié)點cm0的/opt中,現(xiàn)在復制一份到/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib（這里CDH-5.8.0-1.cdh5.8.0.p0.42要跟自己的版本對應）

使用命令如下

cd /opt/mysql-connector-java-5.1.40cp mysql-connector-java-5.1.40-bin.jar ? /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib把mysql-connector-java-5.1.40-bin.jar放到/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib中。?cd ?/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/libls|more確認已經放進去了。

然后點擊右下角的重試。

可能遇到的問題---啟動 Oozie, Impala---Create Oozie Database Tables 失敗

Error: Could not connect to the database: java.lang.ClassNotFoundException: com.mysql.jdbc.DriverStack trace for the error was (for debug purposes):--------------------------------------java.lang.Exception: Could not connect to the database: java.lang.ClassNotFoundException: com.mysql.jdbc.Driverat org.apache.oozie.tools.OozieDBCLI.validateConnection(OozieDBCLI.java:905)at org.apache.oozie.tools.OozieDBCLI.createDB(OozieDBCLI.java:185)at org.apache.oozie.tools.OozieDBCLI.run(OozieDBCLI.java:129)at org.apache.oozie.tools.OozieDBCLI.main(OozieDBCLI.java:80)Caused by: java.lang.ClassNotFoundException: com.mysql.jdbc.Driverat java.net.URLClassLoader.findClass(URLClassLoader.java:381)at java.lang.ClassLoader.loadClass(ClassLoader.java:424)at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)at java.lang.ClassLoader.loadClass(ClassLoader.java:357)at java.lang.Class.forName0(Native Method)at java.lang.Class.forName(Class.java:264)at org.apache.oozie.tools.OozieDBCLI.createConnection(OozieDBCLI.java:894)at org.apache.oozie.tools.OozieDBCLI.validateConnection(OozieDBCLI.java:901)... 3 more--------------------------------------

+ '[' 0 = 1 ']'+ '[' CLOUDERA_MYSQL_CONNECTOR_JAR '!=' '' ']'+ eval 'JAR_LOCATION=$CLOUDERA_MYSQL_CONNECTOR_JAR'++ JAR_LOCATION=/usr/share/java/mysql-connector-java.jar+ echo 'Copying JDBC jar from /usr/share/java/mysql-connector-java.jar to /var/lib/oozie'+ cp /usr/share/java/mysql-connector-java.jar /var/lib/oozie/cp: cannot stat `/usr/share/java/mysql-connector-java.jar': No such file or directory+ OOZIECPPATH=

跟hive啟動的問題一樣，缺少驅動。

Oozie的lib包中缺少mysql的驅動導致的。我們之前已經把mysql驅動包mysql-connector-java-*-bin.jar放到主節(jié)點cm0的/opt中,現(xiàn)在復制一份到/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/Oozie/lib（這里CDH-5.8.0-1.cdh5.8.0.p0.42要跟自己的版本對應）

再復制一份到/var/lib/oozie/

使用命令如下把mysql-connector-java-5.1.40-bin.jar放到/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/oozie/lib中。?

cd /opt/mysql-connector-java-5.1.40

cp mysql-connector-java-5.1.40-bin.jar ? /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/oozie/lib

cp mysql-connector-java-5.1.40-bin.jar ? /var/lib/oozie

cd ?/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/oozie/lib

ls|more

確認已經放進去了。

cd /var/lib/oozie

ls|more

點擊右下角重試。

安裝完成

恭喜您，安裝完成。

點擊完成后會進入監(jiān)控界面。如果有紅色的話，還是需要我們去解決的。。。

?主機報錯是沒有啟動ntpd服務或者是cm客戶端沒啟用。

每臺機器都執(zhí)行如下命令啟動ntpd并設置為開機啟動

[root@cdh1 ~]# systemctl start ntpd
[root@cdh1 ~]# systemctl enable ntpd

如果還不行，就打開主機的抑制功能，如下圖：

然后主機報錯的就排查了。

其他服務錯誤，啟動一下試試，如果重啟不行就按照下面文章的方法排查錯誤。

具體排查的情況可以參考文章或者自己查資料。

hadoop基礎----hadoop實戰(zhàn)(九)-----hadoop管理工具---CDH的錯誤排查(持續(xù)更新)

全部解決后就全綠了。

備份安裝配置完好的系統(tǒng)

到這里我們的安裝就算完成了。為了以后的修復方便，我們可以對分別對linux系統(tǒng)進行備份。虛擬機的就很方便，直接復制壓縮虛擬機文件即可。

參考文章：https://www.cnblogs.com/felixzh/p/9082344.html

轉載于:https://www.cnblogs.com/qqflying/p/10697737.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-8CDH5安装和集群配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。