?文檔編寫(xiě)目的

Cloudera在2019年7月31日，對(duì)外宣布正式發(fā)布Cloudera Enterprise 6.3，相關(guān)介紹可以參考Fayson之前的文章《0682-Cloudera Enterprise 6.3.0發(fā)布》，《0717-6.3.0-Cloudera Manager 6.3的新功能》和《0718-6.3.0-CDH6.3的新功能》。本文檔Fayson主要描述如何在Redhat7.4安裝CDH6.3。CDH6與CDH5的安裝步驟一致，主要包括以下四部分：

1.安全前置準(zhǔn)備，包括安裝操作系統(tǒng)、關(guān)閉防火墻、同步服務(wù)器時(shí)鐘等；

2.外部數(shù)據(jù)庫(kù)如MySQL安裝

3.安裝Cloudera Manager；

4.安裝CDH集群；

請(qǐng)務(wù)必注意CDH6的安裝前置條件包括如下：

• 外部數(shù)據(jù)庫(kù)支持：

MySQL 5.7或更高

MariaDB 5.5或更高

PostgreSQL 8.4或更高

Oracle 12c或更高

• JDK

Oracle JDK1.8，將不再支持JDK1.7

• 操作系統(tǒng)支持

RHEL 6.8或更高

RHEL 7.2或更高

SLES 12 SP2或更高

Ubuntu 16或更高

• 本次Fayson的測(cè)試環(huán)境為

1.CM和CDH版本為6.3

2.Redhat7.4

3.JDK1.8.0_181

4.MariaDB-5.5.56

5.root用戶(hù)安裝

前置準(zhǔn)備

2.1 hostname及hosts配置

集群中各個(gè)節(jié)點(diǎn)之間能互相通信使用靜態(tài)IP地址。IP地址和主機(jī)名通過(guò)/etc/hosts配置，主機(jī)名通過(guò)/etc/hostname進(jìn)行配置。

以cm節(jié)點(diǎn)(172.31.13.38)為例：

• hostname配置

/etc/hostname文件如下：

或者你可以通過(guò)命令修改立即生效

• hosts配置

/etc/hosts文件如下:

以上兩步操作，在集群中其它節(jié)點(diǎn)做相應(yīng)配置。確認(rèn)需要安裝的4臺(tái)主機(jī)的hosts文件：

2.2 禁用SELinux

在所有節(jié)點(diǎn)執(zhí)行setenforce 0 命令，此處使用批處理shell執(zhí)行：

集群所有節(jié)點(diǎn)修改/etc/selinux/config文件如下：

# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of three two values:# targeted - Targeted processes are protected,# minimum - Modification of targeted policy. Only selected processes are protected. # mls - Multi Level Security protection.SELINUXTYPE=targeted

2.3 關(guān)閉防火墻

集群所有節(jié)點(diǎn)執(zhí)行 systemctl stop命令，此處通過(guò)shell批量執(zhí)行命令如下：

2.4 集群時(shí)鐘同步

在Redhat7.x的操作系統(tǒng)上，已經(jīng)默認(rèn)的安裝了chrony，我們這里先卸載chrony，然后安裝ntp。使用ntp來(lái)配置各臺(tái)機(jī)器的時(shí)鐘同步，將cm(172.31.13.38)服務(wù)作為本地ntp服務(wù)器，其它3臺(tái)服務(wù)器與其保持同步。

1.所有機(jī)器卸載chrony

2.所有機(jī)器安裝ntp

3.cm機(jī)器配置時(shí)鐘與自己同步

4.集群其它節(jié)點(diǎn)，配置找cm機(jī)器去同步

5.重啟所有機(jī)器的ntp服務(wù)

6.驗(yàn)證始終同步，在所有節(jié)點(diǎn)執(zhí)行ntpq -p命令，如下使用腳本批量執(zhí)行

左邊出現(xiàn)*號(hào)表示同步成功。

2.5 設(shè)置swap

1.在所有機(jī)器執(zhí)行以下命令以臨時(shí)設(shè)置swap為1，并即時(shí)生效

確保最后swap打印應(yīng)該都為1

2.為所有機(jī)器永久設(shè)置swap為1，修改/etc/sysctl.conf中vm.swappiness為1，沒(méi)有則新增。

將/etc/sysctl.conf文件同步到集群所有機(jī)器

2.6 設(shè)置透明大頁(yè)面

1.所有節(jié)點(diǎn)執(zhí)行以下命令關(guān)閉透明大頁(yè)面，并即時(shí)生效

2.修改所有節(jié)點(diǎn)的/etc/rc.d/rc.local文件的權(quán)限以實(shí)現(xiàn)開(kāi)機(jī)執(zhí)行

3.在所有節(jié)點(diǎn)的/etc/rc.d/rc.local文件中新增如下內(nèi)容，以實(shí)現(xiàn)開(kāi)機(jī)自動(dòng)關(guān)閉透明大頁(yè)面。

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

將該文件同步到所有節(jié)點(diǎn)

2.7 配置操作系統(tǒng)repo

Fayson用的是AWS的環(huán)境，這步是可以省略的，放在這里供物理機(jī)部署的兄弟們參考。

• 掛載操作系統(tǒng)iso文件

• 配置操作系統(tǒng)repo

[ec2-user@ip-172-31-2-159 ~]$ sudo vim /etc/yum.repos.d/local_os.repo[local_iso] name=CentOS-$releasever - Mediabaseurl=file:///media/DVD1gpgcheck=0enabled=1[ec2-user@ip-172-31-2-159 ~]$ sudo yum repolist

2.8 安裝httpd服務(wù)

• 安裝httpd服務(wù)

• 啟動(dòng)httpd服務(wù)

• 安裝完httpd后，重新制作操作系統(tǒng)repo，換成http的方式方便其它服務(wù)器也可以訪問(wèn)

1.修改/etc/httpd/conf/httpd.conf配置文件，在中修改以下內(nèi)容

2.保存httpd.conf的修改，并重啟httpd服務(wù)

2.9 安裝MariaDB

1.安裝MariaDB

2.啟動(dòng)并配置MariaDB

3.建立CM，Hive等需要的表

4.安裝JDBC驅(qū)動(dòng)

Cloudera Manager安裝

3.1 配置本地repo源

1.下載CM6.3的安裝包，地址為：

https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.3.0-1281944.el7.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpmhttps://archive.cloudera.com/cm6/6.3.0/allkeys.asc

2.下載CDH6.3的安裝包，地址為：

https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcelhttps://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha1https://archive.cloudera.com/cdh6/6.3.0/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813-el7.parcel.sha256https://archive.cloudera.com/cdh6/6.3.0/parcels/manifest.json

3.將Cloudera Manager安裝需要的6個(gè)rpm包以及一個(gè)asc文件下載到本地，放在同一目錄，執(zhí)行createrepo命令生成rpm元數(shù)據(jù)。

[root@ip-172-31-13-38 cm6.3]# createrepo .

4.配置Web服務(wù)器

將上述cdh6.3/cm6.3目錄移動(dòng)到/var/www/html目錄下, 使得用戶(hù)可以通過(guò)HTTP訪問(wèn)這些rpm包。

驗(yàn)證瀏覽器能否正常訪問(wèn)

5.制作Cloudera Manager的repo源

6.驗(yàn)證安裝JDK

3.2 安裝Cloudera Manager Server

1.通過(guò)yum安裝Cloudera Manager Server

2.初始化數(shù)據(jù)庫(kù)

3.啟動(dòng)Cloudera Manager Server

4.檢查端口是否監(jiān)聽(tīng)

5.通過(guò)http://cm_ip:7180/cmf/login訪問(wèn)CM

注意：完全啟動(dòng)成功需要幾分鐘時(shí)間。

CDH安裝

4.1 CDH集群安裝向?qū)?/h1>

1.admin/admin登錄到CM

2.同意license協(xié)議，點(diǎn)擊繼續(xù)

3.選擇60試用，點(diǎn)擊繼續(xù)

4.點(diǎn)擊“繼續(xù)”

5.點(diǎn)擊“繼續(xù)”，輸入集群名稱(chēng)，可以使用默認(rèn)的“Cluster 1”。

6.輸入主機(jī)IP或者名稱(chēng)，點(diǎn)擊搜索找到主機(jī)后點(diǎn)擊繼續(xù)

7.選擇自定義存儲(chǔ)庫(kù)，輸入cm的http地址

“CDH and other software”中選擇“使用 Parcel (建議)”，點(diǎn)擊“ 更多選項(xiàng)”，點(diǎn)擊“-”刪除其它所有地址，輸入http://172.31.13.38/cdh6.3，點(diǎn)擊“保存更改”

點(diǎn)擊“繼續(xù)”

8.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步安裝jdk

9.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步配置ssh賬號(hào)密碼

10.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步，安裝Cloudera Manager相關(guān)到各個(gè)節(jié)點(diǎn)

等待Agent安裝完畢后，自動(dòng)跳轉(zhuǎn)到下一步開(kāi)始分發(fā)Parcel

11.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步安裝cdh到各個(gè)節(jié)點(diǎn)

12.點(diǎn)擊Inspect Network Performance和Inspect Hosts，檢查主機(jī)

如果有錯(cuò)誤或者黃色警告，查看“顯示檢查器結(jié)果”，并逐項(xiàng)解決，然后“重新運(yùn)行”檢查，直到所有的檢查都通過(guò)，否則沒(méi)辦法點(diǎn)擊繼續(xù)下一步。

4.2 集群設(shè)置安裝向?qū)?/h1>

1.選擇需要安裝的服務(wù)，根據(jù)需要選擇，這里隨便選擇Data Warehouse，也可以自定義服務(wù)

2.點(diǎn)擊“繼續(xù)”，進(jìn)入集群角色分配，一臺(tái)機(jī)器作為管理節(jié)點(diǎn)，另外三臺(tái)機(jī)器作為DataNode

注意：Activity Monitor和Telemetry Publisher不用選擇任何主機(jī)，留空，即不安裝，因?yàn)橛貌坏健?/p>

3.點(diǎn)擊“繼續(xù)”，進(jìn)入下一步，測(cè)試數(shù)據(jù)庫(kù)連接

4.測(cè)試成功，點(diǎn)擊“繼續(xù)”，進(jìn)入目錄設(shè)置，此處使用默認(rèn)默認(rèn)目錄，根據(jù)實(shí)際情況進(jìn)行目錄修改

5.點(diǎn)擊“繼續(xù)”，進(jìn)入各個(gè)服務(wù)啟動(dòng)

6.安裝成功后進(jìn)入home管理界面

4.3 組件版本檢查

可以看到Hadoop3.0，Flume1.9，HBase2.1，Hive2.1.1，Spark2.4，Hue4.2.0，Impala3.2，Kafka2.2.1，Kudu1.0，Oozie5.1，Pig0.17，Senty2.1，Solr7.4，Sqoop1.4.7，Zookeeper3.4.5等。

總結(jié)

1.從安裝方式上來(lái)看，CDH6與CDH5變化不大，這也方便了CDH5的用戶(hù)可以較為快速的遷移到CDH6，以及適應(yīng)CDH6的安裝與使用。

2.安裝向?qū)Ы缑嬗幸恍┳兓?#xff0c;現(xiàn)在可以一目了然的看到一共多少步驟，以及每個(gè)步驟是干什么。

3.安裝條件前置沒(méi)有任何變化，包括防火墻，Selinux關(guān)閉，ntp同步等等。可以參考Fayson之前的文章《CDH安裝前置準(zhǔn)備》

4.進(jìn)到主界面變化也不大，主要是Cloudera的logo變成了黑色，與Cloudera主頁(yè)的整體風(fēng)格一致。

5.在配置Cloudera Manager連接到數(shù)據(jù)庫(kù)時(shí)的腳本有所變化。以前是/usr/share/cmf/schema/scm_prepare_database.sh，現(xiàn)在是/opt/cloudera/cm/schema/scm_prepare_database.sh

6.Cloudera Manager服務(wù)的狀態(tài)在Redhat7通過(guò)systemctl status cloudera-scm-server查看是顯示正確，而以前是不正確的，可以參考Fayson之前的文章《Cloudera Manager服務(wù)在RedHat7狀態(tài)顯示異常分析》

7.Cloudera Manager的rpm安裝包由之前的7個(gè)變成了6個(gè)，去掉了之前的JDK6的包，然后自帶JDK1.8.0_181，將不再支持JDK1.7。

8.注意CM的安裝除了下載rpm包以外，還要下載allkeys.asc文件，否則安裝agent的時(shí)候會(huì)報(bào)以下錯(cuò)誤：

9.對(duì)于離線(xiàn)安裝CDH6.x，分發(fā)Parcel出現(xiàn)hash校驗(yàn)失敗的問(wèn)題，是因?yàn)樵贑M6中修復(fù)了一個(gè)bug，讓它不再忽略由http服務(wù)器發(fā)送的“Content-Encoding”的header信息，但是我們?cè)赗edhat中安裝的httpd服務(wù)，當(dāng)它傳輸parcel文件時(shí)，默認(rèn)會(huì)錯(cuò)誤的設(shè)置“Content-Encoding”。于是CM server會(huì)錯(cuò)誤的認(rèn)為parcel文件已經(jīng)被httpd壓縮并嘗試解壓縮。所以會(huì)導(dǎo)致失敗。解決辦法是參考2.8章節(jié)的，設(shè)置httpd的conf文件，AddType application/x-gzip .gz .tgz .parcel，然后重啟httpd服務(wù)和CM服務(wù)。這個(gè)問(wèn)題在beta的時(shí)候就已經(jīng)存在了，具體請(qǐng)參考《0350-Redhat7.4安裝CDH6.0_beta1時(shí)分發(fā)Parcel異常分析》

10.與CDH6.1的安裝相比，6.2/6.3有一些細(xì)微的差別，首先多了一個(gè)步驟可以自定義集群的名字，默認(rèn)“Cluster 1”；另外在“檢查主機(jī)”那個(gè)步驟，多了一個(gè)選項(xiàng)“檢查網(wǎng)絡(luò)性能”，這個(gè)功能是為CDH6.2/6.3的新功能SDX服務(wù)的，因?yàn)镾DX是存儲(chǔ)計(jì)算分離的架構(gòu)，如果網(wǎng)絡(luò)是瓶頸，可能并不適合SDX。

總結(jié)

以上是生活随笔為你收集整理的createrepo命令安装_安装CDH6.3的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。