簡介：?本文介紹了Cloudera Manager 的常見術(shù)語和架構(gòu)

Cloudera Manager 術(shù)語

為了有效地使用Cloudera Manager，您應(yīng)該首先了解其術(shù)語。

術(shù)語之間的關(guān)系如下所示，其定義如下：

有時，術(shù)語服務(wù)和角色用于同時指代類型和實例，這可能會造成混淆。Cloudera Manager 和本節(jié)有時對類型和實例使用相同的術(shù)語。例如，Cloudera Manager 管理控制臺的“主頁” >“狀態(tài)”選項卡和“集群” >“ ClusterName” 菜單列出了服務(wù)實例。這類似于編程語言中的慣例，其中“字符串”一詞可能表示類型（java.lang.String）或該類型的實例（“ hi there”）。在需要區(qū)分類型和實例的地方，單詞“ type”被附加以指示類型，而單詞“ instance”被附加以顯式指示實例。

部署

Cloudera Manager 及其管理的所有集群的配置。

動態(tài)資源池

在 Cloudera Manager 中，這是資源的命名配置，以及用于在池中運行的 YARN 應(yīng)用程序或 Impala 查詢之間調(diào)度資源的策略。

集群

• 包含 HDFS 文件系統(tǒng)并對該數(shù)據(jù)運行 MapReduce 和其他進(jìn)程的一組計算機或計算機機架。
• 在 Cloudera Manager 中，是一個邏輯實體，包含一組主機，在主機上安裝的單個版本的 Cloudera Runtime 以及在主機上運行的服務(wù)和角色實例。一臺主機只能屬于一個集群。Cloudera Manager 可以管理多個集群，但是每個集群只能與一個 Cloudera Manager Server 關(guān)聯(lián)。

主機

在 Cloudera Manager 中，是運行角色實例的物理或虛擬機。一臺主機只能屬于一個集群。

機架

在 Cloudera Manager 中，是一個物理實體，包含一組通常由同一交換機提供服務(wù)的物理主機。

服務(wù)

• 在盡可能可預(yù)測的環(huán)境中運行在/etc/init.d/定義的 System V 初始化腳本的 Linux 命令 ，刪除大多數(shù)環(huán)境變量并將當(dāng)前工作目錄設(shè)置為/。
• Cloudera Manager 中的托管功能類別，可以在集群中運行，有時稱為服務(wù)類型。例如：Hive、HBase、HDFS、YARN 和 Spark。

服務(wù)實例

在 Cloudera Manager 中，是在集群上運行的服務(wù)的實例。例如：“ HDFS-1”和“yarn”。服務(wù)實例跨越許多角色實例。

角色

在 Cloudera Manager 中，服務(wù)中的功能類別。例如，HDFS 服務(wù)具有以下角色：NameNode、SecondaryNameNode、DataNode 和 Balancer。有時稱為角色類型。

角色實例

在 Cloudera Manager 中，是在主機上運行的角色的實例。它通常映射到 Unix 進(jìn)程。例如：“ NameNode-h1”和“ DataNode-h1”。

角色組

在 Cloudera Manager 中，這是一組角色實例的一組配置屬性。

主機模板

Cloudera Manager 中的一組角色組。將模板應(yīng)用于主機時，將創(chuàng)建每個角色組中的角色實例并將其分配給該主機。

網(wǎng)關(guān)

一種角色類型，通常為客戶端提供對特定群集服務(wù)的訪問權(quán)限。例如，HDFS、Hive、Kafka、MapReduce、Solr 和 Spark 各自具有網(wǎng)關(guān)角色，以為其客戶提供對其各自服務(wù)的訪問。網(wǎng)關(guān)角色并非總是在其名稱中帶有“網(wǎng)關(guān)”，也不是專門用于客戶端訪問。例如，Hue Kerberos Ticket Renewer 是一個網(wǎng)關(guān)角色，用于代理 Kerberos 中的票證。

支持一個或多個網(wǎng)關(guān)角色的節(jié)點有時稱為網(wǎng)關(guān)節(jié)點或邊緣節(jié)點，在網(wǎng)絡(luò)或云環(huán)境中常見“邊緣”的概念。對于 Cloudera 集群，當(dāng)從 Cloudera Manager 管理控制臺的“操作”菜單中選擇“部署客戶端配置”時，群集中的網(wǎng)關(guān)節(jié)點將接收適當(dāng)?shù)目蛻舳伺渲梦募?/p>

Parcel

二進(jìn)制分發(fā)格式，包含編譯的代碼和元信息，例如程序包描述、版本和依賴項。

靜態(tài)服務(wù)池

在 Cloudera Manager 中，是跨一組服務(wù)的總?cè)杭Y源（CPU，內(nèi)存和I / O權(quán)重）的靜態(tài)分區(qū)。

Cloudera Manager 架構(gòu)

如下所示，Cloudera Manager 的核心是 Cloudera Manager Server。服務(wù)器托管Cloudera Manager 管理控制臺、Cloudera Manager API 和應(yīng)用程序邏輯、并負(fù)責(zé)安裝軟件、配置、啟動和停止服務(wù)以及管理在其上運行服務(wù)的集群。

Cloudera Manager Server 與其他幾個組件一起使用：

• 代理-安裝在每臺主機上。該代理負(fù)責(zé)啟動和停止進(jìn)程、解包配置、觸發(fā)安裝以及監(jiān)控主機。
• 管理服務(wù)-由一組角色組成的服務(wù)，這些角色執(zhí)行各種監(jiān)控、警報和報告功能。
• 數(shù)據(jù)庫-存儲配置和監(jiān)控信息。通常，多個邏輯數(shù)據(jù)庫跨一個或多個數(shù)據(jù)庫服務(wù)器運行。例如，Cloudera Manager Server 和監(jiān)控角色使用不同的邏輯數(shù)據(jù)庫。
• Cloudera 存儲庫-由 Cloudera Manager 分發(fā)的軟件存儲庫。
• 客戶端-是與服務(wù)器交互的接口：

• Cloudera Manager 管理控制臺 -基于Web的用戶界面，管理員用于管理集群和Cloudera Manager。
• Cloudera Manager API -API 開發(fā)人員用于創(chuàng)建自定義 Cloudera Manager 應(yīng)用程序。

心跳

心跳是 Cloudera Manager 中的主要通信機制。默認(rèn)情況下，代理每15秒將心跳發(fā)送一次到 Cloudera Manager Server。但是，為減少用戶等待時間，在狀態(tài)更改時增加了頻率。

在心跳交換期間，代理會將其活動通知給 Cloudera Manager Server。反過來，Cloudera Manager Server 響應(yīng)代理應(yīng)執(zhí)行的操作。代理和 Cloudera Manager Server 最終都進(jìn)行了一些協(xié)調(diào)。例如，如果您啟動服務(wù)，則代理將嘗試啟動相關(guān)進(jìn)程；否則，代理將嘗試啟動相關(guān)進(jìn)程。如果進(jìn)程無法啟動，則 Cloudera Manager Server 會將啟動命令標(biāo)記為失敗。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。?

總結(jié)

以上是生活随笔為你收集整理的Cloudera Manager 术语和架构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。