哪些用戶需要遷移？

原社區(qū)版用戶

• 社區(qū)版不再更新

Cloudera(Cloudera 和Hortonworks 合并后)所有產(chǎn)品不再提供社區(qū)版，用戶無法獲取新的功能。

• 社區(qū)版不再免費

2021年1月31日開始，所有Cloudera軟件都需要有效的訂閱，且訂閱費昂貴（50個節(jié)點，一年訂閱費50萬美元）。

原企業(yè)版用戶

• 企業(yè)版不再更新

Cloudera 和Hortonworks 合并后推出了新一代大數(shù)據(jù)平臺 CDP，CDH 6和HDP 3將是CDH和HDP的最后企業(yè)版本，用戶無法繼續(xù)獲取新的功能和性能提升。

• 企業(yè)版不再服務

至2022年3月份，CDH/HDP全部EoS，用戶沒辦法獲取售后支持：

圖片

來源：cloudera官網(wǎng)

遷移方向

方向一：CDP

CDP是 Cloudera 和Hortonworks 合并后發(fā)布的新產(chǎn)品，融合原來CDH和HDP能力并增加了一些新功能和BugFix，支持云部署等能力。

雖然CDP提供了一些新能力，也將繼續(xù)更新并提供支持，但外國的軟件無法適配國產(chǎn)軟硬件生態(tài)（國產(chǎn)芯片、操作系統(tǒng)、服務器、中間件），技術(shù)方向不能自主可控，許可證也受外國法律限制，近期俄羅斯事件將這方面風險徹底暴露：

• Oracle宣布暫停在俄業(yè)務

3月3日，Oracle發(fā)推文稱：“為了Oracle在全球各地的150000名員工的利益，為了支持烏克蘭民選政府和烏克蘭人民，Oracle公司已經(jīng)暫停了在俄羅斯聯(lián)邦的所有業(yè)務。

• 眾多科技公司斷供俄羅斯

a. 谷歌宣布 Google Pay 在俄羅斯無限期暫停使用；b. 蘋果公司除了宣布在俄羅斯停用 Apple Pay 以外，也在俄羅斯境內(nèi)停止所有產(chǎn)品的銷售c. 英特爾、戴爾、AMD 宣布向俄羅斯斷供芯片

d. ……

• 下一個或是GitHub？

外媒消息稱，全球第一代代碼托管平臺GitHub 正在考慮限制俄羅斯開發(fā)人員使用開源軟件。盡管此類軟件的使用是免費的，但它的許可協(xié)議仍然存在諸多限制，包括禁止受制裁的國家使用原本對公眾免費開放的代碼。

方向二：國內(nèi)封裝的Hadoop商業(yè)版

對開源組件進行封裝，安裝部署運維方面有一些增強。

但是不可避免的，封裝開源組件始終是受制于國外法律與國際形勢，風險與方向一遷移到CDP相當。

同時，對開源組件進行封裝的廠商無法獲取最新的源代碼。另外，很多人認為有源代碼就可以自主可控，實際代碼只是一個技術(shù)的載體，僅僅擁有源代碼并不代表擁有核心技術(shù)，數(shù)千萬行代碼里掃清有意無意的漏洞根本不現(xiàn)實，擁抱開源的同時也一定擁抱了風險。

隨著美國公司Cloudera不再更新社區(qū)版，這一類產(chǎn)品將無法獲得能力更新，除非也升級到CDP，完全走向方向一。

方向三：國內(nèi)自主研發(fā)大數(shù)據(jù)產(chǎn)品TDH

Transwarp Data Hub（TDH）是星環(huán)科技自主研發(fā)的企業(yè)級一站式多模型大數(shù)據(jù)基礎(chǔ)平臺，采用領(lǐng)先的多模型技術(shù)架構(gòu)，8種存儲引擎支持10種數(shù)據(jù)模型，成套的工具組件讓系統(tǒng)的安裝部署、擴容升級、安全防衛(wèi)、風險告警、權(quán)限管理等工作變得更便捷。在技術(shù)領(lǐng)先性、性能、易用性、安全性、國產(chǎn)化生態(tài)兼容性，以及售后服務等諸多方面具有優(yōu)勢。同時，國產(chǎn)自主研發(fā)的TDH對國產(chǎn)化生態(tài)具有高度兼容性，滿足信創(chuàng)驗收要求。

遷移到不同平臺后獲得的能力

遷移到國產(chǎn)自主研發(fā)大數(shù)據(jù)產(chǎn)品TDH

• 如果你關(guān)注功能

TDH的多模架構(gòu)，支持關(guān)系表、文本、時空地理、圖數(shù)據(jù)、文檔、時序等在內(nèi)的10種數(shù)據(jù)模型；離線數(shù)據(jù)批處理、高并發(fā)的在線數(shù)據(jù)服務、數(shù)據(jù)集市、數(shù)據(jù)倉庫、數(shù)據(jù)湖、圖存儲分析、空間數(shù)據(jù)存儲、實時數(shù)據(jù)處理、數(shù)據(jù)中臺、數(shù)據(jù)治理等各類大數(shù)據(jù)業(yè)務場景一站解決。

• 如果你關(guān)注性能

TDH自研高性能分布式計算和存儲引擎，整體性能是CDP的 5~25倍。

• 如果你關(guān)注開發(fā)

TDH完整支持SQL2003標準，支持PLSQL存儲過程，兼容Oracle、DB2、Teradata等方言，無需每個場景一套接口。

• 如果你關(guān)注運維

TDH提供開箱即用的可視化運維監(jiān)控、安全管控工具，容器技術(shù)帶來極致的安裝、升級、補丁體驗。

• 如果你關(guān)注售后

TDH原廠超過1100人研發(fā)與支持團隊和超過3萬名星環(huán)科技認證的大數(shù)據(jù)工程師，專業(yè)性更強，售后無憂。

• 如果你關(guān)注架構(gòu)

TDH提供統(tǒng)一SQL引擎、統(tǒng)一計算引擎、統(tǒng)一分布式存儲管理、統(tǒng)一資源調(diào)度、統(tǒng)一內(nèi)聯(lián)架構(gòu)高效搞定湖倉集一體、HTAP等復雜場景，無需平湊組件散裝架構(gòu)。

• 如果你關(guān)注安全

TDH提供的容器隔離、災備、訪問控制、聯(lián)邦學習、隱私保護、可信計算等技術(shù)保障網(wǎng)絡層、加固層、治理層、流通層全方位數(shù)據(jù)安全。

• 如果你關(guān)注國產(chǎn)化

TDH完全自研，通過工信部代碼自主研發(fā)率掃描測試。同時TDH完成了與主流信創(chuàng)生態(tài)廠商的適配互認工作，滿足信創(chuàng)驗收要求。

遷移到CDP

遷移方向的對比分析

以下分別從兼容性、技術(shù)領(lǐng)先性、性能、易用性、穩(wěn)定性、災備與可靠性、安全性、自主可控、國產(chǎn)生態(tài)、解決方案、售后服務等多方面對比各遷移方向，供用戶參考。

兼容性

兼容性，直接決定遷移成本。很多客戶認為CDP是CDH/HDP的高版本，應可以平滑升級，基于開源整合的產(chǎn)品，也可以平滑升級，而TDH是國內(nèi)自主研發(fā)的大數(shù)據(jù)產(chǎn)品，兼容性不好，升級成本高，其實不然。

• CDP

1） CDH 5升級CDP有嚴重組件版本兼容性問題, 包括 sentry 換成ranger，Hive2 升級到 Hive3，升級對組件的兼容性影響大；2） 例如：某客戶CDH5升級到CDP的升級時間長達數(shù)月之久。

• 開源封裝產(chǎn)品

1） 基礎(chǔ)存儲和計算組件同樣有兼容性問題；2） CDH安全、運維管理等不開源組件和功能無法升級，且目前沒有很好解決方案。

• 星環(huán)科技TDH

1） TDH基礎(chǔ)存儲和計算組件兼容CDH/HDP，遷移成本低；2） TDH提供遷移工具，數(shù)據(jù)一鍵遷移；3） 大量遷移成功案例，不存在遷移風險。技術(shù)領(lǐng)先性

TDH產(chǎn)品技術(shù)始終領(lǐng)先于同類型產(chǎn)品2~3年，在大數(shù)據(jù)技術(shù)領(lǐng)域較早實現(xiàn)多項技術(shù)突破，例如2015年TDH4.0就完整支持分布式事務，同類型如Hive在多年后任然不能很好支持；2016年發(fā)布的TDH5.0推出新一代資源管理與調(diào)度技術(shù)，將容器技術(shù)和大數(shù)據(jù)技術(shù)有效結(jié)合，提供有效的資源隔離技術(shù)同時帶來極致的安裝和升級體驗，Cloudera 2020年也計劃相關(guān)產(chǎn)品使用這一解決方案；2020年TDH 7.0推出了創(chuàng)新的多模技術(shù)架構(gòu)，實現(xiàn)了通過統(tǒng)一SQL引擎對關(guān)系型、文本、圖數(shù)據(jù)、時空、時序等數(shù)據(jù)模型進行操作，在行業(yè)內(nèi)處于先進水平。

星環(huán)科技TDH多模型數(shù)據(jù)管理平臺技術(shù)架構(gòu)圖

星環(huán)科技長期在大數(shù)據(jù)基礎(chǔ)軟件研發(fā)與產(chǎn)品化過程中自主研發(fā)形成了一系列先進的核心技術(shù)，這支撐了TDH產(chǎn)品的先進性，也在金融、政府、能源、交通、制造業(yè)等國民經(jīng)濟重點領(lǐng)域中得到廣泛應用。隨著公司研發(fā)投入大幅提升，未來星環(huán)TDH將持續(xù)保持技術(shù)領(lǐng)先的優(yōu)勢。

性能提升

• TDH（Inceptor）整體性能是CDP（Hive on Tez）的5X

Inceptor 是星環(huán)科技自主研發(fā)的關(guān)系型分析引擎，基于TPCDS 1TB的數(shù)據(jù)規(guī)模，同等配置下（4X10cores）TDH（Inceptor）和CDP（Hive on Tez）進行性能對比，復雜場景有7~25X性能提升。

• TDH（Hyperbase）性能優(yōu)于CDP（Hbase）

Hyperbase是星環(huán)科技自主研發(fā)的NoSQL寬表數(shù)據(jù)庫，基于1000W條的數(shù)據(jù)集，TDH（Hyperbase）性能優(yōu)于CDP（Hbase）。

• TDH（ArgoDB）性能是CDP（Impala）的2~6X

ArgoDB是星環(huán)科技自主研發(fā)的分布式關(guān)系型數(shù)據(jù)庫，基于TPCDS 1TB的數(shù)據(jù)規(guī)模，同等配置下（4X10cores）TDH（ArgoDB）和CDP（Impala）進行Ad Hoc查詢性能對比情況，具體性能對比如圖所示：

基于TPC-H 1TB的數(shù)據(jù)規(guī)模，同等配置下，基于不同的查詢分析場景下，TDH（ArgoDB）性能是CDP（Impala）的2~6X。

• TDH（Slipstream） 優(yōu)于CDP（Flink）

Slipstream是星環(huán)科技自主研發(fā)的實時流計算引擎，在多場景上性能整體優(yōu)于CDP（Flink）。

• TDH（Scope） 優(yōu)于Elastic Search

星環(huán)科技全文搜索引擎 Scope吞吐量測試性能上優(yōu)于ES。

易用性

• 統(tǒng)一計算引擎

CDP/開源封裝產(chǎn)品使用一系列孤立的SQL 引擎， 如Apache SparkSQL、Apache Hive、Phoenix（SQL on HBase）、Cloudera Impala等。每個SQL 引擎都有各自的局限性，使得用戶難于學習掌握，開發(fā)使用、應用對接、實際落地、事后運維方面成本高。

星環(huán)科技TDH采用自研統(tǒng)一計算引擎，提供統(tǒng)一SQL接口處理，支持SQL 2003標準與存儲過程，并且支持Oracle/DB2/Teradata 等SQL 方言。

此外，統(tǒng)一引擎另一個好處是，各類存儲的數(shù)據(jù)可以在一個作業(yè)（如一個SQL語句）中，被抽取到統(tǒng)一引擎中進行分布式計算，而無需開發(fā)人員自己寫分布式代碼，從各個引擎中讀取數(shù)據(jù)再加工。整個易用性、開發(fā)效率和運行效率都提高很多。

• 一體多模架構(gòu)

TDH的多模型支持特性可輕松勝任復雜場景。通過8種獨立的存儲引擎，支持業(yè)界主流的10種存儲模型：關(guān)系型數(shù)據(jù)存儲、寬表存儲、搜索引擎、地理空間 存儲、圖存儲、鍵值存儲、事件存儲、時序存儲、文本存儲、對象存儲。在一個數(shù)據(jù)庫中同時支持多種數(shù)據(jù)模型（例如關(guān)系表、文本和圖片），可以避免分庫分表，簡化了應用的設(shè)計，支持直接高速存儲、檢索和統(tǒng)計多模型的數(shù)據(jù)。

CDP/開源封裝產(chǎn)品通過多個互相獨立的組件提供相應的能力，復雜場景需要多個組件+數(shù)據(jù)冗余完成，中間的開發(fā)和運維十分不便。

• 全套工具集

TDH提供SQL開發(fā)工具、輕量級ETL工具、數(shù)據(jù)調(diào)度工作流工具、圖形化數(shù)據(jù)建模工具、交互式分析與Cube設(shè)計工具、元數(shù)據(jù)管理工具、可視化報表、大數(shù)據(jù)治理工具、災備工具等大量易用性工具。

穩(wěn)定性

• 計算引擎

星環(huán)科技TDH自研的計算引擎Quark擁有：1) 分布式調(diào)度算法Furion Scheduler，支持task級別調(diào)度能力，相比CDP/開源封裝產(chǎn)品Task set級別調(diào)度，在業(yè)務混合負載并發(fā)高效果和穩(wěn)定性更好，不會出現(xiàn)一個大任務占滿資源把引擎跑崩，集群規(guī)模大情況下表現(xiàn)尤為明顯；2) Shuffle過程內(nèi)存控制技術(shù)，當數(shù)據(jù)量超過一定閥值時中間結(jié)果會spill到磁盤，不會出現(xiàn)OOM情況；3) 聚合采樣技術(shù)，當聚合率不高或者占用內(nèi)存太多時，會放棄預聚合，直接shuffle，來保證引擎穩(wěn)定性；4) Server級別HA，不存在server 單點故障；5) Task重試機制，task級別重試使得大任務重試代價小，不會出現(xiàn)一個大任務不斷重試把引擎跑崩情況；6) 計算引擎保護機制，在特別情況如誤提交超大表笛卡爾積計算任務，引擎會直接拒絕執(zhí)行SQL，進一步保護計算引擎，保證穩(wěn)定性；7) 分布式Checkpoint容錯機制，相比ACK機制，效率和穩(wěn)定性更優(yōu)。

• 存儲引擎

星環(huán)科技TDH在存儲層面具備：1) 小文件自動合并技術(shù)，同等數(shù)據(jù)量情況下，文件數(shù)遠少于CDP/開源封裝產(chǎn)品，大數(shù)據(jù)量情況下穩(wěn)定性高；2) 堆外內(nèi)存技術(shù)，單機容量得到提升，同時避免full GC導致的集群穩(wěn)定性問題，如Scope穩(wěn)定運行單機容量可達50TB，而CDP/開源ES上限只有10TB；3) 分布式Raft協(xié)議，支持集群規(guī)模更大更穩(wěn)定，如ArgoDB可穩(wěn)定支持2000+節(jié)點集群，可以根據(jù)企業(yè)需求線性擴容，支持PB級數(shù)據(jù)存儲；而CDP（Kudu）單集群最大規(guī)模不超過100個存儲節(jié)點，單節(jié)點超過8T存儲就會不穩(wěn)定；除此之外，自研的讀寫分離技術(shù)、索引技術(shù)、壞盤處理技術(shù)等，配合全流程監(jiān)控告警能力， 讓TDH支持系統(tǒng)7*24小時穩(wěn)定運行。

這些能力是CDP/開源封裝產(chǎn)品不具備的，因而在文件數(shù)多、數(shù)據(jù)量大、任務并發(fā)高、集群規(guī)模大的情況下，TDH整體穩(wěn)定性遠超CDP/開源封裝產(chǎn)品。

災備與可靠性

TDH有數(shù)據(jù)同步備份工具，原廠級組件支持，基于數(shù)據(jù)塊級別復制數(shù)據(jù)備份效率高、代價低，支持熱備、溫備、冷備等多種數(shù)據(jù)備份模式，支持全量備份/全量同步/增量同步，開放接口供其他工具或應用調(diào)用，具有全流程可視化界面。

CDP/開源封裝產(chǎn)品目前主要還是依賴多副本機制保障集群內(nèi)數(shù)據(jù)可靠性，異地容災沒有高效方案，只能做到HDFS的數(shù)據(jù)拷貝，效率低、代價大。安全性

星環(huán)科技TDH提供了大數(shù)據(jù)安全合規(guī)能力，在企業(yè)構(gòu)建大數(shù)據(jù)能力的同時，確保數(shù)據(jù)業(yè)務的安全合規(guī)。平臺基于敏感識別與分類分級，幫助企業(yè)實現(xiàn)大數(shù)據(jù)資產(chǎn)的分類管理，分級保護。支持多種數(shù)據(jù)安全防護能力，包括靜態(tài)脫敏、動態(tài)脫敏、數(shù)據(jù)水印，加強了數(shù)據(jù)業(yè)務事中控制能力。平臺還支持以數(shù)據(jù)為中心的監(jiān)測與審計能力，能識別敏感數(shù)據(jù)操作并進行用戶實體行為分析，能及時進行告警，提供事后可查溯源的能力。

CDP/開源封裝產(chǎn)品不具備這些能力。自主研發(fā)

自主可控方面TDH有絕對優(yōu)勢，TDH產(chǎn)品通過工信部自主代碼掃描測試。

CDP完全是國外軟件，不可控，國產(chǎn)軟硬支持不好。

開源封裝產(chǎn)品依賴開源，不能自主可控，很多組件受美國法律限制，不能規(guī)避“被制裁”風險。部分產(chǎn)品有l(wèi)icense風險，如ES已經(jīng)改開源license策略了，后續(xù)商用存在一定的風險。國產(chǎn)生態(tài)

星環(huán)科技TDH已完成與主流信創(chuàng)生態(tài)廠商的適配互認工作，適配長城飛騰、華為泰山、浪潮等服務器，鯤鵬、飛騰CPU，麒麟、統(tǒng)信等OS，并有官方認證，支持基于ARM與X86服務器服務器混合部署并有落地案例，滿足信創(chuàng)驗收要求。CDP在國產(chǎn)化服務器、CPU、GPU資源池化、操作系統(tǒng)等方面支持能力不足，無法很好地滿足國產(chǎn)生態(tài)。

在國產(chǎn)生態(tài)方面，TDH已經(jīng)有非常多落地案例，并且性能提升明顯。在不同指令集的CPU架構(gòu)均表現(xiàn)出優(yōu)異的性能，如ARM（鯤鵬）和X86（海光）在CPU密集型計算和IO密集型計算上性能提升顯著。

解決方案

星環(huán)科技TDH統(tǒng)一內(nèi)聯(lián)大數(shù)據(jù)底座優(yōu)于CDP/開源封裝產(chǎn)品的散裝數(shù)據(jù)底座。

CDP/開源封裝產(chǎn)品，每個場景需要一個組件獨立交付，開發(fā)語言和接口基本完全不同，客戶新業(yè)務開發(fā)、業(yè)務需求變更成本極高。

圖片

圖片

售后服務

TDH的產(chǎn)品提供方星環(huán)科技是國內(nèi)廠商，具有非常強大的研發(fā)、技術(shù)支持與服務能力，可以快速響應客戶定制化需求，提供強大的原廠售后服務保障能力。CDP的產(chǎn)品提供方Cloudera依靠國內(nèi)代理商提供銷售并提供實施、運維服務；Cloudera在國內(nèi)主要是運維人員，沒有原廠技術(shù)研發(fā)人員，很難保障SLA。由于支持不到位，很多國內(nèi)CDH企業(yè)版客戶已經(jīng)購買了或者希望購買星環(huán)科技技術(shù)人員提供技術(shù)保障。

某開源封裝產(chǎn)品對營運商客戶采用直銷方式，其他客戶一律采用渠道銷售方式，大部分行業(yè)原廠售后服務保障能力較低。其產(chǎn)品核心研發(fā)團隊較少，大部分技術(shù)人員在處理各類開源技術(shù)Bug及客戶問題遠程技術(shù)支持，專業(yè)性不足。

遷移案例

某通信集團

該集團核心業(yè)務系統(tǒng)存量數(shù)據(jù)10PB級別，每日增量數(shù)TB，批處理作業(yè)數(shù)千個，數(shù)據(jù)量大，業(yè)務價值高。

原有系統(tǒng)使用CDH+Oracle混合架構(gòu)，CDH 有近200節(jié)點，主要承擔數(shù)據(jù)批處理加工，Oracle對接上層應用，CDH散裝架構(gòu)和CDH+Oracle混合架構(gòu)帶給客戶巨大的開發(fā)運維成本，同時批處理性能、穩(wěn)定性和安全性也無法滿足客戶數(shù)據(jù)增長需求。

最終星環(huán)科技在項目一期用TDH成功遷移了客戶CDH+Oracle混合架構(gòu)的數(shù)據(jù)平臺，“一個頂兩”，并且數(shù)據(jù)稽核、聯(lián)邦計算、資源調(diào)度、安全性、高可用、易用性等關(guān)鍵能力得到增強，真正實現(xiàn)“降本增效”。

遷移全程用時6個月不到，充分體現(xiàn)了TDH對CDH的兼容性，以及Oracle方言和存儲過程支持能力。

隨著一些新應用上線，目前TDH集群生產(chǎn)環(huán)境擴容至近200個節(jié)點，直接對接經(jīng)營分析、計費、客服、賬務、結(jié)算等系統(tǒng)。

某航空公司

該航空公司原來使用HDP+Oracle混合架構(gòu)建設(shè)企業(yè)數(shù)據(jù)平臺，涉及流處理、批處理、高并發(fā)查詢等技術(shù)場景。

客戶部署了幾十個節(jié)點的HDP集群，但是散裝架構(gòu)帶給客戶巨大的開發(fā)運維成本，同時性能、實時性和穩(wěn)定性也無法滿足客戶需求。

最終星環(huán)科技一期項目用TDH成功遷移了客戶HDP集群，由于TDH對HDP的兼容性高，全部數(shù)據(jù)+業(yè)務遷移不到5個月時間（包含1個月并行運行測試）。

當前TDH集群近百個節(jié)點，TDH極好的SQL和Oracle方言支持讓客戶上線了很多新應用。

總結(jié)

以上是生活随笔為你收集整理的CDH/HDP迁移之路的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。