在6月上旬舉行的云棲大會(huì)上海峰會(huì)上，阿里云發(fā)布了國(guó)內(nèi)首個(gè)大數(shù)據(jù)集群雙活容災(zāi)產(chǎn)品-混合云容災(zāi)服務(wù)下的混合云大數(shù)據(jù)容災(zāi)服務(wù)（HDR for Big Data, 簡(jiǎn)稱 HDR-BD），并已經(jīng)在7月份開始邀測(cè)。HDR-BD采用業(yè)界領(lǐng)先的數(shù)據(jù)雙向?qū)崟r(shí)復(fù)制技術(shù)，可以實(shí)現(xiàn)Hadoop集群雙活和準(zhǔn)0 RPO容災(zāi)，為大數(shù)據(jù)災(zāi)備制定了全新的標(biāo)準(zhǔn)。

常見Hadoop災(zāi)備技術(shù)的挑戰(zhàn)

當(dāng)前比較常見的Hadoop集群災(zāi)備方式是用distcp將數(shù)據(jù)定期復(fù)制到一個(gè)備用集群做容災(zāi)用途，或者將數(shù)據(jù)復(fù)制到只讀集群、二級(jí)存儲(chǔ)作為多恢復(fù)點(diǎn)的備份。這些方案都有明顯弱點(diǎn)。

RPO和RTO是衡量災(zāi)備方案的兩個(gè)重要指標(biāo)，RPO-恢復(fù)點(diǎn)目標(biāo)，決定了丟失多少數(shù)據(jù)，RTO-恢復(fù)時(shí)間目標(biāo)，決定了業(yè)務(wù)中斷了多長(zhǎng)時(shí)間。由于傳統(tǒng)的Hadoop集群災(zāi)備方式使用的是distcp來做容災(zāi)，也就意味著數(shù)據(jù)復(fù)制不是實(shí)時(shí)的，因此用戶必須承受至少小時(shí)級(jí)到天級(jí)的RPO。并且主站宕機(jī)后，將只讀集群或二級(jí)存儲(chǔ)中的數(shù)據(jù)恢復(fù)出來會(huì)占用大量時(shí)間，而拉起standby集群重新啟動(dòng)業(yè)務(wù)依然是一個(gè)耗時(shí)的操作。因此，傳統(tǒng)的Hadoop集群災(zāi)備方式在RPO和RTO方面都有較大挑戰(zhàn)。

除此之外，由于災(zāi)備集群平時(shí)處于備用狀態(tài)，不能用于運(yùn)行業(yè)務(wù)，對(duì)于用戶來說也屬于資源浪費(fèi)。

以上這些問題長(zhǎng)期困擾著Hadoop集群的用戶和管理員們，如何突破RPO和RTO瓶頸，大數(shù)據(jù)集群的災(zāi)備領(lǐng)域亟需一種全新的技術(shù)來徹底解決目前的困境。

HDR- BD此次帶來的雙向?qū)崟r(shí)復(fù)制技術(shù)可以在兩個(gè)Hadoop集群之間建立雙活架構(gòu)，RPO接近0；RTO因?yàn)閿?shù)據(jù)隨時(shí)可讀寫而極大壓縮；雙活架構(gòu)可以讓兩個(gè)集群運(yùn)行不同的應(yīng)用，避免資源浪費(fèi)。這些特性將Hadoop災(zāi)備標(biāo)準(zhǔn)提高到了一個(gè)全新的高度，為Hadoop用戶帶來了極高的價(jià)值。

HDR-BD引入大數(shù)據(jù)雙向復(fù)制技術(shù)，滿足高要求的大數(shù)據(jù)災(zāi)備場(chǎng)景

阿里云此次推出的Hadoop雙活容災(zāi)方案HDR-BD引入了業(yè)界領(lǐng)先的大數(shù)據(jù)雙向復(fù)制技術(shù)，結(jié)合強(qiáng)大的公共云基礎(chǔ)設(shè)施，可以滿足極高要求的大數(shù)據(jù)災(zāi)備場(chǎng)景，為企業(yè)Hadoop集群數(shù)據(jù)保護(hù)提供了全新的選擇。
HDR-BD的優(yōu)勢(shì)在于：

極低RPO：數(shù)據(jù)的實(shí)施復(fù)制決定了每一個(gè)寫操作都會(huì)實(shí)時(shí)復(fù)制到配對(duì)集群，RPO幾乎為0

極高資源利用率：數(shù)據(jù)雙向復(fù)制確保兩個(gè)集群共享一份數(shù)據(jù)但運(yùn)行不同應(yīng)用，不會(huì)出現(xiàn)一個(gè)集群必須處于只讀會(huì)備用狀態(tài)的問題，計(jì)算資源可以充分利用

運(yùn)維復(fù)雜度極低： HDR-BD實(shí)現(xiàn)了數(shù)據(jù)的全自動(dòng)實(shí)時(shí)雙向復(fù)制，無需特定時(shí)間窗口，也無需擔(dān)心對(duì)業(yè)務(wù)的影響

在自建數(shù)據(jù)中心和阿里云之間部署HDR-BD服務(wù)器配對(duì)，用戶就可以將自建Hadoop集群與阿里云無縫集成，充分利用阿里云EMR和OSS建立極為高效的Hadoop災(zāi)備，遷移系統(tǒng)。HDR-BD可以滿足的核心場(chǎng)景包括

近0 RPO Hadoop云容災(zāi)
將自建Hadoop集群的數(shù)據(jù)實(shí)時(shí)復(fù)制到阿里云EMR集群，實(shí)現(xiàn)接近0 RPO的Hadoop集群容災(zāi)。

Hadoop集群與阿里云EMR集群雙活
在自建Hadoop集群和阿里云EMR集群之間建立數(shù)據(jù)雙向復(fù)制。兩個(gè)集群共享一份數(shù)據(jù)，但是運(yùn)行不同的應(yīng)用，實(shí)現(xiàn)集群雙活，達(dá)到資源的最大化利用。

Hadoop數(shù)據(jù)實(shí)時(shí)備份，遷移上云
云上HDR-BD服務(wù)器可以直連至阿里云對(duì)象存儲(chǔ)OSS。在無需EMR集群的情況下，HDR for Big Data可以將Hadoop數(shù)據(jù)實(shí)時(shí)復(fù)制到阿里云OSS，實(shí)現(xiàn)接近0 RPO的云備份；同時(shí)這個(gè)機(jī)制也可以作為Hadoop數(shù)據(jù)遷移上云的理想方案。利用這個(gè)機(jī)制做Hadoop集群遷移上云，在遷移過程中無需啟動(dòng)EMR集群；同時(shí)遷移過程無需復(fù)雜定制化腳本開發(fā)或者復(fù)雜的業(yè)務(wù)停機(jī)規(guī)劃。

總結(jié)

以上是生活随笔為你收集整理的【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。