摘要：傳統數據存儲在線下數據中心，存在成本高、運維難、性能難保障等等多方面的問題。阿里云提供閃電立方、OSS/NASImport、混合云存儲陣列、鏡像回源、302跳轉、偽源站等六大解決方案為企業提供不同場景的海量數據遷移解決方案。

存儲和數據遷移的挑戰
在傳統企業服務中，大多數企業都是自建IDC，因此經常會遇到各種各樣的問題，第一是成本高，機器成本、網絡成本、人工成本，軟件授權費用，公網內網費用，IDC租用費用等等。第二是運維很難，經常隨著數據的積累，硬盤故障，服務器故障，網絡故障，軟件故障，IDC故障，用戶投訴，整個運維難度成指數增加，體驗非常差。第三是性能難保障，數據可靠性，服務可用性，功能先進性，安全性。隨著業務的發展，以前的存儲系統很難滿足業務的發展、功能和性能的發展。因此向云遷移是數據存儲的未來趨勢。

?

阿里云存儲有很全的產品家族，包含塊存儲、文件存儲、對象存儲、歸檔存儲、表格存儲等等。每一項都可以分很多子項。因此運維也不像以前那么難，可以做到代碼改動上云、安全免運維（不用關注細節）、三步開通（開通-使用-付費）、一鍵備份等等，非常簡潔方便。阿里云存儲在全球有19個節點，可以做到全球寫、全球讀，目前在國內是最強的。

阿里云存儲海量數據遷移解決方案
對于數據遷移來說，一般分為以下五個步驟：
1、評估現有的業務情況。做遷移之前，一定要把業務的情況了解清楚，比如：現有存儲的總體IO、總吞吐、網絡總帶寬、已用帶寬。
2、評估可用資源。存儲集群可用吞吐、IO、可用穩定網絡帶寬、預留安全水位。
3、遷移前準備。根據評估狀況制定遷移方案，計算需要的部署閃電立方Agent的集群數量和NASImport集群數量。
4、開始遷移。部署遷移集群，監測遷移狀態，失敗文件重試。
5、遷移結束。檢查遷移文件數、校驗遷移文件正確性。
在向云遷移海量數據的過程中，因為非結構化的存儲比結構化的存儲有更多的數據格式類型。對于非結構化的存儲，沒有辦法知道有多少數據類型和文件系統，也有一些本地的大數據相關的對象存儲，這樣的對象存儲，接口不一樣，實現功能也不一樣，因此對于非結構化的存儲遷移需要更多的組合方案。阿里云提供了離線遷移的方案，叫閃電立方。同時也提供了海量數據在線遷移基于OSS/NASImport的在線遷移工具，針對不同的互聯網產品，也提供了各種遷移服務，比如混合云存儲陣列、鏡像回源、302跳轉、偽源站等等。下面分別介紹這六種解決方案。
在線遷移神器OSS/NASImport
? Import工具是一款全在線的海量數據遷移工具，通過部署到服務器或者ECS機器，可以快速、安全穩定的將數據遷移到阿里云存儲。它有如下特點：
1、支持多種源站，多種數據接口，可定制開發.
2、全在線服務，無縫遷移。
3、支持存量數據同步和增量數據自動同步。
4、支持斷點續傳，失敗任務重傳。
5、支持上傳/下載流量控制。
6、支持多任務，并行數據下載/上傳。
7、支持上傳結果校驗。
8、可視化監視界面。
離線遷移神器閃電立方
? 除了在線遷移之外，閃電立方是阿里云2017年發布的一款離線遷移神器，閃電立方實際上是一臺服務器，它有如下特點：
1、軍工級物流密碼保護箱。
2、雙控制器，支持雙電源。
3、企業級SAS硬盤，Raid6數據保護。
4、AES256?對稱加密，MAC認證。
5、客戶保管密碼?SHA256(可選)。
6、支持壓縮去重。
7、確認遷移完成后，數據合規擦除。
8、單套支持每次遷移480TB。
閃電立方就像一個超大的U盤，可以直接把閃電立方插到機房，然后把數據遷移到閃電立方，再通過專業傳輸物流上傳到阿里云機房即可遷移成功。
混合云存儲陣列
? OSS/NASImport和閃電立方這兩種方案基本上在數據遷移之后，企業會放棄自己的機房，然而對于想混合使用的原有機房和云上資源的情況下，阿里云也有解決方案，就是使用混合云陣列，使用場景有企業數據云端拓展、企業數據云端同步、備份數據云端異地災備等。它的核心功能是提供豐富的設備端協議支持，原有應用無需修改，提供端到端的數據加密機制，數據自動分層，高性能的數據上云能力。有緩存和同步兩種模式，數據支持端到端的壓縮、去重、加密，還支持多版本快照、數據自動分層。
OSS鏡像回源
? 另外有一些互聯網業務，完全不能停機遷移的，阿里云也提供兩種遷移方案，第一個是OSS鏡像回源，功能是把所有的訪問先切到OSS上面，然后配置好鏡像回源的地址，用戶訪問OSS的時候，OSS會主動回源到主站。
302跳轉
另外一種方案，不需要把所有數據遷移到OSS數據，比如熱點數據，我們提供302跳轉功能。當用戶通過CDN訪問OSS的時候，即使OSS沒有數據，只要打開302跳轉功能并且配置好回源地址，OSS會主動的把回源地址返回給CDN，然后CDN會拿到地址再回源到源站拿到數據返回給用戶。這兩種是完全在線遷移，對互聯網業務和增量數據遷移是非常好用的。
偽源站
? 如果企業有多個源站，可以使用偽源站在線遷移，把偽源站和真正的源站進行隔離，由偽源站去拿數據。偽源站相當于替代源站，去把所有的業務處理完以后，再把數據上傳到OSS，這在互聯網業務分發應用的非常廣泛。
?

以上介紹的6個方案適用于不同的應用場景。對于非結構化的數據來說，數據類型太多、數據量大小也不一樣。例如像閃電立方，最適合做離線遷移，即使數據量上百TB，但前置條件是本地IDC要有足夠的內網帶寬和機架提供給閃電立方。例如像鏡像回源，用戶訪問OSS的時候，如果文件特別大，再去源站拿數據的時候，訪問速度就會非常慢，所以鏡像回源適合小規模的文件遷移，例如圖片、短視頻等等。

客戶實踐
? 某企業業務全是互聯網業務，經過日積月累，數據已經達到上百TB，并且數據中心分布的非常廣，在各地都有，而且每個數據中心網絡條件不一樣，存儲機器也不一樣，所以非常糾結是不是需要上云。阿里云給客戶做了一套比較完善的“離線+在線+互聯網”遷移方案。因為他們的IDC機器非常老，網絡環境又惡劣，沒法跟OSS專線連通，成本過高，硬件支持不了這么大的帶寬，所以阿里云做了一套閃電立方的專業遷移方案，多批次的搬遷。當第一批閃電立方上架之后，第二批馬上準備，在第一批遷移完之后，第二批馬上開始，基本上做到了每分每秒都在遷移，跟在線遷移同時完成。在遷移的過程中，也產生了一批增量數據，通過增量數據回源的方法，把增量數據也遷移進去。這是一個大型互聯網公司數據遷移上云方案。
? 另一個案例是一個傳統的三甲醫院的數據遷移方案，他們的存儲機還在用，并且希望遷移過程中產生的增量數據只遷移一部分。阿里云也制定了一套完整的方案，其中關鍵點在于把客戶所有的本地數據，通過閃電立方存儲到OSS，再同時把混合云存儲陣列部署到客戶的機房，把剩余的增量數據同步到OSS里面。因為數據不是特別大，一個星期之內就遷移完了。目前，該上云的數據就上云，該在線下的數據依然存儲在線下，自己的應用一點都不用改變。
?

在存儲遷移這個領域，阿里云積累了大量的經驗。阿里云存儲服務客戶的數據達到了10EB以上，為100PB以上的客戶從線下遷移到阿里云OSS，最多一天遷移5PB的數據。阿里云的遷移方案接口豐富、性能強大、穩定可靠、安全高效，支持在線、離線、純互聯網、傳統企業的混合云模式進行遷移，將來會有越來越多的客戶會把線下的數據遷移到阿里云存儲。

本文由云棲志愿小組黃小凡整理

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的上云迁移-海量数据迁移解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。