背景：為一家大型企業本地化BI系統做上云遷移的總體方案。客戶對當前本地的BI系統不滿意，希望遷移到AWS云之后，能夠重新用Tableau做新的BI報表設計。所以這不是本地系統的平滑遷移，而是需要在云上重建BI系統的優化遷移。因此，主要內容是BI數據的遷移，利用AWS原生服務和生態廠商服務重建數據倉庫和BI報表，并保留本地其他業務系統的聯系和數據源。

業務需求

• 客戶公司為了匹配整體業務上云策略，計劃將當前BI系統遷移至AWS公有云；
• 當前客戶本地BI系統數據包含3種模型 (IMS ,CPA ,Sales)；

當前整體數據架構

GODW(Global Oracle Data Warehouse)分為兩步處理，ETL7.1和ETL7.2：

ETL7.1：從數據源中提取數據做處理，構建ODS

ETL7.2：根據企業定義標準，轉換和加載數據到數據倉庫

企業當前BI系統

• 數據倉庫: GODW (Global Oracle Data Warehouse)
• ETL 工具: Informatica PowerCenter 10.1.1 HF2
• Report 工具: Tableau 2018.1.4
• 數據源: FlatFiles and SQL Server

遷移后的解決方案

• 數據倉庫: AWS Redshift and S3
• ETL 工具 : Informatica PowerCenter / Informatica Intelligent Cloud Services
• Report 工具 : Tableau 2018.1.4
• 數據源: FlatFiles, SQL Server and GODW?

遷移方案的范圍

• 現有的數據ETL處理過程遷移至AWS
• 現有GODW數據和歷史數據備份遷移至AWS
• 在AWS上利用Redshift開發新的DW
• 基于AWS Redshift數據倉庫構建新的BI報表

遷移過程

階段1：

	工作內容	工具	輸出
調研與評估階段	1.業務需求范圍鎖定： 需求收集； 業務關系識別與描述	?應用發現服務(ADS) 用于識別高保真、實時的應用狀況以及依賴關系； ?模式轉換工具 (SCT) 用于評估當前數據結構和轉換數據架構	現有系統評估和分析報告
	2. 需求評估: ? ETL 方法; ?表結構； ?數據模型; ?依賴關系； ?數據量； ?敏感數據； ?安全等級

階段2：

	工作內容	工具	輸出
設計和規劃階段	1.系統設計： 包括AWS IAM賬號體系設計，數據注入和流向設計，AWS資源選擇，安全和擴展性部署規劃； 2. 云上ETL過程和數據模型設計； 3. Tableau 報表設計	?AWS 數據庫遷移服務 (DMS), 模式轉換工具SCT將數據從 GODW 至 AWS Redshift轉換； ?安全專線連接； ?RedShift數據倉庫服務 ?第三方Tableau工具	系統架構設計；報表設計；遷移計劃和指導書
	4. 遷移規劃： ?批量歷史數據遷移和增量數據遷移； ?工具選擇； ?數據量，網速和時間成本估算； ?風險評估和應對措施，以及回滾方案

目標解決方案設計--從GODW到AWS的數據流：

源數據應該通過DMS從本地遷移到S3的存儲桶。DMS支持批量數據遷移和增量數據遷移，ETL日志也可以發送到S3存儲。

Informatica EC2主機將處理從登陸S3桶到模型S3桶的過程(在AWS中)。

處理后的數據保存到模型S3桶中。

從S3模型桶中加載數據到Redshift DW服務中。

Tableau Server用于生成基于Redshift數據的模型報表。

階段3：

	工作內容	工具	輸出
執行實施階段	1.AWS 資源準備； 2.專線連接準備； 3.最小化操作設置和驗證：在一致同意的部分用例上，使用已確認的AWS原廠服務、數據模型和前端可視化交付； 4.集成測試與驗證； 5.驗證通過后，進行總體系統遷移和部署	?AWS 數據庫遷移服務 (DMS), 模式轉換工具SCT將數據從 GODW 至 AWS Redshift轉換； ?安全專線連接； ?RedShift數據倉庫服務 ?S3, EC2, Informatica	遷移結果

階段4：

	工作內容	工具	輸出
BI 報表開發和投入生產	1.在AWS上開發新的BI系統，使用Tableau工具和報表可視化； 2.驗收測試 3.修改DNS使BI服務割接到AWS新系統 4.提供操作和監視/維護服務2周	Redshift, Informatica, Tableau	在AWS運行的生產系統

假設

• 客戶提供經過清洗的干凈的數據(將用作ETL和生成報表的源)
• POV將使用云原生服務
• 一個簡單的數據模型將作為這個POV的作用域(例如 Sales)。
• 用Tableau開發基于AWS的報表

項目計劃

根據項目實際周期預估和約束做出合理計劃：

如需進一步獲取詳細AWS云業務方案或者其他云遷移咨詢方案，請在評論區留言與作者討論。

總結

以上是生活随笔為你收集整理的BI系统AWS云迁移方案设计(通用)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。