背景
1.基礎數據平臺能力訴求:業務迅速增長，業務數據量不斷膨脹，重要業務場景越來越多，對于基礎數據平臺的服務和支持能力提出了更高的要求。
2.數據時效訴求：業務部門經營分析、決策支持對數據時效要求越來越高。
3.計算、存儲資源瓶頸： Oracle一體機存儲和計算資源存在瓶頸（有效空間140TB，已使用空間132TB），始終保持約90%高水位運行
? 設備老舊：Oracle一體機硬件設備已使用7至10年，接近或超過8年強制替換周期，存在設備老舊故障率升高的風險
? 原廠支持服務結束：Oracle一體機上Oracle數據庫版本為12.2.0.1，原廠支持服務于2022年3月結束，后續無新增補丁存在運行風險
? 軟硬件維保策略風險： Oracle一體機原廠軟硬件維保策略存在風險，2022年Oracle表示不再單獨銷售開發測試環境一體機軟件維保
4.信創工作規劃：基于國產軟硬件基礎設施，搭建自主可控大數據平臺，實現數據的整合、加工、共享，對海量結構化和非結構化數據的存儲、加工及訪問。

目標:
1.實現Oracle一體機到大數據平臺的技術棧切換
2.緩解我行在用的Oracle一體機運維風險。
3.高可用、彈性擴展的系統架構，支持在線擴容，在線升級

架構設計:
1.架構定位與原來保持一致,基于大數據平臺重構
2.基礎層改造：原ODS的表,配合改造從基礎層O層取數進行加工;數倉的表,配合改造從整合層I取數加工；集市的表,通過集群間授權進行訪問.
3.時效提高：結合大數據技術生態特性，針對時效要求高的重要業務場景貼源數據加工，如開業報表、零售有效戶等，提高時效性

方案:
1.應用主題分類 結合大數據平臺整合層數據主題組織方式，重新梳理集市的數據輸出，面向主題對集市進行歸納、分類，整理成一級主題、二級主題，三級主題，整體劃分為5個一級主題、12個二級主題、51個三級主題。
2.部分報表改從其他系統取數,不進行遷移
3.遷移映射 3層變為4層,基礎層—加工層—應用層貼源層->貼源層、整合層、加工層、應用層
4.生命周期保留策略管理 對一些特殊場景的，有使用一年的歷史數據，需保留。
5.技術棧切換設計 應用遷移,數據遷移,開發和測試,投產驗證(主健比對、記錄數比對、全字段比對),并行切換(并行三個月，分批下游切換)

性能:
1.存儲容量： Oracle一體機集市目前有7T表空間，預留30%業務增長空間，（表與數據文件）壓縮比為1:7；新FI集群按兩副本存儲，壓縮比1:2；大數據單節點可存儲36T, 所以需要7*1.3/7/2/(36/2)≈2臺（BDS型號物理機）
2.計算資源：當前舊FI集群運行流程3.6萬個，CPU共4.4萬核，平均消耗的CPU=3.6/4.4 ≈ 1.2核/每個流程。共遷移664個流程，需要CPU=664*1.2 ≈ 797核，每臺BDS服務器80核，因此需要大數據節點服務器為797/80≈10臺。
3.保障措施 a.資源隔離 b.批次規劃

經費:
1.主辦應用系統實施費用
2.關聯應用系統實施費用
3.軟件費用
4.硬件費用

總結

以上是生活随笔為你收集整理的基础数据平台迁移大数据平台的一些参考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。