項目簡介

Exchangis是一個輕量級的、高擴展性的數據交換平臺，支持對結構化及無結構化的異構數據源之間的數據傳輸，在應用層上具有數據權限管控、節點服務高可用和多租戶資源隔離等業務特性，而在數據層上又具有傳輸架構多樣化、模塊插件化和組件低耦合等架構特點。

Exchangis的傳輸交換能力依賴于其底層聚合的傳輸引擎，其頂層對各類數據源定義統一的參數模型，每種傳輸引擎對參數模型進行映射配置，轉化為引擎的輸入模型。每聚合一種引擎，都將增加Exchangis一類特性，對某類引擎的特性強化，都是對Exchangis特性的完善。默認聚合以及強化Alibaba的DataX傳輸引擎。

核心特點

• 數據源管理以綁定項目的方式共享自己的數據源；設置數據源對外權限，控制數據的流入和流出。
• 多傳輸引擎支持傳輸引擎可橫向擴展；當前版本完整聚合了離線批量引擎DataX、部分聚合了大數據批量導數引擎SQOOP
• 近實時任務管控快速抓取傳輸任務日志以及傳輸速率等信息，實時關閉任務；可根據帶寬狀況對任務進行動態限流
• 支持無結構化傳輸DataX框架改造，單獨構建二進制流快速通道，適用于無數據轉換的純數據同步場景。
• 任務狀態自檢監控長時間運行的任務和狀態異常任務，及時釋放占用的資源并發出告警

與現有的系統的對比

對現有的一些數據交換工具和平臺的對比：

整體設計

架構設計

項目開源地址：https://gitee.com/WeBank/Exchangis

總結

以上是生活随笔為你收集整理的数据交换平台_从零开始理解大数据架构之数据交换平台的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。