Unlock SAP Data
上次舉辦了主題為:“UnlockSAP Data”的webinar后,很多小伙伴都很感興趣(要是還沒看趕緊去看錄像啊~~),但是因為是英文的,不是很明白。這里跟大家再具體介紹一下。
SAP的ERP產品經過了多年的發展,?目前主要有2個版本,?老的ECC和新發布的S4HANA。?S4HANA是革命性的新產品,?但上市時間不久,?大部分的老用戶應該還是使用的ECC。
如何”解鎖“HANA的數據,我們下次再聊,?今天我們就主要聊聊ECC。
ERP系統在絕大多數企業都是最為核心的系統,?這么重要的系統,其中存放的數據也是非常寶貴的,?為了挖掘這些數據的價值,?企業紛紛上線了各種報表,BI甚至大數據分析系統。但是這些系統通常不能也不會直接在ERP的數據庫上運行。?
但是想要獲取ECC系統的數據是件很復雜的事情。這是由于大部分的業務數據,?SAP將它們封裝起來,以二進制對象的方式存在表的LOB字段里,這些表叫cluster table或者pooled table。讀取這些信息,需要使用專門的ABAP語言編程,然后再傳輸DW系統供用戶分析使用。
關于這一點,我們可以用相對“靜態”的物料主數據來舉個例子。
首先,你需要業務顧問寫好包含程序處理邏輯的功能說明書,定義清SAP在何種情況下觸發程序,需要傳輸哪些字段數據,同時在程序里包含哪些邏輯條件,總之,說明書寫的越詳細,ABAP開發顧問就越容易理解開發需求,也就越能準確實現業務顧問想實現的功能。有了功能說明書之后,開發顧問就可以著手開發ABAP程序來傳輸數據了。一種比較簡單的方法是可以在SAP中定義增強程序,當物料創建、修改時,只要在SAP系統中對物料主數據更新保存成功后,會自動調用增強程序將物料信息推送給目標系統,并根據目標系統的響應在SAP中記錄推送結果。
聽上去似乎也不是太復雜,ABAP老司機也許幾個小時就完成了開發測試一條龍服務…
但是,這僅僅是一個物料主數據同步的接口,如果有很多不同的主數據呢?如果業務顧問有那么一點點不靠譜,說明書寫的云山霧罩呢?如果ABAP開發顧問并不是一個老司機呢?嗯,Will you make a wish, make a wish,閉上眼睛?愿望是口井,Make a wish make a wish,你會聽見真誠的回音……
而且,這還是“靜態”數據,如果是交易數據,再假如業務忙碌那么一些,那么程序很可能就跪了。說個笑話,某公司SAP和MES系統的集成,關于生產訂單的投料和工序確認數據同步,一開始設定的同步時間是5分鐘,一個月后改成了10分鐘,半年后改成了半小時…
對于ERP系統來說,數據是不斷發生變化的,那么DW里的數據只能通過ETL的方式從ERP系統進行批量抽取,如果抽取頻率太高,又會對ERP的運行產生很大的壓力,所以一般來說DW的數據都是采用T+1的方式從生產系統抽取。
隨著時代的發展,現在的企業越來越依賴數據分析支撐決策,越早拿到最新的數據進行分析,就越容易及時做出正確的決策,從而在殘酷的商業競爭中搶占先機。所以實時數據獲取是個很重要環節。
那么,有沒有什么好的方法,能夠解決數據傳輸的效率問題,能夠大幅減少工作量而又簡單易用呢?
下面我們就來談談HVR。
HVR是一家專注在實時數據集成領域的技術方案提供商,?許多世界頂級的企業都是HVR的用戶,?例如通用電氣,?波音飛機等等。HVR數據集成解決方案的基本特點是基于數據庫事務日志的連續數據變化捕獲技術(CDC)。簡單的說就是通過直接讀取生產數據庫的事務日志就可以捕獲業務數據的變化信息,這就避免了對數據庫的SQL查詢訪問,不會對數據庫系統產生壓力,是一種非侵入式的數據捕獲技術;由于對數據庫的事務日志的分析是實時進行的,所以數據抽取的延遲時間也可以縮減到秒級,充分滿足企業對于實時BI或者實時大數據的要求。
那么對于ECC里的cluser/pooled table怎么辦呢?別著急,?HVR提供了一個名為SapXForm的插件,可以在數據捕獲的同時將LOB對象數據“解鎖“為標準的格式化數據。舉個例子:
假設我們現在需要將SAP ECC中的數據復制到位于云上的AWS Aurora大數據分析平臺。我們只需要使用HVR完成以下步驟:
定義數據源
給出數據庫(例如oracle)的訪問信息(地址、用戶名、口令等)
?2. 定義數據目標
目標數據庫可以是在本地或異地的數據中心,也可以在云上。?HVR支持各種異構場景的數據實時同步。在這里,?我們以AWS的Aurora大數據分析平臺為例:
?3. 定義需要復制的對象
假設我們需要獲取SAP系統中業務代碼為BSEG(財務憑證行項目)和T030(科目自動記賬定義)的數據,我們可以直接在選取表的時候按業務代碼過濾找到需要的表
?4. 定義復制規則
在HVR中,復制的規則也被成為”Action”,?只需要簡單的定義如下規則就可以完成數據的抽取,轉換(”解鎖“)和裝載的工作流程。
?5. 啟動初始化同步數據和實時增量同步作業
HVR貼心的提供了在線初始化同步功能,?這樣在進行首次存量數據的同步的時候,就不用中斷業務啦。嗖的一下,?數據就自動整整齊齊分門別類的放到DW中去,?用戶就可以隨時使用報表查詢工具或者分析工具來使用這些數據啦。
?
在我的筆記本上, 這十幾萬條記錄只花了22秒鐘的時間。?
?
怎么樣,?10萬多條記錄的T030表,即使使用我的筆記本電腦來測試也只用了5.1秒就完成了數據比對,這速度是不是杠杠的呀?
?7. 數據查詢
完成以上工作后, ECC系統的數據就可以被實時的同步到你的數據倉庫或大數據平臺上了。 數據也被解鎖為標準的數據格式, 供用戶直接訪問。
最后, HVR可以將數據多種不同類型的平臺之間進行復制,快看看有沒有你感興趣的?
總結
以上是生活随笔為你收集整理的Unlock SAP Data的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux安装python3.6以后报错
- 下一篇: MySQL中int、char、varch