來源：http://www.qianjia.com/html/2009-03/57084.html

摘要：提出了在智能化集成系統(tǒng)中通過開源ETL軟件Kettle對數(shù)據(jù)庫類型的子系統(tǒng)進(jìn)行信息采集的方案，并通過實際的實施案例驗證了所提出的整合方案的可行性及其優(yōu)勢。

關(guān)鍵詞：開源軟件、ETL、Kettle、ezIBS

?

智能化集成系統(tǒng)將不同功能的建筑智能化系統(tǒng)，通過統(tǒng)一的信息平臺實現(xiàn)集成，從而形成了具有信息匯集、資源共享及優(yōu)化管理等綜合功能的系統(tǒng)。經(jīng)過十余年的發(fā)展，智能化集成系統(tǒng)已經(jīng)具有了豐富的功能，并在各種類型的智能建筑中都得到了廣泛應(yīng)用。

智能化集成系統(tǒng)實現(xiàn)的基礎(chǔ)及其最基本的功能是對各智能化子系統(tǒng)進(jìn)行數(shù)據(jù)通信、信息采集和綜合處理。智能化集成系統(tǒng)在對門禁系統(tǒng)、消費系統(tǒng)、考勤系統(tǒng)、停車場管理系統(tǒng)等常見子系統(tǒng)進(jìn)行集成時，子系統(tǒng)的人員進(jìn)出記錄、刷卡記錄、收費記錄等都是必須進(jìn)行采集的信息。這些信息一般都按照子系統(tǒng)自定義的數(shù)據(jù)格式、保存在子系統(tǒng)的數(shù)據(jù)庫中，而集成系統(tǒng)對這些信息的采集方式也正是從子系統(tǒng)數(shù)據(jù)庫中讀取關(guān)心的數(shù)據(jù)、進(jìn)行格式轉(zhuǎn)換、然后存入集成系統(tǒng)的數(shù)據(jù)庫中。因此，數(shù)據(jù)庫讀取、轉(zhuǎn)換和保存技術(shù)已經(jīng)成為智能化集成系統(tǒng)中必不可少的一項關(guān)鍵技術(shù)。

?

1.?智能化集成系統(tǒng)中常見的數(shù)據(jù)轉(zhuǎn)換技術(shù)的比較分析

智能化集成系統(tǒng)對子系統(tǒng)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)讀取和轉(zhuǎn)換時，主要有3種實現(xiàn)方案，分別是：

（1）???自行開發(fā)數(shù)據(jù)庫讀取和轉(zhuǎn)換軟件，數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則寫死在程序代碼里；

（2）???使用第三方開發(fā)包或自行開發(fā)可配置的數(shù)據(jù)轉(zhuǎn)換軟件，數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則寫在配置文件當(dāng)中；

（3）???自行開發(fā)或使用第三方的可視化數(shù)據(jù)轉(zhuǎn)換軟件，數(shù)據(jù)讀取和轉(zhuǎn)換規(guī)則通過圖形界面來配置。

顯而易見，第三種是最優(yōu)的方案，也是集成系統(tǒng)工程實施效率最高、對調(diào)試人員技術(shù)水平要求最低的方案。

實際上，第三種方案中提到的可視化數(shù)據(jù)轉(zhuǎn)換軟件就是我們常說的ETL（Extract-Transform-Load，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載）工具軟件。ETL工具軟件是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。

圖1 ETL體系架構(gòu)

除了自行開發(fā)ETL軟件之外，市面上還有很多現(xiàn)成的ETL工具軟件可供選擇，既有商業(yè)軟件，也有開源軟件，我們經(jīng)過多方對比分析后，最終選擇了使用開源軟件Kettle作為同方ezIBS智能化集成系統(tǒng)的ETL工具。

?

2. ezIBS智能化集成系統(tǒng)選擇Kettle作為ETL工具的理由

（1）?Kettle是一款由Pentaho公司開發(fā)的功能強(qiáng)大的開源?ETL工具軟件。Kettle具有可視化的流程設(shè)計工具，良好的插件擴(kuò)展功能，支持集群操作?？梢哉f，Kettle是目前開源世界里功能最全的一款ETL工具。Kettle軟件的名稱很有意思，直譯是水壺。按項目負(fù)責(zé)人Matt的說法：把各種數(shù)據(jù)放到一個壺里，然后呢，以一種你希望的格式流出。

（2）?Kettle是一款開源產(chǎn)品，本身是免費的，成本主要是培訓(xùn)和咨詢，所以成本會一直維持在一個較低水平；且由于價格上的優(yōu)勢，開源產(chǎn)品可以在很大程度上降低項目的風(fēng)險。2008年是開源軟件界風(fēng)起云涌的一年，開源軟件進(jìn)入了越來越多軟件開發(fā)廠商的視野。對于具有一定軟件開發(fā)實力的廠商來說，選擇開源軟件作為自己產(chǎn)品的補充這種方式也越來越流行，因為他們不僅僅是軟件的簡單使用者，更重要的是有信心能夠解決使用開源軟件中遇到的各種問題、并對開源軟件進(jìn)行優(yōu)化和擴(kuò)展。

（3）?Kettle與ezIBS智能化集成系統(tǒng)一樣，都是使用JAVA平臺開發(fā)，所以在平臺移植性方面支持的非常好，無論是Windows還是LINUX/UNIX都可以方便的使用。

?

3.?在ezIBS智能化集成系統(tǒng)中整合Kettle軟件

Kettle實際上是一個ETL軟件包，它含有以下幾個主要模塊：

l??Spoon（鏟子）：用來設(shè)計數(shù)據(jù)轉(zhuǎn)換（transformation）和工作（job）的圖形化設(shè)計工具；

l??Pan（平底鍋）：用來執(zhí)行Spoon設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù)的命令行工具；

l??Chef（廚師）：舊版本的數(shù)據(jù)轉(zhuǎn)換設(shè)計工具，已被Spoon取代，新版的Kettle發(fā)行包已經(jīng)不含有此模塊；

l??Kitchen（廚房）：用來執(zhí)行Chef設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù)的命令行工具，出于兼容性的考慮仍被保留；

l??Carte（菜單）：可以遠(yuǎn)程執(zhí)行數(shù)據(jù)轉(zhuǎn)換任務(wù)的Web服務(wù)器。

從上面的模塊列表可以看到，Kettle缺少一項非常重要的功能－時間調(diào)度，也就是可以用來定時執(zhí)行Kettle的數(shù)據(jù)轉(zhuǎn)換任務(wù)的軟件模塊。使用Pan工具只能在其命令行程序被執(zhí)行的時候運行一次數(shù)據(jù)轉(zhuǎn)換任務(wù)，而無法周期性的運行。這對于生產(chǎn)環(huán)境下的軟件系統(tǒng)來說是無法滿足要求的，因為我們必須定期的去檢查子系統(tǒng)數(shù)據(jù)庫是否產(chǎn)生了變化。

將Kettle軟件集成到ezIBS智能化集成系統(tǒng)中、將它們作為一個整體來使用，對于ezIBS集成系統(tǒng)來說輕而易舉。因為ezIBS集成系統(tǒng)本身就含有一個完善的任務(wù)時間排程功能引擎（見圖2），可以用來定時執(zhí)行由Spoon設(shè)計的數(shù)據(jù)轉(zhuǎn)換任務(wù)，并能監(jiān)控任務(wù)的執(zhí)行狀態(tài)和結(jié)果。

圖2 ezIBS集成系統(tǒng)的任務(wù)時間排程功能引擎

?

4.?使用ezIBS及Kettle軟件進(jìn)行數(shù)據(jù)庫子系統(tǒng)集成的實際案例

4.1?任務(wù)目標(biāo)

將某門禁系統(tǒng)數(shù)據(jù)庫中的持卡人信息抽取到ezIBS集成系統(tǒng)數(shù)據(jù)庫中，并對兩個數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行定時同步。

4.2?使用Spoon工具設(shè)計數(shù)據(jù)轉(zhuǎn)換任務(wù)

（1）設(shè)計數(shù)據(jù)轉(zhuǎn)換流程

使用Spoon軟件中的表輸入、字段選擇、數(shù)據(jù)過濾、更新、表輸出等控件設(shè)計將門禁數(shù)據(jù)庫中的數(shù)據(jù)抽取到ezIBS數(shù)據(jù)庫的任務(wù)執(zhí)行流程。Spoon軟件的設(shè)計界面示意圖見圖3。

（2）數(shù)據(jù)抽取（Extract）

在任務(wù)流程上的“表輸入”控件中填寫從門禁系統(tǒng)數(shù)據(jù)庫查詢數(shù)據(jù)的SQL語句。數(shù)據(jù)抽取主要是針對各個子系統(tǒng)及不同節(jié)點的分散數(shù)據(jù)，充分理解數(shù)據(jù)定義后，規(guī)劃需要的數(shù)據(jù)源及數(shù)據(jù)定義，制定可操作的數(shù)據(jù)源，制定增量抽取的定義。

（3）數(shù)據(jù)傳輸

此步驟在流程圖中表現(xiàn)為箭頭，用來連接各步驟的控件，起到承上起下的作用。

（4）數(shù)據(jù)轉(zhuǎn)換（Transform）

在“字段選擇”控件中修改門禁數(shù)據(jù)庫和ezIBS數(shù)據(jù)庫中的字段對應(yīng)關(guān)系，例如圖3中的下面一行代表的意思是：持卡人的卡號在門禁數(shù)據(jù)庫中的字段名稱為KEY_NUMBER，而在ezIBS數(shù)據(jù)庫中的字段名稱為card_id，在數(shù)據(jù)轉(zhuǎn)換時要將門禁系統(tǒng)的KEY_NUMBER數(shù)據(jù)轉(zhuǎn)換為ezIBS系統(tǒng)的card_id數(shù)據(jù)。

（5）數(shù)據(jù)加載入庫（Load）

使用“表輸出”或“更新”控件將轉(zhuǎn)換好的數(shù)據(jù)存入ezIBS數(shù)據(jù)庫。數(shù)據(jù)加載主要是將經(jīng)過轉(zhuǎn)換和清洗的數(shù)據(jù)加載到數(shù)據(jù)倉庫里面，即入庫，操作者可以通過數(shù)據(jù)文件直接裝載或直連數(shù)據(jù)庫的方式來進(jìn)行數(shù)據(jù)裝載，充分地體現(xiàn)其高效性。

圖3?使用Spoon設(shè)計數(shù)據(jù)轉(zhuǎn)換任務(wù)的界面示意圖

4.3?在ezIBS系統(tǒng)中設(shè)置數(shù)據(jù)轉(zhuǎn)換任務(wù)的時間排程

（1）新建數(shù)據(jù)庫任務(wù)策略

Kettle不支持調(diào)度，一般只能使用操作系統(tǒng)自帶的調(diào)度功能。ezIBS提供了功能強(qiáng)大的日程管理調(diào)度，比起Windows自帶的任務(wù)計劃更多了優(yōu)先級、星期等的選擇，實現(xiàn)了與Kettle的無縫銜接。

ezIBS的時間排程功能十分簡單易用，首先在任務(wù)管理界面上將Spoon輸出的ktr和ktj文件上傳（見圖4），然后在日程管理界面上設(shè)置數(shù)據(jù)轉(zhuǎn)換任務(wù)的執(zhí)行時間、循環(huán)次數(shù)（例如：每隔一分鐘執(zhí)行一次數(shù)據(jù)轉(zhuǎn)換任務(wù)進(jìn)行數(shù)據(jù)同步）等參數(shù)即可（見圖2）。

圖4?在ezIBS系統(tǒng)中新建Kettle任務(wù)策略

（2）監(jiān)控數(shù)據(jù)庫任務(wù)的執(zhí)行狀態(tài)和結(jié)果

ezIBS系統(tǒng)對所有任務(wù)策略的執(zhí)行情況進(jìn)行監(jiān)控，以保證任務(wù)策略能夠正確、穩(wěn)定運行，并在發(fā)現(xiàn)錯誤或出現(xiàn)問題時通過電子郵件等方式通知管理員。

圖5?在ezIBS系統(tǒng)中監(jiān)控數(shù)據(jù)轉(zhuǎn)換任務(wù)的運行狀態(tài)

5.?結(jié)語

Kettle軟件在智能化集成系統(tǒng)中的應(yīng)用，使得各個集成模塊可以實時、準(zhǔn)確、高效的從子系統(tǒng)的數(shù)據(jù)庫中取得需要的數(shù)據(jù)，并避免了自己開發(fā)數(shù)據(jù)轉(zhuǎn)換接口的效率低下和開發(fā)周期長等缺點。由于Kettle是一個開源工具，其免費、廣泛的技術(shù)支持也使開發(fā)成本降到最低。

通過將開源軟件在ezIBS智能化集成系統(tǒng)中進(jìn)行更廣泛的應(yīng)用，同時結(jié)合其本身開放性、安全性、易用性等特點，在品牌和規(guī)模優(yōu)勢的情況下，隨著時間的推移和技術(shù)的持續(xù)發(fā)展，開源軟件對ezIBS智能化集成系統(tǒng)的影響將繼續(xù)擴(kuò)展，并幫助其實現(xiàn)更多的功能。

?

【參考文獻(xiàn)】

[1]?鄒超群、徐珍喜，智能建筑軟件接口技術(shù)綜述，智能建筑，2007（1）（2）

[2]?開源技術(shù)選型手冊，電子工業(yè)出版社，2008.5

來源：千家網(wǎng)?? 作者： 同方股份有限公司 閆小爽 李忠華 李璐 [字體：大 中 小]? 錄入：?yummy

總結(jié)

以上是生活随笔為你收集整理的开源ETL软件在智能化集成系统中的应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。