Kettle转换作业50个案例代码
? ? ? ? ? ? ? ? ? ? ? ? ?Kettle轉換作業應用腳本
本文是Kettle轉換作業微案例相關的腳本(代碼)及注釋的說明。本項目旨在技術交流與學習,由于本人能力有限,代碼中難免有些錯誤,歡迎留言、私信反饋給我,希望對你有所幫助。
Kettle 50個實用例子
1.1?代碼鏈接地址
CSDN代碼托管平臺-Kettle 50個案例
Github代碼托管平臺-Kettle 50個案例
#部分案例,Step by Step文字版鏈接見下#
? ? ??Kettle使用_1轉換之錯誤處理
? ? ??Kettle使用_5 結合js的數據處理與SetVariable設置動態表輸入
? ? ??Kettle使用_22 維度更新 Type2 拉鏈表
? ? ??Kettle使用_25 改變文件編碼壓縮與郵件
? ? ??Kettle使用_29 轉換里使用參數
1.2?項目簡介
內容簡介:該案例代碼是圍繞Kettle常見組件(覆蓋95%)的實用案例,共50個ktr、kjb。
兼容版本:Kettle8.2、Kettle9.0。
適應人群:想快速熟悉Kettle或者ETL過程的數據分析人員、數據庫工程師以及對數據挖掘感興趣的人士。
視頻介紹:https://www.zhihu.com/people/shenliang-IR/zvideos
文章介紹:https://shenliang.blog.csdn.net/?的專欄 ETL-Kettle
目錄詳解:
1 KettleTrans 是Kettle轉換和作業的腳本
2 kettlexp.sql 是數據庫kettlexp的SQL腳本
3 KettleInput 文件夾包含當前案例的所有數據輸入(txt、CSV、gz、xls等)
4 KettleJobFile 文件夾存放Job依賴的數據源
5 KettleOutput、KettleOutput2、Output、Kettletmp 文件夾是轉換或者作業對應的輸出
Enjoy it,Feel free to let me know if you have any question!
1.3?目錄結構
1.4?腳本詳情
10_Param-Argu_參數變量.kjb 10_Param-Argu_參數變量.ktr 11_存儲過程.ktr 12_生成時間維度數據.ktr 12_維度更新緩慢變化維.ktr 13_HTTP請求GZ結合XML解析.ktr 13_JobMain.ktr.kjb 13_壓縮格式解析_拆分字段.ktr 13_字段選擇值替換數據分檔.ktr 13_并行讀寫.ktr 13_數據校驗.ktr 13_文件操作轉換與作業.ktr 13_文件操作轉換調作業.kjb 13_文件編碼調用作業轉換.ktr 13_根據數據標志增刪插數據.ktr 13_正則表達式_靜態關聯.ktr 13_步驟分支.ktr 13_添加字段序號_值映射_字段合并_字段選擇.ktr 13_通過計算組件交換字段值_字段拆分.ktr 14_Delay wait_延遲和等待.ktr 14_JavaScript字段處理.ktr 14_Swith_Case 分支.ktr 14_data Sync_插入更新.ktr 14_data Sync_整合數據.ktr 1_SFTP數據上傳與消息框.kjb 1_設置表里與SSH.ktr 2_輸入_常見數據源.ktr 2_輸入_數據源-Excel.ktr 2_輸入_文件.ktr 2_輸出_常見輸出配置.ktr 3_轉換_去重與常量設置.ktr 3_轉換_字符串操作數值映射.ktr 3_轉換_序列與字段選擇.ktr 3_轉換_行列拆分計算器.ktr 3_轉換_行列轉換.ktr 4_轉換_應用_處理文件郵件.ktr 4_轉換_應用_設置NULL與延遲阻塞.ktr 5_轉換_查詢_WEB客戶端請求.ktr 5_轉換_查詢_動態SQL與模糊匹配.ktr 5_轉換_查詢_流查詢與跨庫連接.ktr 5_轉換_查詢_表輸入參數與JSON數據.ktr 7_數據同步_合并數據.ktr 7_轉換_記錄集連接.ktr 8_分析函數隨機數笛卡爾積.ktr 8_樹形深度生成.ktr 8_統計組件匯總.ktr 8_計算百分數中位數分組函數.ktr 9_作業數據腳本.kjb 9_作業文件管理匯總.kjb 9_作業轉換字段值.ktr1.5 部分案例
轉換里使用參數
作業里使用參數
WEB請求結合JSON
根據數據標志增刪插數據
?分析函數與笛卡爾積
并行復制
總結
以上是生活随笔為你收集整理的Kettle转换作业50个案例代码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 现代坦克的防护系统应该有什么
- 下一篇: 格鲁乌最低军衔