如何在HHDI中进行数据质量探查并获取数据剖析报告
通過執行多種數據剖析規則,對目標表(或一段SQL語句)進行數據質量探查,從而得到其數據質量情況。目前支持以下幾種數據剖析類型,分別是:數字值分析、值匹配檢查、字符值分析、日期值分析、布爾值分析、重復值檢查、表達式匹配、參照完整性檢查、值分布分析。數據剖析完成后可以通過日志中的鏈接查看其產生的剖析報告。數據剖析任務可以加入到作業流程中,以支持日常的增量數據探查,任務執行完后每個剖析規則均會返回剖析結果變量,可根據變量的值進行下一步的操作,比如發郵件通知數據的維護人員。
1.) 設定剖析規則
在任務管理中選擇新建數據剖析任務,進入任務編輯頁面,剖析對象頁簽中填寫源連接和源表,也可在源表查詢語句中輸入一段SQL,可以對數據進行轉換、過濾、獲取增量等操作,語句支持嵌入變量。在剖析規則頁簽中添加多個剖析規則,選擇要剖析的字段以及剖析類型,右側的編輯按鈕可進入高級設置頁面。
剖析任務在執行成功后,會產生一組剖析結果變量,主要是統計的異常值行數,可以在成功條件頁簽中判斷變量的值,從而進行后續的處理工作。
2.) 運行數據剖析
和其它任務一樣,數據剖析任務可以添加到作業流程中,可以串行或并行執行,剖析完成的行數將實時顯示在日志的插入列中,執行成功后,可以點擊執行信息欄中的剖析結果打開剖析報告頁面。
3.) 查看剖析報告
點擊日志中的剖析結果超鏈接,將彈出剖析報告頁面,可查看所有規則的概要信息以及各規則的明細分析結果。
點擊左側規則列表,查看各規則的詳細分析數據,比如查看值匹配分析:
點擊紅色箭頭可以進一步查看明細數據,如點擊其空值行數,將顯示空值行數的明細數據:
轉載于:https://www.cnblogs.com/haohedi/p/9672867.html
總結
以上是生活随笔為你收集整理的如何在HHDI中进行数据质量探查并获取数据剖析报告的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MySql忘记密码了咋办
- 下一篇: 南平去曲靖需要做核酸吗从南南平到曲靖需要