dama数据管理知识体系指南_DAMA知识体系解读(6)数据操作管理
數據操作管理是提供從數據獲取到數據清理的全過程支持,關聯圖:
一、概念
數據操作管理是結構化數據的開發、維護和支持活動。包括兩個職能:數據庫支持和數據技術管理。數據管理員(DBA)在該活動中起著重要的作用。
數據操作管理的目標:
- 保護和確保結構化數據資產的完整性;
- 管理數據在其生命周期內的可用性;
- 優化數據庫事務性能;
二、數據庫支持
數據庫支持由DBA完成,DBA分為開發DBA和產品DBA。開發DBA關注開發活動,產品DBA關注實施數據操作管理活動。因此,數據庫支持更準確的說是由產品DBA完成的。
DBA的數據庫支持工作主要包括:
1、創建產品數據庫環境、配置環境
管理工作包括:
- 安裝、更新DBMS以及其他相關數據技術工具;
- 管理數據庫的連通性,包括為相關操作用戶提供技術指導和服務支持;
- 劃分適當空間,優化不同存儲技術不同種類的數據;
- 與其他工作人員合作調整與DBMS協作的操作系統、網絡和事務處理中間層的性能;
可以準備一份清單,列出上述工作的步驟,建立數據庫管理機制和工作流程。這樣DBA可以有效的實施管理和控制,將應用程序的數據庫修改實施到質控環境和產品環境中,加強環境管理。
DBA是所有數據庫修改的監管人,其他人員只能提出修改請求,由DBA定義準確的修改方案,并實施和控制更改。
2、數據采集管理:獲取來自外部的數據
外部數據可能是許可的,也可能是免費的。它們以不同的格式一次性、或通過訂閱服務定期更新。數據采集的管理需要把數據訂閱服務職責交給數據分析人士。
- 數據分析師把外部數據源記錄在邏輯數據模型和數據辭典內;
- 開發人員據此設計并外部數據的讀取程序;
- DBA負責將數據加載到數據庫中,供其他程序使用;
3、規劃數據恢復
數據治理委員會與IT數據管理部門建立數據可用性及恢復的服務水平協議。協議設定數據可用性期望,允許進行數據庫維護和備份時間,設定不同場景下的數據恢復期望時間,包括潛在的災難事件等。
DBA保證制定的所有計劃(數據庫、數據庫服務器恢復),要覆蓋所有導致數據丟失、損壞的可能場景。
管理層和組織的業務連續性管理部門(如果存在)應該評審并批準數據恢復規劃。所有的計劃可以被DBA訪問。DBA備份所有恢復計劃聯同所有相關軟件,以及有關安裝、DBMS配置說明、安全碼等應存放于除現場外的安全地方,以備災難發生時應用。數據庫備份亦同樣處理。
4、備份和恢復數據
DBA定期備份數據庫、OLTP數據庫和數據庫事務日志。在數據庫服務水平協議中定義備份頻率。DBA需要對數據的重要性和保護數據所需付出的代價(存儲資源空間)之間做出權衡。每個數據庫每天至少要進行一次完全備份。
同時,數據庫的存儲區域需要根據數據的情況進行設置,并根據數據更新頻率和數據量來設置數據備份策略、日志數據轉儲策略等內容。以便可以提供更好的數據保護,并減少備份對服務器資源以及程序帶來的影響和沖擊。
對于重要數據或者業務應用場景要求高的,還需要考慮數據庫發生事故時的切換,以保障應用服務的繼續運行。根據需要設置切換的方案,包括其他數據保護選項,比如服務器集群,熱備份等。必要時,DBA也需要負責通過重新加載必要的數據庫和事務日志備份最大可能的恢復丟失的數據或損壞的數據。
提供恰當的保護機制,可確保數據的持續可用性、完整性、可恢復性,安全性。
5、設定數據庫性能服務水平
數據庫的性能服務水平有兩方面:可用性和性能。性能是以可用性做為前提的。數據服務管理部門與數據所有人之間通過服務水平協議定義數據庫的性能期望。一般來說,協議中規定了數據庫的可用性時間和有選擇的幾個應用程序事務(復雜查詢和更新的組合),在確定的可用性時間范圍內指定最大允許執行時間。
可用性是系統或數據庫能提供正常生產工作的時間百分比。
以下4個因素影響數據庫的可用性:
- 可管理性:產生可維護有效環境的能力;
- 可恢復性:發生中斷時重建服務的能力,更正不可預料事件發生所導致錯誤的能力;
- 可靠性:在規定時期內提供指定服務水平的能力;
- 可服務性:確定問題所在、診斷錯誤原因以及修復和解決問題的能力;
很多因素都有可能導致數據庫喪失可用性。DBA的責任是采取有效措施保證數據庫在線運行正常。(P99頁列舉了可能導致數據庫不可用的因素)
6、監控并調整數據庫性能
通過監控數據庫性能和問題,DBA可以主動或被動的優化數據庫性能。根據DBMS提供性能監聽功能,生成分析報告。DBA應當保存不同時期和版本的報告,以便進行新舊對比分析,通過報告中數據的發展趨勢,來分析是否出現了問題,也有助于分析哪些問題是伴隨時間推移而產生的。
書中列舉了大量可能導致性能低下的原因(P100),可重點關注這些方面,并有針對性的采取相應措施,改善數據庫性能。但是需要注意的是,反范式化只能在其他行動無效后方可使用,并且在使用時仔細考慮其可能導致的其他后果。
7、規劃數據留存方案
不是所有的數據都會永遠存留的主存儲器上,所以物理數據庫設計的一個重要部分是數據的留存規劃。不再有效支持應用程序處理的數據應當歸檔并轉移到次存儲器上,對于廢棄、無用的數據也需要定期進行清理。
數據庫設計期間就需要與數據的所有者討論數據保留問題,并達成數據有效期內如何使用數據的協議。
數據管理的主要原則之一就是維護數據的代價永遠不應該超過這些數據帶給組織的價值。
8、歸檔、留存和清除數據
DBA應當同應用開發人員以及其操作人員合作實施已經批準的數據留存規劃。對副存儲區、數據庫作業周期以及清理規則進行設置。
9、支持專用數據庫
特殊情況下可以使用特殊類型的數據庫,并進行專用的數據庫管理。在支持特殊數據庫管理上,DBA負責確保定期備份數據庫,執行數據庫恢復測試。這個并不存在管理難度,核心是如果要將這個特殊的數據庫上的數據融合到其他的一個或多個關系數據庫中時,數據整合是極具挑戰性的工作。所以組織在購買數據庫時應進行充分的考慮和討論,并給出妥善的解決方案。
三、數據技術管理
DBA需要理解數據技術需求,在了解數據技術原理,并且能夠知道數據技術在怎樣的情況下提供有效價值。
選擇數據技術的出發點:
- 解決的問題是什么?
- 提供其他數據技術沒有的功能嗎?
- 沒有而其他數據技術可提供的功能?
- 是否需要特殊硬件要求?
- 是否有特別的操作系統需求?
- 需要特殊的軟件才能獲得該數據技術所宣稱的功能?
- 是否有特殊的存儲需求?
- 對網絡或連接有特殊需求?
- 是否包括數據安全功能?
- 是否需要特殊技能來支持?是否需要從外面引進人才?
數據技術管理是對數據管理過程中需要的各類工具進行管理。包括:數據庫軟件、數據庫管理及輔助工作工具、數據建模和模型管理軟件、智能分析軟件、數據整合工具、數據質量和清理工具、元數據管理軟件、虛擬化工具,以及涉及到版本管理、故障處理、測試等方面的工具。
數據技術管理工作包括:
- 定義數據技術架構
- 評估數據技術
- 安裝和管理數據技術
- 備案和跟蹤數據技術的使用許可
- 支持數據技術的使用和問題
培訓是做到有效地理解和應用各種技術的關鍵。企業應該針對每個參與實施人員、支持人員、使用數據人員、數據庫技術人員制定有效的培訓計劃和預算。
四、數據操作管理的指導原則
實施數據操作管理的指導原則:(參考Craig Mullins編著的《數據庫管理》)
- 記錄所有事件;
- 保留所有記錄;
- 盡可能程序自動化處理;
- 集中理解每個任務的目的,管理范圍,簡化事情,一次做一件事;
- 三思而后行;
- 沉著冷靜,避免更多錯誤;
- 不僅了解技術,也要了解業務;
- 相互協作,提供幫助,彼此評審,共享知識;
- 利用所有資源;
- 持續更新;
五、過程總結
詳見鏈接:
DAMA數據管理各職能總結?note.youdao.com六、組織和文化的影響
企業往往從應用的角度去看待數據,安全的、可再利用的、高質量的數據所帶來的的長期價值以及“將數據視為企業資源”的觀點,通常還不被企業認可和重視。
DBA與組織內的其他角色,通常處于對立狀態,對技術的改變適應慢。可以通過一些方法和策略來促進更有效的合作方式,滿足企業數據和信息需求。了解誰是利益相關者,需求是什么?設立一套清晰、簡潔、實際、以業務為中心的標準,傳播和實施這些標準,為利益相關者提供最大的價值,以達到最佳的效果。
組織可以依據實際情況設置DBA的數量和區分DBA的類型,比如應用DBA、過程DBA等。
總結
以上是生活随笔為你收集整理的dama数据管理知识体系指南_DAMA知识体系解读(6)数据操作管理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 定时运行脚本_教你如何在Li
- 下一篇: python jit_Pyston是一个