分布式数据库切分规则介绍
2019獨角獸企業重金招聘Python工程師標準>>>
數據切分:
????????就是指通過某種特定的條件,將我們存放在同一個數據庫中的數據分散存放到多個數據庫(主機)上面,以達到分散單臺設備負載的效果。
根據切分規則,可以分為兩種切分模式:
垂直(縱向)切分;
? ? ? ? 按照業務,把業務不同的表(或者Schema)來切分到不同的數據庫(主機)之上。
? ? ? ? 一個數據庫由很多表的構成,每個表對應著不同的業務,垂直切分是指按照業務將表進行分類,分布到不同的數據庫上面,這樣也就將數據或者說壓力分擔到不同的庫上面。根據業務模塊之間的耦合度情況,來制定垂直切分規則。實施起來思路比較清晰,容易進行。
? ? ? ?一個架構設計較好的應用系統,其總體功能肯定是由很多個功能模塊所組成的,而每一個功能模塊所需要的數據對應到數據庫中就是一個或者多個表。而在構架設計中,各個功能模塊相互之間的交互點越統一越少,系統的耦合度就越低,系統各個模塊的維護性以及擴展性也就越好。這樣的系統,實現數據的垂直切分也就越容易。
? ? ? 但是往往系統里有些表難以做到完全的獨立,存在這擴庫join的情況,對于這類的表,就需要去做平衡,是數據庫讓業務,共用一個數據源,還是分成多個庫,業務之間通過接口來做調用。在系統初期,數據量比較少,或者資源有限的情況下,會選擇共用數據源,但是當數據發展到了一定的規模,負載很大的情況,就需要必須去做分割。?一般來講業務存在著復雜join的場景是難以切分的。如何切分,切分到何種程度是考驗技術架構的一個難題。
垂直切分優點:
????????拆分后業務清晰,拆分規則明確
????????系統之間整合或擴展容易
????????數據維護簡單
垂直切分缺點:
????????部分業務表無法join,只能通過接口方式解決,提高了系統復雜度。
????????受每種業務不同的限制存在單庫性能瓶頸,不易數據擴展跟性能提高。
????????事務處理復雜。?
由于垂直切分是按照業務的分類將表分散到不同庫,所以有些業務表會過于龐大,存在單庫讀寫與存儲瓶頸,所以就需要水平拆分來做解決。
水平(橫向)切分;
? ? ? ?根據表中數據的邏輯關系,將同一個表中數據按照某種條件拆分到多臺數據庫(主機)上面。
? ? ? ?相對于垂直拆分,水平拆分不是將表做分類,而是按照某個字段的某種規則來分散到多個庫之中,每個表中包含一部分數據。簡單來說,我們可以將數據的水平切分理解為是按照數據行的切分,就是將表中的某些行切分到一個數據庫,而另外的某些行又切分到其他的數據庫中。
? ? ? ?拆分數據就需要定義分片規則。關系型數據庫是行列的二維模型,拆分的第一原則是找到拆分維度。比如:從會員的角度來分析,商戶訂單交易類系統中查詢會員某天某月某個訂單,那么就需要按照會員結合日期來拆分,不同的數據按照會員ID做分組,這樣所有的數據查詢join都會在單庫內解決;如果從商戶的角度來講,要查詢某個商家某天所有的訂單數,就需要按照商戶ID做拆分;但是如果系統既想按會員拆分,又想按商家數據拆分,則會有一定的難度。如何找到合適的分片規則需要綜合考慮衡量。
?幾種典型的分片規則包括:
?? ? 按照用戶ID求模,將數據分散到不同的數據庫,具有相同數據用戶的數據都被分散到一個庫中。
?? ? 按照日期,將不同月甚至日的數據分散到不同的庫中。
?? ? 按照某個特定的字段求模,或者根據特定范圍段分散到不同的庫中。
水平拆分優點:
????????拆分規則抽象好,join操作基本可以數據庫做。
????????不存在單庫大數據,高并發的性能瓶頸。
????????應用端改造較少。
????????提高了系統的穩定性跟負載能力。
水平拆分缺點:
????????拆分規則難以抽象。
????????分片事務一致性難以解決。
????????數據多次擴展難度跟維護量級大。
????????跨庫join性能較差?
前面講了垂直切分跟水平切分的不同跟優缺點,會發現每種切分方式都有缺點,但共同的特點缺點有:
????????引入分布式事務的問題。
????????跨節點join的問題。
????????跨節點合并排序分頁問題。
????????多數據源管理問題。?
針對數據源管理,目前主要有兩種思路:
A:客戶端模式,在每個應用程序模塊中配置管理自己需要的一個(或者多個)數據源,直接訪問各個數據庫,在模塊內完成數據的整合;
B:通過中間代理層來統一管理所有的數據源,后端數據庫集群對前端應用程序透明;
可能90%以上的人在面對上面這兩種解決思路的時候都會傾向于選擇第二種,尤其是系統不斷變得龐大復雜的時候。確實,這是一個非常正確的選擇,雖然短期內需要付出的成本可能會相對更大一些,但是對整個系統的擴展性來說,是非常有幫助的。
對于切分原則,建議如下:
第一原則:能不切分盡量不要切分。
第二原則:如果要切分一定要選擇合適的切分規則,提前規劃好。
第三原則:數據切分盡量通過數據冗余或表分組(Table Group)來降低跨庫Join的可能。
第四原則:由于數據庫中間件對數據Join實現的優劣難以把握,而且實現高性能難度極大,業務讀取盡量少使用多表Join。
轉載于:https://my.oschina.net/u/3420885/blog/1941929
總結
以上是生活随笔為你收集整理的分布式数据库切分规则介绍的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java编程基础10——面向对象_多态抽
- 下一篇: centos7 LNMP