如果數(shù)據(jù)庫需要進(jìn)行水平拆分，這其實(shí)是一件很開心的事情，因?yàn)樗砉镜臉I(yè)務(wù)正在迅猛的增長，對于開發(fā)人員而言那就是有不盡的項(xiàng)目可以做，雖然會(huì)感覺很忙，但是人過的充實(shí)，心里也踏實(shí)。

　　數(shù)據(jù)庫水平拆分簡單說來就是先將原數(shù)據(jù)庫里的一張表在做垂直拆分出來放置在單獨(dú)的數(shù)據(jù)庫和單獨(dú)的表里后更進(jìn)一步的把本來是一個(gè)整體的表進(jìn)一步拆分成多張表，每一張表都用獨(dú)立的數(shù)據(jù)庫進(jìn)行存儲(chǔ)。當(dāng)表被水平拆分后，原數(shù)據(jù)表成為了一個(gè)邏輯的概念，而這個(gè)邏輯表的業(yè)務(wù)含義需要多張物理表協(xié)同完成，因此數(shù)據(jù)庫的表被水平拆分后，那么我們對這張表的操作已經(jīng)超出了數(shù)據(jù)庫本身提供給我們現(xiàn)有的手段，換句話說我們對表的操作會(huì)超出數(shù)據(jù)庫本身所擁有的處理能力，這個(gè)時(shí)候我就需要設(shè)計(jì)相關(guān)的方案來彌補(bǔ)數(shù)據(jù)庫缺失的能力，這就是數(shù)據(jù)庫水平拆分最大的技術(shù)難點(diǎn)所在。

　　數(shù)據(jù)庫的水平拆分是數(shù)據(jù)庫垂直拆分的升級版，它和垂直拆分更像繼承機(jī)制里的父子關(guān)系，因此水平拆分后，垂直拆分所遇到的join查詢的問題以及分布式事務(wù)的問題任然存在，由于表被物理拆解增加了邏輯表的維度，這也給垂直拆分里碰到的兩個(gè)難題增加了更多的維度，因此水平拆分里join查詢的問題和分布式事務(wù)會(huì)變得更加復(fù)雜。水平拆分除了垂直拆分兩個(gè)難題外，它還會(huì)產(chǎn)生新的技術(shù)難題，這些難題具體如下：

　　難題一：數(shù)據(jù)庫的表被水平拆分后，該表的主鍵設(shè)計(jì)會(huì)變得十分困難；

　　難題二：原來單表的查詢邏輯會(huì)面臨挑戰(zhàn)。

　　在準(zhǔn)備本篇文章時(shí)候，我看到一些資料里還提到了一些難題，這些難題是：

　　難題三：水平拆分表后，外鍵的設(shè)計(jì)也會(huì)變得十分困難；

　　難題四：這個(gè)難題是針對數(shù)據(jù)的新增操作的，大致的意思是，我們到底按什么規(guī)則把需要存儲(chǔ)的數(shù)據(jù)存儲(chǔ)在拆分出的那個(gè)具體的物理數(shù)據(jù)表里。

　　難題三的問題，我在上篇已經(jīng)給出了解答，這里我進(jìn)行一定的補(bǔ)充，其實(shí)外鍵問題在垂直拆分就已經(jīng)存在，不過在講垂直拆分時(shí)候我們沒有講到這個(gè)問題，這主要是我設(shè)定了一個(gè)前提，就是數(shù)據(jù)表在最原始的數(shù)據(jù)建模階段就要拋棄所有外鍵的設(shè)計(jì)，并將外鍵的邏輯拋給服務(wù)層去完成，我們要盡全力減輕數(shù)據(jù)庫承擔(dān)的運(yùn)算壓力，其實(shí)除了減輕數(shù)據(jù)庫運(yùn)算壓力外，我們還要將作為存儲(chǔ)原子的表保持相對的獨(dú)立性，互不關(guān)聯(lián)，那么要做到這點(diǎn)最直接的辦法就是去掉表與表之間關(guān)聯(lián)的象征：外鍵，這樣我們就可以從根基上為將來數(shù)據(jù)庫做垂直拆分和水平拆分打下堅(jiān)實(shí)的基礎(chǔ)。

　　至于難題四，其實(shí)問題的本質(zhì)是分庫分表后具體的數(shù)據(jù)在哪里落地的問題，而數(shù)據(jù)存儲(chǔ)在表里的關(guān)鍵障礙其實(shí)就是主鍵，試想一下，我們設(shè)計(jì)張表，所有字段我們都準(zhǔn)許可以為空，但是表里有個(gè)字段是絕對不能為空的，那就是主鍵，主鍵是數(shù)據(jù)在數(shù)據(jù)庫里身份的象征，因此我們在主鍵設(shè)計(jì)上是可以體現(xiàn)出該數(shù)據(jù)的落地規(guī)則，那么難題四也會(huì)隨之解決。因此下文我會(huì)重點(diǎn)講解前兩個(gè)水平拆分的難題。

　　首先是水平拆分里的主鍵設(shè)計(jì)問題，拋開所有主鍵所能代表的業(yè)務(wù)含義，數(shù)據(jù)庫里標(biāo)的主鍵本質(zhì)是表達(dá)表里的某一條記錄的唯一性，在設(shè)計(jì)數(shù)據(jù)庫的時(shí)候我們可以由一個(gè)絕對不可重復(fù)的字段表示主鍵，也可以使用多個(gè)字段組合起來表達(dá)這種唯一性，使用一個(gè)字段表示主鍵，這已經(jīng)是很原子級的操作，沒法做進(jìn)一步的修改，但是如果使用多個(gè)字段表示一個(gè)主鍵對于水平拆分而言就會(huì)碰到問題了，這個(gè)問題主要是體現(xiàn)在數(shù)據(jù)到底落地于哪個(gè)數(shù)據(jù)庫，關(guān)于主鍵對數(shù)據(jù)落地的影響我會(huì)在把相關(guān)知識(shí)講解完畢后再著重闡述，這里要提的是當(dāng)碰到聯(lián)合主鍵時(shí)候我們可以設(shè)定一個(gè)沒有任何業(yè)務(wù)含義的字段來替代，不過這個(gè)要看場景了，我傾向于將聯(lián)合主鍵各個(gè)字段里的值合并為一個(gè)字段來表示主鍵，如果有的朋友認(rèn)為這樣會(huì)導(dǎo)致數(shù)據(jù)冗余，那么可以干脆去掉原來做聯(lián)合主鍵的相關(guān)字段就是用一個(gè)字段表示，只不過歸并字段時(shí)候使用一個(gè)分隔符，這樣方便服務(wù)層進(jìn)行業(yè)務(wù)上的拆分。

　　由上所述，這里我給出水平拆分主鍵設(shè)計(jì)的第一個(gè)原則：被水平拆分的表的主鍵設(shè)計(jì)最好使用一個(gè)字段表示。

　　如果我們的主鍵只是表達(dá)記錄唯一性的話，那么水平拆分時(shí)候相對要簡單的多，例如在Oracle數(shù)據(jù)庫里有一個(gè)sequence機(jī)制，這其實(shí)就是一個(gè)自增數(shù)的算法，自增機(jī)制幾乎所有關(guān)系數(shù)據(jù)庫都有，也是我們平時(shí)最喜歡使用的主鍵字段設(shè)計(jì)方案，如果我們要拆分的表，使用了自增字段，同時(shí)這個(gè)自增字段只是用來表達(dá)記錄唯一性，那么水平拆分時(shí)候處理起來就簡單多了，我這里給出兩個(gè)經(jīng)典方案，方案如下：

　　方案一：自增列都有設(shè)定步長的特性，假如我們打算把一張表只拆分為兩個(gè)物理表，那么我們可以在其中一張表里把主鍵的自增列的步長設(shè)計(jì)為2，起始值為1，那么它的自增規(guī)律就是1,3,5,7依次類推，另外一張物理表的步長我們也可以設(shè)置為2，如果起始值為2，那么自增規(guī)律就是2,4,6,8以此類推，這樣兩張表的主鍵就絕對不會(huì)重復(fù)了，而且我們也不用另外做兩張物理表相應(yīng)的邏輯關(guān)聯(lián)了。這種方案還有個(gè)潛在的好處，那就是步長的大小和水平數(shù)據(jù)拆分的粒度關(guān)聯(lián)，也是我們?yōu)樗讲鸱值臄U(kuò)容留有余量，例如我們把步長設(shè)計(jì)為9，那么理論上水平拆分的物理表可以擴(kuò)容到9個(gè)。

　　方案二：拆分出的物理表我們允許它最多存儲(chǔ)多少數(shù)據(jù)，我們其實(shí)事先通過一定業(yè)務(wù)技術(shù)規(guī)則大致估算出來，假如我們估算一張表我們最多讓它存儲(chǔ)2億條，那么我們可以這么設(shè)定自增列的規(guī)律，第一張物理表自增列從1開始，步長就設(shè)為1，第二種物理表的自增列則從2億開始，步長也設(shè)為1，自增列都做最大值的限制，其他的依次類推。

　　那么如果表的主鍵不是使用自增列，而是業(yè)務(wù)設(shè)計(jì)的唯一字段，那么我們又如何處理主鍵分布問題了？這種場景很典型，例如交易網(wǎng)站里一定會(huì)有訂單表，流水表這樣的設(shè)計(jì)，訂單表里有訂單號，流水表里有流水號，這些編號都是按一定業(yè)務(wù)規(guī)則定義并且保證它的唯一性，那么前面的自增列的解決方案就沒法完成它們做水平拆分的主鍵問題，那么碰到這個(gè)情況我們又該如何解決了？我們仔細(xì)回味下數(shù)據(jù)庫的水平拆分，它其實(shí)和分布式緩存何其的類似，數(shù)據(jù)庫的主鍵就相當(dāng)于分布式緩存里的鍵值，那么我們可以按照分布式緩存的方案來設(shè)計(jì)主鍵的模型，方案如下：

　　方案一：使用整數(shù)哈希求余的算法，字符串如果進(jìn)行哈希運(yùn)算會(huì)得出一個(gè)值，這個(gè)值是該字符串的唯一標(biāo)志，如果我們稍微改變下字符串的內(nèi)容，計(jì)算的哈希值肯定是不同，兩個(gè)不同的哈希值對應(yīng)兩個(gè)不同字符串，一個(gè)哈希值有且只對應(yīng)唯一一個(gè)字符串，加密算法里的MD5，SHA都是使用哈希算法的原理計(jì)算出一個(gè)唯一標(biāo)示的哈希值，通過哈希值的匹配可以判斷數(shù)據(jù)是否被篡改過。不過大多數(shù)哈希算法最后得出的值都是一個(gè)字符加數(shù)字的組合，這里我使用整數(shù)哈希算法，這樣計(jì)算出的哈希值就是一個(gè)整數(shù)。接下來我們就要統(tǒng)計(jì)下我們用于做水平拆分的服務(wù)器的數(shù)量，假如服務(wù)器的數(shù)量是3個(gè)，那么接著我們將計(jì)算的整數(shù)哈希值除以服務(wù)器的數(shù)量即取模計(jì)算，通過得到的余數(shù)來選擇服務(wù)器，該算法的原理圖如下所示：

?

　　方案二：就是方案一的升級版一致性哈希，一致性哈希最大的作用是保證當(dāng)我們要擴(kuò)展物理數(shù)據(jù)表的數(shù)量時(shí)候以及物理表集群中某臺(tái)服務(wù)器失效時(shí)候才會(huì)體現(xiàn)，這個(gè)問題我后續(xù)文章會(huì)詳細(xì)討論物理數(shù)據(jù)庫擴(kuò)容的問題，因此這里先不展開討論了。

　　由上所述，我們發(fā)現(xiàn)在數(shù)據(jù)庫進(jìn)行水平拆分時(shí)候，我們設(shè)定的算法都是通過主鍵唯一性進(jìn)行的，根據(jù)主鍵唯一性設(shè)計(jì)的特點(diǎn)，最終數(shù)據(jù)落地于哪個(gè)物理數(shù)據(jù)庫也是由主鍵的設(shè)計(jì)原則所決定的，回到上文里我提到的如果原庫的數(shù)據(jù)表使用聯(lián)合字段設(shè)計(jì)主鍵，那么我們就必須首先合并聯(lián)合主鍵字段，然后通過上面的算法來確定數(shù)據(jù)的落地規(guī)則，雖然不合并一個(gè)字段看起來也不是太麻煩，但是在我多年開發(fā)里，把唯一性的字段分割成多個(gè)字段，就等于給主鍵增加了維度，字段越多，維度也就越大，到了具體的業(yè)務(wù)計(jì)算了我們不得不時(shí)刻留心這些維度，結(jié)果就很容易出錯(cuò)，我個(gè)人認(rèn)為如果數(shù)據(jù)庫已經(jīng)到了水平拆分階段了，那么就說明數(shù)據(jù)庫的存儲(chǔ)的重要性大大增強(qiáng)，為了讓數(shù)據(jù)庫的存儲(chǔ)特性變得純粹干凈，我們就得盡力避免增加數(shù)據(jù)庫設(shè)計(jì)的復(fù)雜性，例如去掉外鍵，還有這里的合并聯(lián)合字段為一個(gè)字段，其實(shí)為了降低難度，哪怕做點(diǎn)必要的冗余也是值得。

　　解決數(shù)據(jù)庫表的水平拆分后的主鍵唯一性問題有一個(gè)更加直接的方案，這也是很多人碰到此類問題很自然想到的方法，那就是把主鍵生成規(guī)則做成一個(gè)主鍵生成系統(tǒng)，放置在單獨(dú)一臺(tái)服務(wù)器上統(tǒng)一生成，每次新增數(shù)據(jù)主鍵都從這個(gè)服務(wù)器里獲取，主鍵生成的算法其實(shí)很簡單，很多語言都有計(jì)算UUID的功能，UUID是根據(jù)所在服務(wù)器的相關(guān)的硬件信息計(jì)算出的全球唯一的標(biāo)示，但是這里我并沒有首先拿出這個(gè)方案，因?yàn)樗啾热缥仪懊娴姆桨溉秉c(diǎn)太多了，下面我要細(xì)數(shù)下它的缺點(diǎn)，具體如下：

　　缺點(diǎn)一：把主鍵生成放到外部服務(wù)器進(jìn)行，這樣我們就不得不通過網(wǎng)絡(luò)通信完成主鍵值的傳遞，而網(wǎng)絡(luò)是計(jì)算機(jī)體系里效率最低效的方式，因此它會(huì)影響數(shù)據(jù)新增的效率，特別是數(shù)據(jù)量很大時(shí)候，新增操作很頻繁時(shí)候，該缺點(diǎn)會(huì)被放大很多；

　　缺點(diǎn)二：如果我們使用UUID算法做主鍵生成的算法，因?yàn)閁UID是依賴單臺(tái)服務(wù)器進(jìn)行，那么整個(gè)水平拆分的物理數(shù)據(jù)庫集群，主鍵生成器就變成整個(gè)體系的短板，而且是關(guān)鍵短板，主鍵生成服務(wù)器如果失效，整個(gè)系統(tǒng)都會(huì)無法使用，而一張表需要被水平拆分，而且拆分的表是業(yè)務(wù)表的時(shí)候，那么這張表在整個(gè)系統(tǒng)里的重要度自然很高，它如果做了水平拆分后出現(xiàn)單點(diǎn)故障，這對于整個(gè)系統(tǒng)都是致命的。當(dāng)然有人肯定說，既然有單點(diǎn)故障，那么我們就做個(gè)集群系統(tǒng)，問題不是解決了嗎？這個(gè)想法的確可以解決我上面闡述的問題，但是我前文講到過，現(xiàn)實(shí)的軟件系統(tǒng)開發(fā)里我們要堅(jiān)守一個(gè)原則那就是有簡單方案盡量選擇簡單的方案解決問題，引入集群就是引入了分布式系統(tǒng)，這樣就為系統(tǒng)開發(fā)增加了開發(fā)難度和運(yùn)維風(fēng)險(xiǎn)，如果我們上文的方案就能解決我們的問題，我們何必自討苦吃做這么復(fù)雜的方案呢？

　　缺點(diǎn)三：使用外部系統(tǒng)生成主鍵使得我們的水平拆分?jǐn)?shù)據(jù)庫的方案增加了狀態(tài)性，而我上面提到的方案都是無狀態(tài)的，有狀態(tài)的系統(tǒng)會(huì)相互影響，例如使用外部系統(tǒng)生成主鍵，那么當(dāng)數(shù)據(jù)操作增大時(shí)候，必然會(huì)造成在主鍵系統(tǒng)上資源競爭的事情發(fā)生，如果我們對主鍵系統(tǒng)上的競爭狀態(tài)處理不好，很有可能造成主鍵系統(tǒng)被死鎖，這也就會(huì)產(chǎn)生我前文里說到的503錯(cuò)誤，而無狀態(tài)的系統(tǒng)是不存在資源競爭和死鎖的問題，這洋就提升了系統(tǒng)的健壯性，無狀態(tài)系統(tǒng)另一個(gè)優(yōu)勢就是水平擴(kuò)展很方便。

　　這里我列出單獨(dú)主鍵生成系統(tǒng)的缺點(diǎn)不是想說明我覺得這種解決方案完全不可取，這個(gè)要看具體的業(yè)務(wù)場景，根據(jù)作者我的經(jīng)驗(yàn)還沒有找到一個(gè)很合適使用單獨(dú)主鍵生成器的場景。

　　上文里我提出的方案還有個(gè)特點(diǎn)就是能保證數(shù)據(jù)在不同的物理表里均勻的分布，均勻分布能保證不同物理表的負(fù)載均衡，這樣就不會(huì)產(chǎn)生系統(tǒng)熱點(diǎn)，也不會(huì)讓某臺(tái)服務(wù)器比其他服務(wù)器做的事情少而閑置資源，均勻分配資源可以有效的利用資源，降低生產(chǎn)的成本提高生產(chǎn)的效率，但是均勻分布式數(shù)據(jù)往往會(huì)給我們業(yè)務(wù)運(yùn)算帶來很多麻煩。

　　水平拆分?jǐn)?shù)據(jù)庫后我們還要考慮水平擴(kuò)展問題，例如如果我們事先使用了3臺(tái)服務(wù)器完成了水平拆分，如果系統(tǒng)運(yùn)行到一定階段，該表又遇到存儲(chǔ)瓶頸了，我們就得水平擴(kuò)容數(shù)據(jù)庫，那么如果我們的水平拆分方案開始設(shè)計(jì)的不好，那么擴(kuò)容時(shí)候就會(huì)碰到很多的麻煩。

轉(zhuǎn)載于:https://www.cnblogs.com/NullPointException/p/5053608.html

總結(jié)

以上是生活随笔為你收集整理的关于大型网站技术演进的思考(四)-存储的瓶颈4的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。