MongoDB 分片

高數(shù)據(jù)量（消耗內(nèi)存）和高吞吐量（消耗CPU）的數(shù)據(jù)庫(kù)應(yīng)用會(huì)對(duì)單機(jī)的性能造成較大壓力，為了解決這些問(wèn)題，一般采用兩種方法：水平擴(kuò)展（將數(shù)據(jù)集分布在多個(gè)服務(wù)器上）和垂直擴(kuò)展（增加更多的CPU和存儲(chǔ)資源）。

當(dāng)MongoDB存儲(chǔ)海量數(shù)據(jù)時(shí)，一臺(tái)機(jī)器可能不足以存儲(chǔ)數(shù)據(jù)，也可能不足以提供可接受的讀寫(xiě)吞吐量。這時(shí)，我們可以通過(guò)分割數(shù)據(jù)，使得數(shù)據(jù)分布在多個(gè)服務(wù)器上。

1. 分片集群架構(gòu)

• Config Server：存儲(chǔ)集群所有節(jié)點(diǎn)、分片數(shù)據(jù)數(shù)據(jù)信息等元數(shù)據(jù)信息，默認(rèn)需要配置3個(gè)Config Server節(jié)點(diǎn)；
• Mongos：專(zhuān)用路由進(jìn)程，提供對(duì)外應(yīng)用訪問(wèn)，將客戶端發(fā)來(lái)的請(qǐng)求準(zhǔn)確無(wú)誤的路由到集群中的一個(gè)或一組服務(wù)器上，同時(shí)會(huì)把接收到的響應(yīng)拼裝起來(lái)發(fā)回客戶端；
• Shard：存儲(chǔ)數(shù)據(jù)，以chunk為單位存儲(chǔ)數(shù)據(jù)；
  

1.1 Chunk

在Shard內(nèi)部，MongoDB還會(huì)把數(shù)據(jù)分為chunks，每個(gè)chunk包含shard的一部分?jǐn)?shù)據(jù)，chunk的產(chǎn)生有兩個(gè)用途：

• Splitting：當(dāng)chunk的大小超過(guò)配置的chunk size（默認(rèn)為64M）時(shí)，MongoDB的后臺(tái)進(jìn)程會(huì)把這個(gè)chunk切分成更小的chunk；
• Balancing：balancer時(shí)一個(gè)后臺(tái)進(jìn)程，負(fù)責(zé)chunk的遷移，從而均衡各個(gè)shard的負(fù)載；
  
  
  chunk size的選擇：小的chunk size數(shù)據(jù)均衡時(shí)遷移速度快，數(shù)據(jù)分布更均勻，但數(shù)據(jù)分裂頻繁，路由節(jié)點(diǎn)消耗更多資源；大的chunk size數(shù)據(jù)分裂少，但數(shù)據(jù)塊遷移消耗IO資源大，通常選擇100M～200M；

2. 數(shù)據(jù)區(qū)分

2.1 分片鍵 shard key

MongoDB中的數(shù)據(jù)分片是以集合為基本單位的，集合中的數(shù)據(jù)通過(guò)shard key被分成多個(gè)部分。其實(shí)shard key就是在集合中選一個(gè)鍵，用該鍵作為數(shù)據(jù)拆分的依據(jù)。

注意：

• shard key是不可變的；
• shard key必須有索引；
• shard key大小限制512bytes；
• shard key用于路由查詢(xún)；

2.2 以范圍為基礎(chǔ)的分片 Sharded Cluster

Sharded Cluster支持將單個(gè)集合的數(shù)據(jù)分散存儲(chǔ)到多個(gè)shard上，用戶可以指定根據(jù)集合內(nèi)文檔的某個(gè)字段（shard key）來(lái)進(jìn)行范圍分片。

在使用shard key做范圍劃分的系統(tǒng)中，擁有”相近”shard key的文檔很可能存儲(chǔ)在同一個(gè)數(shù)據(jù)塊中，因此也會(huì)存儲(chǔ)在同一個(gè)分片中。

2.3 基于哈希的分片

對(duì)于基于哈希的分片，MongoDB計(jì)算一個(gè)字段的哈希值，并用這個(gè)哈希值來(lái)創(chuàng)建數(shù)據(jù)塊。在使用基于哈希分片的系統(tǒng)中，擁有”相近”shard key的文檔很可能不會(huì)存儲(chǔ)在同一個(gè)數(shù)據(jù)塊中，因此數(shù)據(jù)的分離性更好一些。

總結(jié)

以上是生活随笔為你收集整理的MongoDB 分片的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。