原理：

• Redis集群采用一致性哈希槽的方式將集群中每個(gè)主節(jié)點(diǎn)都分配一定的哈希槽，對(duì)寫(xiě)入的數(shù)據(jù)進(jìn)行哈希后分配到某個(gè)主節(jié)點(diǎn)進(jìn)行存儲(chǔ)。
• 集群使用公式（CRC16 key）& 16384計(jì)算鍵key數(shù)據(jù)那個(gè)槽。
• 16384個(gè)slot均勻分布在各個(gè)節(jié)點(diǎn)上。
• 集群中每個(gè)主節(jié)點(diǎn)將承擔(dān)一部分槽點(diǎn)的維護(hù)，而槽點(diǎn)中存儲(chǔ)著數(shù)據(jù)，每個(gè)主節(jié)點(diǎn)都有至少一個(gè)從節(jié)點(diǎn)用于高可用。

節(jié)點(diǎn)通信方式：

• 開(kāi)啟一個(gè)端口 設(shè)置的端口號(hào)+10000，用于集群之間節(jié)點(diǎn)通信交換信息。
• 每個(gè)節(jié)點(diǎn)默認(rèn)每秒10次選擇隨機(jī)5個(gè)節(jié)點(diǎn)發(fā)送ping消息，將自身信息和知道的集群信息傳遞，收到ping消息后返回pong消息做回復(fù)，最后通過(guò)這種隨機(jī)的消息交換，最終每個(gè)節(jié)點(diǎn)將獲得所有信息。
• 當(dāng)某個(gè)主節(jié)點(diǎn)掛掉，所有節(jié)點(diǎn)將會(huì)發(fā)現(xiàn)主節(jié)點(diǎn)掛掉了，作為主節(jié)點(diǎn)的從節(jié)點(diǎn)，就會(huì)接替主節(jié)點(diǎn)的工作，然后告訴所有其它節(jié)點(diǎn)，他成為了主。這樣其它存活節(jié)點(diǎn)，就將它們維護(hù)的信息表更新從節(jié)點(diǎn)將接任做主，如果都掛掉集群將報(bào)錯(cuò)。當(dāng)從一個(gè)節(jié)點(diǎn)操作，根據(jù)一致性哈希計(jì)算后將存儲(chǔ)在其中一個(gè)主節(jié)點(diǎn)中，從節(jié)點(diǎn)將同步主的數(shù)據(jù)。

• redis cluster是去中心化的，集群中的每個(gè)節(jié)點(diǎn)都是平等的關(guān)系，每個(gè)節(jié)點(diǎn)都保存各自的數(shù)據(jù)和整個(gè)集群的狀態(tài)。每個(gè)節(jié)點(diǎn)都和其他所有節(jié)點(diǎn)連接，而且這些連接保持活躍。
• 搭建集群時(shí)，會(huì)為每一個(gè)分片的主節(jié)點(diǎn)，對(duì)應(yīng)一個(gè)從節(jié)點(diǎn)。實(shí)現(xiàn)slaveof功能，同時(shí)當(dāng)主節(jié)點(diǎn)down，實(shí)現(xiàn)sentinel哨兵的自動(dòng)failover切換功能

Redis分布式集群（部署）：

端口號(hào)：7000-7005

本次分布式分片集群在一臺(tái)LInux系統(tǒng)即可，只需要安裝多個(gè)實(shí)例作為集群配置。

安裝ruby環(huán)境支持：

yum -y install ruby rubygems

yum安裝2.0.0版本，但是gem需要2.2.2版本以上，所以選擇編譯

下載并安裝ruby環(huán)境：

wget https://cache.ruby-lang.org/pub/ruby/2.6/ruby-2.6.1.tar.gz tar xf ruby-2.6.1.tar.gz && cd ruby-2.6.1/ ./configure --prefix=/usr/local/ruby make && make install && echo $? echo 'export PATH=$PATH:/usr/local/ruby/bin' >> /etc/profile source /etc/profile

修改gem工具國(guó)內(nèi)源：

# 查看gem工具源地址 gem sources -l # 添加一個(gè)阿里云的gem工具源 gem sources -a http://mirrors.aliyun.com/rubygems/ # 刪除gem工具默認(rèn)國(guó)外源 gem sources --remove https://rubygems.org/ # 下載當(dāng)前最新版本集群插件 gem install redis -v 4.1.0

集群節(jié)點(diǎn)準(zhǔn)備：

mkdir /data/700{0..5}

配置7000端口實(shí)例：

vim /data/7000/redis.conf port 7000 daemonize yes pidfile /data/7000/redis.pid loglevel notice logfile "/data/7000/redis.log" dbfilename dump.rdb dir /data/7000 protected-mode no cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes

拷貝其他端口實(shí)例：

# 拷貝配置文件cp /data/7000/redis.conf /data/7001/ cp /data/7000/redis.conf /data/7002/ cp /data/7000/redis.conf /data/7003/ cp /data/7000/redis.conf /data/7004/ cp /data/7000/redis.conf /data/7005/ # 修改配置文件內(nèi)容 sed -i 's#7000#7001#g' /data/7001/redis.conf sed -i 's#7000#7002#g' /data/7002/redis.conf sed -i 's#7000#7003#g' /data/7003/redis.conf sed -i 's#7000#7004#g' /data/7004/redis.conf sed -i 's#7000#7005#g' /data/7005/redis.conf

啟動(dòng)所有實(shí)例：

redis-server /data/7000/redis.conf redis-server /data/7001/redis.conf redis-server /data/7002/redis.conf redis-server /data/7003/redis.conf redis-server /data/7004/redis.conf redis-server /data/7005/redis.conf

創(chuàng)建命令軟鏈接：

（這個(gè)命令過(guò)期了，現(xiàn)在使用redis-cli命令）（可選執(zhí)行命令）

ln -s /usr/local/redis-5.0.2/src/redis-trib.rb /usr/sbin/

查看進(jìn)程：

ps -ef |grep redis-server

加入所有實(shí)例節(jié)點(diǎn)到集群管理：

# --replicas 1",1是代表每一個(gè)主有一個(gè)從,后面的是所有節(jié)點(diǎn)的地址與端口信息 redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

分布式主從規(guī)則為，前三個(gè)實(shí)例節(jié)點(diǎn)是主，對(duì)應(yīng)的后面三個(gè)實(shí)例節(jié)點(diǎn)為從節(jié)點(diǎn)，如果replicas 2，那就多加3個(gè)實(shí)例節(jié)點(diǎn)

查看主節(jié)點(diǎn)狀態(tài)：

redis-cli -p 7000 cluster nodes|grep master

查看從節(jié)點(diǎn)狀態(tài)：

redis-cli -p 7000 cluster nodes|grep slave

Redis-分布式集群（管理）

集群節(jié)點(diǎn)增加準(zhǔn)備：

mkdir /data/700{6..7}拷貝其他端口實(shí)例： # 拷貝配置文件cp /data/7000/redis.conf /data/7006/ cp /data/7000/redis.conf /data/7007/# 修改配置文件內(nèi)容 sed -i 's#7000#7006#g' /data/7006/redis.conf sed -i 's#7000#7007#g' /data/7007/redis.conf

啟動(dòng)新節(jié)點(diǎn)實(shí)例：

redis-server /data/7006/redis.conf redis-server /data/7007/redis.conf

查看進(jìn)程：

ps -ef |grep redis-server

添加主節(jié)點(diǎn)：（7000實(shí)例是管理節(jié)點(diǎn)）

#'把7006實(shí)例添加到7000實(shí)例這個(gè)主節(jié)點(diǎn)所在集群內(nèi)(此時(shí)已經(jīng)有了4個(gè)主節(jié)點(diǎn)) redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000

查看主節(jié)點(diǎn)狀態(tài)：

redis-cli -p 7000 cluster nodes|grep master

轉(zhuǎn)移slot（重新分片）：

#'操作集群管理節(jié)點(diǎn)從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點(diǎn)ID redis-cli --cluster reshard 127.0.0.1:7000How many slots do you want to move (from 1 to 16384)? 4096 #通過(guò)人工手動(dòng)計(jì)算數(shù)據(jù)分片總大小除以主節(jié)點(diǎn)后的數(shù)字What is the receiving node ID? 2129d28f0a86fc89571e49a59a0739812cff7953 #選擇接收數(shù)據(jù)分片的節(jié)點(diǎn)ID，（這是新增節(jié)點(diǎn)7006實(shí)例的ID號(hào)）Source node #1: all #選擇從哪些源主節(jié)點(diǎn)重新分片給新主節(jié)點(diǎn)）（all是所有節(jié)點(diǎn) ）Do you want to proceed with the proposed reshard plan (yes/no)? yes #確認(rèn)修改以上的操作

重新查看主節(jié)點(diǎn)狀態(tài)：（可以看到集群數(shù)據(jù)的重新分片）

redis-cli -p 7000 cluster nodes|grep master

添加從節(jié)點(diǎn)：

#'把7007實(shí)例節(jié)點(diǎn)添加到7006實(shí)例主節(jié)點(diǎn)內(nèi)，并指定對(duì)應(yīng)7006實(shí)例主節(jié)點(diǎn)坐在集群的管理節(jié)點(diǎn) redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 2129d28f0a86fc89571e49a59a0739812cff7953

查看從節(jié)點(diǎn)狀態(tài)：

redis-cli -p 7000 cluster nodes|grep slave

集群節(jié)點(diǎn)刪除準(zhǔn)備：

移動(dòng)要?jiǎng)h除節(jié)點(diǎn)的數(shù)據(jù)分片：

#'操作集群管理節(jié)點(diǎn)從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點(diǎn)ID redis-cli --cluster reshard 127.0.0.1:7000#方法是根據(jù)要?jiǎng)h除master節(jié)點(diǎn)的分片位置，然后一個(gè)組分一個(gè)節(jié)點(diǎn) ， 也可以直接移動(dòng)所有數(shù)據(jù)片到一個(gè)節(jié)點(diǎn) How many slots do you want to move (from 1 to 16384)? 1365 #通過(guò)人工手動(dòng)查看數(shù)據(jù)分片總大小 What is the receiving node ID? e64f9074a3733fff7baa9a4848190e56831d5447#選擇接收數(shù)據(jù)分片的節(jié)點(diǎn)ID，（這是新增節(jié)點(diǎn)7006實(shí)例的ID號(hào)） Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953#選擇從哪些源主節(jié)點(diǎn)重新分片給新主節(jié)點(diǎn)（這是要?jiǎng)h除的主節(jié)點(diǎn)的ID號(hào)）Source node #2: done #這是結(jié)束命令Do you want to proceed with the proposed reshard plan (yes/no)? yes #確認(rèn)修改以上的操作

重新查看主節(jié)點(diǎn)狀態(tài)：（可以看到集群數(shù)據(jù)的重新分片）

redis-cli -p 7000 cluster nodes|grep master

繼續(xù)移動(dòng)數(shù)據(jù)片：

#'操作集群管理節(jié)點(diǎn)從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點(diǎn)ID redis-cli --cluster reshard 127.0.0.1:7000# 方法是根據(jù)要?jiǎng)h除master節(jié)點(diǎn)的分片位置，然后一個(gè)組分一個(gè)節(jié)點(diǎn) ， 也可以直接移動(dòng)所有數(shù)據(jù)片到一個(gè)節(jié)點(diǎn) How many slots do you want to move (from 1 to 16384)? 1366 #通過(guò)人工手動(dòng)查看數(shù)據(jù)分片總大小 What is the receiving node ID? f6c1aaea3a8c56e0c7dee8ad7ae17e26dd04244c#選擇接收數(shù)據(jù)分片的節(jié)點(diǎn)ID，（這是新增節(jié)點(diǎn)7006實(shí)例的ID號(hào)） Source node #1: 2129d28f0a86fc89571e49a59a0739812cff7953#選擇從哪些源主節(jié)點(diǎn)重新分片給新主節(jié)點(diǎn)（這是要?jiǎng)h除的主節(jié)點(diǎn)的ID號(hào)）Source node #2: done #這是結(jié)束命令Do you want to proceed with the proposed reshard plan (yes/no)? yes #確認(rèn)修改以上的操作

重新查看主節(jié)點(diǎn)狀態(tài)：（可以看到集群數(shù)據(jù)的重新分片）

redis-cli -p 7000 cluster nodes|grep master

最后一次移動(dòng)數(shù)據(jù)片：

#'操作集群管理節(jié)點(diǎn)從新分配，并在交互界面指定分片大小、選擇接收分片的節(jié)點(diǎn)ID redis-cli --cluster reshard 127.0.0.1:7000#方法是根據(jù)要?jiǎng)h除master節(jié)點(diǎn)的分片位置，然后一個(gè)組分一個(gè)節(jié)點(diǎn) ， 也可以直接移動(dòng)所有數(shù)據(jù)片到一個(gè)節(jié)點(diǎn) How many slots do you want to move (from 1 to 16384)? 1365

重新查看主節(jié)點(diǎn)狀態(tài)：（可以看到集群數(shù)據(jù)的重新分片）

redis-cli -p 7000 cluster nodes|grep master

刪除清空數(shù)據(jù)片的主節(jié)點(diǎn)：

#'刪除已經(jīng)清空數(shù)據(jù)的7006實(shí)例 redis-cli --cluster del-node 127.0.0.1:7006 2129d28f0a86fc89571e49a59a0739812cff7953 #刪除沒(méi)有主庫(kù)的7007實(shí)例 redis-cli --cluster del-node 127.0.0.1:7007 821bcf78c5e4c0b08aa7a5d514214b657ebec4ab

其他配置管理：

#內(nèi)存信息查看 redis-cli -p 6382 -a redhat info memory#設(shè)置最大只能使用100MB的內(nèi)存 redis-cli -p 6382 -a redhat config set maxmemory 102400000

---

• 升職加薪必備！運(yùn)維工程師打怪升級(jí)進(jìn)階成神之路
• 我沒(méi)有開(kāi)掛的人生！自律和堅(jiān)持，是我走IT之路的唯一捷徑
• 全網(wǎng)最新、最全Linux面試題（2020版）！
• 史上最全、最新的Redis面試題（2020最新版）！
• 贊！7000 字學(xué)習(xí)筆記，MySQL 從入門(mén)到放棄

如有錯(cuò)誤或其它問(wèn)題，歡迎小伙伴留言評(píng)論、指正。如有幫助，歡迎點(diǎn)贊+轉(zhuǎn)發(fā)分享。

更多相關(guān)開(kāi)源技術(shù)文章，請(qǐng)持續(xù)關(guān)注民工哥知乎技術(shù)專(zhuān)欄。

我是民工哥，一個(gè)愛(ài)折騰的IT技術(shù)老司機(jī)，歡迎關(guān)注我，我們一起學(xué)習(xí)，共同成長(zhǎng)！！

總結(jié)

以上是生活随笔為你收集整理的redis分片_5000+字硬核干货！Redis 分布式集群部署实战的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。