深入剖析Redis系列(三) - Redis集群模式搭建与原理详解
前言
在 Redis 3.0 之前，使用 哨兵（sentinel）機(jī)制來監(jiān)控各個(gè)節(jié)點(diǎn)之間的狀態(tài)。Redis Cluster 是 Redis 的 分布式解決方案，在 3.0 版本正式推出，有效地解決了 Redis 在 分布式 方面的需求。當(dāng)遇到 單機(jī)內(nèi)存、并發(fā)、流量 等瓶頸時(shí)，可以采用 Cluster 架構(gòu)方案達(dá)到 負(fù)載均衡 的目的。
本文將從 集群方案、數(shù)據(jù)分布、搭建集群、節(jié)點(diǎn)通信、集群伸縮、請求路由、故障轉(zhuǎn)移、集群運(yùn)維 等幾個(gè)方面介紹 Redis Cluster。
其他文章
-
深入剖析Redis系列(一) - Redis入門簡介與主從搭建
-
深入剖析Redis系列(二) - Redis哨兵模式與高可用集群
-
深入剖析Redis系列(三) - Redis集群模式搭建與原理詳解
-
深入剖析Redis系列(四) - Redis數(shù)據(jù)結(jié)構(gòu)與全局命令概述
-
深入剖析Redis系列(五) - Redis數(shù)據(jù)結(jié)構(gòu)之字符串
-
深入剖析Redis系列(六) - Redis數(shù)據(jù)結(jié)構(gòu)之哈希
-
深入剖析Redis系列(七) - Redis數(shù)據(jù)結(jié)構(gòu)之列表
-
深入剖析Redis系列(八) - Redis數(shù)據(jù)結(jié)構(gòu)之集合
正文
1. Redis集群方案
Redis Cluster 集群模式通常具有 高可用、可擴(kuò)展性、分布式、容錯(cuò) 等特性。Redis 分布式方案一般有兩種：
1.1 客戶端分區(qū)方案
客戶端 就已經(jīng)決定數(shù)據(jù)會被 存儲 到哪個(gè) redis 節(jié)點(diǎn)或者從哪個(gè) redis 節(jié)點(diǎn) 讀取數(shù)據(jù)。其主要思想是采用 哈希算法 將 Redis 數(shù)據(jù)的 key 進(jìn)行散列，通過 hash 函數(shù)，特定的 key會 映射 到特定的 Redis 節(jié)點(diǎn)上。
客戶端分區(qū)方案 的代表為 Redis Sharding，Redis Sharding 是 Redis Cluster 出來之前，業(yè)界普遍使用的 Redis 多實(shí)例集群 方法。Java 的 Redis 客戶端驅(qū)動庫 Jedis，支持 Redis Sharding 功能，即 ShardedJedis 以及 結(jié)合緩存池 的 ShardedJedisPool。
- 優(yōu)點(diǎn)
不使用 第三方中間件，分區(qū)邏輯 可控，配置 簡單，節(jié)點(diǎn)之間無關(guān)聯(lián)，容易 線性擴(kuò)展，靈活性強(qiáng)。
- 缺點(diǎn)
客戶端 無法 動態(tài)增刪 服務(wù)節(jié)點(diǎn)，客戶端需要自行維護(hù) 分發(fā)邏輯，客戶端之間 無連接共享，會造成 連接浪費(fèi)。
1.2. 代理分區(qū)方案
客戶端 發(fā)送請求到一個(gè) 代理組件，代理 解析 客戶端 的數(shù)據(jù)，并將請求轉(zhuǎn)發(fā)至正確的節(jié)點(diǎn)，最后將結(jié)果回復(fù)給客戶端。
-
優(yōu)點(diǎn)：簡化 客戶端 的分布式邏輯，客戶端 透明接入，切換成本低，代理的 轉(zhuǎn)發(fā) 和 存儲 分離。
-
缺點(diǎn)：多了一層 代理層，加重了 架構(gòu)部署復(fù)雜度 和 性能損耗。
代理分區(qū) 主流實(shí)現(xiàn)的有方案有 Twemproxy 和 Codis。
1.2.1. Twemproxy
Twemproxy 也叫 nutcraker，是 twitter 開源的一個(gè) redis 和 memcache 的 中間代理服務(wù)器 程序。Twemproxy 作為 代理，可接受來自多個(gè)程序的訪問，按照 路由規(guī)則，轉(zhuǎn)發(fā)給后臺的各個(gè) Redis 服務(wù)器，再原路返回。Twemproxy 存在 單點(diǎn)故障 問題，需要結(jié)合 Lvs 和 Keepalived 做 高可用方案。
-
優(yōu)點(diǎn)：應(yīng)用范圍廣，穩(wěn)定性較高，中間代理層 高可用。
-
缺點(diǎn)：無法平滑地 水平擴(kuò)容/縮容，無 可視化管理界面，運(yùn)維不友好，出現(xiàn)故障，不能 自動轉(zhuǎn)移。
1.2.2. Codis
Codis 是一個(gè) 分布式 Redis 解決方案，對于上層應(yīng)用來說，連接 Codis-Proxy 和直接連接 原生的 Redis-Server 沒有的區(qū)別。Codis 底層會 處理請求的轉(zhuǎn)發(fā)，不停機(jī)的進(jìn)行 數(shù)據(jù)遷移 等工作。Codis 采用了無狀態(tài)的 代理層，對于 客戶端 來說，一切都是透明的。
- 優(yōu)點(diǎn)
實(shí)現(xiàn)了上層 Proxy 和底層 Redis 的 高可用，數(shù)據(jù)分片 和 自動平衡，提供 命令行接口 和 RESTful API，提供 監(jiān)控 和 管理 界面，可以動態(tài) 添加 和 刪除 Redis 節(jié)點(diǎn)。
- 缺點(diǎn)
部署架構(gòu) 和 配置 復(fù)雜，不支持 跨機(jī)房 和 多租戶，不支持 鑒權(quán)管理。
1.3. 查詢路由方案
客戶端隨機(jī)地 請求任意一個(gè) Redis 實(shí)例，然后由 Redis 將請求 轉(zhuǎn)發(fā) 給 正確 的 Redis 節(jié)點(diǎn)。Redis Cluster 實(shí)現(xiàn)了一種 混合形式 的 查詢路由，但并不是 直接 將請求從一個(gè) Redis 節(jié)點(diǎn) 轉(zhuǎn)發(fā) 到另一個(gè) Redis 節(jié)點(diǎn)，而是在 客戶端 的幫助下直接 重定向（ redirected）到正確的 Redis 節(jié)點(diǎn)。
- 優(yōu)點(diǎn)
無中心節(jié)點(diǎn)，數(shù)據(jù)按照 槽 存儲分布在多個(gè) Redis 實(shí)例上，可以平滑的進(jìn)行節(jié)點(diǎn) 擴(kuò)容/縮容，支持 高可用 和 自動故障轉(zhuǎn)移，運(yùn)維成本低。
- 缺點(diǎn)
嚴(yán)重依賴 Redis-trib 工具，缺乏 監(jiān)控管理，需要依賴 Smart Client (維護(hù)連接，緩存路由表，MultiOp 和 Pipeline 支持)。Failover 節(jié)點(diǎn)的 檢測過慢，不如 中心節(jié)點(diǎn) ZooKeeper 及時(shí)。Gossip 消息具有一定開銷。無法根據(jù)統(tǒng)計(jì)區(qū)分 冷熱數(shù)據(jù)。
2. 數(shù)據(jù)分布
2.1. 數(shù)據(jù)分布理論
分布式數(shù)據(jù)庫 首先要解決把 整個(gè)數(shù)據(jù)集 按照 分區(qū)規(guī)則 映射到 多個(gè)節(jié)點(diǎn) 的問題，即把 數(shù)據(jù)集 劃分到 多個(gè)節(jié)點(diǎn) 上，每個(gè)節(jié)點(diǎn)負(fù)責(zé) 整體數(shù)據(jù) 的一個(gè) 子集。
數(shù)據(jù)分布通常有 哈希分區(qū) 和 順序分區(qū) 兩種方式，對比如下：
| 哈希分區(qū) | 離散程度好，數(shù)據(jù)分布與業(yè)務(wù)無關(guān)，無法順序訪問 | Redis Cluster，Cassandra，Dynamo |
| 順序分區(qū) | 離散程度易傾斜，數(shù)據(jù)分布與業(yè)務(wù)相關(guān)，可以順序訪問 | BigTable，HBase，Hypertable |
由于 Redis Cluster 采用 哈希分區(qū)規(guī)則，這里重點(diǎn)討論 哈希分區(qū)。常見的 哈希分區(qū) 規(guī)則有幾種，下面分別介紹：
2.1.1. 節(jié)點(diǎn)取余分區(qū)
使用特定的數(shù)據(jù)，如 Redis 的 鍵 或 用戶 ID，再根據(jù) 節(jié)點(diǎn)數(shù)量 N 使用公式：hash（key）% N 計(jì)算出 哈希值，用來決定數(shù)據(jù) 映射 到哪一個(gè)節(jié)點(diǎn)上。
- 優(yōu)點(diǎn)
這種方式的突出優(yōu)點(diǎn)是 簡單性，常用于 數(shù)據(jù)庫 的 分庫分表規(guī)則。一般采用 預(yù)分區(qū) 的方式，提前根據(jù) 數(shù)據(jù)量 規(guī)劃好 分區(qū)數(shù)，比如劃分為 512 或 1024 張表，保證可支撐未來一段時(shí)間的 數(shù)據(jù)容量，再根據(jù) 負(fù)載情況 將 表 遷移到其他 數(shù)據(jù)庫 中。擴(kuò)容時(shí)通常采用 翻倍擴(kuò)容，避免 數(shù)據(jù)映射 全部被 打亂，導(dǎo)致 全量遷移 的情況。
- 缺點(diǎn)
當(dāng) 節(jié)點(diǎn)數(shù)量 變化時(shí)，如 擴(kuò)容 或 收縮 節(jié)點(diǎn)，數(shù)據(jù)節(jié)點(diǎn) 映射關(guān)系 需要重新計(jì)算，會導(dǎo)致數(shù)據(jù)的 重新遷移。
2.1.2. 一致性哈希分區(qū)
一致性哈希 可以很好的解決 穩(wěn)定性問題，可以將所有的 存儲節(jié)點(diǎn) 排列在 收尾相接 的 Hash 環(huán)上，每個(gè) key 在計(jì)算 Hash 后會 順時(shí)針 找到 臨接 的 存儲節(jié)點(diǎn) 存放。而當(dāng)有節(jié)點(diǎn) 加入 或 退出 時(shí)，僅影響該節(jié)點(diǎn)在 Hash 環(huán)上 順時(shí)針相鄰 的 后續(xù)節(jié)點(diǎn)。
- 優(yōu)點(diǎn)
加入 和 刪除 節(jié)點(diǎn)只影響 哈希環(huán) 中 順時(shí)針方向 的 相鄰的節(jié)點(diǎn)，對其他節(jié)點(diǎn)無影響。
- 缺點(diǎn)
加減節(jié)點(diǎn) 會造成 哈希環(huán) 中部分?jǐn)?shù)據(jù) 無法命中。當(dāng)使用 少量節(jié)點(diǎn) 時(shí)，節(jié)點(diǎn)變化 將大范圍影響 哈希環(huán) 中 數(shù)據(jù)映射，不適合 少量數(shù)據(jù)節(jié)點(diǎn) 的分布式方案。普通 的 一致性哈希分區(qū) 在增減節(jié)點(diǎn)時(shí)需要 增加一倍 或 減去一半 節(jié)點(diǎn)才能保證 數(shù)據(jù) 和 負(fù)載的均衡。
注意：因?yàn)?一致性哈希分區(qū) 的這些缺點(diǎn)，一些分布式系統(tǒng)采用 虛擬槽 對 一致性哈希 進(jìn)行改進(jìn)，比如 Dynamo 系統(tǒng)。
2.1.3. 虛擬槽分區(qū)
虛擬槽分區(qū) 巧妙地使用了 哈希空間，使用 分散度良好 的 哈希函數(shù) 把所有數(shù)據(jù) 映射 到一個(gè) 固定范圍 的 整數(shù)集合 中，整數(shù)定義為 槽（slot）。這個(gè)范圍一般 遠(yuǎn)遠(yuǎn)大于 節(jié)點(diǎn)數(shù)，比如 Redis Cluster 槽范圍是 0 ~ 16383。槽 是集群內(nèi) 數(shù)據(jù)管理 和 遷移 的 基本單位。采用 大范圍槽 的主要目的是為了方便 數(shù)據(jù)拆分 和 集群擴(kuò)展。每個(gè)節(jié)點(diǎn)會負(fù)責(zé) 一定數(shù)量的槽，如圖所示：
當(dāng)前集群有 5 個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)平均大約負(fù)責(zé) 3276 個(gè) 槽。由于采用 高質(zhì)量 的 哈希算法，每個(gè)槽所映射的數(shù)據(jù)通常比較 均勻，將數(shù)據(jù)平均劃分到 5 個(gè)節(jié)點(diǎn)進(jìn)行 數(shù)據(jù)分區(qū)。Redis Cluster 就是采用 虛擬槽分區(qū)。
- 節(jié)點(diǎn)1： 包含 0 到 3276 號哈希槽。
- 節(jié)點(diǎn)2：包含 3277 到 6553 號哈希槽。
- 節(jié)點(diǎn)3：包含 6554 到 9830 號哈希槽。
- 節(jié)點(diǎn)4：包含 9831 到 13107 號哈希槽。
- 節(jié)點(diǎn)5：包含 13108 到 16383 號哈希槽。
這種結(jié)構(gòu)很容易 添加 或者 刪除 節(jié)點(diǎn)。如果 增加 一個(gè)節(jié)點(diǎn) 6，就需要從節(jié)點(diǎn) 1 ~ 5 獲得部分 槽 分配到節(jié)點(diǎn) 6 上。如果想 移除 節(jié)點(diǎn) 1，需要將節(jié)點(diǎn) 1 中的 槽 移到節(jié)點(diǎn) 2 ~ 5 上，然后將 沒有任何槽 的節(jié)點(diǎn) 1 從集群中 移除 即可。
由于從一個(gè)節(jié)點(diǎn)將 哈希槽 移動到另一個(gè)節(jié)點(diǎn)并不會 停止服務(wù)，所以無論 添加刪除 或者 改變 某個(gè)節(jié)點(diǎn)的 哈希槽的數(shù)量 都不會造成 集群不可用 的狀態(tài).
2.2. Redis的數(shù)據(jù)分區(qū)
Redis Cluster 采用 虛擬槽分區(qū)，所有的 鍵 根據(jù) 哈希函數(shù) 映射到 0~16383 整數(shù)槽內(nèi)，計(jì)算公式：slot = CRC16（key）& 16383。每個(gè)節(jié)點(diǎn)負(fù)責(zé)維護(hù)一部分槽以及槽所映射的 鍵值數(shù)據(jù)，如圖所示：
2.2.1. Redis虛擬槽分區(qū)的特點(diǎn)
-
解耦 數(shù)據(jù) 和 節(jié)點(diǎn) 之間的關(guān)系，簡化了節(jié)點(diǎn) 擴(kuò)容 和 收縮 難度。
-
節(jié)點(diǎn)自身 維護(hù)槽的 映射關(guān)系，不需要 客戶端 或者 代理服務(wù) 維護(hù) 槽分區(qū)元數(shù)據(jù)。
-
支持 節(jié)點(diǎn)、槽、鍵 之間的 映射查詢，用于 數(shù)據(jù)路由、在線伸縮 等場景。
2.3. Redis集群的功能限制
Redis 集群相對 單機(jī) 在功能上存在一些限制，需要 開發(fā)人員 提前了解，在使用時(shí)做好規(guī)避。
- key 批量操作 支持有限。
類似 mset、mget 操作，目前只支持對具有相同 slot 值的 key 執(zhí)行 批量操作。對于 映射為不同 slot 值的 key 由于執(zhí)行 mget、mget 等操作可能存在于多個(gè)節(jié)點(diǎn)上，因此不被支持。
- key 事務(wù)操作 支持有限。
只支持 多 key 在 同一節(jié)點(diǎn)上 的 事務(wù)操作，當(dāng)多個(gè) key 分布在 不同 的節(jié)點(diǎn)上時(shí) 無法 使用事務(wù)功能。
- key 作為 數(shù)據(jù)分區(qū) 的最小粒度
不能將一個(gè) 大的鍵值 對象如 hash、list 等映射到 不同的節(jié)點(diǎn)。
- 不支持 多數(shù)據(jù)庫空間
單機(jī) 下的 Redis 可以支持 16 個(gè)數(shù)據(jù)庫（db0 ~ db15），集群模式 下只能使用 一個(gè) 數(shù)據(jù)庫空間，即 db0。
- 復(fù)制結(jié)構(gòu) 只支持一層
從節(jié)點(diǎn) 只能復(fù)制 主節(jié)點(diǎn)，不支持 嵌套樹狀復(fù)制 結(jié)構(gòu)。
3. Redis集群搭建
Redis-Cluster 是 Redis 官方的一個(gè) 高可用 解決方案，Cluster 中的 Redis 共有 2^14（16384） 個(gè) slot 槽。創(chuàng)建 Cluster 后，槽 會 平均分配 到每個(gè) Redis 節(jié)點(diǎn)上。
下面介紹一下本機(jī)啟動 6 個(gè) Redis 的 集群服務(wù)，并使用 redis-trib.rb 創(chuàng)建 3主3從 的 集群。搭建集群工作需要以下三個(gè)步驟：
3.1. 準(zhǔn)備節(jié)點(diǎn)
Redis 集群一般由 多個(gè)節(jié)點(diǎn) 組成，節(jié)點(diǎn)數(shù)量至少為 6 個(gè)，才能保證組成 完整高可用 的集群。每個(gè)節(jié)點(diǎn)需要 開啟配置 cluster-enabled yes，讓 Redis 運(yùn)行在 集群模式 下。
Redis 集群的節(jié)點(diǎn)規(guī)劃如下：
| redis-6379 | 6379 | 主節(jié)點(diǎn) | --- |
| redis-6389 | 6389 | 從節(jié)點(diǎn) | redis-6379 |
| redis-6380 | 6380 | 主節(jié)點(diǎn) | --- |
| redis-6390 | 6390 | 從節(jié)點(diǎn) | redis-6380 |
| redis-6381 | 6381 | 主節(jié)點(diǎn) | --- |
| redis-6391 | 6391 | 從節(jié)點(diǎn) | redis-6381 |
注意：建議為集群內(nèi) 所有節(jié)點(diǎn) 統(tǒng)一目錄，一般劃分三個(gè)目錄：conf、data、log，分別存放 配置、數(shù)據(jù) 和 日志 相關(guān)文件。把 6 個(gè)節(jié)點(diǎn)配置統(tǒng)一放在 conf 目錄下。
3.1.1. 創(chuàng)建redis各實(shí)例目錄
$ sudo mkdir -p /usr/local/redis-cluster $ cd /usr/local/redis-cluster $ sudo mkdir conf data log $ sudo mkdir -p data/redis-6379 data/redis-6389 data/redis-6380 data/redis-6390 data/redis-6381 data/redis-6391 復(fù)制代碼3.1.2. redis配置文件管理
根據(jù)以下 模板 配置各個(gè)實(shí)例的 redis.conf，以下只是搭建集群需要的 基本配置，可能需要根據(jù)實(shí)際情況做修改。
# redis后臺運(yùn)行 daemonize yes # 綁定的主機(jī)端口 bind 127.0.0.1 # 數(shù)據(jù)存放目錄 dir /usr/local/redis-cluster/data/redis-6379 # 進(jìn)程文件 pidfile /var/run/redis-cluster/${自定義}.pid # 日志文件 logfile /usr/local/redis-cluster/log/${自定義}.log # 端口號 port 6379 # 開啟集群模式，把注釋#去掉 cluster-enabled yes # 集群的配置，配置文件首次啟動自動生成 cluster-config-file /usr/local/redis-cluster/conf/${自定義}.conf # 請求超時(shí)，設(shè)置10秒 cluster-node-timeout 10000 # aof日志開啟，有需要就開啟，它會每次寫操作都記錄一條日志 appendonly yes 復(fù)制代碼- redis-6379.conf
- redis-6389.conf
- redis-6380.conf
- redis-6390.conf
- redis-6381.conf
- redis-6391.conf
3.2. 環(huán)境準(zhǔn)備
3.2.1. 安裝Ruby環(huán)境
$ sudo brew install ruby 復(fù)制代碼3.2.2. 準(zhǔn)備rubygem redis依賴
$ sudo gem install redis Password: Fetching: redis-4.0.2.gem (100%) Successfully installed redis-4.0.2 Parsing documentation for redis-4.0.2 Installing ri documentation for redis-4.0.2 Done installing documentation for redis after 1 seconds 1 gem installed 復(fù)制代碼3.2.3. 拷貝redis-trib.rb到集群根目錄
redis-trib.rb 是 redis 官方推出的管理 redis 集群 的工具，集成在 redis 的源碼 src 目錄下，將基于 redis 提供的 集群命令 封裝成 簡單、便捷、實(shí)用 的 操作工具。
$ sudo cp /usr/local/redis-4.0.11/src/redis-trib.rb /usr/local/redis-cluster 復(fù)制代碼查看 redis-trib.rb 命令環(huán)境是否正確，輸出如下：
$ ./redis-trib.rb Usage: redis-trib <command> <options> <arguments ...>create host1:port1 ... hostN:portN--replicas <arg>check host:portinfo host:portfix host:port--timeout <arg>reshard host:port--from <arg>--to <arg>--slots <arg>--yes--timeout <arg>--pipeline <arg>rebalance host:port--weight <arg>--auto-weights--use-empty-masters--timeout <arg>--simulate--pipeline <arg>--threshold <arg>add-node new_host:new_port existing_host:existing_port--slave--master-id <arg>del-node host:port node_idset-timeout host:port millisecondscall host:port command arg arg .. argimport host:port--from <arg>--copy--replacehelp (show this help)For check, fix, reshard, del-node, set-timeout you can specify the host and port of any working node in the cluster. 復(fù)制代碼redis-trib.rb 是 redis 作者用 ruby 完成的。redis-trib.rb 命令行工具 的具體功能如下：
| create | 創(chuàng)建集群 |
| check | 檢查集群 |
| info | 查看集群信息 |
| fix | 修復(fù)集群 |
| reshard | 在線遷移slot |
| rebalance | 平衡集群節(jié)點(diǎn)slot數(shù)量 |
| add-node | 將新節(jié)點(diǎn)加入集群 |
| del-node | 從集群中刪除節(jié)點(diǎn) |
| set-timeout | 設(shè)置集群節(jié)點(diǎn)間心跳連接的超時(shí)時(shí)間 |
| call | 在集群全部節(jié)點(diǎn)上執(zhí)行命令 |
| import | 將外部redis數(shù)據(jù)導(dǎo)入集群 |
3.3. 安裝集群
3.3.1. 啟動redis服務(wù)節(jié)點(diǎn)
運(yùn)行如下命令啟動 6 臺 redis 節(jié)點(diǎn)：
sudo redis-server conf/redis-6379.conf sudo redis-server conf/redis-6389.conf sudo redis-server conf/redis-6380.conf sudo redis-server conf/redis-6390.conf sudo redis-server conf/redis-6381.conf sudo redis-server conf/redis-6391.conf 復(fù)制代碼啟動完成后，redis 以集群模式啟動，查看各個(gè) redis 節(jié)點(diǎn)的進(jìn)程狀態(tài)：
$ ps -ef | grep redis-server0 1908 1 0 4:59下午 ?? 0:00.01 redis-server *:6379 [cluster] 0 1911 1 0 4:59下午 ?? 0:00.01 redis-server *:6389 [cluster] 0 1914 1 0 4:59下午 ?? 0:00.01 redis-server *:6380 [cluster] 0 1917 1 0 4:59下午 ?? 0:00.01 redis-server *:6390 [cluster] 0 1920 1 0 4:59下午 ?? 0:00.01 redis-server *:6381 [cluster] 0 1923 1 0 4:59下午 ?? 0:00.01 redis-server *:6391 [cluster] 復(fù)制代碼在每個(gè) redis 節(jié)點(diǎn)的 redis.conf 文件中，我們都配置了 cluster-config-file 的文件路徑，集群啟動時(shí)，conf 目錄會新生成 集群 節(jié)點(diǎn)配置文件。查看文件列表如下：
$ tree -L 3 . . ├── appendonly.aof ├── conf │ ├── node-6379.conf │ ├── node-6380.conf │ ├── node-6381.conf │ ├── node-6389.conf │ ├── node-6390.conf │ ├── node-6391.conf │ ├── redis-6379.conf │ ├── redis-6380.conf │ ├── redis-6381.conf │ ├── redis-6389.conf │ ├── redis-6390.conf │ └── redis-6391.conf ├── data │ ├── redis-6379 │ ├── redis-6380 │ ├── redis-6381 │ ├── redis-6389 │ ├── redis-6390 │ └── redis-6391 ├── log │ ├── redis-6379.log │ ├── redis-6380.log │ ├── redis-6381.log │ ├── redis-6389.log │ ├── redis-6390.log │ └── redis-6391.log └── redis-trib.rb9 directories, 20 files 復(fù)制代碼3.3.2. redis-trib關(guān)聯(lián)集群節(jié)點(diǎn)
按照 從主到從 的方式 從左到右 依次排列 6 個(gè) redis 節(jié)點(diǎn)。
$ sudo ./redis-trib.rb create --replicas 1 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6389 127.0.0.1:6390 127.0.0.1:6391 復(fù)制代碼集群創(chuàng)建后，redis-trib 會先將 16384 個(gè) 哈希槽 分配到 3 個(gè) 主節(jié)點(diǎn)，即 redis-6379，redis-6380 和 redis-6381。然后將各個(gè) 從節(jié)點(diǎn) 指向 主節(jié)點(diǎn)，進(jìn)行 數(shù)據(jù)同步。
>>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 Adding replica 127.0.0.1:6390 to 127.0.0.1:6379 Adding replica 127.0.0.1:6391 to 127.0.0.1:6380 Adding replica 127.0.0.1:6389 to 127.0.0.1:6381 >>> Trying to optimize slaves allocation for anti-affinity [WARNING] Some slaves are in the same host as their master M: ad4b9ffceba062492ed67ab336657426f55874b7 127.0.0.1:6379slots:0-5460 (5461 slots) master M: df23c6cad0654ba83f0422e352a81ecee822702e 127.0.0.1:6380slots:5461-10922 (5462 slots) master M: ab9da92d37125f24fe60f1f33688b4f8644612ee 127.0.0.1:6381slots:10923-16383 (5461 slots) master S: 25cfa11a2b4666021da5380ff332b80dbda97208 127.0.0.1:6389replicates ad4b9ffceba062492ed67ab336657426f55874b7 S: 48e0a4b539867e01c66172415d94d748933be173 127.0.0.1:6390replicates df23c6cad0654ba83f0422e352a81ecee822702e S: d881142a8307f89ba51835734b27cb309a0fe855 127.0.0.1:6391replicates ab9da92d37125f24fe60f1f33688b4f8644612ee 復(fù)制代碼然后輸入 yes，redis-trib.rb 開始執(zhí)行 節(jié)點(diǎn)握手 和 槽分配 操作，輸出如下：
Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join.... >>> Performing Cluster Check (using node 127.0.0.1:6379) M: ad4b9ffceba062492ed67ab336657426f55874b7 127.0.0.1:6379slots:0-5460 (5461 slots) master1 additional replica(s) M: ab9da92d37125f24fe60f1f33688b4f8644612ee 127.0.0.1:6381slots:10923-16383 (5461 slots) master1 additional replica(s) S: 48e0a4b539867e01c66172415d94d748933be173 127.0.0.1:6390slots: (0 slots) slavereplicates df23c6cad0654ba83f0422e352a81ecee822702e S: d881142a8307f89ba51835734b27cb309a0fe855 127.0.0.1:6391slots: (0 slots) slavereplicates ab9da92d37125f24fe60f1f33688b4f8644612ee M: df23c6cad0654ba83f0422e352a81ecee822702e 127.0.0.1:6380slots:5461-10922 (5462 slots) master1 additional replica(s) S: 25cfa11a2b4666021da5380ff332b80dbda97208 127.0.0.1:6389slots: (0 slots) slavereplicates ad4b9ffceba062492ed67ab336657426f55874b7 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. 復(fù)制代碼執(zhí)行 集群檢查，檢查各個(gè) redis 節(jié)點(diǎn)占用的 哈希槽（slot）的個(gè)數(shù)以及 slot 覆蓋率。16384 個(gè)槽位中，主節(jié)點(diǎn) redis-6379、redis-6380 和 redis-6381 分別占用了 5461、5461 和 5462 個(gè)槽位。
3.3.3. redis主節(jié)點(diǎn)的日志
可以發(fā)現(xiàn)，通過 BGSAVE 命令，從節(jié)點(diǎn) redis-6389 在 后臺 異步地從 主節(jié)點(diǎn) redis-6379 同步數(shù)據(jù)。
$ cat log/redis-6379.log 1907:C 05 Sep 16:59:52.960 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 1907:C 05 Sep 16:59:52.961 # Redis version=4.0.11, bits=64, commit=00000000, modified=0, pid=1907, just started 1907:C 05 Sep 16:59:52.961 # Configuration loaded 1908:M 05 Sep 16:59:52.964 * Increased maximum number of open files to 10032 (it was originally set to 256). 1908:M 05 Sep 16:59:52.965 * No cluster configuration found, I'm ad4b9ffceba062492ed67ab336657426f55874b7 1908:M 05 Sep 16:59:52.967 * Running mode=cluster, port=6379. 1908:M 05 Sep 16:59:52.967 # Server initialized 1908:M 05 Sep 16:59:52.967 * Ready to accept connections 1908:M 05 Sep 17:01:17.782 # configEpoch set to 1 via CLUSTER SET-CONFIG-EPOCH 1908:M 05 Sep 17:01:17.812 # IP address for this node updated to 127.0.0.1 1908:M 05 Sep 17:01:22.740 # Cluster state changed: ok 1908:M 05 Sep 17:01:23.681 * Slave 127.0.0.1:6389 asks for synchronization 1908:M 05 Sep 17:01:23.681 * Partial resynchronization not accepted: Replication ID mismatch (Slave asked for '4c5afe96cac51cde56039f96383ea7217ef2af41', my replication IDs are '037b661bf48c80c577d1fa937ba55367a3692921' and '0000000000000000000000000000000000000000') 1908:M 05 Sep 17:01:23.681 * Starting BGSAVE for SYNC with target: disk 1908:M 05 Sep 17:01:23.682 * Background saving started by pid 1952 1952:C 05 Sep 17:01:23.683 * DB saved on disk 1908:M 05 Sep 17:01:23.749 * Background saving terminated with success 1908:M 05 Sep 17:01:23.752 * Synchronization with slave 127.0.0.1:6389 succeeded 復(fù)制代碼3.3.4. redis集群完整性檢測
使用 redis-trib.rb check 命令檢測之前創(chuàng)建的 兩個(gè)集群 是否成功，check 命令只需要給出集群中 任意一個(gè)節(jié)點(diǎn)地址 就可以完成 整個(gè)集群 的 檢查工作，命令如下：
$ ./redis-trib.rb check 127.0.0.1:6379 復(fù)制代碼當(dāng)最后輸出如下信息，提示集群 所有的槽 都已分配到節(jié)點(diǎn)：
[OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. 復(fù)制代碼小結(jié)
本文介紹了 Redis 集群解決方案，數(shù)據(jù)分布 和 集群搭建。集群方案包括 客戶端分區(qū) 方案，代理分區(qū) 方案 和 查詢路由 方案。數(shù)據(jù)分布 部分簡單地對 節(jié)點(diǎn)取余 分區(qū)，一致性哈希 分區(qū)以及 虛擬槽 分區(qū)進(jìn)行了闡述和對比。最后對使用 Redis-trib 搭建了一個(gè) 三主三從 的 虛擬槽 集群示例。
參考
《Redis 開發(fā)與運(yùn)維》
歡迎關(guān)注技術(shù)公眾號： 零壹技術(shù)棧
本帳號將持續(xù)分享后端技術(shù)干貨，包括虛擬機(jī)基礎(chǔ)，多線程編程，高性能框架，異步、緩存和消息中間件，分布式和微服務(wù)，架構(gòu)學(xué)習(xí)和進(jìn)階等學(xué)習(xí)資料和文章。
總結(jié)
以上是生活随笔為你收集整理的深入剖析Redis系列(三) - Redis集群模式搭建与原理详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 38. Count and Say
- 下一篇： 【杂题总汇】NOIP2013(洛谷P19