redis简单了解 二 （集群）
集群要實現的目的是要將不同的 key 分散放置到不同的 redis 節點，這里我們需要一個規則或者算法，通常的做法是獲取 key 的哈希值，然后根據節點數來求模，但這種做法有其明顯的弊端，當我們需要增加或減少一個節點時，會造成大量的 key 無法命中，這種比例是相當高的，所以就有人提出了一致性哈希的概念。
一致性哈希有四個重要特征：
均衡性：也有人把它定義為平衡性，是指哈希的結果能夠盡可能分布到所有的節點中去，這樣可以有效的利用每個節點上的資源。
單調性：對于單調性有很多翻譯讓我非常的不解，而我想要的是當節點數量變化時哈希的結果應盡可能的保護已分配的內容不會被重新分派到新的節點。
分散性和負載：這兩個其實是差不多的意思，就是要求一致性哈希算法對 key 哈希應盡可能的避免重復。
但一致性哈希不是我們今天要介紹的重點，因為 Redis 引入另一種哈希槽（hash slot）的概念。
Redis 集群中內置了 16384 個哈希槽，當需要在 Redis 集群中放置一個 key-value 時，redis 先對 key 使用 crc16 算法算出一個結果，然后把結果對 16384 求余數，這樣每個 key 都會對應一個編號在 0-16383 之間的哈希槽，redis 會根據節點數量大致均等的將哈希槽映射到不同的節點。
使用哈希槽的好處就在于可以方便的添加或移除節點。
當需要增加節點時，只需要把其他節點的某些哈希槽挪到新節點就可以了；
當需要移除節點時，只需要把移除節點上的哈希槽挪到其他節點就行了；
內部機制，與我何干，對于我們來說，在新增或移除節點的時候不要讓我們先停掉所有的 redis 服務我就謝天謝地了，這點它做到了。
下面我們就開始動手搭建一個 redis 集群來體驗一下。
因為我們要啟動多個 redis 實例，雖然我們可以直接通過命令行來啟動，但始終是不怎么方便的，所以我們先來新建三個實例目錄，分別是9001，9002，9003，目錄名就是 redis 實例的端口號。
我這里已經建好了目錄，然后我們把以前編譯過和修改過的 redis-server、redis.conf這兩個文件分別拷貝到這三個目錄里面，拷貝完之后就像這樣子了：
我們打開 redis.conf 文件，為了簡單起見，我們只保留下面幾個配置項：
daemonize yes
port 9001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
注意：port 要修改成對應目錄的名字，也就是每個實例要有不同的端口。
下面我們分別啟動這三個實例：
zhaoguihuadediannao:~ zhaogh$ cd applications/dev/redis-cluster
zhaoguihuadediannao:redis-cluster zhaogh$ cd 9001
zhaoguihuadediannao:9001 zhaogh$ ./redis-server ./redis.conf
zhaoguihuadediannao:9003 zhaogh$ cd ../9002
zhaoguihuadediannao:9002 zhaogh$ ./redis-server ./redis.conf
zhaoguihuadediannao:9002 zhaogh$ cd ../9003
zhaoguihuadediannao:9003 zhaogh$ ./redis-server ./redis.conf
zhaoguihuadediannao:9003 zhaogh$
接下來我們來創建集群，讓三個實例互相通訊：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb create --replicas 0 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003
>>> Creating cluster
Connecting to node 127.0.0.1:9001: OK
Connecting to node 127.0.0.1:9002: OK
Connecting to node 127.0.0.1:9003: OK
>>> Performing hash slots allocation on 3 nodes...
Using 3 masters:
127.0.0.1:9001
127.0.0.1:9002
127.0.0.1:9003
M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001
slots:0-5460 (5461 slots) master
M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002
slots:5461-10922 (5462 slots) master
M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003
slots:10923-16383 (5461 slots) master
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join..
>>> Performing Cluster Check (using node 127.0.0.1:9001)
M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001
slots:0-5460 (5461 slots) master
M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002
slots:5461-10922 (5462 slots) master
M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003
slots:10923-16383 (5461 slots) master
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
zhaoguihuadediannao:src zhaogh$
需要注意的是執行 redis-trib.rb 命令需要 ruby 的支持，如果你沒有安裝可以先到 https://rubygems.org/gems/redis 下載，然后離線安裝。
sudo gem install redis-3.0.7.gem --local
下面我們用 redis 自帶的客戶端測試一下：
zhaoguihuadediannao:src zhaogh$ ./redis-cli -c -p 9001
127.0.0.1:9001> get testkey001
-> Redirected to slot [12786] located at 127.0.0.1:9003
(nil)
127.0.0.1:9003> set testkey002 testvalue002
-> Redirected to slot [401] located at 127.0.0.1:9001
OK
127.0.0.1:9001> get testkey002
"testvalue002"
127.0.0.1:9001> set testkey003 testvalue003
OK
127.0.0.1:9001>
可以看到，雖然我們第一次連接的是9001端口，當我們去獲取 testkey001 的時候，redis cluster 自動幫我們重定向到 9003 。
當我們在 9003 設置 testkey002 時，redis cluster 又重定向到 9001 。
?
?
如何增加節點：
首先我們創建一個叫做 9004 的目錄：
zhaoguihuadediannao:redis-cluster zhaogh$ mkdir 9004
zhaoguihuadediannao:redis-cluster zhaogh$
接著我們將 9001 目錄下的 redis-server 、 redis.conf 兩個文件拷貝到 9004 目錄：
zhaoguihuadediannao:redis-cluster zhaogh$ cp 9001/redis-server 9004
zhaoguihuadediannao:redis-cluster zhaogh$ cp 9001/redis.conf 9004
然后我們打開 redis.conf 文件修改里面的端口配置項，將其改為 9004 。
啟動 9004 實例：
zhaoguihuadediannao:redis-cluster zhaogh$ cd 9004
zhaoguihuadediannao:9004 zhaogh$ ./redis-server ./redis.conf
zhaoguihuadediannao:9004 zhaogh$
想要把這個實例加入到集群，我們只需要執行 redis-trib.rb 命令：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb add-node 127.0.0.1:9004 127.0.0.1:9001
第一個參數是我們剛才啟動的新實例，第二個參數是集群中已有的節點。
檢查一下新節點是否已經加入：
zhaoguihuadediannao:src zhaogh$ ./redis-cli -c -p 9001
127.0.0.1:9001> cluster nodes
0e8f980bfe7a682e3d71b15523a41293535b8ccd :0 myself,master - 0 0 1 connected 0-5460
cbb01bdfdc265b190496956354d84aaae6e7d54d 127.0.0.1:9004 master - 0 1401952316346 0 connected
708e6e14474e3a99677b05ff89bd857375884437 127.0.0.1:9002 master - 0 1401952314325 2 connected 5461-10922
a7f9d3c64540cc3fc8cd3072e573bb8ab0bf1e6f 127.0.0.1:9003 master - 0 1401952315334 3 connected 10923-16383
127.0.0.1:9001>
我們可以發現 9004 并不包含任何哈希槽，因為它還沒有數據。
我們還可以為集群中的主節點增加從節點用于只讀查詢。
如何增加從節點：
我們還是要創建目錄，拷貝那兩個文件，修改配置，然后啟動實例：
zhaoguihuadediannao:redis-cluster zhaogh$ mkdir 9005
zhaoguihuadediannao:redis-cluster zhaogh$ cp 9001/redis-server 9005
zhaoguihuadediannao:redis-cluster zhaogh$ cp 9001/redis.conf 9005
修改 port 為 9005
zhaoguihuadediannao:redis-cluster zhaogh$ cd 9005
zhaoguihuadediannao:9005 zhaogh$ ./redis-server ./redis.conf
zhaoguihuadediannao:9005 zhaogh$
執行下面的命令，增加從節點：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb add-node --slave 127.0.0.1:9005 127.0.0.1:9001
第一個參數為從節點，第二個參數為主節點。
如何刪除一個節點：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb del-node 127.0.0.1:9001 'cbb01bdfdc265b190496956354d84aaae6e7d54d'
這里要注意一下，第一個參數是集群中的任何一個主節點地址，而第二個參數是要刪除節點的 ID，這個ID如果你不知道的話，可以通過 cluster nodes 命令查看。
還有一點就是要刪除的節點必須是空的，也就是不能緩存任何數據，否則會刪除不成功。對于非空節點，在刪除之前需要重新分片，將緩存的數據轉移到別的節點。
如何重新分片：
我們先給某個節點做點數據：
zhaoguihuadediannao:src zhaogh$ ./redis-cli -c -p 9001
127.0.0.1:9001> set testkey001 testvalue001
-> Redirected to slot [12786] located at 127.0.0.1:9003
OK
127.0.0.1:9003>
現在 9003 上已經有數據了，我們嘗試刪除一下：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb del-node 127.0.0.1:9001 '78ec1fd6647b79627d7c29bb2b22d04a4a6c43b3'
>>> Removing node 78ec1fd6647b79627d7c29bb2b22d04a4a6c43b3 from cluster 127.0.0.1:9001
Connecting to node 127.0.0.1:9001: OK
Connecting to node 127.0.0.1:9002: OK
Connecting to node 127.0.0.1:9003: OK
[ERR] Node 127.0.0.1:9003 is not empty! Reshard data away and try again.
zhaoguihuadediannao:src zhaogh$
沒有刪除成功，我們來重新分片，把 9003 上的數據轉移：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb reshard 127.0.0.1:9003
然后輸出了很多信息，很多數值和ID都可以從這段信息中找到。
How many slots do you want to move (from 1 to 16384)? 5461
會問你要移動多少個哈希槽，我們把 9003 上的所有哈希槽都移走，5461 這個數字可以從終端上看到，或許你的實際情況不是這個數字。
What is the receiving node ID? 4d2e0a8360795ce7ce8381c68746034aeba3c9b9
然后問你你要把這些哈希槽移到哪兒去，我指定了 9001 的 節點 ID。
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:78ec1fd6647b79627d7c29bb2b22d04a4a6c43b3
Source node #2:done
之后，redis 列出了重新分片計劃，最后問你
Do you want to proceed with the proposed reshard plan (yes/no)? yes
?
執行完成后，我們看看 9003 上還有沒有 key：
zhaoguihuadediannao:src zhaogh$ ./redis-cli -p 9003
127.0.0.1:9003> keys *
(empty list or set)
127.0.0.1:9003>
再看看 9001 上是不是有這個 key 了
zhaoguihuadediannao:src zhaogh$ ./redis-cli -p 9001
127.0.0.1:9001> keys *
1) "testkey001"
127.0.0.1:9001>
沒錯，果然轉移過來了。
最后我們試試能不能把 9003 刪除：
zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb del-node 127.0.0.1:9001 '78ec1fd6647b79627d7c29bb2b22d04a4a6c43b3'
>>> Removing node 78ec1fd6647b79627d7c29bb2b22d04a4a6c43b3 from cluster 127.0.0.1:9001
Connecting to node 127.0.0.1:9001: OK
Connecting to node 127.0.0.1:9002: OK
Connecting to node 127.0.0.1:9003: OK
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.
zhaoguihuadediannao:src zhaogh$ ./redis-cli -p 9003
Could not connect to Redis at 127.0.0.1:9003: Connection refused
not connected>
?
轉載于:https://www.cnblogs.com/guoliangxie/p/5342033.html
總結
以上是生活随笔為你收集整理的redis简单了解 二 （集群）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 20160331数据文件offline与
- 下一篇： Java中的ExceptionInIni