基于centos 7的Redis群集原理及配置

博文大綱：
一、Redis群集原理
二、Redis群集架構細節
三、redis-cluster選舉
四、部署Redis群集環境

關于Redis的性能調優參數的說明，可以參考博文：centos 7之Redis數據庫詳解及參數調優
一、Redis群集原理：

1）Redis集群架構：

• Redis Cluster采用虛擬槽分區，將所有的數據根據算法映射到0~16384整數槽內
• Redis Cluster是一個無中心的結構
• 每個節點都保存數據和整個集群的狀態
  2）集群角色
• Master：Master之間分配slots
• Slave：Slave向它指定的Master同步數據
  3）集群節點使用的TCP端口
• 6379端口用于客戶端的連接
• 16379端口用于群集總線

Redis3.0版本以上開始支持群集，采用的是hash slot（哈希槽），可以將多個Redis實例整合在一起，形成一個群集，也就是將數據分散到群集的多臺服務器上。

Redis cluster（Redis 群集）是一個無中心的結構，如下圖所示，每個節點都會保存數據和整個群集的狀態。每個節點都會保存其他節點的信息，知道其他節點所負責的槽，并且會與其他節點定時發送心跳信息，能夠及時感知群集中異常的節點。

當客戶端向群集中任一節點發送與數據庫鍵有關的命令時，接受命令的節點會計算出命令要處理的數據屬于哪個槽，并檢查這個槽是否指派給了自己，如果鍵所在的槽正好指派給了當前節點，那么節點直接執這個命令；如果鍵值所在的槽并沒有指派給當前節點，那么節點會向客戶端返回一個MOVED錯誤，指引客戶端轉向（redirect）正確的節點，并再次發送之前想要執行的命令。

群集角色有master和slave。master之間分配slots，一共16384個slot。slave向它指定的master同步數據，實現備份。當其中一個master無法提供服務時，該master的slave將提升為master，以保證群集間slot的完整性。當其中的某一個master和它的slave都失效，導致了slot不完整，群集失效，這時就需要運維人員去處理了。

群集搭建好后，群集中的每個節點都會定期地向其他節點發送PING消息，如果接收PING消息的節點沒有在規定的時間內返回PONG消息，那么發送PING消息的節點就會將其標記為疑似下線（PFAIL）。各個節點會通過互相發送消息的方式來交換群集中各個節點的狀態信息。如果已經在一個群集里面，半數以上的主節點都將某個主節點x報告為疑似下線，那么這個主節點x將被標記為已下線（FAIL），同時會向群集廣播一條關于主節點x的FAIL消息，所有收到這條FAIL消息的節點都會立即將主節點x標記為已下線。

當需要減少或者增加群集中的服務器時，我們需要將已經指派給某個節點（源節點）的槽改為指派給另一個節點（目標節點），并且將相關槽所包含的鍵值對從源節點移動到目標節點。

Redis群集的重新分片操作時由Redis的群集管理軟件redis-trib負責執行的，不支持自動分片，而且需要自己計算從哪些節點遷移多少Slot。在重新分片的過程中，群集無需下線，并且源節點和目標節點都可以繼續處理命令請求。

二、Redis群集架構細節：

1、所有的Redis節點彼此互聯（PING-PONG機制）內部使用二進制協議優先傳輸速度和帶寬。

2、節點的失效（fail）在群集中超過半數的主（master）節點檢測失效時才會生效。

3、客戶端與redis節點直連，不需要中間代理（proxy）層，客戶端不需要連接群集所有節點，連接群集中任何一個可用節點即可。

4、redis-cluster把所有的物理節點映射到 [ 0-1638 ] slot 上，cluster負責維護node< - >slot< - > key。

三、redis-cluster選舉：

選舉過程是群集中所有master參與，如果半數以上master節點與當前master節點通信超時（cluster-node-timeout），認為當前master節點掛掉。以下兩種情況為整個群集不可用（cluster_state：fail），當群集不可用時，所有對群集的操作都不可用，收到（（error）CLUSTERDOWN Thecluster is down）錯誤：

錯誤1：如果群集中任意master掛掉，且當前master沒有slave，則群集進入fail狀態，也可以理解成群集的slot映射 [ 0-16383 ]不完整時進入fail狀態。

錯誤2：如果群集中超過半數的master掛掉，無論是否有slave，群集都進入fail狀態。

默認情況下，每個群集的節點都是用兩個TCP端口，一個是6379，一個是16379；6379服務于客戶端的連接，16379用于群集總線，就是使用二進制協議的節點到節點通信通道。節點使用群集總線進行故障檢測、配置更新、故障轉移授權等。

四、部署Redis群集環境：

1、環境準備：

1）六臺服務器，三臺為master、三臺為slave，我這里均為centos 7，IP地址依次為192.168.1.1--6（參與群集的服務器數量最好為偶數，每個master會自動對應一個slave，若為奇數，群集無法實現冗余，因為必定有一個master沒有對應的slave，一旦這個master宕機，整個群集就會丟失一部分數據）；
2）準備所需源碼包：下載鏈接，提取碼：4kky，配置本地yum，需要系統映像安裝ruby的運行環境。
3）自行配置網絡及防火墻，放行TCP的6379和16379這兩個端口的流量，我這里直接關閉了防火墻。
4）所有redis服務器必須保證無任何數據，最好是全新安裝的，因為如果有數據存在，在后面進行群集時會報錯，關于錯誤如何解決，我沒有深究。

2、開始部署：

①192.168.1.1：

[root@localhost ~]# mount /root/redis-5.0.iso /media 
mount: /dev/loop1 寫保護，將以只讀方式掛載
[root@localhost ~]# cd /media
[root@localhost media]# cp * /usr/src/           #將iso中的文件都復制到指定目錄
[root@localhost media]# cd /usr/src
[root@localhost src]# ls               #查看相關包有沒有復制過來
debug  kernels  redis-3.2.0.gem  redis-5.0.5.tar.gz
[root@localhost src]# tar zxf redis-5.0.5.tar.gz       #解包
[root@localhost src]# cd redis-5.0.5/       #切換至解壓后的目錄
[root@localhost redis-5.0.5]# make && make install      #編譯安裝
[root@localhost redis-5.0.5]# cd utils/        #切換至子目錄
[root@localhost utils]# ./install_server.sh       #生成服務相關配置文件
#接下來是在指定相關配置文件的存放位置，直接一路按回車鍵即可。
[root@localhost utils]# cd /etc/init.d/      #優化redis控制啟停方式
[root@localhost init.d]# mv redis_6379 redis     
[root@localhost init.d]# chkconfig --add redis          #將redis添加為系統服務
[root@localhost init.d]# systemctl restart redis          #重啟服務，以測試是否生效
[root@localhost init.d]# systemctl restart redis
[root@localhost init.d]# vim /etc/redis/6379.conf    #編輯主配置文件，改動以下幾個配置項
bind 127.0.0.1 192.168.1.1　　　#添加本機IP。
appendonly yes  #改為“yes”，以便在每次更新操作后進行日志記錄，進行數據同步寫入
daemonize yes       #查看是否為“yes”
logfile /var/log/redis_6379.log           #指定日志文件位置，可以保持默認
cluster-enabled yes            #啟動群集
cluster-config-file nodes-6379.conf          #群集配置文件
cluster-node-timeout 15000          #群集節點超時時間，單位為毫秒
cluster-require-full-coverage no          #將默認的“yes”改為“no”
port 6379                  #默認監聽的端口號
[root@localhost init.d]# systemctl restart redis        #重啟服務，使配置生效
[root@localhost init.d]# netstat -anpt | grep redis       #只要6379和16379在監聽，就OK了。
tcp        0      0 192.168.1.1:6379        0.0.0.0:*       LISTEN      7139/redis-server 1 
tcp        0      0 192.168.1.1:16379       0.0.0.0:*       LISTEN      7139/redis-server 1 
[root@localhost ~]# yum -y install ruby rubygems            #安裝ruby的運行環境及客戶端
[root@localhost ~]# cd /usr/src/
[root@localhost src]# ls             #切換至包含redis-3.2.0.gem的目錄下
debug  kernels  redis-3.2.0.gem  redis-5.0.5  redis-5.0.5.tar.gz
[root@localhost src]# gem install redis --version 3.2.0      #執行gem命令
Successfully installed redis-3.2.0
Parsing documentation for redis-3.2.0
Installing ri documentation for redis-3.2.0
1 gem installed

②192.168.1.2：

[root@localhost ~]# scp root@192.168.1.1:/usr/src/redis-5.0.5.tar.gz /usr/src
#將主機1.1的redis源碼包復制過來
The authenticity of host  192.168.1.1 (192.168.1.1) can t be established.
ECDSA key fingerprint is SHA256:3U5q5gBxEOkHLFZZueGnEXGV/LZA9M4+1rM1lLvkD1g.
ECDSA key fingerprint is MD5:ad:a1:9b:f7:e3:41:bf:5f:da:cd:5e:3f:74:e0:8a:b9.
Are you sure you want to continue connecting (yes/no)? yes #輸入yes
Warning: Permanently added '192.168.1.1' (ECDSA) to the list of known hosts.
root@192.168.1.1 s password:         #輸入主機1.1的用戶密碼
redis-5.0.5.tar.gz                              100% 1929KB  68.5MB/s   00:00   
[root@localhost ~]# cd /usr/src                 
[root@localhost src]# tar zxf redis-5.0.5.tar.gz         #解包
[root@localhost src]# cd redis-5.0.5/          #進入解壓后的目錄
[root@localhost redis-5.0.5]# make && make install       #編譯安裝
[root@localhost redis-5.0.5]# cd utils/        #切換至子目錄
[root@localhost utils]# ./install_server.sh       #生成服務相關配置文件
#接下來是在指定相關配置文件的存放位置，直接一路按回車鍵即可。
[root@localhost utils]# cd /etc/init.d/      #優化redis控制啟停方式
[root@localhost init.d]# mv redis_6379 redis     
[root@localhost init.d]# chkconfig --add redis          #將redis添加為系統服務
[root@localhost init.d]# systemctl restart redis          #重啟服務，以測試是否生效
[root@localhost init.d]# scp root@192.168.1.1:/etc/redis/6379.conf /etc/redis/ 
#將主機1.1的redis配置文件復制過來
root@192.168.1.1 s password: 
6379.conf                                       100%   60KB  34.5MB/s   00:00    
[root@localhost init.d]# scp root@192.168.1.1:/etc/redis/6379.conf /etc/redis/    #編輯配置redis配置文件
bind 127.0.0.1 192.168.1.2         #將原有的1.1改為1.2即可
[root@localhost init.d]# systemctl restart redis          #重啟服務，使配置文件生效
[root@localhost init.d]# netstat -natp | grep redis      #查看6379和16379是否在監聽
tcp        0      0 192.168.1.2:6379        0.0.0.0:*       LISTEN      7479/redis-server 1 
tcp        0      0 192.168.1.2:16379       0.0.0.0:*     LISTEN      7479/redis-server 1 

現在192.168.1.2也配置完成了，現在去192.168.1.3-6重復執行一下192.168.1.2這臺主機的配置即可。需要注意的是，更改從1.1復制過來的主配置文件時，將對應的IP地址換成本機的IP地址即可，其他配置命令都一樣。

剩下的所有服務器都配置完成后，回過頭接著配置主機192.168.1.1：

[root@localhost src]# redis-cli --cluster create 192.168.1.1:6379 \
192.168.1.2:6379  \
192.168.1.3:6379  \
192.168.1.4:6379  \
192.168.1.5:6379  \
192.168.1.6:6379  \
--cluster-replicas 1
#創建群集，將所有節點添加到群集。“\”表示折行繼續輸入，可以省略“\”，但要空格
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.1.5:6379 to 192.168.1.1:6379
Adding replica 192.168.1.6:6379 to 192.168.1.2:6379
Adding replica 192.168.1.4:6379 to 192.168.1.3:6379
M: 758dc679fc1d46df195b4c16abcfde1d743b8008 192.168.1.1:6379
   slots:[0-5460] (5461 slots) master
M: 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba 192.168.1.2:6379
   slots:[5461-10922] (5462 slots) master
M: 58d342b59e98c9f9f469332b08c36b6ddd456bf6 192.168.1.3:6379
   slots:[10923-16383] (5461 slots) master
S: bb95619aff3d613137733eeb55ff2d303a8720a1 192.168.1.4:6379
   replicates 58d342b59e98c9f9f469332b08c36b6ddd456bf6
S: 22d77a79272847f29e5db381b98ef6ccc4a169a7 192.168.1.5:6379
   replicates 758dc679fc1d46df195b4c16abcfde1d743b8008
S: ebc138bbea070c6496ae266b1a84936754603ad2 192.168.1.6:6379
   replicates 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba
Can I set the above configuration? (type 'yes' to accept): yes            #輸入“yes”
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.....
>>> Performing Cluster Check (using node 192.168.1.1:6379)
M: 758dc679fc1d46df195b4c16abcfde1d743b8008 192.168.1.1:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: ebc138bbea070c6496ae266b1a84936754603ad2 192.168.1.6:6379
   slots: (0 slots) slave
   replicates 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba
M: 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba 192.168.1.2:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 58d342b59e98c9f9f469332b08c36b6ddd456bf6 192.168.1.3:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: bb95619aff3d613137733eeb55ff2d303a8720a1 192.168.1.4:6379
   slots: (0 slots) slave
   replicates 58d342b59e98c9f9f469332b08c36b6ddd456bf6
S: 22d77a79272847f29e5db381b98ef6ccc4a169a7 192.168.1.5:6379
   slots: (0 slots) slave
   replicates 758dc679fc1d46df195b4c16abcfde1d743b8008
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost src]# redis-cli --cluster check 192.168.1.1:6379   
#查看群集狀態
192.168.1.1:6379 (758dc679...) -> 0 keys | 5461 slots | 1 slaves.
192.168.1.2:6379 (4b1d119d...) -> 0 keys | 5462 slots | 1 slaves.
192.168.1.3:6379 (58d342b5...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.1.1:6379)
M: 758dc679fc1d46df195b4c16abcfde1d743b8008 192.168.1.1:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: ebc138bbea070c6496ae266b1a84936754603ad2 192.168.1.6:6379
   slots: (0 slots) slave
   replicates 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba
M: 4b1d119d0a8179afcc10bf5891e5c04e6a7054ba 192.168.1.2:6379
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 58d342b59e98c9f9f469332b08c36b6ddd456bf6 192.168.1.3:6379
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
S: bb95619aff3d613137733eeb55ff2d303a8720a1 192.168.1.4:6379
   slots: (0 slots) slave
   replicates 58d342b59e98c9f9f469332b08c36b6ddd456bf6
S: 22d77a79272847f29e5db381b98ef6ccc4a169a7 192.168.1.5:6379
   slots: (0 slots) slave
   replicates 758dc679fc1d46df195b4c16abcfde1d743b8008
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost src]# redis-cli -h 192.168.1.1 -p 6379 -c          #登錄到群集需加“-c”選項
192.168.1.1:6379> set lv 11         #插入數據
OK
192.168.1.1:6379> get lv         
"11"
192.168.1.1:6379> exit
[root@localhost src]# redis-cli -h 192.168.1.3 -p 6379 -c          #登錄到其他master
192.168.1.3:6379> get lv           #查看在1.1插入的數據，照樣可以查詢到，說明群集生效
-> Redirected to slot [4118] located at 192.168.1.1:6379
"11"

redis-3.x.x和redis-5.x.x創建群集的區別：

使用命令不一樣，redis-3.x.x使用redis-trib.rb命令，語法如下：

[root@localhost ~]#redis-trib.rb create --replicas 1 192.168.1.1:6379 ..192.168.1.6:6379
#redis-3.x.x創建群集。
[root@localhost src]# redis-trib.rb check 192.168.1.1:6379
#查看群集狀態
# redis-trib.rb不可以直接使用，需要執行以下操作才可直接使用
[root@localhost src]# cd /usr/src/redis-5.0.5/src/           
[root@localhost src]# cp redis-trib.rb /usr/local/bin/  
#將該腳本復制到本地../bin下，以便直接使用。若不然，需要在目錄下使用“./”執行該文件