在Gluster上使用CTDB和Samba

       單獨的使用Samba掛載gluster volume并不能實現High Availability,有了CTDB就可以解決這個問題了.

1 準備環境

我已經提前準備好了一個gluster環境，創建好了一個volume repvol，并且此volume已經配置為可使用samba client掛載，有關詳細配置請參考我前面的博文。

[root@node02 /]# gluster pool list
UUID                                    Hostname                State
e967c77f-ff39-4927-9645-606294d42751    node01.lab.example.com  Connected 
98ef6fd9-9fa1-4005-b8ec-5480d6c04f46    localhost               Connected

[root@node02 /]# gluster volume list
repvol

[root@node02 ~]# smbclient -L node01.lab.example.com -U%

Domain=[SAMBA] OS=[Windows 6.1] Server=[Samba 4.4.4]

        Sharename       Type      Comment
        ---------       ----      -------
        print$          Disk      Printer Drivers
        gluster-repvol  Disk      For samba share of volume repvol
        IPC$            IPC       IPC Service (Samba 4.4.4)
Domain=[SAMBA] OS=[Windows 6.1] Server=[Samba 4.4.4]

        Server               Comment
        ---------            -------

        Workgroup            Master
        ---------            -------

[root@node02 mnt]# mount -t cifs -o username=smbuser,password=redhat //node01.lab.example.com/gluster-repvol /mnt/samba-test/

[root@node02 /]# df -h | grep samba
//node01.lab.example.com/gluster-repvol  2.0G   33M  2.0G   2% /mnt/samba-test

從上面可以看到，我這里有兩個gluster server,依次為

192.168.133.144  node01.lab.example.com
192.168.133.149  node02.lab.example.com

而掛載的時候，我使用的是//node01.lab.example.com/gluster-repvol,這樣有一個問題，雖然我這里的gluster volume repvol是一個2副本的復制卷，但一旦node01.lab.example.com出現故障，雖然node02.lab.example.com上還保留一份數據在，但是卻不能直接被client使用，不能夠實現自動切換。

2 在兩臺gluster server上安裝配置ctdb

2.1使用yum安裝ctdb

[root@node01 ~]# yum install -y ctdb

為ctdb放開防火墻限制

[root@node01 ~]# firewall-cmd --add-port=4379/tcp

2.2更新volume設置

[root@node01 ~]# gluster volume stop repvol
[root@node01 post]# cd /var/lib/glusterd/hooks/1/start/post
[root@node01 post]# vi S29CTDBsetup.sh

META="all"  修改前
META="ctdbmeta"  修改后

2.3更新Samba配置

編輯/etc/samba/smb.conf文件，并在[global]選項下添加 clustering=yes

[root@node01 post]# cat /etc/samba/smb.conf
...
[global]        clustering = yes
....

2.4start volume,此時會發現volume 會自動掛載到server的/gluster/lock 下

[root@node01 post]# gluster volume start repvol
volume start: repvol: success

[root@node01 post]# df -h | grep repvol
node01.lab.example.com:/repvol.tcp  2.0G   33M  2.0G   2% /gluster/lock

2.5添加/etc/ctdb/nodes 和 /etc/ctdb/public_address文件

[root@node01 post]# vi /etc/ctdb/nodes 
192.168.133.144
192.168.133.149

###這里的ip為gluster server節點的ip

[root@node01 post]# vi /etc/ctdb/public_addresses 
192.168.133.100/24 ens33

###這里的ip是浮動ip, ens33為interface name

2.6啟動并驗證ctdb service

[root@node01 post]# systemctl start ctdb

[root@node01 post]# ctdb pnn
PNN:0

[root@node01 post]# ctdb ping -n all
response from 0 time=0.000049 sec  (2 clients)
response from 1 time=0.008014 sec  (1 clients)

[root@node01 post]# ctdb status
Number of nodes:2
pnn:0 192.168.133.144  OK (THIS NODE)
pnn:1 192.168.133.149  OK
Generation:2009096591
Size:2
hash:0 lmaster:0
hash:1 lmaster:1
Recovery mode:RECOVERY (1)
Recovery master:1
[root@node01 post]# ctdb ip
Public IPs on node 0
192.168.133.100 0

[root@node01 post]# ctdb ip info 192.168.133.100
Public IPs on node 0
192.168.133.100 0

2.7使用浮動ip掛載gluster volume

[root@node02 post]# mount -t cifs -o username=smbuser,password=redhat //192.168.133.100/gluster-repvol /mnt/samba-test/