harbor高可用集群配置

在上一篇  《企業級安裝與配置Harbor鏡像管理系統》中，我們簡要說明了單機版本harbor的配置。然而這種單機部署顯然無法滿足在生產中需求，必須要保證應用的高可用性。

目前有兩種主流的方案來解決這個問題：

雙主復制

多harbor實例共享后端存儲

harbor官方默認提供主從復制的方案來解決鏡像同步問題，通過復制的方式，我們可以實時將測試環境harbor倉庫的鏡像同步到生產環境harbor，類似于如下流程：

在實際生產運維的中，往往需要把鏡像發布到幾十或上百臺集群節點上。這時，單個Registry已經無法滿足大量節點的下載需求，因此要配置多個Registry實例做負載均衡。手工維護多個Registry實例上的鏡像，將是十分繁瑣的事情。Harbor可以支持一主多從的鏡像發布模式，可以解決大規模鏡像發布的難題：

只要往一臺Registry上發布，鏡像就像“仙女散花”般地同步到多個Registry中，高效可靠。

如果是地域分布較廣的集群，還可以采用層次型發布方式，如從集團總部同步到省公司，從省公司再同步到市公司：

然而單靠主從同步，仍然解決不了harbor主節點的單點問題。

所謂的雙主復制其實就是復用主從同步實現兩個harbor節點之間的雙向同步，來保證數據的一致性，然后在兩臺harbor前端頂一個負載均衡器將進來的請求分流到不同的實例中去，只要有一個實例中有了新的鏡像，就是自動的同步復制到另外的的實例中去，這樣實現了負載均衡，也避免了單點故障，在一定程度上實現了Harbor的高可用性：

這個方案有一個問題就是有可能兩個Harbor實例中的數據不一致。假設如果一個實例A掛掉了，這個時候有新的鏡像進來，那么新的鏡像就會在另外一個實例B中，后面即使恢復了掛掉的A實例，Harbor實例B也不會自動去同步鏡像，這樣只能手動的先關掉Harbor實例B的復制策略，然后再開啟復制策略，才能讓實例B數據同步，讓兩個實例的數據一致。

另外，我還需要多吐槽一句，在實際生產使用中，主從復制十分的不靠譜。

所以這里推薦使用下面要說的這種方案。

共享后端存儲算是一種比較標準的方案，就是多個Harbor實例共享同一個后端存儲，任何一個實例持久化到存儲的鏡像，都可被其他實例中讀取。通過前置LB進來的請求，可以分流到不同的實例中去處理，這樣就實現了負載均衡，也避免了單點故障：

這個方案在實際生產環境中部署需要考慮三個問題：

共享存儲的選取，Harbor的后端存儲目前支持AWS S3、Openstack Swift, Ceph等，在我們的實驗環境里，就直接使用nfs。

Session在不同的實例上共享，這個現在其實已經不是問題了，在最新的harbor中，默認session會存放在redis中，我們只需要將redis獨立出來即可。可以通過redis sentinel或者redis cluster等方式來保證redis的可用性。在我們的實驗環境里，仍然使用單臺redis。

Harbor多實例數據庫問題，這個也只需要將harbor中的數據庫拆出來獨立部署即可。讓多實例共用一個外部數據庫，數據庫的高可用也可以通過數據庫的高可用方案保證。

ip	role
192.168.198.133	harbor
192.168.198.135	harbor
192.168.198.136	redis、mysql、nfs

需要強調的是，我們的環境中，不包括負載均衡器的配置，請自行查閱負載均衡配置相關文檔

# 安裝nfs
apt install nfs-kernel-server nfs-common
# 編輯/etc/exports文件
/data	*(rw,no_root_squash)
chmod 777 -R /data
systemctl start nfs-server

這里我們就直接通過docker安裝，docker-compose.yml文件內容如下：

version: '3'
services:
  mysql-server:
    hostname: mysql-server
    container_name: mysql-server
    image: mysql:5.7
    network_mode: host
    volumes:
      - /mysql57/data:/var/lib/mysql
    command: --character-set-server=utf8
    environment:
      MYSQL_ROOT_PASSWORD: 123456
  redis:
    hostname: redis-server
    container_name: redis-server
    image: redis:3
    network_mode: host

docker-compose up -d

配置好了mysql以后，還需要往mysql數據庫中導入harbor registry庫。在《企業級安裝與配置Harbor鏡像管理系統》中，我們安裝了一個單機版harbor，啟動了一個mysql，里面有一個registry數據庫，直接導出來，然后再導入到新數據庫中：

# 導出數據庫：

docker exec -it harbor_db /bin/bash
mysqldump -uroot -p --databases registry > registry.dump

# 在宿主機上將registry.dump復制出來

docker cp  harbor_db:/registry.dump ./

# 將宿主機上的registry.dump復制到獨立的mysql容器中

docker cp ./registry.dump:/registry.dump

# 在獨立的mysql容器將將registry數據庫導入

docker exec -it/bin/bash
mysql -uroot -p
mysql> source /registry.dump

在harbor節點上掛載nfs目錄：

mount -t nfs 192.168.198.136:/data /data

在harbor節點上，下載好harbor的安裝包，生成好自簽名證書，修改prepare文件，可直接參考  《企業級安裝與配置Harbor鏡像管理系統》，不同的是，harbor.cfg文件需要修改數據庫及redis配置如下：

db_host = 192.168.198.136
db_password = 123456
db_port = 3306
db_user = root
redis_url = 192.168.198.136:6379

與單機版harbor相比，集群配置不再需要啟動mysql和redis，所以docker-compose.yml也需要作相應修改。事實上，在harbor的安裝目錄中，有個ha的目錄，里面已經提供了我們需要的docker-compose.yml文件，只需要復制出來即可。實際上，在這個目錄中，還提供了使用lvs作為負載均衡器時，keepalived的配置。

cp ha/docker-compose.yml
./prepare
./install.sh

在兩個harbor節點上完成安裝以后，我們可以通過綁定hosts到不同的節點來驗證兩個節點的負載均衡效果。

原文來自：  https://www.linuxprobe.com/harbor-high-availability.html