可照搬實施的商超高可用方案：proxmox + haproxy 等

現狀

存在大量的單點問題：每個門店一個物理服務器，中心機房多個服務器。門店服務器故障，營業受影響；中心機房服務器故障，門店的非現金業務（銀行卡刷卡、微信支付、支付寶等）受影響

總體思路

撤銷每個門店的服務器，保證門店網絡的可靠性(多線路接入、4G終端設備等)，服務器集中到中心機房，構建更高可用性的數據平臺。

基本目標

• 高可用性：最小的停機時間，部分硬件損壞不對正常業務產生影響。

• 可擴展性：隨業務增加，可不停止業務進行容量擴充，也不改變現有的系統架構。

• 可視化運維：隨時掌握系統的運行情況，并以集中、直觀的方式進行展示。

• 低成本：充分利用現有資源、合理規劃，使整個平臺成本可控且滿足實際需求。

  
  

架構組成

本方案架構由負載均衡、超融合私有云、監控平臺以及備份系統組合而成。

? 負載均衡

負責將門店終端的請求按一定的算法，轉發到多個相同的后端應用。負載均衡實際包含三個功能：負載均衡、健康檢查及失敗切換。

• 負載均衡：多個后端分擔負載，以支持更大規模的訪問及業務請求；

• 健康檢查：后端服務某一個或者幾個出現故障，負載均衡器會自動把故障系統從轉發隊列里面自動清除；后端服務恢復正常后，其又會自動加入到轉發隊列；

• 失敗切換：負載均衡器是成對出現的，一般設置為一主一備，一旦主負載均衡出現故障，輔助負載均衡自動接替其工作。

? 超融合私有云

三臺或者三臺以上配置較高的物理服務器，組成去中心化的集群、去中心化的存儲，只要組成集群的最小單位存在，整個集群就不會奔潰；運行在物理節點的虛擬機如果設定了HA（高可用），一旦物理機發生故障，這些虛擬機將自動漂移到運行正常的其它物理節點上。

超融合由如下幾個特點：

• 去中心化：沒有專門的控制節點，無需考慮控制節點的單點問題。

• 去集中存儲：傳統的私有云集群架構，保障可用性是以共享存儲方式實現的。但共享存儲本身就是單點，雖然可以以多磁盤冗余已經雙控制器的方式提高可用性，但仍然存在IO集中、性能無法提升的困境。

• 更低的建設成本：去掉昂貴的中心化存儲，磁盤分布到本地物理服務器，投資成本大幅度降低。

• 在線擴容：不停止服務，對物理機配件（內存、cpu等）進行擴容，甚至新增物理節點。

  
  

? 系統監控

對主機資源（包括物理節點、虛擬機節點）運行狀況進行實時監控、對應用或者服務進行實時監控，一旦出現故障，能及時有效的告警。

? 數據備份

備份包括兩部分，一是對重要的虛擬機進行備份，另一個是對應用數據進行備份。虛擬機備份的目的是為了故障的快速恢復，應用數據備份是為了數據的完整性。

有了上述多重保障措施以后，整個平臺的可用性提高了好幾個量級。考慮到一下幾個場景的故障，我們來進一步進行描述其可用性及可靠性：

• 虛擬機故障。負載均衡發揮作用，客戶端訪問不受影響，業務不會中斷。

• 物理機故障。超融合機制發揮作用，運行其上的應用（包括虛擬機系統）自動漂移，客戶端訪問不受影響，業務不會中斷。

• 集群整體崩潰。備份系統發揮作用，重構一個新的集群，以網絡方式掛接上備份數據，web界面選中備份文件，點擊恢復，坐等虛擬機進行快速恢復。傳統的恢復方式大概是這樣的：重新安裝系統à部署應用環境à復制備份數據到目標系統à導入數據à驗證數據有效性、完整性à恢復服務。

• 監控系統是不眠之眼，一旦故障，立即告警，可通知技術人員進行及時修復。

基礎設施

• 負載均衡器

獨立的服務器一對，不需要高配置。推薦配置：單cpu，32g內存，300G 15000轉sas盤（主要數據為訪問日志）。

• 超融合私有云

至少四臺物理服務器，數據網絡與集群網絡分離，建議萬兆網絡，無條件情況下，也必須保障全千兆。單臺物理服務器具體的配置建議如下：

• Cpu：2顆。單顆核心數10，多線程。

• 內存：至少128G，ddr3也可以，主要根據主板來定。

• 硬盤：系統盤250G固態硬盤，數據盤4塊或者更多2.4T容量的10000轉sas高性能磁盤（sata盤讀寫性能比較差，不建議使用）。

• ?網卡：如果使用萬兆網絡，則需單獨采購網卡及光纖模塊。

  
  

• 數據備份

內存、cpu低配，磁盤用多塊低速大容量sata盤，備份容量大于其它數據之總和。為了減少備份時間，有效利用存儲空間，并不是把所有的數據都進行備份，只要能保證系統發生災難性故障時，能快速對整個系統進行恢復就足夠了。

• 監控系統

單物理機，一般配置即可。為保證可靠性，可對整個系統進行自動備份。

主要軟件

• 負載均衡

Keepalived + haproxy

• 超融合私有云

• 系統：debian

• 管理平臺：proxmox VE 5.3

• 存儲：ceph

  
  

• 監控系統

• 系統：centos 7

• 管理平臺：centroen 18

  
  

• 備份系統

• 系統：centos 7或者freebsd

• 共享：NFS

  
  

實施步驟

1. 部署超融合私有云

• 初始化集群、創建ceph存儲（監視器、OSD、POOL）；

• ?掛接共享存儲，上傳操作系統ISO；

• 創建虛擬機；

• 安裝虛擬機操作系統；

• 虛擬機設置高可用（HA）。

虛擬機能做成模板、能克隆、能手動遷移、遇物理機能自動漂移為合格。

2. 部署應用

• 在虛擬機上安裝所需的應用，檢查無誤后做成模版；

• 用模板克隆虛擬機，啟動后更改其網絡地址等，保證虛擬機的唯一性；

• 導入數據；

• 測試服務的正確性。

應用部署由甲方自行完成，乙方配合。

3. 負載均衡

• 安裝系統；

• 安裝軟件；

• 功能配置；

• 功能測試；

  
  

4. 監控系統

• 安裝系統；

• 監控項配置；

• 模擬故障及故障恢復。

  
  

5. 數據備份

• 準備共享空間，并分配好合適的權限；

• 設定自動備份時間；

• 臨時設定一個比較近的時間點，選取少許虛擬機進行備份；

• 檢查自動備份是否如愿。

• 手動刪掉已經備份過的虛擬機，用剛才的數據恢復進行測試，檢驗其可靠性及正確性。

項目交付

• 單項功能全部正常：負載均衡、監控系統、備份、故障轉移等；

• 整體功能正常：終端系統能正常開展各種業務，如收銀、訂單處理、商品錄入等；

• 技術培訓：模塊功能講解、風險告知（哪些功能最好不要輕易去嘗試）、虛擬機管控、數據備份、監控項增加或者減少；

• 免費維護期：自交付之日起三個月。

  
  

需采購硬件

項目實施服務

項目實施需要到現場進行，涉及的費用包括路費、住宿費、餐費。因超融合平臺、負載均衡平臺、監控平臺等皆采用開源軟甲，不會產生授權費用；而運行在平臺之上的各種erp等商業應用，授權及費用問題，由項目方自行解決及負責。

預計項目實施周期為兩周。

驗收標準如下：

• 超融合系統

• ?能創建虛擬機并安裝操作系統；

• ?能遷移虛擬機；

• 能創建模板；

• 能從模板創建虛擬機；

• 能對創建好的虛擬機進行克隆；

• ?能銷毀虛擬機；

• 能對虛擬機進行備份；

• 能從備份中恢復虛擬機；

• 關閉物理服務器，運行其上并設定到HA中的虛擬機能自動漂移。

  
  

• 負載均衡

• 健康檢查：關閉某一個虛擬機或者應用，服務不受影響；

• 失敗切換（一）：關閉主負載均衡，vip自動漂移，轉發服務不受影響；

• 失敗切換（二）：恢復主負載均衡，vip回到主控負載均衡，轉發服務繼續進行。

  
  

• 監控系統

• ?能正常添加監控項；

• ?能進行語法檢查；

• 模擬主機故障，監控能實時告警；

• ?模擬服務故障，監控能實時告警。