proxmox+ceph集群安裝筆記

proxmox+ceph集群安裝筆記

1、創建3臺vmware虛擬機
cpu：2x2 4核 開虛擬化
內存：2G
硬盤1：20G，系統盤
硬盤2：200G，ceph存儲盤
網絡：橋接模式
IP：10.8.20.11/12/13
主機名：pve1.abc.com/pve2.abc.com/pve3.abc.com

2、在pve1虛擬機上安裝proxmox，安裝在20g的硬盤上，默認安裝即可

3、系統配置

1)更改為國內源
安裝vim
apt update
apt install vim -y

安裝阿里云的源
cd /etc/apt
vi sources.list.d/pve-enterprise.list
修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription

vi sources.list
修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib

更新系統
apt update
apt upgrade -y
init 6

2)去除web管理平臺的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

最后再執行：systemctl restart pveproxy

3)不使用lvm-thin，將local也就是根分區擴展
pve默認安裝時，會建立local和local-lvm 大小分別為4.61G（根分區的lvm，存放iso）和8G（存放虛擬機）
下面要把8g的刪除，合并到4.61g

就是要把邏輯卷data刪除，邏輯卷root擴展

修改pve的存儲配置
vi /etc/pve/storage.cfg
修改成：
dir: local
path /var/lib/vz
content rootdir,iso,vztmpl,backup

(刪除lvm-thin段)

刪除data所在的lv
lvremove /dev/pve/data（pve是卷組名 data是邏輯卷名）

查看卷組信息
vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 2 0 wz--n- <19.50g 12.37g
還剩下12.37g

擴展root邏輯卷
lvextend -L +12.37G /dev/pve/root
resize2fs /dev/pve/root

到web管理頁面上查看可以看到只剩下一個local，大小為16.79g。

4)登錄web管理頁面修改主機名與ip地址的對應（這步可以不做）
pve1->系統->主機，添加以下2行
10.8.20.12 pve2.abc.com pve2
10.8.20.13 pve3.abc.com pve3

以上就安裝配置好了pve1的主機。

在pve2和pve3上重復以上操作即可。

4、建立pve集群
pve1上執行：
pvecm create pve-cluster（pve-cluster是集群名）

pve2、pve3執行：
pvecm add 10.8.20.11

在pve1上查看集群狀態
pvecm status
pvecm nodes

5、建立ceph存儲集群（存放虛擬機鏡像，另外iso的存儲使用nfs）

1)安裝ceph(所有節點上面均執行)
pveceph install （后面不加版本號是安裝最新的nautilus版）
出現以下字樣表示安裝成功
installed ceph nautilus successfully

2)建立ceph集群網絡，為了簡便，這里和管理網絡共用(所有節點上面均執行)
pveceph init -network 10.8.20.0/24

3)創建ceph集群存儲Mon監控(所有節點上面均執行)
pveceph createmon

4)創建ceph集群存儲OSD服務(所有節點上面均執行)
pveceph createosd /dev/sdb

5)創建集群存儲資源池
ceph osd pool create pve-pool 128 128(只在pve1上面執行，pve-pool?是存儲池名)，
128(pg_num)的由來：
少于 5 個 OSD 時可把?pg_num?設置為 128
OSD 數量在 5 到 10 個時，可把?pg_num?設置為 512
OSD 數量在 10 到 50 個時，可把?pg_num?設置為 4096

6)登錄pve1的web管理頁面，添加RBD集群存儲
數據中心->存儲->添加->選擇RBD
ID：填寫為pve-ceph
資源池：pve-pool
Monitor：10.8.20.11 10.8.20.12?10.8.20.13 （注意添加多個Mon以空格隔開）
添加節點：pve1，pve2，pve3

添加好后，查看rbd集群存儲配置信息
cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,images,backup,iso,rootdir

rbd: pve-ceph
content rootdir,images
krbd 1
nodes pve3,pve2,pve1
pool pve-pool

7)檢查相關密鑰是否存在
cd /etc/pve/priv
看有沒有ceph目錄，沒有的話就創建，并復制密鑰進來
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
一般來說是存在的：
root@pve1:/etc/pve/priv# cd ceph
root@pve1:/etc/pve/priv/ceph# ls
pvecluster-ceph.keyring

8)賦予應用相關權限
ceph osd pool application enable pve-pool rgw?rbd

9)安裝ceph Dashboard
pve1上執行
apt install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create?admin?admin123 administrator（admin是用戶名，admin123是密碼，administrator是指定該用戶是管理員）
systemctl restart ceph-mgr@pve1.service
訪問https://10.8.20.11:8443，使用用戶名admin密碼admin123登錄即可

至此，ceph安裝完成

6、安裝nfs服務器，提供iso存儲
安裝一臺centos服務器，啟用nfs服務
假設nfs的輸出目錄是這臺centos上的/data/nfs目錄
yum install rpcbind nfs-utils -y
vi /etc/exports
加入：
/data/nfs 10.8.20.0/24(rw,sync,no_root_squash)

啟動nfs服務

systemctl?enable?rpcbind nfs-server

systemctl start rpcbind nfs-server（centos7）

查看共享目錄
exportfs
激活配置
exportfs -rav

最后在pve集群上添加nfs存儲

pve1web管理頁面：數據中心->存儲->添加->選擇nfs

添加好后可以上傳iso文件，會存放在centos服務器的/data/nfs/template/iso目錄下

7、安裝虛擬機測試集群，虛擬機硬盤選擇存放在pve-ceph存儲下才可以使用遷移和HA功能

我的技術博客：秋天的回憶