Ceph如何安裝配置

這篇文章主要介紹了Ceph如何安裝配置，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

1.參考資料

http://docs.ceph.com/docs/master/

http://docs.ceph.org.cn/

https://blog.csdn.net/wylfengyujiancheng/article/details/78461801

http://www.cnblogs.com/luohaixian/p/8087591.html

https://www.jianshu.com/p/c22ff79c4452

https://blog.csdn.net/dengxiafubi/article/details/72957402

https://q.cnblogs.com/q/75797

https://blog.csdn.net/reblue520/article/details/52039353

http://www.d-kai.me/ceph%E7%A7%91%E6%99%AE/

https://blog.csdn.net/signmem/article/details/78602374

http://www.cnblogs.com/royaljames/p/9807532.html

https://cloud.tencent.com/developer/article/1177975

http://blog.51niux.com/?id=161

2.增加ceph的yum源

sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

編輯ceph庫 /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

yum clean all

yum install -y ceph-deploy

3.安裝NTP服務

ceph需要保證時間同步,需要安裝ntp服務,這個先自己百度一下吧,很簡單,我有時間了把ntp的文檔也發出來

4.修改/etc/hosts文件

修改 /etc/hosts,每臺服務器都配置別名

10.0.67.15 node1

10.0.67.19 node2

10.0.67.21 node3

名字一般可以用機器的hostname,但是不要用FQDN(也就是全域名,比如有些機器的全域名是node1.example.com).這時候hostname -s得到的是node1.建議主機名不包含域,例如設置成node1

5.創建用戶

###安裝ssh服務###

yum install openssh-server

###在各 Ceph 節點創建新用戶###

useradd -d /home/cephuser -m cephuser

###自己設置一個密碼,記好,會經常用###

passwd cephuser

###確保各 Ceph 節點上新創建的用戶都有 sudo 權限###

echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser

sudo chmod 0440 /etc/sudoers.d/cephuser

修改 ceph-deploy 管理節點上的 ~/.ssh/config 文件,這樣 ceph-deploy 就能用你所建的用戶名登錄 Ceph 節點了,而無需每次執行 ceph-deploy 都要指定 --username {username} .這樣做同時也簡化了 ssh 和 scp 的用法.把 {username} 替換成你創建的用戶名.

Host node1

Hostname node1

User cephuser

Host node2

Hostname node2

User cephuser

Host node3

Hostname node3

User cephuser

###完成所有的配置之后,可以在其他節點上也安裝ceph-deploy,把/root/.ssh,/data/my-cluster整體拷貝到備用機,避免管理機器宕機###

6.關閉防火墻和selinux

7.安裝ceph-deploy安裝

###創建一個配置文件目錄,以后ceph-deploy的操作都要在這個目錄下執行###

mkdir my-cluster

cd my-cluster

ceph-deploy會把文件輸出到當前目錄,必須在my-cluster目錄下行執行ceph-deploy命令

8.安裝ceph集群

###在默認的監控節點(mon)創建集群,并指定網絡域,就是ceph服務器的網段###

ceph-deploy new node1 --public-network 10.0.67.0/24

###在所有節點上安裝ceph###

ceph-deploy install node1 node2 node3

##初始化監控節點###

ceph-deploy mon create-initial

###在默認的mon節點上啟動mgr###

ceph-deploy mgr create node1

###創建 osd ,osd映射到磁盤或者分區###

ceph-deploy osd create --data /dev/vda4 node1

ceph-deploy osd create --data /dev/vda4 node2

ceph-deploy osd create --data /dev/vda4 node3

###如果要使用cephfs,需要至少一個MDS服務實例###

ceph-deploy mds create node1

ceph-deploy mds create node2

ceph-deploy mds create node3

###查看mds###

ceph mds stat

###增加監控節點####

ceph-deploy mon add node2

ceph-deploy mon add node3

###增加和mon服務對應的mgr服務節點###

ceph-deploy mgr create node2

ceph-deploy mgr create node3

###若是出現異常,檢查ecph.conf的public_network,一般是這個問題###

##推送配置文件###

#ceph-deploy --overwrite-conf config push node1 node2 node3

#ceph-deploy admin node1 node2 node3

###集群狀態###

ceph -s

###查看osd的樹信息###

ceph osd tree

###查看osd磁盤信息###

ceph osd df

查看各種Map的信息可以通過如下命令:ceph osd(mon/pg) dump

###查看集群mon節點狀態###

ceph quorum_status --format json-pretty

9.卸載集群

如果在某些地方碰到麻煩,想從頭再來,可以用下列命令清除配置:

ceph-deploy purge node1 node2 node3

ceph-deploy purgedata node1 node2 node3

ceph-deploy forgetkeys

rm -rf ceph*

重新安裝之后,ceph.repo重新創建一下.

已經掛載的osd硬盤,ceph做了multipath(多路徑),會出現/dev/vda4無法使用的情況,沒有映射,也沒有掛載,需要dmsetup remove

參考:https://blog.csdn.net/reblue520/article/details/52039353

###清除掉磁盤的GPT信息####

sgdisk --zap-all /dev/vda4

ll /dev/mapper/

dmsetup remove /dev/mapper/ceph--xxxxxx

10.升級

###先升級ceph-deploy工具###

yum install ceph-deploy python-pushy

###設置noout,防止升級過程中數據重平衡,升級完成后取消設置即可###

###set是集群參數,任意一個節點設置就行###

ceph osd set noout

###升級ceph版本###

#ceph-deploy install --release {release-name} ceph-node1[ ceph-node2]

ceph-deploy install --release nautilus node1 node2 node3

###取消noout設置###

ceph osd unset noout

###重啟###

依次重啟服務器,省的麻煩......

重啟前一定要確保集群屬于健康狀態.

###查看狀態###

ceph --version

ceph -s

ceph mon stat

11.pool,cephfs,rbd的日常操作,以后再補充

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Ceph如何安裝配置”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!