Ceph集群縮容及相關故障處理的示例分析

這篇文章主要介紹Ceph集群縮容及相關故障處理的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

引言

由于目前機器比較緊張，需要將我集群中的一批機器提供給其他業務使用，這時問題來了，集群機器的退出意味著數據要重新分布，數據遷移的過程中比較容易出故障。

處理過程

處理測試POOL對應的機器

集群中有很多POOL， 有些POOL是客戶數據，這非常重要；有些POOL是我測試用，這些POOL對應的OSD可以直接刪除，即時集群報pg異常，也無需關心，在刪除對應OSD后將對應POOL刪除即可，相應的pg異常也消失。

注：為了避免關閉OSD的過程中發生數據遷移，請設置norecover標記。

ceph osd set norecover

刪除對應主機上的所有OSD信息的命令如下：

killall -9 ceph-osd

for i in {108..119} 
do 
ceph osd out  osd.$i; 
ceph osd crush remove osd.$i; 
ceph auth del osd.$i;
ceph osd rm $i; 
ceph auth del osd.$i;
done


ceph osd crush remove hostname
removed item id -10 name 'hostname' from crush map

處理業務需要的POOL對應的機器

對于業務用到的POOL分布在了10臺機器上，現在要從這10臺機器中釋放出五臺,這需要涉及到數據遷移了。有三種辦法進行處理。

方法一之設置out

將要退出的機器依次設置為out狀態。一臺機器做完后做另外一臺，由系統負責將數據遷走；

方法二之設置權重

將要推出的機器權重調整為0，由系統負責將數據遷走；

方法三 構建新規則

1. 構建新group,將要保留的機器放到新group下；

2. 構建新crushrule, take from newgroup;

3. 將業務pool的規則設置為new crush rule下；

這是最快的辦法，只涉及到一次遷移，等待數據遷移完畢后，就可以將不需要的OSD關閉并移除了。

處理后碰到的問題

癥狀表現，在集群狀態中顯示少量PG狀態異常。 active + remapped + backfilling active + remapped

[root@gnop029-ct-zhejiang_wenzhou-16-11 ~]# ceph -s
    cluster c6e7e7d9-2b91-4550-80b0-6fa46d0644f6
     health HEALTH_WARN
            2 pgs backfilling
            3 pgs stuck unclean
            recovery 24/2148593 objects misplaced (0.001%)
            norecover,noscrub,nodeep-scrub flag(s) set
     monmap e3: 3 mons at {a=101.71.4.11:6789/0,b=101.71.4.12:6789/0,c=101.71.4.13:6789/0}
            election epoch 446, quorum 0,1,2 a,b,c
     osdmap e69909: 120 osds: 120 up, 120 in; 3 remapped pgs
            flags norecover,noscrub,nodeep-scrub
      pgmap v8678900: 10256 pgs, 16 pools, 2763 GB data, 1047 kobjects
            7029 GB used, 197 TB / 214 TB avail
            24/2148593 objects misplaced (0.001%)
               10253 active+clean
                   2 active+remapped+backfilling
                   1 active+remapped

[root@ceph]# ceph pg dump_stuck unclean
ok
pg_stat	state	up	up_primary	acting	acting_primary
23.1c1	active+remapped+backfilling	[59,37]	59	[76,84]	76
23.23b	active+remapped	[35,7]	35	[82,119]	82
23.221	active+remapped+backfilling	[15,18]	15	[70,82]	70

后來我開啟了scrub和deepscrub， 將所有pg掃描后就恢復為active + clean。

在發生數據遷移時，有時候某些osd會因為負載過高，導致osd進程退出，這是需要做兩方面工作：

1. 調低osd backfill的線程數量，降低osd工作負載；

2. down掉的osd即時恢復，要不會有很多Pg狀態異常，osd回復后這些異常的pg也會很快恢復正常；

以上是“Ceph集群縮容及相關故障處理的示例分析”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！