重啟K8S節點部分pvc不能正常掛載

Tags： 重啟K8S節點部分pvc不能正常掛載
重啟K8S節點部分pvc不能正常掛載
===
在本文中重點講一下重啟K8S節點之后部分pvc不能正常掛載的解決方案；

1. 故障發生：

??我們一臺k8s計算節點出現故障，強制重啟之后，有一個gitlab的pod啟動的時候，通過kubectl describe pods gitlab查看的日志總是有報錯：

Multi-Attach error for volume "pvc-76b54b6c-df46-11e7-a2f0-005056b12f99" Volume is already exclusively attached to one node and can't be attached to another 

2. 故障處理：

查看pv對應哪個rbd image,這個命令在安裝kubectl命令的k8s節點執行

kubectl get pv pvc-1557d839-714f-11e9-8d1a-5065f3457c8c -o go-template='{{.spec.rbd.image}}'

根據上一步輸出的結果，在ceph節點上面查看rbd image的watcher，-p指定pool

sudo rbd status kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56 -p kube

根據輸出的結果，登錄到那臺機器上面，在查看rbd images mapped關系

sudo rbd showmapped | kubernetes-dynamic-pvc-199d4a26-714f-11e9-bb25-480fcf482f56

最后一步，根據上一步命令的執行結果，在這臺機器上面卸載rdb imags

sudo rbd unmap /dev/rbd8

然后再重啟pod，發現pvc可以正常掛載了；

博文的更詳細內容請關注我的個人微信公眾號 “云時代IT運維”,本公眾號旨在共享互聯網運維新技術，新趨勢； 包括IT運維行業的咨詢，運維技術文檔分享。重點關注devops、jenkins、zabbix監控、kubernetes、ELK、各種中間件的使用，比如redis、MQ等；shell和python等運維編程語言；本人從事IT運維相關的工作有十多年。2008年開始專職從事Linux/Unix系統運維工作；對運維相關技術有一定程度的理解。本公眾號所有博文均是我的實際工作經驗總結，基本都是原創博文。我很樂意將我積累的經驗、心得、技術與大家分享交流！希望和大家在IT運維職業道路上一起成長和進步；