k8s實踐(七)：存儲卷和數據持久化(Volumes and Persistent Storage)

環境說明：

?

k8s集群部署詳見：Centos7.6部署k8s(v1.14.2)集群
k8s學習資料詳見：基本概念、kubectl命令和資料分享
k8s高可用集群部署詳見：Centos7.6部署k8s v1.16.4高可用集群(主備模式)
?

一、Volume

1. 概念

??Kubernetes的卷是pod的一個組成部分，因此像容器一樣在pod的規范中就定義了。它們不是獨立的Kubernetes對象，也不能單獨創建或刪除。pod中的所有容器都可以使用卷，但必須先將它掛載在每個需要訪問它的容器中。在每個容器中，都可以在其文件系統的任意位置掛載卷。

2. 為什么需要Volume

??容器磁盤上的文件的生命周期是短暫的，這就使得在容器中運行重要應用時會出現一些問題。首先，當容器崩潰時，kubelet會重啟它，但是容器中的文件將丟失——容器以干凈的狀態（鏡像最初的狀態）重新啟動。其次，在 Pod 中同時運行多個容器時，這些容器之間通常需要共享文件。Kubernetes 中的 Volume 抽象就很好的解決了這些問題。

3. Volume類型

目前，Kubernetes支持以下Volume 類型：

本文將對emptyDir,hostPath,共享存儲NFS,PV及PVC分別進行測試實踐。

二、emptyDir

1. emptyDir概念

??emptyDir是最基礎的Volume類型，用于存儲臨時數據的簡單空目錄。如果Pod設置了emptyDir類型Volume，Pod被分配到Node上時候，會創建emptyDir，只要Pod運行在Node上，emptyDir都會存在（容器掛掉不會導致emptyDir丟失數據），但是如果Pod從Node上被刪除（Pod被刪除，或者Pod發生遷移），emptyDir也會被刪除，并且永久丟失。

?

??下面將用emptyDir卷實現在同一pod中兩個容器之間的文件共享

2. 創建pod emptyDir-fortune

[root@master ~]# more emptyDir-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: prod                           #pod標簽 
  name: emptydir-fortune
spec:
  containers:
  - image: loong576/fortune
    name: html-generator
    volumeMounts:                       #名為html的卷掛載至容器的/var/htdocs目錄
    - name: html
      mountPath: /var/htdocs
  - image: nginx:alpine
    name: web-server
    volumeMounts:                       #掛載相同的卷至容器/usr/share/nginx/html目錄且設置為只讀
    - name: html
      mountPath: /usr/share/nginx/html 
      readOnly: true
    ports:
    - containerPort: 80
      protocol: TCP
  volumes:
  - name: html                          #卷名為html的emptyDir卷同時掛載至以上兩個容器
    emptyDir: {} 
[root@master ~]# kubectl apply -f emptyDir-pod.yaml 
pod/emptydir-fortune created
[root@master ~]# kubectl get po -o wide             
NAME               READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
emptydir-fortune   2/2     Running   0          9s    10.244.2.140   node02   <none>           <none>

創建pod emptydir-fortune，該pod有兩個容器，同時掛載emptyDir卷，容器html-generator向卷中寫入隨機內容，通過訪問容器web-server驗證是否實現文件的共享。

2.1 loong576/fortune鏡像

root@master ~]# more Dockerfile

[root@master ~]# more fortune/Dockerfile 
FROM ubuntu:latest

RUN apt-get update ; apt-get -y install fortune
ADD fortuneloop.sh /bin/fortuneloop.sh

E*TRYPOINT /bin/fortuneloop.sh

該鏡像的base鏡像為ubuntu，鏡像啟動時會執行fortuneloop.sh腳本
?

fortuneloop.sh腳本：

[root@master ~]# more fortuneloop.sh 
#!/bin/bash
trap "exit" SIGINT
mkdir /var/htdocs

while :
do
  echo $(date) Writing fortune to /var/htdocs/index.html
  /usr/games/fortune > /var/htdocs/index.html
  sleep 10
done

該腳本主要是每10秒鐘輸出隨機短語至index.html文件中。

3. 訪問nginx

3.1 創建service

[root@master ~]# more service-fortune.yaml 
apiVersion: v1
kind: Service
metadata:
  name: my-service           #service名
spec:
  type: NodePort
  selector:
    app: prod                #pod標簽,由此定位到pod emptydir-fortune 
  ports:
  - protocol: TCP
    nodePort: 30002          #節點監聽端口，暴露靜態端口30002對外提供服務
    port: 8881               #ClusterIP監聽的端口 
    targetPort: 80           #容器端口 
  sessionAffinity: ClientIP  #是否支持Session,同一個客戶端的訪問請求都轉發到同一個后端Pod 
[root@master ~]# kubectl apply -f service-fortune.yaml 
service/my-service created
[root@master ~]# kubectl get svc 
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP          3d17h
my-service   NodePort    10.102.191.57   <none>        8881:30002/TCP   9s

3.2 nginx訪問

[root@master ~]# curl 10.102.191.57:8881
Writing is easy; all you do is sit staring at the blank sheet of paper until
drops of blood form on your forehead.
                -- Gene Fowler
[root@master ~]# curl 172.27.9.135:30002
Don't Worry, Be Happy.
                -- Meher Baba

結論：

• 容器nginx成功的讀取到了容器fortune寫入存儲的內容，emptyDir卷可以實現容器間的文件共享。

• emptyDir卷的生存周期與pod的生存周期相關聯，所以當刪除pod時，卷的內容就會丟失

三、hostPath

1. 概念

??hostPath允許掛載Node上的文件系統到Pod里面去。如果Pod需要使用Node上的文件，可以使用hostPath。在同一個節點上運行并在其hostPath卷中使用相同路徑的pod可以看到相同的文件。

2. 創建pod hostpath-nginx

2.1 創建掛載目錄

在node節點上創建掛載目錄，master和各node上分別執行如下操作

[root@master ~]# mkdir /data && cd /data && echo `hostname` > index.html

2.2 創建pod

[root@master ~]# more hostPath-pod.yaml 
apiVersion: v1
kind: Pod
metadata:
  labels:
    app: prod 
  name: hostpath-nginx 
spec:
  containers:
  - image: nginx 
    name: nginx 
    volumeMounts:
    - mountPath: /usr/share/nginx/html   #容器掛載點 
      name: nginx-volume                 #掛載卷nginx-volume
  volumes:
  - name: nginx-volume                   #卷名
    hostPath:
      path: /data                        #準備掛載的node上的文件系統
[root@master ~]# kubectl apply -f hostPath-pod.yaml 
pod/hostpath-nginx created
[root@master ~]# kubectl get po -o wide
NAME               READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
emptydir-fortune   2/2     Running   0          40m   10.244.2.140   node02   <none>           <none>
hostpath-nginx     1/1     Running   0          16s   10.244.1.140   node01   <none>           <none>

3. 訪問pod hostpath-nginx

[root@master ~]# curl 10.244.1.140
node01

結論：

• pod運行在node01上，訪問的內容為'node01'，為掛載的文件系統/data下index.html內容，容器成功讀取到掛載的節點文件系統里的內容。

• 僅當需要在節點上讀取或寫入系統文件時才使用hostPath , 切勿使用它們來持久化跨pod的數據。

• hostPath可以實現持久存儲，但是在node節點故障時，也會導致數據的丟失。

四、NFS共享存儲

1. 概念

??NFS是Network File System的縮寫，即網絡文件系統。Kubernetes中通過簡單地配置就可以掛載NFS到Pod中，而NFS中的數據是可以永久保存的，同時NFS支持同時寫操作。

??emptyDir可以提供不同容器間的文件共享，但不能存儲；hostPath可以為不同容器提供文件的共享并可以存儲，但受制于節點限制，不能跨節點共享；這時需要網絡存儲 (NAS)，即既可以方便存儲容器又可以從任何集群節點訪問，本文以NFS為例做測試。

2. nfs搭建及配置

nfs搭建詳見：Centos7下NFS服務器搭建及客戶端連接配置

?

完成nfs服務器搭建和客戶端nfs軟件安裝安裝后，可在master和各node節點檢查nfs服務是否正常

[root@master ~]# showmount -e 172.27.9.181
Export list for 172.27.9.181:
/backup 172.27.9.0/24

master和node01、node02節點都執行showmount命令，用于驗證nfs服務是否正常，/backup為nfs服務器對外提供的共享目錄。

本文測試的NFS內容：

3. 新建pod mongodb-nfs

[root@master ~]# more mongodb-pod-nfs.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: mongodb-nfs
spec:
  containers:
  - image: mongo
    name: mongodb
    volumeMounts:
    - name: nfs-data               #掛載的卷名，與上面的mongodb-data保持一致
      mountPath: /data/db          #MongoDB數據存放的路徑
    ports:
    - containerPort: 27017
      protocol: TCP
  volumes:
  - name: nfs-data                 #卷名
    nfs:
      server: 172.27.9.181         #nfs服務器ip
      path: /backup                #nfs服務器對外提供的共享目錄
[root@master ~]# kubectl apply -f mongodb-pod-nfs.yaml 
pod/mongodb-nfs created
[root@master ~]# kubectl get po -o wide                
NAME          READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
mongodb-nfs   1/1     Running   0          23s   10.244.2.142   node02   <none>           <none>

注意此時pod的ip為10.244.2.142

4. nfs共享存儲測試

4.1 向MongoDB寫入數據

[root@master ~]# kubectl exec -it mongodb-nfs mongo
> use loong
switched to db loong
> db.foo.insert({name:'loong576'})
WriteResult({ "nInserted" : 1 })

切換至db loong，插入JSON文檔(name:'loong576')

4.2 查看寫入的數據

> db.foo.find()
{ "_id" : ObjectId("5d6e17b018651a21e0063641"), "name" : "loong576" }

4.3 刪除pod并重建

[root@master ~]# kubectl delete pod mongodb-nfs 
pod "mongodb-nfs" deleted
[root@master ~]# kubectl apply -f mongodb-pod-nfs.yaml
pod/mongodb-nfs created
[root@master ~]# kubectl get po -o wide               
NAME          READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
mongodb-nfs   1/1     Running   0          22s   10.244.2.143   node02   <none>           <none>

刪除pod mongodb-nfs并重建，此時podip變為10.244.2.143，再次訪問MongoDB驗證之前寫入的文檔是否還存在。

4.4 新pod讀取共享存儲數據

[root@master ~]# kubectl exec  -it mongodb-nfs  mongo
> use loong
switched to db loong
> db.foo.find()
{ "_id" : ObjectId("5d6e17b018651a21e0063641"), "name" : "loong576" }

即使pod被刪除重建仍然能訪問共享數據。

結論：

• NFS共享存儲可持久化數據
• NFS共享存儲可跨節點提供數據共享

五、PV and PVC

1. 概念

?? PersistentVolume (持久卷， 簡稱 PV)和Persistent VolumeClaim(持久卷聲明，簡稱 PVC)使得K8s集群具備了存儲的邏輯抽象能力，使得在配置Pod的邏輯里可以忽略對實際后臺存儲技術的配置，而把這項配置的工作交給PV的配置者，即集群的管理者。存儲的PV和PVC的這種關系，跟計算的Node和Pod的關系是非常類似的；PV和Node是資源的提供者，根據集群的基礎設施變化而變化，由K8s集群管理員配置；而PVC和Pod是資源的使用者，根據業務服務的需求變化而變化，由K8s集群的使用者即服務的管理員來配置。

?

??當集群用戶需要在其pod中使用持久化存儲時，他們首先創建PVC清單，指定所需要的最低容量要求和訪問模式，然后用戶將待久卷聲明清單提交給Kubernetes API服務器，Kubernetes將找到可匹配的PV并將其綁定到PVC。PVC可以當作pod中的一個卷來使用，其他用戶不能使用相同的PV，除非先通過刪除PVC綁定來釋放。

2. 創建PV

2.1 nfs配置

nfs服務器共享目錄配置：

[root@centos7 ~]# exportfs         
/backup/v1      172.27.9.0/24
/backup/v2      172.27.9.0/24
/backup/v3      172.27.9.0/24

master和各node節點檢查nfs配置：

[root@master ~]# showmount -e 172.27.9.181
Export list for 172.27.9.181:
/backup/v3 172.27.9.0/24
/backup/v2 172.27.9.0/24
/backup/v1 172.27.9.0/24

2.2 PV創建

[root@master ~]# more pv-nfs.yaml 
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
spec:
  capacity:
    storage: 2Gi                             #指定PV容量為2G
  volumeMode: Filesystem                     #卷模式，默認為Filesystem，也可設置為'Block'表示支持原始塊設備
  accessModes:
    - ReadWriteOnce                          #訪問模式，該卷可以被單個節點以讀/寫模式掛載
  persistentVolumeReclaimPolicy: Retain      #回收策略，Retain（保留），表示手動回收
  storageClassName: nfs                      #類名，PV可以具有一個類，一個特定類別的PV只能綁定到請求該類別的PVC
  nfs:                                       #指定NFS共享目錄和IP信息
    path: /backup/v1
    server: 172.27.9.181
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  capacity:
    storage: 2Gi                             #指定PV容量為2G
  volumeMode: Filesystem                     #卷模式，默認為Filesystem，也可設置為'Block'表示支持原始塊設備
  accessModes:
    - ReadOnlyMany                           #訪問模式，該卷可以被多個節點以只讀模式掛載
  persistentVolumeReclaimPolicy: Retain      #回收策略，Retain（保留），表示手動回收
  storageClassName: nfs                      #類名，PV可以具有一個類，一個特定類別的PV只能綁定到請求該類別的PVC
  nfs:                                       #指定NFS共享目錄和IP信息
    path: /backup/v2
    server: 172.27.9.181
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  capacity:
    storage: 1Gi                             #指定PV容量為1G
  volumeMode: Filesystem                     #卷模式，默認為Filesystem，也可設置為'Block'表示支持原始塊設備
  accessModes:
    - ReadWriteOnce                          #訪問模式，該卷可以被單個節點以讀/寫模式掛載
  persistentVolumeReclaimPolicy: Retain      #回收策略，Retain（保留），表示手動回收
  storageClassName: nfs                      #類名，PV可以具有一個類，一個特定類別的PV只能綁定到請求該類別的PVC
  nfs:                                       #指定NFS共享目錄和IP信息
    path: /backup/v3
    server: 172.27.9.181
[root@master ~]# kubectl apply -f pv-nfs.yaml 
persistentvolume/pv001 created
persistentvolume/pv002 created
persistentvolume/pv003 created
[root@master ~]# kubectl get pv
NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLA*S   REASON   AGE
pv001   2Gi        RWO            Retain           Available           nfs                     26s
pv002   2Gi        ROX            Retain           Available           nfs                     26s
pv003   1Gi        RWO            Retain           Available           nfs                     26s

創建pv001、pv002、pv003，分別對應nfs的共享目錄/backup/v1、/backup/v2、/backup/v2。

卷可以處于以下的某種狀態：

• Available（可用），一塊空閑資源還沒有被任何聲明綁定
• Bound（已綁定），卷已經被聲明綁定
• Released（已釋放），聲明被刪除，但是資源還未被集群重新聲明
• Failed（失敗），該卷的自動回收失敗

?

PV的訪問模式有三種：

• 第一種，ReadWriteOnce：是最基本的方式，可讀可寫，但只支持被單個Pod掛載。
• 第二種，ReadOnlyMany：可以以只讀的方式被多個Pod掛載。
• 第三種，ReadWriteMany：這種存儲可以以讀寫的方式被多個Pod共享。不是每一種存儲都支持這三種方式，像共享方式，目前支持的還比較少，比較常用的是NFS。

PV不屬于任何命名空間, 它跟節點一樣是集群層面的資源，區別于pod和PVC。

3. 創建PVC

3.1 PVC創建

[root@master ~]# more pvc-nfs.yaml 
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: mypvc                       #聲明的名稱，當做pod的卷使用時會用到                          
spec:
  accessModes:
    - ReadWriteOnce                 #訪問卷模式，篩選PV條件之一
  volumeMode: Filesystem            #卷模式，與PV保持一致，指示將卷作為文件系統或塊設備使用
  resources:                        #聲明可以請求特定數量的資源,篩選PV條件之一
    requests:
      storage: 2Gi
  storageClassName: nfs             #請求特定的類，與PV保持一致，否則無法完成綁定
[root@master ~]# kubectl apply -f pvc-nfs.yaml 
persistentvolumeclaim/mypvc created
[root@master ~]# kubectl get pvc
NAME    STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
mypvc   Bound    pv001    2Gi        RWO            nfs            22s

創建PVC mypvc，訪問卷模式為ReadWriteOnce，大小為2G；WO、ROX、RWX、RWO表示可以同時使用卷的工作節點的數量而并非pod的數量。

3.2 查看選中的PV

PVC篩選條件：

PV查看：

[root@master ~]# kubectl get pv
NAME    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM           STORAGECLA*S   REASON   AGE
pv001   2Gi        RWO            Retain           Bound       default/mypvc   nfs                     12m
pv002   2Gi        ROX            Retain           Available                   nfs                     12m
pv003   1Gi        RWO            Retain           Available                   nfs                     12m

pv001被選中，符合PVC定義，pv002訪問模式不匹配，pv003大小不匹配。

4. pod中使用PVC

[root@master ~]# more mongodb-pod-pvc.yaml                  
apiVersion: v1
kind: Pod
metadata:
  name: mongodb-pvc 
spec:
  containers:
  - image: mongo
    name: mongodb
    volumeMounts:
    - name: pvc-data
      mountPath: /data/db
    ports:
    - containerPort: 27017
      protocol: TCP
  volumes:
  - name: pvc-data
    persistentVolumeClaim:
      claimName: mypvc          #與pvc中聲明的name保持一致
[root@master ~]# kubectl apply -f mongodb-pod-pvc.yaml 
pod/mongodb-pvc created
[root@master ~]# kubectl get po -o wide                           
NAME          READY   STATUS    RESTARTS   AGE   IP             NODE     NOMINATED NODE   READINESS GATES
mongodb-pvc   1/1     Running   0          16s   10.244.2.144   node02   <none>           <none>

創建pod mongodb-pvc，使用PVC mypvc，測試同四-4中的nfs共享存儲測試，不再贅述。

?
?

本文所有腳本和配置文件已上傳：k8s實踐(七)：存儲卷和數據持久化(Volumes and Persistent Storage)

?
?

我的博客即將同步至騰訊云+社區，邀請大家一同入駐：https://cloud.tencent.com/developer/support-plan?invite_code=1xq751tgzgk0m

?
?