当前位置：首页 > news >正文

k8s、数据存储

news 2025/9/13 6:37:32

数据存储的概念

容器磁盘上的文件的生命周期是短暂的，这就使得在容器中运行重要应用时会出现一些问题。首先，当容器崩溃时，kubelet 会重启它，但是容器中的文件将丢失——容器以干净的状态（镜像最初的状态）重新启动。其次，在Pod中同时运行多个容器时，这些容器之间通常需要共享文件。Kubernetes 中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume。

1、emptyDir存储卷

当Pod被分配给节点时，首先创建emptyDir卷，并且只要该Pod在该节点上运行，该卷就会存在。正如卷的名字所述，它最初是空的。Pod 中的容器可以读取和写入emptyDir卷中的相同文件，尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除 Pod 时，emptyDir中的数据将被永久删除。

总结：可以实现 pod 中的容器之间共享数据，但是存储卷不能持久化数据，并且会随着 pod 生命周期而一起删除

案例：

vim pod-emptydir.yaml 
apiVersion: v1
kind: Pod
metadata:name: pod-emptydirnamespace: defaultlabels:app: myapptier: frontend
spec:containers:- name: myappimage: ikubernetes/myapp:v1imagePullPolicy: IfNotPresentports:- name: httpcontainerPort: 80#定义容器挂载内容volumeMounts:#使用的存储卷名称，如果跟下面volume字段name值相同，则表示使用volume的这个存储卷- name: html#挂载至容器中哪个目录mountPath: /usr/share/nginx/html/- name: busyboximage: busybox:latestimagePullPolicy: IfNotPresentvolumeMounts:- name: html#在容器内定义挂载存储名称和挂载路径mountPath: /data/command: ['/bin/sh','-c','while true;do echo $(date) >> /data/index.html;sleep 2;done']#定义存储卷volumes:#定义存储卷名称  - name: html#定义存储卷类型emptyDir: {}kubectl apply -f pod-emptydir.yaml   #创建podkubectl get pods -o wide   #查看详细信息

//在上面定义了2个容器，其中一个容器是输入日期到index.html中，然后验证访问nginx的html是否可以获取日期。以验证两个容器之间挂载的emptyDir实现共享。
curl 10.244.2.32

2、hostPath存储卷

hostPath卷将 node 节点的文件系统中的文件或目录挂载到集群中。
hostPath可以实现持久存储，但是在node节点故障时，也会导致数据的丢失

总结：可以实现持久化数据，使用node节点的目录或者文件挂载到容器，但是存储空间会受到node节点单机限制，node节点故障数据会丢失，pod 跨 node 节点不能共享数据

案例：

在 node01 节点上创建挂载目录
mkdir -p /data/pod/volume1
echo 'node01.kgc' > /data/pod/volume1/index.html在 node02 节点上创建挂载目录
mkdir -p /data/pod/volume1
echo 'node02.kgc' > /data/pod/volume1/index.html

创建 Pod 资源
vim pod-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:name: pod-hostpathnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1#定义容器挂载内容volumeMounts:#使用的存储卷名称，如果跟下面volume字段name值相同，则表示使用volume的这个存储卷- name: html#挂载至容器中哪个目录mountPath: /usr/share/nginx/html#读写挂载方式，默认为读写模式falsereadOnly: false#volumes字段定义了paues容器关联的宿主机或分布式文件系统存储卷volumes:#存储卷名称- name: html#路径，为宿主机存储路径hostPath:#在宿主机上目录的路径path: /data/pod/volume1#定义类型，这表示如果宿主机没有此目录则会自动创建type: DirectoryOrCreatekubectl apply -f pod-hostpath.yaml

访问测试：

kubectl get pods -o wide
curl 对应的IP地址

删除pod，再重建，验证是否依旧可以访问原来的内容

kubectl delete -f pod-hostpath.yaml  
kubectl apply -f pod-hostpath.yaml

3、 nfs共享存储卷

HostPath可以解决数据持久化的问题，但是一旦Node节点故障了，Pod如果转移到了别的节点，又会出现问题了，此时需要准备单独的网络存储系统，比较常用的用NFS、CIFS。

总结： 可以实现持久化存储，使用 nfs 将存储设备空间挂载到容器， pod 可以跨节点共享数据

案例：

在stor01节点上安装nfs，并配置nfs服务
mkdir /data/volumes -p
chmod 777 /data/volumesvim /etc/exports
/data/volumes 192.168.86.0/24(rw,no_root_squash)systemctl start rpcbind
systemctl start nfsshowmount -e
Export list for stor01:
/data/volumes 192.168.10.0/24

master节点操作
vim pod-nfs-vol.yaml
apiVersion: v1
kind: Pod
metadata:name: pod-vol-nfsnamespace: default
spec:containers:- name: myappimage: ikubernetes/myapp:v1volumeMounts:- name: htmlmountPath: /usr/share/nginx/htmlvolumes:- name: htmlnfs:path: /data/volumesserver: stor01kubectl apply -f pod-nfs-vol.yaml
kubectl get pods -o wide

在nfs服务器上创建index.html
echo "this is stor01" > /data/volumes/index.htmlmaster节点操作
curl 10.244.2.53this is stor01

高级存储

前面了解了使用NFS提供存储，此时就要求用户会搭建NFS系统，并且会在yaml配置nfs，由于k8s支持的存储系统有很多，要求客户全都掌握，显然不现实。为了能够屏蔽底层存储实现的细节，方便用户使用，k8s引入了PV和PVC两种资源对象

PV 全称叫做【 Persistent Volume】：持久化存储卷： k8s在指定的存储设备空间中创建的可持久化的存储资源（PV是集群中的资源）
PVC 的全称叫做【Persistent Volume claim】：是持久化存储的请求：是对pv存储资源的请求和绑定（PVC是对这些资源的请求，也是对资源的索引检查。）

PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。

PV和PVc之间的相互作用遵循这个生命周期

Provisioning（配置）---> Binding（绑定）---> Using（使用）---> Releasing（释放） ---> Recycling（回收）

Provisioning【配置】：即 Pv 的创建，可以直接创建PV(静态方式)，也可以使用storageClass(动态创建)
Binding【绑定】：将PV分配给Pvc
Uing【使用】：Pod 通过 Pvc使用该Volume，并可以通过准入控制storageProtection【1.9及以前版本为rVCFrotection】阻止删除正在使用的 PVC
Releasing【释放】：Pod释放volume并删除pvc
Reclaiming【回收】：回收PV，可以保留PV以便下次使用，也可以直接从云存储中删除

根据这 5个阶段，PV 的状态有以下 4 种

Available 【可用】：表示可用状态，还未被任何 PVC 绑定
Bound 【已绑定】：表示 PV 已经绑定到 PVC
Released 【已释放】：表示 PVC 被删掉，但是资源尚未被集群回收
Eailed 【失败】：表示该 PV 的自动回收失败

一个PV从创建到销毁的具体流程如下:

一个PV创建完后状态会变成Available【可用】，等待被PVC绑定
一旦被PVC邦定，PV的状态会变成Bound【已绑定】，就可以被定义了相应 Pvc 的 Pod 使用
Pod使用完后会释放PV，PV的状态变成Releasedo【已释放】
变成 Released【已释放】的Pv会根据定义的回收策略做相应的回收工作。

有三种回收策略，Rctain、Delete和Recycle

Retain：就是保留现场，Kes集群什么也不做，等待用户手动去处理 PV 里的数据，处理完后，再手动删除PV。
Delete：K8s会自动删除该PV及里面的数据。
Recycle：K8s会将Pv里的数据删除，然后把Pv的状态变成Available【可用】，又可以被新的Pvc绑定使用。

1、PV（持久化卷）

PV是存储资源的抽象，下面是资源清单文件

apiVersion: v1
kind: PersistentVolume
metadata:name: pv2   #注意:pv是存储资源的抽象，它不存命名空间的定义
spec:nfs:    #存储类型，与底层真正存储对应(有多种，比如NFS、GFS、CIFS等)path:（定义挂载卷路径）server:（定义服务器名称）cappcity:    #存储能力，也就是存储的空间大小storage: 2GiaccessModes:    #访问模式storageClassName:   #存储类别persistentVolumeReclaimPolicy:   #回收策略

PV的关键配置参数说明

存储类型

底层实际存储的类型，k8s支持多种存储类型，每种存储类型的配置都有所差异

存储能力（capacity）

目前只支持存储空间的设置（storage=1Gi），未来可能加入IOPS、吞吐量等指标的配置

访问模式（accessModes）

用户描述用户应用对存储资源的访问权限

访问权限包括下面几种方式

ReadWriteOnce（RWO）： 读写权限，但是只能被单个节点挂载
ReadOnlyMany（ROX）： 只读权限，可以被多个节点挂载
ReadWriteMany（RWX）：读写权限，可以被多个节点挂载

2、PVC（持久化卷声明）

PVC是资源的申请，用来声明对存储空间、访问模式、存储类别需求信息。

资源清单文件

apiVersion: v1
kind: PersistentVolumeClaim   #定义pvc的资源类型
metadata:name: pvcnamespace: dev     #可以定义命名空间
sepc: accessModes:        #访问模式selector:           #采用标签对PV选择storageClassName:   #存储类别resources:          #请求空间requests:storage: 5Gi

PVC的关键配置参数说明

访问模式（accessModes）

用于描述用户应用对存储资源的访问权限

选择条件（selector）

通过Label Selector 的设置，可使PVC 对于系统中已存在的PV进行筛选

存储类别（storageClassName）

PVC在定义时可以设置需要的后端存储类别，只有设置了该class的PV才能被系统选出

资源请求（Resources）

描述对存储资源的请求