Docker/K8S

---

---

项目地址

• 教程作者：
• 教程地址：

https://www.bilibili.com/video/BV1Zn4y1X7AZ?spm_id_from=333.788.player.switch&vd_source=791e6deaa9c8a56b1f845a0bc1431b71&p=19

• 代码仓库地址：

• 所用到的框架和插件：

dbt 
airflow

一、Docker

1.1 创建一个Node服务image

1. 创建node的image

FROM node // 从官方镜像下载，默认为最新WORKDIR /app  //创建image里的工作目录 COPY . /app   //将当前程序目录的所有文件复制到docker里的/app目录RUN npm install  //安装项目所需要的包EXPOSE 80 //让dokcer将项目的端口暴露为80CMD ["node", "server.js"] //容器启动时候，启动服务

2. 创建容器

docker build .

3. 运行容器

docker run -p 3000:80 

• 存在问题，当serverr.js 或者其他地方的代码发生，并不会发生任何变化，因为当前代码一旦打包成了image，就是只读属性了

• 所以，每当代码更改，我们需要重新build image，速度会很快，因为进行了缓存

• 这种缓存的原因是docker的**Layer base **

• 使用docker run每次都会创建一个新的image，如果代码没有发生任何变化，请docker start 镜像名称,如果不指定端口，他会按照上一次的端口

• 优化

FROM node // 从官方镜像下载，默认为最新WORKDIR /app  //创建image里的工作目录 COPY package.jsonRUN npm install  //安装项目所需要的包COPY . /app   //将当前程序目录的所有文件复制到docker里的/app目录EXPOSE 80 //让dokcer将项目的端口暴露为80CMD ["node", "server.js"] //容器启动时候，启动服务

1.2 volume

• 实现容器数据不丢失
• 主要是将docker内的文件和服务器指定的文件进行关联映射

1.3 网络

• List item

• 使用docker run -d --name myngix -p 88:80 ngxin 表示，访问本机的88端口，实际上访问的是myngix容器的80端口
• 每个容器是隔离的，所以容器80端口可以重复，但是88是本机，所以必须唯一

1.4 docker compose

• 常用指令
  
• 根据上面的mysql的启动 编写dockercompose

1. mysql
   

2. wordpress

二、K8S

2.1 集群组成

• 设计并部署高可用 Kubernetes 集群，优化节点资源配置和网络架构。

• 使用 Helm Chart 实现应用的标准化部署，支持多环境（Dev/Test/Prod）配置管理。

• 实现 CI/CD 流水线，通过 Jenkins 和 GitOps（ArgoCD）实现自动化部署和回滚。

• 配置 HPA 和 Cluster Autoscaler，动态调整资源以应对流量波动，降低 30% 的云资源成本。

• 部署 Prometheus 和 Grafana 监控系统，设置告警规则，确保 99.99% 的系统可用性。

• 使用 Istio 实现服务网格，优化流量管理和安全策略，支持蓝绿部署和灰度发布。

**Control Plane C:**控制器

• Pod：可以看成一个docker 容器
• Control Plane：资源调度，master节点，只跑CP组件；
  1. api：接收外部的指令，restful风格的api；
  2. etcd：集群所有的后台数据以key-value的形式存储的数据库；（可理解为内部redis）
  3. kube- scheduler：用来监视和控制未指定运行节点的pods的，资源调度的
  4. kube-controller-manager：负责运行控制器节点的 ①节点控制器：负责node出现故障时进行响应；②任务控制器：检测一次性job对象，然后创建pods来运行任务直到完成；③端点分片控制器：提供serivice和Pod的连接；④服务账号控制器：未新的命名空间创建服务账号；调度pods的控制进程

Node组件：

1. Kubelet：启动pods的工作，由kubelet进行调度，确保pods健康运行，
2. kube-proxy：维护网络规则，负责集群内外部网络交互

2.2 Pod

• Pod：Pod类似于豌豆荚，豌豆则是pod里的多个豌豆（容器），pod里的容器共享网络和volume，并且总是一同调度的。简而言之，pod帮我们实现了docker里自己使用docker compose 组织容器；
  pod就是用来管理一组容器的集合

1. 如何使用Pod

1. 不会直接使用单个pod，而是通过Deployment和Job这些kube-controller-manager来创建Pod;
2. 一个Pod里可以有单个容器，单容器时，K8s直接管理容器而不是pod；
3. 多个协同工作的容器，Pod封装多个紧密耦合且共享资源的多容器组成；

• 查看所有运行的pod状态

kubectl get pods
kubectl get pod -o wide -n kube-system

(1) 运行一个pod

• 创建一个Pod

• 应用pod

kubectl apply -f nginx-pod.yml

• 删除

kubectl delete -f nginx-pod.yml

(2) 运行多个pod

2.3 pod的生命周期

• 起始于pending状态,至少有一个正常启动则为running状态,如果全部成功则是successed,如果有一个失败 failed.
• pod在生命周期里,只会被调用一次,且本身没有自愈能力,当node销毁,他会跟着销毁

2.4 pod中的容器

1. 容器的生命周期

• 容器状态:
  1. waiting: 拉去镜像 同步数据等
  2. running: 运行中
  3. ternimate : 终止

2. 生命周期的回调

1. PostStop:
2. PreStop:

3. 容器重启策略

容器的重启策略=pod的重启策略,因为k8s的最小计算单元是pod:

1. always
2. onFailure
3. never

4. 自定义容器启动命令

• args: 修改启动命令
• command:

5. 容器探针

• prode 对容器进行定期的健康检查

1. livenessProbe
2. readnessProbe: 外部服务是否准备好
3. startProbe1.7+: 如果提供里启动探针,所有其他探针都会被禁用,直到探针成功,如果启动失败,k8s会杀死容器,然后根据重启策略,启动容器

• 探针检测的方法: grpc, exec, httpGet, tcpSocket

6. 容器资源限制

metrics-server 对请求,内存,以及cpu进行限制

7. init容器

init容器可以pod的容器运行之前,提前运行镜像中不存在的脚本或者安装脚本.

2.5 Deployment 控制器