当前位置: 首页 > news >正文

CI/CD 流水线

CI/CD 流水线

  • CI 与 CD 的边界
    • CI 持续集成
    • CD(持续交付/持续部署)
    • 自动化流程示例:
  • Jenkins 引入到 CI/CD 流程
    • 在本地或服务器上安装 Jenkins。
    • 配置 Jenkins 环境
    • 流程设计
      • CI 阶段:Jenkins 流水线实现
      • CD 阶段:Jenkins 流水线实现
      • 完整流程概述
  • 发版
    • 发版的内容
    • 发版的过程
    • 发版的类型
    • 发版与版本号
    • 发版的目的

CI(Continuous Integration,持续集成)
CD(Continuous Delivery 或 Continuous Deployment,持续交付或持续部署)

在这里插入图片描述

CI 与 CD 的边界

CI:从代码提交到 Docker 镜像推送至 Docker Hub。
CD:从 Kubernetes 拉取镜像到应用运行及服务暴露

示例:

  • CI: 通过mvn 创建spring boot 项目,创建java类,通过dockerfile构建镜像至docker hub
  • CD: 在k8s拉取dockerhub镜像,运行应用程序,创建server进行端口映射,创建ingress暴露服务

CI 持续集成

CI 主要关注代码的开发、构建和质量保证,最终目标是生成一个稳定的可交付产物(如 Docker 镜像)

通过 Maven 创建 Spring Boot 项目

  • 初始化项目结构,编写代码逻辑。
  • 提交代码到版本控制系统(如 Git)

创建 Java 类

  • 开发新功能或修复问题,更新代码库。

通过 Dockerfile 构建镜像

  • 使用 Maven 构建项目 (mvn clean package) 并生成 JAR 文件。
  • 使用 Dockerfile 将 JAR 文件打包成 Docker 镜像。

推送镜像至 Docker Hub

使用 CI 工具(如 Jenkins、GitLab CI/CD)实现自动化:

  • 代码提交后触发流水线。
  • 运行测试(单元测试、集成测试)。
  • 构建并生成 Docker 镜像。
  • 将镜像推送至 Docker Hub 或其他镜像仓库。

CD(持续交付/持续部署)

CD 主要关注如何将 CI 生成的镜像部署到实际运行环境(如 Kubernetes 集群),并确保服务的正常暴露。

在 Kubernetes 上拉取 Docker Hub 镜像

  • 使用 Kubernetes Deployment 清单(YAML 文件)描述应用程序的镜像和资源需求。
  • 从 Docker Hub 拉取生成的镜像,创建容器实例。
  • 运行应用程序

通过 Kubernetes Deployment 控制器管理应用程序的副本(Pod)。

  • 创建 Service 并进行端口映射

定义 Kubernetes Service(如 ClusterIP、NodePort 或 LoadBalancer),将应用的内部端口映射到集群外部。

  • 创建 Ingress 暴露服务

定义 Ingress 资源,提供 HTTP(S) 路由规则,将外部流量路由到 Service。

  • 配置域名和证书(可选,支持 HTTPS)。

自动化流程示例:

CI 流程

  1. 开发者提交代码至 Git 仓库(触发 CI 流水线)。
  2. CI 工具执行以下步骤:
    拉取代码。
    使用 mvn clean package 构建项目。
    构建 Docker 镜像(基于 Dockerfile)。
    运行测试以验证代码和镜像质量。
    将镜像推送至 Docker Hub。

CD 流程

  1. 部署工具(如 ArgoCD、FluxCD 或 Jenkins)监听到新镜像的更新。
  2. 执行以下步骤:
    拉取新的 Docker 镜像到 Kubernetes 集群。
    创建/更新 Deployment,将镜像部署到 Pod 中。
    配置 Service 以进行端口映射。
    创建 Ingress 暴露服务,为用户提供访问入口。

Jenkins 引入到 CI/CD 流程

通过 Jenkins 的 CI/CD 流水线,整个开发到部署的流程自动化,减少人工干预,提高交付效率和可靠性。

基于Jenkins+K8S+harbor+git等技术链助力DevOps在企业落地实践

在这里插入图片描述

在本地或服务器上安装 Jenkins。

确保安装了必要的插件:

Pipeline(支持声明式流水线)。
Docker(支持 Docker 构建)。
Kubernetes CLI(支持 kubectl 命令)。
Git(拉取代码)。
Maven Integration(构建 Spring Boot 项目)

配置 Jenkins 环境

  • 配置全局工具:
    安装 JDK 和 Maven。
    配置 Docker 和 kubectl 的路径。
  • 添加 Jenkins 凭据:
    Docker Hub 凭据(用于推送镜像)。
    Kubernetes 集群凭据(用于 CD 部署)。

流程设计

CI 阶段:Jenkins 流水线实现
CI 的目标是构建、测试和将 Docker 镜像推送到 Docker Hub

CI 阶段:Jenkins 流水线实现

Jenkinsfile for CI
在项目根目录创建一个 Jenkinsfile,内容如下

pipeline {agent {docker { image 'maven:3.8.7-openjdk-17' } // 使用 Maven 镜像}environment {DOCKER_HUB_CREDENTIALS = credentials('docker-hub-id') // Docker Hub 凭据DOCKER_IMAGE = 'your-docker-hub-repo/spring-boot-app'}stages {stage('Checkout Code') {steps {checkout scm}}stage('Build and Test') {steps {sh 'mvn clean package'}}stage('Build Docker Image') {steps {sh 'docker build -t ${DOCKER_IMAGE}:latest .'}}stage('Push Docker Image') {steps {withDockerRegistry([credentialsId: 'docker-hub-id', url: '']) {sh 'docker push ${DOCKER_IMAGE}:latest'}}}}
}

Jenkins 配置

  • 在 Jenkins 上创建一个 Pipeline Job,链接到代码仓库(如 GitHub)。
  • Jenkins 会自动执行流水线,完成代码构建、测试、镜像打包与推送。

CD 阶段:Jenkins 流水线实现

CD 的目标是将 Docker 镜像拉取到 Kubernetes 中,并完成部署。
创建 Kubernetes 配置文件

  • deployment.yaml(用于部署镜像到 Kubernetes 集群):
apiVersion: apps/v1
kind: Deployment
metadata:name: spring-boot-app
spec:replicas: 2selector:matchLabels:app: spring-boot-apptemplate:metadata:labels:app: spring-boot-appspec:containers:- name: spring-boot-appimage: your-docker-hub-repo/spring-boot-app:latestports:- containerPort: 8080
  • service.yaml(用于暴露服务端口):
apiVersion: v1
kind: Service
metadata:name: spring-boot-service
spec:type: NodePortports:- port: 8080targetPort: 8080nodePort: 30001selector:app: spring-boot-app
  • ingress.yaml(用于 Ingress 暴露服务):
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:name: spring-boot-ingress
spec:rules:- host: springboot.example.comhttp:paths:- path: /pathType: Prefixbackend:service:name: spring-boot-serviceport:number: 8080

Jenkinsfile for CD 在项目根目录扩展 Jenkinsfile 或创建新的 Pipeline Job:

pipeline {agent anyenvironment {KUBECONFIG_CREDENTIALS = credentials('k8s-config-id') // Kubernetes 配置凭据}stages {stage('Deploy to Kubernetes') {steps {withKubeConfig([credentialsId: 'k8s-config-id']) {sh 'kubectl apply -f deployment.yaml'sh 'kubectl apply -f service.yaml'sh 'kubectl apply -f ingress.yaml'}}}}
}

Jenkins 配置

  • 创建新的 Pipeline Job,配置为自动触发(如监控 Docker Hub 镜像更新)。
  • Jenkins 执行流水线,完成镜像拉取和 Kubernetes 部署。

完整流程概述

CI 阶段
提交代码到 Git 仓库后,触发 CI。
Jenkins 构建 Spring Boot 项目,生成 Docker 镜像,并推送至 Docker Hub。

CD 阶段
Jenkins 检测到新镜像(或手动触发),执行 Kubernetes 部署。
创建 Deployment、Service 和 Ingress 资源,将应用运行在 Kubernetes 集群中。

发版

发版是软件开发和运维过程中常见的术语,指的是将开发完成的功能、修复或改动版本发布给用户或部署到生产环境的过程。它是软件开发生命周期中的一个重要阶段。

发版的内容

发版通常包含以下内容:

  • 新功能: 提供给用户的新特性或增强功能。
  • Bug 修复: 修复已知问题或漏洞。
  • 性能优化: 提高软件运行效率或资源利用率。
  • 版本升级: 依赖库、框架或工具的版本更新。
  • 配置更新: 改动配置项以适应新的需求或部署环境。

发版的过程

发版通常包括以下几个步骤:

  1. 开发和测试
    开发团队完成代码开发。
    测试团队进行功能测试、回归测试、性能测试等,确保版本质量。
  2. 打包和构建
    使用构建工具(如 Maven、Gradle)将代码打包。
    可能会生成可执行文件、Docker 镜像或其他可交付产物。
  3. 版本管理
    确定发版版本号(如 v1.0.0)。
    提交对应的版本标签到版本控制系统(如 Git 标签)。
  4. 部署
    将构建好的版本部署到生产或预生产环境。
    可以通过 CI/CD 流水线实现自动化部署。
  5. 通知和发布
    发布版本公告,包括新增功能说明、修复内容和已知问题。
    通知用户或相关方新版本已上线。
  6. 监控和验证
    部署后监控系统运行状况,确保应用正常运行。
    根据用户反馈修复问题(如果有)。

发版的类型

根据影响范围和目标环境,发版可以分为以下几种类型:

  • 测试环境发版: 部署到测试环境,用于测试功能是否符合预期。
  • 预生产环境发版: 部署到与生产环境一致的预生产环境,用于模拟真实场景验证。
  • 生产环境发版: 正式发布到用户可访问的生产环境。
  • 灰度发布: 部分用户或节点先体验新版本,验证稳定性后逐步扩大范围。
  • 紧急发版: 修复重大问题或安全漏洞的快速发版,通常跳过部分流程。

发版与版本号

发版通常伴随版本号的更新,遵循 语义化版本号 的规则:

  • 主版本号(Major):重大更新或不兼容改动(如 1.0.0 -> 2.0.0)。
  • 次版本号(Minor):新增功能,向下兼容(如 1.0.0 -> 1.1.0)。
  • 修订版本号(Patch):Bug 修复或小的改进(如 1.0.0 -> 1.0.1)。

发版的目的

  • 将新功能或改进快速、安全地交付给用户。
  • 修复系统问题,保证用户体验和系统稳定性。
  • 保持软件版本的可管理性和一致性。

发版是一种规范化的软件发布过程,从开发完成到生产环境上线都需要经过严格的管理。它可以通过 CI/CD 工具自动化,并根据不同需求选择适合的发版策略(如灰度发布、蓝绿部署等)。

相关文章:

CI/CD 流水线

CI/CD 流水线 CI 与 CD 的边界CI 持续集成CD(持续交付/持续部署)自动化流程示例: Jenkins 引入到 CI/CD 流程在本地或服务器上安装 Jenkins。配置 Jenkins 环境流程设计CI 阶段:Jenkins 流水线实现CD 阶段:Jenkins 流水…...

【python3】 sqlite格式的db文件获得所有表和数据

【python3】 sqlite格式的db文件获得所有表和数据 1.背景2.代码3.解析1.背景 SQLite 格式的 .db 文件就是一个包含 SQLite 数据库的文件。 SQLite 格式的 .db 文件通常存储的是一个关系型数据库。 SQLite广泛用于应用程序、移动设备、浏览器等场景。它将整个数据库存储在一个文…...

【灵码助力安全3】——利用通义灵码辅助智能合约漏洞检测的尝试

前言 随着区块链技术的快速发展,智能合约作为去中心化应用(DApps)的核心组件,其重要性日益凸显。然而,智能合约的安全问题一直是制约区块链技术广泛应用的关键因素之一。由于智能合约代码一旦部署就难以更改&#xf…...

openEuler 22.04使用yum源最快速度部署k8s 1.20集群

本文目的 openEuler的官方源里有kubernetes 1.20,使用yum源安装是最快部署一个k8s集群的办法 硬件环境 主机名系统架构ipmasteropenEuler release 22.03 (LTS-SP2)arm192.168.3.11edgeopenEuler release 22.03 (LTS-SP2)arm192.168.3.12deviceopenEuler release 22.…...

Docker Compose 教程

Docker Compose 是一个 Docker 容器的依赖管理工具。 例如我们一个服务需要依赖到多个 Docker 容器,那么使用 Docker Compose 这个工具就能很方便的帮助我们管理。 Docker Compose 通过配置文件 .yml。 定义了所有容器的依赖关系。 然后我们只需把我们想要的 Docke…...

opencv的NLM去噪算法

NLM(Non-Local Means)去噪算法是一种基于图像块(patch)相似性的去噪方法。其基本原理是: 图像块相似性:算法首先定义了一个搜索窗口(search window),然后在该窗口内寻找…...

scala基础学习_方法函数

文章目录 方法与函数函数(又称函数值/匿名函数)定义方法注意 单参数函数多参数函数函数作为参数传递 方法将方法转换为函数方法的返回值总结 方法与函数 函数(又称函数值/匿名函数) 定义在任何地方:函数可以定义在类…...

Android车机DIY开发之软件篇(八)单独编译

Android车机DIY开发之软件篇(八)单独编译 1.CarLauncher单独编译 CarLauncher源码位于 packages/apps/Car/Launcher 用Eclipse ADT 谷歌定制版编译而成,.mk .bp编译 Android13目录如下: alientekalientek:~/packages/apps/Car$ ls Calendar …...

【Bug】报错信息:Required request body is missing(包含五种详细解决方案)

大家好,我是摇光~ 遇到“Required request body is missing”错误通常意味着服务器期望在HTTP请求中包含一个请求体(body),但是实际上并没有收到。 例如: 当你在使用网页或应用程序的后台(比如一个网站或手…...

Docker 专栏 —— Dockerfile 指令详解

文章目录 ADD 复制文件COPY 复制文件ARG 设置构建参数CMD 容器启动命令ENTRYPOINT ⼊⼝点ENV 设置环境变量EXPOSE 声明暴露的端⼝FROM 指定基础镜像LABEL 为镜像添加元数据MAINTAINER 指定维护者的信息RUN 执⾏命令USER 设置⽤户VOLUME 指定挂载点WORKDIR 指定⼯作⽬录 ADD 复制…...

Spring Boot 项目自定义加解密实现配置文件的加密

在Spring Boot项目中, 可以结合Jasypt 快速实现对配置文件中的部分属性进行加密。 完整的介绍参照: Spring Boot Jasypt 实现application.yml 属性加密的快速示例 但是作为一个技术强迫症,总是想着从底层开始实现属性的加解密,…...

在ubuntu下对NFS做性能测试

安装NFS 首先,安装服务 sudo apt update sudo apt install nfs-kernel-server然后创建共享文件夹 # 请自定义你自己的共享目录 sudo mkdir -p /exports/nfs4/homes sudo chmod -R 777 /exports/nfs4/homes# 这个可以根据no_root_squash标致选择设置。 # 如果不设…...

Spring-Cloud-Gateway-Samples,nacos为注册中心,负载均衡

背景:本想找个简单例子看下,无奈版本依赖太过复杂,花了点时间。记录下吧 使用Spring Cloud Gateway作为网关服务,Nacos作为注册中心,实现对子服务的负载均衡访问。简单例子。 一、gateway-main-nacos服务端&#xff…...

StarRocks Awards 2024 年度贡献人物

在过去一年,StarRocks 在 Lakehouse 与 AI 等关键领域取得了显著进步,其卓越的产品功能极大地简化和提升了数据分析的效率,使得"One Data,All Analytics" 的愿景变得更加触手可及。 虽然实现这一目标的道路充满挑战且漫…...

Autoencoder(李宏毅)机器学习 2023 Spring HW8 (Boss Baseline)

1. Autoencoder 简介 Autoencoder是一种用于学习数据高效压缩表示的人工神经网络。它由两个主要部分组成: Encoder 编码器将输入数据映射到一个更小的、低维空间中的压缩表示,这个空间通常称为latent space或bottleneck。 这一过程可以看作是数据压缩,去除冗余信息,仅保留…...

深入探索 ScottPlot.WPF:在 Windows 桌面应用中绘制精美图表的利器

一、ScottPlot.WPF 简介 ScottPlot.WPF 是基于 ScottPlot 绘图库专门为 Windows Presentation Foundation (WPF) 框架量身定制的强大绘图组件。它无缝集成到 WPF 应用程序中,为开发者提供了一种简洁、高效的方式来可视化数据,无论是科学研究中的实验数据展示、金融领域的行情…...

React中的useMemo 和 useEffect 哪个先执行?

在 React 组件的渲染过程中,useMemo 和 useEffect 的执行顺序是不同的。具体来说: useMemo 先执行:useMemo 是在 渲染阶段 执行的,它的作用是缓存计算结果,确保在渲染过程中可以直接使用缓存的值。 useEffect 后执行&…...

错误修改系列---基于RNN模型的心脏病预测(pytorch实现)

前言 前几天发布了pytorch实现,TensorFlow实现为:基于RNN模型的心脏病预测(tensorflow实现),但是一处繁琐地方 一处错误,这篇文章进行修改,修改效果还是好了不少;源文章为:基于RNN模型的心脏病…...

Table-Augmented Generation(TAG):Text2SQL与RAG的升级与超越

当下AI与数据库的融合已成为推动数据管理和分析领域发展的重要力量。传统的数据库查询方式,如结构化查询语言(SQL),要求用户具备专业的数据库知识,这无疑限制了非专业人士对数据的访问和利用。为了打破这一壁垒&#x…...

Stable Diffusion本地部署教程(附安装包)

想使用Stable Diffusion需要的环境有哪些呢? python3.10.11(至少也得3.10.6以上):依赖python环境NVIDIA:GPUgit:从github上下载包(可选,由于我已提供安装包,你可以不用git)Stable Diffusion安装包工具包: NVIDIA:https://developer.nvidia.com/cuda-toolkit-archiv…...

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码 国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制,因此这个了16进制的数据既可以翻译成为这个机器码,也可以翻译成为这个国标码,所以这个时候很容易会出现这个歧义的情况; 因此,我们的这个国…...

【网络】每天掌握一个Linux命令 - iftop

在Linux系统中,iftop是网络管理的得力助手,能实时监控网络流量、连接情况等,帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

基于FPGA的PID算法学习———实现PID比例控制算法

基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容:参考网站: PID算法控制 PID即:Proportional(比例)、Integral(积分&…...

23-Oracle 23 ai 区块链表(Blockchain Table)

小伙伴有没有在金融强合规的领域中遇见,必须要保持数据不可变,管理员都无法修改和留痕的要求。比如医疗的电子病历中,影像检查检验结果不可篡改行的,药品追溯过程中数据只可插入无法删除的特性需求;登录日志、修改日志…...

【位运算】消失的两个数字(hard)

消失的两个数字(hard) 题⽬描述:解法(位运算):Java 算法代码:更简便代码 题⽬链接:⾯试题 17.19. 消失的两个数字 题⽬描述: 给定⼀个数组,包含从 1 到 N 所有…...

2024年赣州旅游投资集团社会招聘笔试真

2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案,答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年,()预言了电磁波的存在,并指出…...

转转集团旗下首家二手多品类循环仓店“超级转转”开业

6月9日,国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解,“超级…...

【单片机期末】单片机系统设计

主要内容:系统状态机,系统时基,系统需求分析,系统构建,系统状态流图 一、题目要求 二、绘制系统状态流图 题目:根据上述描述绘制系统状态流图,注明状态转移条件及方向。 三、利用定时器产生时…...

WEB3全栈开发——面试专业技能点P2智能合约开发(Solidity)

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解,适合用作学习或写简历项目背景说明。 🧠 一、概念简介:Solidity 合约开发 Solidity 是一种专门为 以太坊(Ethereum)平台编写智能合约的高级编…...