Jenkins Pipeline 部署总结

Jenkins Pipeline 部署总结

前言

Jenkins Pipeline 是 Jenkins 提供的一套强大的工作流框架，它允许开发者以代码的形式定义整个软件交付过程，从而实现持续集成和持续部署（CI/CD）。通过 Pipeline，原本独立运行于单个或多个节点的任务可以被连接起来，形成一个完整的、可视化的工作流。以下是对 Pipeline 部署的一个综合记录与总结，涵盖了常用语法的概述以及实践应用的展示。

语法

Pipeline 的语法主要基于 Groovy，并分为声明式（Declarative）和脚本式（Scripted）两种。

声明式 Pipeline

声明式 Pipeline 是 Jenkins Pipeline 的推荐方式，它更简洁、更易于理解。其最简结构如下：

pipeline {  agent any  stages {  stage('Example') {  steps {  echo 'Hello World'  }  }  }  
}

主要组成部分

• pipeline：整个流水线的根元素，包含流水线的全部逻辑。
• agent：指定流水线的执行节点（Jenkins agent）。可以是 any、none、label、node 或 docker。
• stages：包含多个 stage 的容器。
• stage：代表流水线的阶段，每个阶段必须有名称。
• steps：代表阶段中的一个或多个具体步骤（step）的容器。
• post：可选部分，包含整个 pipeline 或阶段完成后的一些附加步骤。根据完成状态分为 always、success、failure、unstable、changed、fixed、aborted 和 cleanup 等条件块。

常用指令

• environment：设置环境变量，可定义在 stage 或 pipeline 部分。

pipeline {  agent any  environment {  CC = 'clang'  }  stages {  stage('Example') {  environment {  AN_ACCESS_KEY = credentials('my-predefined-secret-text')  }  steps {  sh 'printenv'  sh 'echo ${CC}'  }  }  }  
}

• tools：定义自动安装并自动放入 PATH 里面的工具集合。

pipeline {  agent any  tools {  maven 'apache-maven-3.0.1'  }  stages {  stage('Example') {  steps {  sh 'mvn --version'  }  }  }  
}

• input：在 stage 部分使用，会暂停 pipeline，提示输入内容。

stage('Input Example') {  input 'Should we continue?'  
}

• options：配置 pipeline 本身的选项，如 timeout、retry、buildDiscarder、disableConcurrentBuilds 等。

pipeline {  agent any  options {  timeout(time: 10, unit: 'SECONDS')  buildDiscarder(logRotator(numToKeepStr: '2'))  retry(5)  }  stages {  stage('Example') {  steps {  echo 'Hello World'  }  }  }  
}

• parameters：定义 pipeline 的专有参数列表，支持 string、text、booleanParam、choice、password 等数据类型。

pipeline {  agent any  parameters {  string(name: 'PERSON', defaultValue: 'Jenkins', description: '输入的文本参数')  choice(name: 'CHOICE', choices: ['One', 'Two', 'Three'], description: 'Pick something')  }  stages {  stage('Example') {  steps {  echo "Hello ${params.PERSON}"  }  }  }  
}

• triggers：定义 pipeline 的触发器，如 cron 和 pollSCM。

pipeline {  agent any  triggers {  cron('H 4/* 0 0 1-5')  }  stages {  stage('Example') {  steps {  echo 'Hello World'  }  }  }  
}

• parallel：声明式 Parallel 的代码块中可以嵌套多个 stage，从而让多个 stage 任务并行执行。

pipeline {  agent any  stages {  stage('Parallel Example') {  steps {  script {  def tasks = [:]  tasks['Task 1'] = {  echo 'Running Task 1'  // 其他步骤  }  tasks['Task 2'] = {  echo 'Running Task 2'  // 其他步骤  }  parallel tasks  }  }  }  }  
}

常用的内置步骤

文件目录相关步骤：deleteDir、dir、fileExists、pwd、writeFile、readFile。
制品相关步骤：stash、unstash。
命令相关步骤：sh。
其他步骤：error、tool、timeout、waitUntil、retry、sleep。

脚本式 Pipeline

node {  stage('Build') {  echo 'Building..'  sh 'make'  }  stage('Test') {  echo 'Testing..'  sh 'make check'  }  stage('Deploy') {  echo 'Deploying....'  sh 'make publish'  }  
}

• 使用node作为根元素，表示Pipeline将在某个节点上执行。
• stage块是可选的，但在这里使用它可以清晰地展示Jenkins UI中的每个stage的任务子集。
• 每个stage中同样定义了要执行的步骤，但这里没有显式地指定steps块，因为步骤是直接写在stage块中的。

对比分析

声明式 Pipeline 以其简洁的语法结构和固定的组织要求，更适合小型项目或快速构建需求，且对无编程经验的用户友好；如果需要更复杂的逻辑，可以通过嵌套script块来实现。而脚本式 Pipeline 则基于Groovy 脚本，提供了更高的灵活性和几乎无限制的功能，适用于大型项目或需要复杂逻辑和高度定制化的场景，但要求用户具备一定的Groovy编程基础。

应用实例

网页部署

• Jenkins 首页 < New Item > 新建 < Pipeline >，并进行配置。
  
• 绑定 gerrit project，用于 gerrit 代码提交时触发 Pipeline 执行。
  
• 在部署 Pipeline 时，可以先直接在网页配置 Pipeline script 进行测试，等 Pipeline script 调试通过后再移植到代码仓库进行版本管理。
  
• 网页的 Pipeline script 调试通过后，可以将脚本内容复制到代码仓库 .jenkinsfile 文件上（比如我这里的 chirpstack.jenkinsfile），方便后续进行版本管理。
  
  

Pipeline script

下面是一个使用 docker 构建 yocto openstlinux 镜像的 pipeline script 实例，主要流程有：

• 指定 pipeline 使用的 docker 镜像环境。（agent）
• 拉取项目代码并检出到对应分支。(Checkout)
• 从 aws 私人仓库下载相关软件加速包（避免在编译过程中下载）。(Download)
• 配置编译环境，构建镜像。(Build)
• 将构建的镜像上传到 aws。(Upload)
• 构建成功时将镜像下载链接附属到网页。(post )

关于如何构建 openstlinux 编译环境的 docker 镜像（chirpstack-dev:latest），可以参考 Docker 基础入门

pipeline {agent {docker {label 'Embedded'image 'chirpstack-dev:latest'args '-v ${HOME}/.gitconfig:/home/ubuntu/.gitconfig -v ${HOME}/.ssh:/home/ubuntu/.ssh -v ${HOME}/.aws:/home/ubuntu/.aws'}}environment {JOB_PATH = "${env.WORKSPACE}/lorawan/yocto_ws"}stages {stage('Checkout') {steps {sh '''#!/bin/bashset -xewhoamimkdir -p "$JOB_PATH" && cd $JOB_PATHinit_and_update() {local max_retries=3local retries=0local success=falsewest init -m ssh://gerrit.robotics.cn:29419/iot_device/lorawan/gateway/cloud_walking_shoeswhile [ $retries -lt $max_retries ]; doretries=$((retries + 1))local result=$(west update 2>&1)local status=$?if echo "$result" | grep -q "ERROR"; thenecho "Attempt $retries failed to initialize job $JOB_PATH. Retrying..."elsesuccess=trueecho "Initialization and update completed successfully for job $JOB_PATH on attempt $retries."breakfisleep 3doneif [ $success = false ]; thenecho "Error initializing job $JOB_PATH after $max_retries attempts:"echo "$result"exit 1fi}init_and_update'''}}stage('Download') {steps {sh '''#!/bin/bashset -xeEXPECTED_MD5="04fca21f1061fd33a831ffc3660722b2"CACHE_DIR=$JOB_PATH/../buildmkdir -p "$CACHE_DIR"echo "Starting download process ..."aws s3 cp s3://embedded/yocto/chirpstack/download/downloads.zip $CACHE_DIR/if [ $? -ne 0 ]; thenecho "Error: Failed to download files from S3."exit 1fiecho "Download process completed successfully."# ACTUAL_MD5=$(md5sum "$CACHE_DIR/downloads.zip" | awk '{print $1}')# if [ "$ACTUAL_MD5" != "$EXPECTED_MD5" ]; then#    echo "Error: MD5 checksum mismatch. Expected: $EXPECTED_MD5, Actual: $ACTUAL_MD5"#    exit 1# fi# echo "Download process completed successfully and MD5 checksum verified."unzip -o $CACHE_DIR/downloads.zip -d $CACHE_DIRrm $CACHE_DIR/downloads.zip'''}}stage('Build') {steps {sh '''#!/bin/bashset -xecd ${JOB_PATH}/../source ${JOB_PATH}/poky/oe-init-build-envpwdsed -i 's/^MACHINE ??=.*/MACHINE ??= \"stm32mp15-loar-gateway\"/' conf/local.confsed -i 's/^DISTRO ?=.*/DISTRO=\"openstlinux-weston\"/' conf/local.confcat conf/local.conf | grep -E "MACHINE|DISTRO"bitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-oebitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-pythonbitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-networkingbitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-gnomebitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-multimediabitbake-layers add-layer ../yocto_ws/meta-openembedded/meta-webserverbitbake-layers add-layer ../yocto_ws/meta-loar-gatewaybitbake-layers add-layer ../yocto_ws/meta-st-stm32mpbitbake-layers add-layer ../yocto_ws/meta-st-openstlinuxbitbake-layers add-layer ../yocto_ws/meta-st-stm32mpu-app-lorawancat conf/bblayers.confls -al $(pwd)/downloadsset +ebitbake_build() {local max_retries=3local retries=0local success=falsewhile [ $retries -lt $max_retries ]; doretries=$((retries + 1))bitbake st-image-westonif [ $? -ne 0 ]; thenecho "Attempt $retries failed to Bitbake build. Retrying..."elsesuccess=truebreakfisleep 3doneif [ $success = false ]; thenecho "Error failed to Bitbake build after $max_retries attempts:"exit 1fi}bitbake_build'''}}stage('Upload') {steps {sh '''set -xetar -czvf ${JOB_PATH}/stm32mp15-loar-gateway_${BUILD_NUMBER}.tar.gz ${JOB_PATH}/../build/tmp-glibc/deploy/images/stm32mp15-loar-gatewayaws s3 cp ${JOB_PATH}/stm32mp15-loar-gateway_${BUILD_NUMBER}.tar.gz s3://embedded/yocto/chirpstack/Artifacts/'''}}}post {success {archiveArtifacts artifacts: "lorawan/yocto_ws/stm32mp15-loar-gateway_${BUILD_NUMBER}.tar.gz", fingerprint: true}cleanup {cleanWs()}}
}

构建日志

Pipeline UI