DevOps持续集成-Jenkins（4）

❤️作者简介：2022新星计划第三季云原生与云计算赛道Top5🏅、华为云享专家🏅、云原生领域潜力新星🏅

💛博客首页：C站个人主页🌞

💗作者目的：如有错误请指正，将来会不断的完善笔记，帮助更多的Java爱好者入门，共同进步！

DevOps

DevOps概述

软件开发最初是由两个团队共同组成：（没有采用DevOps之前）

• 开发团队：从头开始设计和整体系统的构建（编写代码）。需要系统不停的迭代更新。
• 运维团队：将开发团队的代码进行测试通过后再部署上线。确保系统稳定运行。

没有采用DevOps的缺点：

• 这看似两个目标不同的团队需要协同完成一个软件的开发。在开发团队指定好计划并完成编写代码后，需要把代码交给运维团队。运维团队向开发团队反馈需要修复的BUG以及一些需要返工的任务。这时开发团队需要经常等待运维团队的反馈。这无疑会延长整个软件开发的周期。

采用DevOps的优点？

• DevOps的方式可以让公司能够更快地应对更新和市场发展变化，开发可以快速交付，部署也更加稳定。核心就在于简化Dev和Ops团队之间的流程，使整体软件开发过程更快速。说白了就是DevOps有利于快速完成项目，不会浪费时间）

整体的软件开发流程：

• PLAN：开发团队根据客户的目标制定开发计划
• CODE：根据PLAN开始编码过程，需要将不同版本的代码存储在一个库中。
• BUILD：编码完成后，需要将代码构建并且运行。
• TEST：成功构建项目后，需要测试代码是否存在BUG或错误。
• DEPLOY：代码经过手动测试和自动化测试后，认定代码已经准备好部署并且交给运维团队。
• OPERATE：运维团队将代码部署到生产环境中。
• MONITOR：项目部署上线后，需要持续的监控产品。
• INTEGRATE：然后将监控阶段收到的反馈发送回PLAN阶段，整体反复的流程就是DevOps的核心，即持续集成、持续部署。

为了保证整体流程可以高效的完成，各个阶段都有比较常见的工具，如下图：

Jenkins流水线任务入门⭐

Jenkins流水线任务的Hello World体验⭐

Jenkins流水线语法例子

// 所有脚本命令包含在pipeline{}中
pipeline {  // 指定任务在哪个Jenkins集群节点中执行（Jenkins是支持分布式）// 这里的agent any是指该任务可以在任何Jenkins集群节点上执行。agent any// 声明全局变量，格式为：key='value'environment{host = '192.168.184.80'}// 存放所有任务的合集stages {// 单个任务1stage('任务1') {// 实现任务的具体流程steps {echo '做任务1'}}// 单个任务2stage('任务2') {// 实现任务的具体流程steps {echo '做任务2'}}// 单个任务3stage('任务3') {// 实现任务的具体流程steps {echo '做任务3'}}}
}

Jenkins流水线语法生成器⭐

Jenkins实战4：构建pipeline（流水线）的Jenkins项目⭐

项目架构图

Jenkins实战4的初步流水线模板（功能全部都未实现）⭐

pipeline {agent any// 存放所有任务的集合stages {stage('拉取Git仓库代码') {steps {echo '拉取Git仓库代码 - SUCCESS'}}stage('通过maven构建项目') {steps {echo '通过maven构建项目 - SUCCESS'}}stage('通过SonarQube做代码质量检测') {steps {echo '通过SonarQube做代码质量检测 - SUCCESS'}}stage('通过Docker制作自定义镜像') {steps {echo '通过Docker制作自定义镜像 - SUCCESS'}}stage('将自定义镜像推送到Harbor仓库') {steps {echo '将自定义镜像推送到Harbor仓库 - SUCCESS'}}stage('通过Publish Over SSH通知目标服务器') {steps {echo '通过Publish Over SSH通知目标服务器 - SUCCESS'}}}
}

Jenkinsfile配置⭐

在项目中编写Jenkinsfile来维护pipeline模板（以后我们的pipeline语法都放在这个文件上）⭐

• 注意：该文件名一定要为：Jenkinsfile
• Jenkinsfile文件内容放在了上面，可以直接复制！

在Jenkins中配置Jenkinsfile在gitlab上的地址⭐

测试构建，看看Jenkinsfile是否能生效

架构图第2步案例：将gitlab上面的项目代码拉取到Jenkins中⭐

• 1：配置git参数：（根据tag去拉取代码）
  

• 2：生成拉取git代码的流水线语法：

  • 生成的语法代码块如下：（注意：下面有个地方（branches的name从原来是/main被我改成了${tag}，如果安装默认生成的话，则是拉取最新版本代码，我们这个意思就是安装tag去拉取对应代码）和系统生成的语法不一样！！）*

  checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])
  

• 3：把生成的pipeline语法放到Jenkinsfile文件的指定位置：

• 4：测试构建：

架构图第3步案例：利用Maven构建项目的jar包⭐

• 1：生成流水线语法：（生成如下）
  • 注意：/var/jenkins_home/maven/bin/mvn要改成你的maven的mvn地址。

sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'

• 2：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（省略！）

架构图第4步案例：给Jenkins的pipeline任务配置SonarQube自动进行代码质量检测⭐

• 1：生成流水线语法：（生成如下）
  • 注意：下面的-Dsonar.login要用自己的SonarQube的token
  • 注意：/var/jenkins_home/sonar-scanner/bin/sonar-scanner要改成你的sonar-scanner地址

sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'

• 2：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（省略！）

架构图第5步案例：Jenkins制作自定义镜像并上传到Harbor⭐

• 1：生成制作自定义镜像的流水线语法（生成如下）：

sh '''mv ./target/*.jar ./docker/
docker build -t ${JOB_NAME}:${tag} ./docker/'''

• 2：在Jenkinsfile文件定义全局变量environment：（记得要把下面的内容改成你自己的！）
  • harborAddress是harbor地址
  • harborRepo是harbor仓库名
  • harborUser是harbor账号
  • harborPasswd是Harbor密码

    environment{harborAddress = '192.168.184.80:80'harborRepo = 'repo'harborUser = 'admin'harborPasswd = 'Harbor12345'}

• 3：生成将镜像上传到Harbor仓库的流水线语法（生成如下）：

sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}
docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''

• 4：防止Jenkins内部不能使用Docker，所以重新设置一下权限：（有时候即使设置了权限也会自动变回来，导致pipeline报错）

  • 切换目录到/var/run/：

  [root@centos7-jenkins harbor]# cd /var/run/
  

  • 修改docker.sock文件的所属组：

  [root@centos7-jenkins run]# chown root:root docker.sock
  

  • 修改docker.sock文件的权限：

  [root@centos7-jenkins run]# chmod o+rw docker.sock
  

• 5：将上面生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。

• 6：执行构建即可。
• 7：进入Harbor可视化界面，查看pipeline镜像是否push成功：

架构图第6-7步案例：通知目标服务器可以从Harbor上拉取镜像，并运行容器（注意：这里有个坑！）⭐

• 1：在所有目标服务器上都放一份shell脚本文件：（原理是：Jenkins通知目标服务器去执行shell脚本文件，从而让目标服务器在Harbor上面拉取指定镜像。）
  • 原来的架构图上是把Dockerfile传到目标服务器，让目标服务器通过docker build构建镜像（缺点是当目标服务器有多台，那每一台目标服务器都需要build构建一次，n台服务器就是n次，这样十分浪费服务器资源）。
  • 现在的架构图是把镜像在Jenkins容器内构建，然后把镜像push到Harbor上，Jenkins通知所有目标服务器（不管有多少台），然后目标服务器就会执行下面的shell脚本，会从Harbor拉取指定镜像，这样一来，不管有多少台目标服务器都只是build构建一次，节省了很多资源。

vi /root/deploy.sh

内容如下：

harbor_addr=$1
harbor_repo=$2
project=$3
version=$4
host_port=$5
container_port=$6imageName=$harbor_addr/$harbor_repo/$project:$versioncontainerId=`docker ps -a | grep ${project} | awk '{print $1}'`
if [ "$containerId" != "" ] ; thendocker stop $containerIddocker rm $containerId
fitag=`docker images | grep ${project} | awk '{print $2}'`if [[ "$tag" =~ "$version" ]] ; thendocker rmi -f $imageName
fidocker login -u admin -p Harbor12345 $harbor_addrdocker pull $imageNamedocker run -d -p $host_port:$container_port --name $project $imageNameecho "SUCCESS"

• 2：给deploy.sh权限：

chmod a+x /root/deploy.sh

• 3：把所有目标服务器的deploy.sh都放到/usr/bin下：

[root@centos7-jenkins ~]# mv /root/deploy.sh /usr/bin/

• 4：配置Jenkins参数：

• 5：生成流水线语法：

  • 提示Exec command：

  deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port
  

• 6：将生成的语法放到Jenkinsfile的对应位置上去，然后上传到gitlab即可。（⭐注意这里有个坑！⭐）

  • 坑坑坑！！！：sshPublisher的execCommand要用双引号，默认是单引号。（一定要改成双引号，否则语法无法生效！⭐）

  ⭐下面的是修改之后的，并且是测试通过的流水线语法！！：

sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

• 7：最后测试构建即可（省略！）

Jenkins流水线整合钉钉：在构建完成后通知信息（新增⭐）

下载安装钉钉，并且注册账号（电脑版和手机版都行）⭐

钉钉下载官网

在Jenkins中下载钉钉插件（DingTalk 2.4.7版本）⭐

在钉钉创建一个企业（不然无法申请项目群）⭐

在钉钉创建一个新的项目群⭐

在钉钉的项目群里创建一个机器人⭐

在Jenkins中配置这个机器人⭐

Jenkinsfile配置钉钉⭐

• 1：编写流水线语法：
  • 注意：robot的值就是我们在Jenkins的系统配置所设置的机器人id！！（一定要进行修改）

post {success {dingtalk (robot: 'Jenkins-dingding',type:'MARKDOWN',title: "success: ${JOB_NAME}",text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"])}failure {dingtalk (robot: 'Jenkins-dingding',type:'MARKDOWN',title: "fail: ${JOB_NAME}",text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"])}}

• 2：将上面的语法放到Jenkinsfile的stages外面，并上传gitlab：

• 3：点击构建Jenkins

• 4：查看钉钉项目群：

实战4的Jenkinsfile全部代码⭐

pipeline {agent anyenvironment{harborAddress = '192.168.184.80:80'harborRepo = 'repo'harborUser = 'admin'harborPasswd = 'Harbor12345'}// 存放所有任务的集合stages {stage('拉取Git仓库代码') {steps {checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])}}stage('通过maven构建项目') {steps {sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'}}stage('通过SonarQube做代码质量检测') {steps {sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'}}stage('通过Docker制作自定义镜像') {steps {sh '''mv ./target/*.jar ./docker/docker build -t ${JOB_NAME}:${tag} ./docker/'''}}stage('将自定义镜像推送到Harbor仓库') {steps {sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''}}stage('通过Publish Over SSH通知目标服务器') {steps {sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])}}}post {success {dingtalk (robot: 'Jenkins-dingding',type:'MARKDOWN',title: "success: ${JOB_NAME}",text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"])}failure {dingtalk (robot: 'Jenkins-dingding',type:'MARKDOWN',title: "fail: ${JOB_NAME}",text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"])}}}