DevOps实现CI/CD实战（六）- Jenkins集成k8s

十、 Jenkins集成k8s

Jenkins在集成K8s之前，需要搭建k8s集群，具体搭建步骤，完整笔记
https://github.com/ITenderL/ITenderL.github.io/tree/main/docs/DevOps，
包括完整的DevOps的笔记。

1. 准备部署的yml文件

pipeline.yml

apiVersion: apps/v1
kind: Deployment
metadata:namespace: testname: pipelinelabels:app: pipeline
spec:replicas: 2selector:matchLabels:app: pipelinetemplate:metadata:labels:app: pipelinespec:containers:- name: pipelineimage: harbor.com/sswang/pipeline:v4.0.0imagePullPolicy: Alwaysports:- containerPort: 8080---
apiVersion: v1
kind: Service
metadata:namespace: testname: pipelinelabels:app: pipeline
spec:selector:app: pipelineports:- port: 8082targetPort: 8080type: NodePort---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:namespace: testname: pipeline
spec:ingressClassName: nginxrules:- host: pipeline.test.comhttp:paths:- path: /pathType: Prefixbackend:service:name: pipelineport:number: 8082

2. 配置Docker私服

在尝试用kubernetes的yml文件启动pipeline服务时，会出现Kubernetes无法拉取镜像的问题，这里需要在kubernetes所在的Linux中配置Harbor服务信息，并且保证Kubernetes可以拉取Harbor上的镜像。

填写你的harbor地址信息，填写完成后下面会生成一行命令，复制命令到你的kube服务器运行，看是否可以登录成功，登陆成功就ok了

如果不成功，要检查一下你的daemon.json的配置

{"exec-opts": ["native.cgroupdriver=systemd"],# docker私服地址，把你的harbor地址加到这里"insecure-registries": ["kubernetes-register.sswang.com", "harbor.com"],"registry-mirrors": ["https://docker.m.daocloud.io","https://dockerhub.icu","https://registry.aliyuncs.com","https://docker.nju.edu.cn"]
}

配置完成后，再次启动你的pipeline.yml

# 删除
kubectl delete -f pipeline.yml
# 启动
kubectl apply -f pipeline.yml

部署成功后，查看状态

[root@master ~]# kubectl get all -n test
NAME                            READY   STATUS    RESTARTS   AGE
pod/pipeline-647d4585fb-qh292   1/1     Running   0          48mNAME               TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/pipeline   NodePort   10.96.126.239   <none>        8082:32562/TCP   48mNAME                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/pipeline   1/1     1            1           48mNAME                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/pipeline-647d4585fb   1         1         1       48m

然后访问192.168.201.111:32562

3. Jenkins配置k8s

• 在系统配置下面添加publish over ssh 配置，配置完成后，应用保存
  
• • 修改pipeline任务配置

修改项目中Jenkinsfile中publish over ssh步骤的配置命令，到pipeline语法中生成

sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

然后修改项目中的Jenkinsfile的配置，用下面的配置，替换原来publish over ssh的配置

		stage('将部署的yml文件传送到k8s-master节点') {steps {sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])}}

修改代码返回5.0.0，然后打标签v5.0.0,，然后构建看是否可以将pipeline文件传送到k8s服务器

[root@master k8s]# ls /usr/local/k8s/
pipeline.yml
# 文件已经传到目标服务器了，然后执行文件

• 运行pipeline.yml

如何运行pipeline.yml，使用shell命令的方式会需要输入密码

[root@master ~]# ssh root@192.168.201.120 kubectl ap -f /usr/local/k8s/pipeline.yml
root@192.168.201.120's password:

因此只能使用ssh的无密码登录方式，让Jenkins容器内部以无密码的方式连接到k8s的master节点，绝体步骤如下

1. 进入Jenkins容器内部

[root@clear jenkins_docker]# docker exec -it jenkins bash
jenkins@e96108b4b77b:/$ cd ~
# 找到隐藏的文件.ssh
jenkins@e96108b4b77b:~$ ls -a
.sshjenkins@e96108b4b77b:~$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQC86IaWBtwJkhlAEH4WYoMUAg8acBZGiM13BZPTsHeqM541lKp02qcgvk8RBd9Zg2ykmeCH6qkPNLTVPzqfR75bnOFD7ZZ3q/A0Yl6h06NzoxFAIAepuXdy+hF+IK3ORScl1pOsFq8TQAWtQWN2UTPYJ7xORW8w/2hgwXKffwzTj1uuA2PZDpoQanSyx1N0qV+/t2omFRFscV1BkhiZvNKa7Pifesd3m24y/uFykZTE8/YCn8Bjbvlj1AH77vdgkkrCXjFJZeqWVLYcpLEGVqUt9tklDI9XkEf6gE/ut+QWtB5HHN+pfW95MFkFY/78i4KXNDUT7+Ogix0AqvUKyhriMOUx8KaAfLCUAWNtrmC+mLQwPFyyJN1EEiCNYWb6OJ5G9geH1YvrzoRfcpLk/k6pmsbkrpJdxh2ZSQqwdvTnxWNDMjnJLRw4OE6rRMp57qWecFnqJuaJN1z43Cdk2wo9J/Ve6f02vXAN0iTFK6t6xAF9E5+lBbKps9FRoLz/3njqWcrMlFQ3jKO2IvL/JJKe+fNbc6VHGT0BPc2TQ4nay24I7KAqfLhLqkrpuhOHbPoj7dO3yr5zzu0I9Z78gPsRpM2BOmaEE+Q2WXKyGUZmsr3IWdy9V/l4IwxYRlNUxjvUxbetkbvRRP8rT48JhsJYeZfHAekgpsVnHKJMsTYnAQ== [e-mail]# 如果没有则自己生成，生成方式如下

在设置SSH服务时，生成SSH密钥（公钥和私钥）是一个常见的任务。这些密钥用于安全地进行身份验证，无需输入密码。以下是如何生成SSH密钥的步骤：

1. 生成SSH密钥对
   首先，您需要在客户端机器上生成一个SSH密钥对。使用ssh-keygen命令来生成密钥对。

ssh-keygen -t rsa -b 4096 -C “[e-mail]”
-t rsa：指定密钥类型为RSA。
-b 4096：指定密钥长度为4096位。
-C “[e-mail]”：添加注释（通常是您的电子邮件地址），这有助于识别密钥。
执行上述命令后，系统会提示您输入文件名以保存密钥（默认情况下保存在~/.ssh/id_rsa中），以及是否设置密码短语。设置密码短语可以增加额外的安全层，但也可以留空以便免密码连接。

2. 查看生成的密钥文件
   生成密钥对后，您的SSH目录（通常是~/.ssh）中将包含以下两个文件：

id_rsa：私钥文件。
id_rsa.pub：公钥文件。

3. 将公钥复制到远程服务器
   要使用SSH密钥登录到远程服务器，需要将生成的公钥添加到远程服务器上的~/.ssh/authorized_keys文件中。可以使用ssh-copy-id命令来完成此操作：

ssh-copy-id user@remote_host

user：远程服务器上的用户名。
remote_host：远程服务器的IP地址或域名。
此命令会提示您输入远程服务器用户的密码，并将公钥自动复制到远程服务器的~/.ssh/authorized_keys文件中。

4. 手动复制公钥 （可选）
   如果无法使用ssh-copy-id，也可以手动复制公钥。首先查看公钥内容：

cat ~/.ssh/id_rsa.pub

然后，将输出的内容复制并粘贴到远程服务器上的~/.ssh/authorized_keys文件中。确保文件权限正确：

在远程服务器上执行

mkdir -p ~/.ssh
chmod 700 ~/.ssh
echo "your_public_key" >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

5. 测试SSH连接
   完成上述步骤后，您应该能够使用SSH密钥进行无密码登录：

ssh user@remote_host

如果一切正常，您将直接登录到远程服务器，而不需要输入密码。

6. 配置SSH客户端（可选）
   为了更方便地管理多个SSH连接，可以在本地机器的~/.ssh/config文件中配置SSH客户端：

Host remote_host_alias
HostName remote_host
User user
IdentityFile ~/.ssh/id_rsa

这样，您可以通过别名进行连接：

ssh remote_host_alias

通过以上步骤，您可以生成SSH密钥并配置SSH服务，以便实现更加安全和便捷的无密码登录

• 来到k8s的master节点用户目录下.ssh文件夹，把jenkins的公钥放到.ssh文件夹下的authorized_keys文件中

[root@master ~]# cd ~
[root@master ~]# ls -a
.   anaconda-ks.cfg  .bash_logout   .bashrc  .config  deploy-nginx.yml  ingress  kuboard-v3.yaml   pipeline.yml  .ssh     .viminfo
..  .bash_history    .bash_profile  .cache   .cshrc   .docker           .kube    nginx-tomcat.yml  .pki          .tcshrc
[root@master ~]# cd .ssh
[root@master .ssh]# ls
known_hosts
[root@master .ssh]#  touch authorized_keys
[root@master .ssh]# vim authorized_keys
# 复制密钥到文件中保存即可jenkins@e96108b4b77b:~$ ssh root@192.168.201.120 sfs
bash: sfs: command not found
jenkins@e96108b4b77b:~$

下面就可以在Jenkins中执行k8s的命令了，来到jenkins中添加配置，生成pipeline命令

修改项目中Jenkinsfile文件，在执行步骤中添加一个步骤，然后去Jenkins构建

stage('远程执行k8s-master节点的kubectl命令') {steps {sh 'ssh root@192.168.201.120 kubectl apply -f /usr/local/k8s/pipeline.yml'}}

最后成功部署了