K8s Error: ImagePullBackOff 故障排除
Error: ImagePullBackOff 故障排除
1. 起因
起因是要在一组k8s环境下做个Prometheus的测试,当时虚拟机用完直接暂停了.
启动完master和node节点后重启了这些节点.
当检查dashboard时候发现Pod处于ImagePullBackOff状态,使用命令查看详细情况
kubectl describe pods -n kubernetes-dashboard kubernetes-dashboard-6948fdc5fd-7szc9
发现镜像拉取失败
1.1 报错信息如下:
Events:Type Reason Age From Message---- ------ ---- ---- -------Normal Scheduled 25s default-scheduler Successfully assigned kubernetes-dashboard/kubernetes-dashboard-6948fdc5fd-7szc9 to 192.168.31.112Normal SandboxChanged 23s kubelet Pod sandbox changed, it will be killed and re-created.Normal BackOff 20s (x3 over 22s) kubelet Back-off pulling image "harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0"Warning Failed 20s (x3 over 22s) kubelet Error: ImagePullBackOffNormal Pulling 9s (x2 over 24s) kubelet Pulling image "harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0"Warning Failed 9s (x2 over 24s) kubelet Failed to pull image "harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0": rpc error: code = Unknown desc = Error response from daemon: Get "https://harbor.intra.com/v2/": x509: certificate signed by unknown authorityWarning Failed 9s (x2 over 24s) kubelet Error: ErrImagePull
2. 排查思路
这个故障明显是由于node节点拉取harbor中镜像失败造成.那么可能的原因就是以下几点,我们对此一一排查
- harbor.intra.com解析错误或者服务器没有启动,使用ping命令排查
- harbor.intra.com上harbor服务异常造成,使用网页浏览或者curl命令排查
- node节点到harbor身份验证异常,docker login检查.检查daemon.json和config.json
2.1 ping harbor
直接到node2节点ping
root@k8s-node-2:~# ping harbor.intra.com -c 3
PING harbor.intra.com (192.168.31.189) 56(84) bytes of data.
64 bytes from harbor.intra.com (192.168.31.189): icmp_seq=1 ttl=64 time=0.249 ms
64 bytes from harbor.intra.com (192.168.31.189): icmp_seq=2 ttl=64 time=1.36 ms
64 bytes from harbor.intra.com (192.168.31.189): icmp_seq=3 ttl=64 time=0.108 ms
现在确定ping是正常的,那么至少服务器我们开了
2.2 检查harbor服务是否正常
用curl测试下harbor是否通
root@k8s-node-2:~# curl https://harbor.intra.com/harbor -k
<!doctype html>
<html><head><meta charset="utf-8"><title>Harbor</title><base href="/"><meta name="viewport" content="width=device-width, initial-scale=1"><link rel="icon" type="image/x-icon" href="favicon.ico?v=2"><link rel="preload" as="style" href="./light-theme.css?buildTimestamp=1639627836207"><link rel="preload" as="style" href="./dark-theme.css?buildTimestamp=1639627836207">
<link rel="stylesheet" href="styles.e71e5822ddf4adf262c4.css"></head>
<body><harbor-app><div class="spinner spinner-lg app-loading app-loading-fixed">Loading...</div></harbor-app>
<script src="runtime.5ed5a3869dd69991407a.js" defer></script><script src="polyfills.a5e9bc0ea6dbbbdc0878.js" defer></script><script src="scripts.fc1928a0f22676249790.js" defer></script><script src="main.8b949aee92f43fe7c3ab.js" defer></script></body>
这里我们确认了harbor服务是正常的,通过网页也能访问到
2.3 docker login harbor
此时发生了报错,明显是验证失败了.且失败原因是没有授权的仓库造成的.
root@k8s-node-2:~# docker login https://harbor.intra.com
Password: ting with existing credentials...
Error: Password Requiredrror: Error response from daemon: Get "https://harbor.intra.com/v2/": x509: certificate signed by unknown authority
那么我们到node1上试下是否登录harbor成功
root@k8s-node-1:~# docker login https://harbor.intra.com
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-storeLogin Succeeded
那么我们将node1的/etc/docker/daemon.json同步到node2上
root@k8s-node-1:~# scp /etc/docker/daemon.json 192.168.31.112:/etc/docker/daemon.json
root@192.168.31.112's password:
daemon.json
再到node2上重启docker服务,此时可以看到授权的镜像仓库里有了https://harbor.intra.com/
root@k8s-node-2:~# systemctl restart docker
root@k8s-node-2:~# docker info |tail -10
WARNING: No swap limit support
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabledInsecure Registries:127.0.0.0/8192.168.31.0/24Registry Mirrors:https://docker.mirrors.ustc.edu.cn/http://hub-mirror.c.163.com/https://harbor.intra.com/https://192.168.31.189/Live Restore Enabled: true
3. 解决
尝试再次登录harbor并拉取镜像
root@k8s-node-2:~# docker login https://harbor.intra.com
Authenticating with existing credentials...
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-storeLogin Succeeded
root@k8s-node-2:~# docker pull harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0
v2.4.0: Pulling from baseimages/kubernetesui/dashboard
Digest: sha256:2d2ac5c357a97715ee42b2186fda39527b826fdd7df9f7ade56b9328efc92041
Status: Image is up to date for harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0
harbor.intra.com/baseimages/kubernetesui/dashboard:v2.4.0
此时dashboard pod状态也变成了Running
root@k8s-master-01:~# kubectl get pod -n kubernetes-dashboard
NAME READY STATUS RESTARTS AGE
dashboard-metrics-scraper-6848d4dd7d-g7k6b 1/1 Running 4 (49m ago) 226d
kubernetes-dashboard-6948fdc5fd-7szc9 1/1 Running 0 6m2s
相关文章：
K8s Error: ImagePullBackOff 故障排除
Error: ImagePullBackOff 故障排除 1. 起因 起因是要在一组k8s环境下做个Prometheus的测试,当时虚拟机用完直接暂停了. 启动完master和node节点后重启了这些节点. 当检查dashboard时候发现Pod处于ImagePullBackOff状态,使用命令查看详细情况 kubectl describe pods -n kuber…...
爬虫之爬虫介绍、requests模块、携带请求参数、url 编码和解码、携带请求头
爬虫介绍 爬虫是什么？ 网页蜘蛛，网络机器人，spider在互联网中 通过 程序 自动的抓取数据 的过程根上：使用程序 模拟发送http请求 ⇢ \dashrightarrow ⇢ 得到http响应 ⇢ \dashrightarrow ⇢ 把响应的数据解析出来 ⇢ \dashr…...
pytorch笔记：split
torch.split 是 PyTorch 中的一个函数，用于将张量按指定的大小或张量数量进行分割 1 基本使用方法 torch.split(tensor, split_size_or_sections, dim0)tensor要分割的输入张量split_size_or_sections以是整数或整数列表。 如果是整数，那么它表示每个分…...
K8S运维 解决openjdk:8-jdk-alpine镜像时区和字体问题
目录 一、问题 二、解决 三、完整代码 一、问题 由于项目的Dockerfile中使用openjdk:8-jdk-alpine作为基础镜像来部署服务，此镜像存在一定问题，例如时差8小时问题，或是由于字体问题导致导出excel文件，图片处理内容为空等。 二…...
Kubectl详解（陈述式、声明式）
目录 1、陈述式资源管理方法 1.1 基本信息查看 1.2 项目的生命周期：创建-->发布-->更新-->回滚-->删除 1.3 金丝雀发布（Canary Release） 2、声明式管理方法 1、陈述式资源管理方法 1.kubernetes 集群管理集群资源的唯一入口是…...
使用HttpClient库的爬虫程序
使用HttpClient库的爬虫程序，该爬虫使用C#来抓取内容。 using System; using System.Net.Http; using System.Threading.Tasks; namespace CrawlerProgram {class Program{static void Main(string[] args){// 创建HttpClient对象using (HttpClient client new…...
VSIX：C#项目 重命名所有标识符（Visual Studio扩展开发）
出于某种目的（合法的，真的合法的，合同上明确指出可以这样做），我准备了一个重命名所有标识符的VS扩展，用来把一个C#库改头换面，在简单的测试项目上工作很满意，所有标识符都被准确替换…...
【CSDN 每日一练 ★★☆】【动态规划】最小路径和
【CSDN 每日一练 ★★☆】【动态规划】最小路径和 动态规划 题目 给定一个包含非负整数的 m x n 网格 grid ，请找出一条从左上角到右下角的路径，使得路径上的数字总和为最小。 说明：每次只能向下或者向右移动一步。 示例 示例 1&#x…...
前端学习之webpack的使用
概述 webpack是一个流行的前端项目构建工具（打包工具），可以解决当前web开发中所面临的问题。 webpack提供了友好的模块化支持，以及代码压缩混淆、处理js兼容问题、性能优化等强大的功能，从而让程序员把工作重心放到具…...
【java学习—十一】泛型（1）
文章目录 1. 为什么要有泛型Generic2. 泛型怎么用2.1. 泛型类2.2. 泛型接口2.3. 泛型方法 3. 泛型通配符3.1. 通配符3.2. 有限制的通配符 1. 为什么要有泛型Generic 泛型，JDK1.5新加入的，解决数据类型的安全性问题，其主要原理是在类声明时通过…...
CN考研真题知识点二轮归纳（4）
持续更新，上期目录： CN考研真题知识点二轮归纳（4）https://blog.csdn.net/jsl123x/article/details/134135134?spm1001.2014.3001.5501 1.既可以扩展网段又是二层的设备 网段一般指一个计算机网络中使用同一物理层设备ÿ…...
ROS学习笔记（4）：ROS架构和通讯机制
前提 前4篇文章以及帮助大家快速入门ROS了，而从第5篇开始我们会更加注重知识积累。同时我强烈建议配合B站大学的视频一起服用。 1.ROS架构三层次： 1.基于Linux系统的OS层； 2.实现ROS核心通信机制以及众多机器人开发库的中间层；…...
深度新闻稿件怎么写？新闻稿怎么写得有深度？
深度新闻稿件，顾名思义，是对新闻事件进行深入挖掘和分析的稿件。它不仅仅是对事件的简单报道，更注重对事件背后的社会现象、原因、影响等方面进行深度剖析，从而使读者能够全面、深入地了解事件。这种稿件要求作者具备较高的新闻敏…...
百度智能云千帆大模型平台黑客马拉松报名开启！
比赛简介 创造是生成式 AI 的核心。无论是智能导购带来的线上购物体验升级，还是主图生成带来的素材生产效率提升，又或是游戏场景的快速设置、智能 NPC 的全新交互、数字广告的精准推荐和个性化定制，亦或者是为学生提供更符合真实的口语练习环…...
数据库 | 看这一篇就够了！最全MySQL数据库知识框架！
大家好！ 作为一名程序员，每天和各种各样的“数据库”打交道，已经成为我们的日常。当然，立志成为一名超级架构师的我，肯定要精通这项技能。咳咳！不过饭还是要一口一口吃的，“数据库”这个内容实在…...
Android 控件背景实现发光效果
主要实现的那种光晕效果：中间亮，四周逐渐变淡的。 这边有三种发光效果，先上效果图。 第一种、圆形发光体 实现代码：新建shape_light.xml，导入以下代码。使用时，直接给view设置为background。 <?xml …...
安全狗亮相厦门市工信领域数据安全宣贯培训会
10月31日，厦门市工业和信息化局（市大数据管理局）顺利举办厦门市工信领域数据安全宣贯培训。 作为国内云原生安全领导厂商，安全狗以厦门市工业领域数据安全管理支撑单位身份受邀出席此次会议。 据悉，此次活动旨在贯彻…...
最长回文子串
问题 给你一个字符串 s，找到 s 中最长的回文子串。 如果字符串的反序与原始字符串相同，则该字符串称为回文字符串。 示例 1： 输入：s "babad" 输出："bab" 解释："aba" 同…...
从瀑布模式到水母模式：ChatGPT引领软件研发的革新之路
ChatGPT引领软件研发的革新之路 概述操作建议本书优势 内容简介作者简介专家推荐读者对象目录直播预告写在末尾： 主页传送门：📀 传送 概述 计算机技术的发展和互联网的普及，使信息处理和传输变得更加高效，极大地改变了…...
一种使用wireshark快速分析抓包文件amr音频流的思路方法
解决方案： 1. 使用wireshark过滤amr,并导出原始数据文件； 2.使用ue的二进制编辑模式，编辑该文件，添加amr头，6个字节数据“#!AMR”，字节数据为 23 21 41 4D 52 0A 3.修正格式：通过抓包发现&#…...
python/java环境配置
环境变量放一起 python： 1.首先下载Python Python下载地址：Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个，然后自定义，全选 可以把前4个选上 3.环境配置 1）搜高级系统设置 2…...
el-switch文字内置
el-switch文字内置 效果 vue <div style"color:#ffffff;font-size:14px;float:left;margin-bottom:5px;margin-right:5px;">自动加载</div> <el-switch v-model"value" active-color"#3E99FB" inactive-color"#DCDFE6"…...
vue3 字体颜色设置的多种方式
在Vue 3中设置字体颜色可以通过多种方式实现，这取决于你是想在组件内部直接设置，还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法： 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...
LLM基础1_语言模型如何处理文本
基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 工具介绍 tiktoken：OpenAI开发的专业"分词器" torch：Facebook开发的强力计算引擎，相当于超级计算器 理解词嵌入：给词语画"…...
VM虚拟机网络配置（ubuntu24桥接模式）：配置静态IP
编辑-虚拟网络编辑器-更改设置 选择桥接模式，然后找到相应的网卡（可以查看自己本机的网络连接） windows连接的网络点击查看属性 编辑虚拟机设置更改网络配置，选择刚才配置的桥接模式 静态ip设置： 我用的ubuntu24桌…...
R语言速释制剂QBD解决方案之三
本文是《Quality by Design for ANDAs: An Example for Immediate-Release Dosage Forms》第一个处方的R语言解决方案。 第一个处方研究评估原料药粒径分布、MCC/Lactose比例、崩解剂用量对制剂CQAs的影响。 第二处方研究用于理解颗粒外加硬脂酸镁和滑石粉对片剂质量和可生产…...
【学习笔记】erase 删除顺序迭代器后迭代器失效的解决方案
目录 使用 erase 返回值继续迭代使用索引进行遍历 我们知道类似 vector 的顺序迭代器被删除后，迭代器会失效，因为顺序迭代器在内存中是连续存储的，元素删除后，后续元素会前移。 但一些场景中，我们又需要在执行删除操作…...
SQL注入篇-sqlmap的配置和使用
在之前的皮卡丘靶场第五期SQL注入的内容中我们谈到了sqlmap，但是由于很多朋友看不了解命令行格式，所以是纯手动获取数据库信息的 接下来我们就用sqlmap来进行皮卡丘靶场的sql注入学习，链接：https://wwhc.lanzoue.com/ifJY32ybh6vc…...
生产管理系统开发：专业软件开发公司的实践与思考
生产管理系统开发的关键点 在当前制造业智能化升级的转型背景下，生产管理系统开发正逐步成为企业优化生产流程的重要技术手段。不同行业、不同规模的企业在推进生产管理数字化转型过程中，面临的挑战存在显著差异。本文结合具体实践案例，分析…...
Go 并发编程基础：select 多路复用
select 是 Go 并发编程中非常强大的语法结构，它允许程序同时等待多个通道操作的完成，从而实现多路复用机制，是协程调度、超时控制、通道竞争等场景的核心工具。 一、什么是 select select 类似于 switch 语句，但它用于监听多个通…...