当前位置: 首页 > article >正文

问题描述:Registry 中存储的镜像数量过多,占用了大量磁盘空间,最终导致磁盘使用率达到 100%,造成服务异常(如无法推送新镜像、拉取镜像超时等)。

解决方案代码逻辑查询待清理镜像从数据库获取所有已标记为软删除is_deleted 1且创建时间超过指定天数的镜像记录生成待清理清单。安全检查对于每个待清理镜像通过 Registry API 获取其 manifest digest并检查该 digest 是否被多个 tag 引用。只有当引用数为 1即该 manifest 仅被当前 tag 使用时才执行删除操作避免误删仍被其他 tag 依赖的镜像。删除 manifest调用 Registry API 的DELETE /v2/name/manifests/digest接口删除镜像的 manifest 文件。释放存储空间删除 manifest 后镜像的底层层blob并不会立即删除。需要手动运行 Registry 自带的垃圾回收GC命令根据引用计数清理不再被任何 manifest 引用的 blob从而真正释放磁盘空间。共享层保护如果多个镜像共享相同的基础层删除其中一个镜像的 manifest 不会影响其他镜像对该基础层的引用。GC 执行时会保留引用计数大于 0 的 blob确保共享层不被误删。总结删除操作删除的是manifest 文件相当于镜像的目录清单不是直接删层blob。手动 GC才会真正删除不再被任何 manifest 引用的 blob。Registry 维护引用计数每个 blob 被哪些 manifest 引用。共享层如基础层 L只要还有至少一个 manifest 引用它GC 就不会删除它。每层有唯一的内容摘要digest。整个镜像也有一个唯一的 digest即 manifest digest。完整代码import pymysqlfrom datetime import datetime, timedeltaimport requestsimport loggingimport argparseimport os# Registry 配置请根据实际环境修改registry_url http://your-registry-host:portregistry_host your-registry-host:portdef setup_logger():logger logging.getLogger(image_cleanup)logger.setLevel(logging.DEBUG)# 清除旧的 handler 防止重复if logger.hasHandlers():logger.handlers.clear()file_handler logging.FileHandler(image_cleanup.log, encodingutf-8)file_handler.setLevel(logging.DEBUG)console_handler logging.StreamHandler()console_handler.setLevel(logging.INFO)formatter logging.Formatter(%(asctime)s - %(levelname)s - %(message)s)file_handler.setFormatter(formatter)console_handler.setFormatter(formatter)logger.addHandler(file_handler)logger.addHandler(console_handler)return loggerlogger setup_logger()def connect_to_db():try:conn pymysql.connect(hostyour-db-host,useryour-db-user,passwordyour-db-password,databaseyour-db-name,charsetutf8mb4)return connexcept Exception as e:logger.error(fFailed to connect to the database: {e})exit(1)def query_images(days):conn connect_to_db()cursor conn.cursor()query SELECT name, project_name,DATE_ADD(create_time, INTERVAL 8 HOUR) as adjusted_create_time,user_name, real_tagFROM imageWHERE is_deleted 1params []if days 0:date_threshold datetime.now() - timedelta(daysdays)date_threshold_str date_threshold.strftime(%Y-%m-%d %H:%M:%S)query AND create_time %sparams.append(date_threshold_str)try:cursor.execute(query, params)results cursor.fetchall()except Exception as e:logger.error(fFailed to execute query: {e})results []finally:cursor.close()conn.close()return resultsdef get_tag_digest(repo, tag):url f{registry_url}/v2/{repo}/manifests/{tag}headers {Accept: application/vnd.docker.distribution.manifest.v2json, application/vnd.oci.image.manifest.v1json}try:resp requests.get(url, headersheaders, timeout5)if resp.status_code 200:return resp.headers.get(Docker-Content-Digest)else:logger.debug(fGet digest failed for {repo}:{tag}, status: {resp.status_code})except Exception as e:logger.error(fRequest error for {repo}:{tag}: {e})return Nonedef get_all_tags(repo):url f{registry_url}/v2/{repo}/tags/listtry:resp requests.get(url, timeout5)if resp.status_code 200:return resp.json().get(tags, [])except Exception as e:logger.error(fFailed to get tags for {repo}: {e})return []def get_digest_reference_count(repo, digest):if not digest: return 0tags get_all_tags(repo)count 0for tag in tags:if get_tag_digest(repo, tag) digest:count 1return countdef safe_delete_image(repo, tag):logger.info(fAttempting to delete: {repo}:{tag})digest get_tag_digest(repo, tag)if not digest:logger.warning(fCannot get digest for {repo}:{tag}, skipping.)return False# 检查是否有其他标签引用同一个镜像层ref_count get_digest_reference_count(repo, digest)if ref_count 1:logger.warning(fDigest {digest} is referenced by {ref_count} tags, skipping deletion of {repo}:{tag})return False# 执行删除delete_url f{registry_url}/v2/{repo}/manifests/{digest}logger.debug(fDelete URL: {delete_url})try:resp requests.delete(delete_url)if resp.status_code in (200, 202):return Trueelse:logger.error(fDelete API returned status {resp.status_code}: {resp.text})return Falseexcept Exception as e:logger.error(fDelete request failed: {e})return Falsedef parse_image_string(full_image_string):解析类似 your-registry-host:port/my-nginx:v1.0 的字符串返回 (repo, tag)try:# 1. 去掉可能存在的协议头 (http://)if full_image_string.startswith(http):full_image_string full_image_string.split(//, 1)[1]# 2. 分割 域名/仓库路径if / not in full_image_string:return None, None_, path_part full_image_string.split(/, 1)# 3. 分割 仓库名标签if : not in path_part:return path_part, latestrepo, tag path_part.rsplit(:, 1)return repo, tagexcept Exception as e:logger.error(fFailed to parse image string {full_image_string}: {e})return None, Nonedef main():parser argparse.ArgumentParser(descriptionImage Cleanup Script)parser.add_argument(action, choices[list, rm], helpAction to perform: list or rm)parser.add_argument(param, helpDays for list or file path for rm)args parser.parse_args()if args.action list:days int(args.param)results query_images(days)with open(output.txt, w, encodingutf-8) as file:for row in results:name, project_name, adjusted_create_time, user_name, real_tag rowrepository nametag real_tagname_with_prefix f{registry_host}/{repository}:{tag}line \t.join([name_with_prefix, str(project_name), str(adjusted_create_time), str(user_name)])file.write(line \n)logger.info(fListed image: {name_with_prefix})elif args.action rm:file_path args.paramif not os.path.isfile(file_path):logger.error(fFile not found: {file_path})returnwith open(file_path, r, encodingutf-8) as file:for line in file:line line.strip()if not line:continueparts line.split(\t)full_image parts[0]logger.debug(fProcessing line: {line})logger.debug(fExtracted image: {full_image})repository, tag parse_image_string(full_image)if not repository or not tag:logger.warning(fInvalid image format in line: {line})continueif safe_delete_image(repository, tag):logger.info(fSuccessfully deleted: {full_image})else:logger.warning(fFailed to delete: {full_image})if __name__ __main__:main()

相关文章:

问题描述:Registry 中存储的镜像数量过多,占用了大量磁盘空间,最终导致磁盘使用率达到 100%,造成服务异常(如无法推送新镜像、拉取镜像超时等)。

解决方案代码逻辑:查询待清理镜像:从数据库获取所有已标记为软删除(is_deleted 1)且创建时间超过指定天数的镜像记录,生成待清理清单。安全检查:对于每个待清理镜像,通过 Registry API 获取其 …...

用C语言和EasyX库写一个五子棋,我踩过的这些坑你别再踩了

用C语言和EasyX库写五子棋:那些教科书不会告诉你的实战陷阱 第一次用EasyX库写五子棋时,我以为三天就能搞定,结果花了三周时间调试各种奇葩问题。坐标计算差1个像素导致棋子永远对不齐、鼠标点击识别区域偏差、二维数组越界导致程序崩溃...这…...

AI 工程化实战:从零手搓代码,这一次彻底搞懂MCP!卵

简介 langchain中提供的chain链组件,能够帮助我门快速的实现各个组件的流水线式的调用,和模型的问答 Chain链的组成 根据查阅的资料,langchain的chain链结构如下: $$Input \rightarrow Prompt \rightarrow Model \rightarrow Outp…...

RAG——RAG向量数据库原理与常用向量库

目录 一、向量数据库的分类二、为什么需要向量数据库 2.1、什么场景下该选择什么样的数据库2.2、向量数据库的主要优势 三、向量数据库是如何工作的 3.1、向量数据库的核心3.2、 向量数据库的索引结构3.3、向量数据库的搜索机制3.4、向量数据库的工作流程3.5、向量数据库的主要…...

OpenClaw备份同步方案:Qwen3-14b_int4_awq配置跨设备无缝迁移

OpenClaw备份同步方案:Qwen3-14b_int4_awq配置跨设备无缝迁移 1. 为什么需要OpenClaw环境同步? 去年冬天,我在办公室调试了一个完美的OpenClaw工作流——用Qwen3-14b模型自动整理技术文档并生成周报。但当我回到家想继续工作时,…...

星图GPU云主机体验:OpenClaw镜像+Qwen3-32B极速部署指南

星图GPU云主机体验:OpenClaw镜像Qwen3-32B极速部署指南 1. 为什么选择云主机部署OpenClaw 去年冬天,当我第一次尝试在本地笔记本上部署OpenClaw时,经历了整整两天的环境配置噩梦。从CUDA版本冲突到Python依赖地狱,最终在耗尽耐心…...

Ecqlipse32:车规级嵌入式LCD显示驱动框架

1. 项目概述Ecqlipse32 是一款专为大众汽车集团 CARIAD 车载信息娱乐系统(IVI)平台定制开发的嵌入式 TFT-LCD 显示驱动框架,面向基于 ARM Cortex-M 系列微控制器(特别是 STM32H7 和 NXP i.MX RT117x 等高性能 MCU)的车…...

双目视觉实战:如何用OpenCV和Python实现简易3D建模(附完整代码)

双目视觉实战:如何用OpenCV和Python实现简易3D建模(附完整代码) 当你第一次看到3D电影中跃然眼前的画面,或是用手机扫描物体生成三维模型时,是否好奇过这背后的技术原理?双目视觉技术正是实现这些酷炫效果的…...

为什么鸿蒙多端游戏是未来趋势?

网罗开发(小红书、快手、视频号同名)大家好,我是 展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、Harmony OS、Java、Python等方…...

打卡信奥刷题(3080)用C++实现信奥题 P7057 [NWRRC 2015] Journey to the “The World’s Start”

P7057 [NWRRC 2015] Journey to the “The World’s Start” 题目描述 Jerry Prince 是一名四年级学生,他去 New-Lodnon 参观最受欢迎的游乐园 “The World’s Start”。 他到达的机场就在地铁线的第一站旁边。这条地铁线有 nnn 个站点,“The World’s S…...

2026最值得投入学习的5个AI细分领域

AI重塑测试行业的转折点2026年,AI已从辅助工具进化为软件测试的核心驱动力。随着两会“深化拓展人工智能”战略的推进,测试工程师面临角色重构:从用例执行者转型为AI策略师。本文基于行业技术轨迹与人才需求,结合测试场景特殊性&a…...

飞牛NAS部署小雅Emby全家桶时遇到端口冲突?手把手教你修改迅雷端口

1. 端口冲突问题现象分析 最近在飞牛NAS上部署小雅Emby全家桶时,不少用户反馈会遇到容器启动失败的情况。经过排查发现,这通常是由于小雅Emby默认使用的2345端口与迅雷的默认端口冲突导致的。具体表现为:当尝试启动小雅Emby容器时&#xff0c…...

WPF 进阶之路:从 MVVM 到企业级应用的架构与实战

1. MVVM 模式在企业级应用中的深度实践 很多刚接触WPF的开发者都会觉得MVVM模式很抽象,我第一次用的时候也是一头雾水。直到接手了一个电商后台管理系统项目,才真正体会到MVVM的价值。这个项目有30多个页面,如果按照传统事件驱动的方式开发&a…...

Linux异步IO驱动开发实战与优化

1. Linux异步IO驱动开发实战作为一名在Linux驱动开发领域摸爬滚打多年的工程师,我经常遇到需要处理高并发IO的场景。传统的阻塞式IO会导致线程挂起,而非阻塞轮询又浪费CPU资源。今天要分享的异步IO(AIO)技术,可以说是解…...

UnifiedLog:嵌入式统一日志框架设计与实践

1. UnifiedLog:面向嵌入式系统的统一日志框架设计与工程实践在资源受限的嵌入式系统开发中,调试信息输出长期面临协议割裂、接口冗余、资源争用和维护成本高等现实问题。典型场景下,开发者往往需为串口(UART)、MQTT、L…...

离线知识问答:OpenClaw本地部署百川2-13B-4bits量化模型+私有文档库

离线知识问答:OpenClaw本地部署百川2-13B-4bits量化模型私有文档库 1. 为什么选择本地化知识问答方案 去年我在处理公司内部技术文档时遇到一个典型痛点:每次查询API规范或架构设计文档,要么需要翻找十几层文件夹,要么得在公共知…...

微软发布的《生成式人工智能初学者.NET 第二版》课程浇

本课概览 Microsoft Agent Framework (MAF) 提供了一套强大的 Workflow(工作流) 框架,用于编排和协调多个智能体(Agent)或处理组件的执行流程。 本课将以通俗易懂的方式,帮助你理解 MAF Workflow 的核心概念…...

AI赋能学术写作:六种智能文献引用生成与管理策略

核心工具对比速览 工具名称 核心优势 适用场景 处理速度 AiBiye 智能识别引用格式,自动匹配规范 学术论文初稿 3-5秒/页 AiCheck 深度检测引用缺失,精准定位问题 论文终稿检查 10秒/篇 AskPaper 多语言引用规范支持 国际期刊投稿 5-8秒/页…...

设计文档评审——你的第一次防守反击

该文章同步至公众号OneChan 第一节:以“第一用户”和“系统侦探”的视角重新定义评审 评审设计文档,不是你理解他们设计得有多精妙,而是确保他们没给你埋下三个月后才会引爆的雷。 引子:一份“完美”文档背后的陷阱 我曾评审过一…...

C语言在嵌入式开发中的核心优势与实践

1. C语言为何历久弥新在嵌入式开发领域摸爬滚打十几年,我见过无数编程语言起起落落,唯独C语言始终屹立不倒。记得刚入行时,前辈就告诉我:"想搞嵌入式,先把C语言吃透。"当时不以为然,直到后来调试…...

DMA技术解析:提升嵌入式系统性能的关键

1. DMA技术概述:解放CPU的搬运工 DMA(Direct Memory Access)直接存储器访问技术,是现代嵌入式系统中提升性能的关键设计。我第一次在STM32项目中使用DMA传输时,实测发现ADC采样率从500kHz提升到2.1MHz,CPU占…...

华为OD技术面真题 - JAVA开发- spring框架 - 7

文章目录Spring中单例Bean会存在线程安全吗?如何保证单例Bean线程安全什么是循环依赖?Spring可以解决哪些类型的循环依赖Spring是如何解决循环依赖的Spring中单例Bean会存在线程安全吗? 分情况分状态讨论: 创建:spri…...

深入拆解ISP Pipeline:Tuning工程师如何像侦探一样排查图像问题?

深入拆解ISP Pipeline:Tuning工程师如何像侦探一样排查图像问题? 当一张照片出现偏色、噪点或细节丢失时,普通用户可能只会抱怨"拍得不好",而ISP Tuning工程师看到的却是一个待解的谜题。就像侦探通过蛛丝马迹还原案件真…...

从MD5到BCrypt:深入解析加密算法的选择与应用场景

1. 加密算法的基本分类与核心差异 第一次接触加密算法时,我被各种缩写搞晕了头。MD5、SHA、AES、RSA...这些看起来像天书的名词,其实可以分为几个清晰的类别。就像整理衣柜要分季节和用途一样,选择加密算法也需要先了解它们的本质区别。 所有…...

从网格到边界框:深入解析YOLO目标检测的回归思想

1. YOLO如何将目标检测转化为回归问题 我第一次接触YOLO算法时,最让我惊讶的是它把复杂的物体检测问题简化成了一个回归任务。这就像把"找东西"变成了"猜位置"的游戏。传统方法需要先找可能包含物体的区域,再对这些区域进行分类&…...

无障碍助手:OpenClaw利用Qwen3.5-9B实现屏幕阅读增强

无障碍助手:OpenClaw利用Qwen3.5-9B实现屏幕阅读增强 1. 为什么需要本地化的无障碍助手? 作为一名长期关注无障碍技术的开发者,我一直在寻找能够真正改善视障用户数字体验的解决方案。传统屏幕阅读器虽然成熟,但存在几个关键痛点…...

MySQL 主从延迟根因诊断法

📌 解决思路:从网络、IO、SQL 到参数,系统化定位高并发下的同步瓶颈 📌 适用版本:MySQL 5.7 / 8.0 📌 适用场景:高并发写入、主从延迟告警、从库追不上主库 目录 一、先量化延迟:别…...

旋转变压器:从电磁耦合到高精度位置解算的工程实践

1. 旋转变压器:工业自动化的"角度翻译官" 第一次接触旋转变压器是在五年前的伺服电机调试现场,当时电机总是出现位置漂移,排查了半天才发现是旋变信号解算出了问题。这种看似简单的电磁元件,实则是工业自动化系统中不可…...

高效掌握Equalizer APO:Windows音频增强与定制完全指南

高效掌握Equalizer APO:Windows音频增强与定制完全指南 【免费下载链接】equalizerapo Equalizer APO mirror 项目地址: https://gitcode.com/gh_mirrors/eq/equalizerapo 在数字音频体验日益重要的今天,拥有专业级的声音调控能力不再是音频工程师…...

0Ω电阻的工程应用与电流承载能力解析

1. 0Ω电阻的阻值真相作为一名硬件工程师,我经常遇到新手同事对0Ω电阻的阻值产生误解。实际上,0Ω电阻并非理想中的零阻抗,而是存在一定偏差范围的极小阻值电阻。根据EN60115-2国际电阻标准,0Ω电阻的最大允许偏差有三种规格&…...