计算机视觉常用数据集Foggy Cityscapes的介绍、下载、转为YOLO格式进行训练
我在寻找Foggy Cityscapes数据集的时候花了一番功夫,因为官网下载需要用公司或学校邮箱邮箱注册账号,等待审核通过后才能进行下载数据集。并且一开始我也并不了解Foggy Cityscapes的格式和内容是什么样的,现在我弄明白后写下这篇文章,用于记录和分享。后续我还会在这个专栏发布如何使用YOLOv5\v9\v10\v11系列进行自己数据集的训练,可以订阅一波专栏。
1、Foggy Cityscapes介绍
大雾城市景观Foggy Cityscapes (F):Foggy Cityscapes是由 Cityscapes 生成的合成数据集,它旨在模拟和研究自动驾驶车辆在雾天条件下的性能,有三个级别的大雾天气(0.005,0.01,0.02),从轻微的雾到浓厚的雾,分别对应于600,300和150米的能见度范围。并且Foggy Cityscapes 保留了 Cityscapes 数据集的详细标注信息;同样的,数据集中的图像分辨率为1024x2048,涵盖了30多个类别,包括车辆、行人、建筑物、道路等城市街景中常见的物体和场景;但常用8个类别:
classes = ['car', 'person', 'rider', 'truck', 'bus', 'train', 'motorcycle', 'bicycle']。
Cityscapes 的一张原图对应到foggy_cityscapes中有3张图,β=[0.005,0.01,0.02],分别进行转换可以得到3个foggy_cityscapes数据集。

由于雾天条件下的能见度降低,图像中的许多目标会变得模糊不清,这对计算机视觉检测来说是一个挑战。Foggy Cityscapes 为研究人员提供了一个测试和改进他们算法的机会,以提高在恶劣条件下算法的鲁棒性和准确性。
2、下载
官网下载地址:Cityscapes Dataset – Semantic Understanding of Urban Street Scenes
从官网下载这个压缩包文件:leftImg8bit_trainvaltest_foggy.zip
Foggy Cityscapes数据集只有图像,没有标注信息,因为和Cityscapes的标注是一模一样的。
由于在官网下载数据集需要公司或者学校邮箱申请注册,等待审核通过后才可以下载,所以我在结尾提供了网盘数据下载方式,已经全部处理好了,可以直接用于YOLO格式的目标检测。
3、划分数据集用于YOLO目标检测
经过我的处理,将三种可见度的图片beta=(0.005,0.01,0.02)分为了三个文件夹:

以最常用的beta=0.02为例子,打开后长这样:


4、图像标签命名统一化
和Cityscapes数据集一样,图像和标签的名称是不一样的,在使用YOLO检测的时候,如果两者名称不一样,那么读取图片后就找不到对应的labels。下载数据后,重命名并将路径改为如下格式:


由于原数据集三个可见度的图片都是在一个文件夹中,比如在路径为
'D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/leftImg8bit_trainvaltest_foggy/test'
的test文件夹下,berlin_000000_000019_leftImg8bit_foggy_beta_0.02.png、berlin_000000_000019_leftImg8bit_foggy_beta_0.01.png、berlin_000000_000019_leftImg8bit_foggy_beta_0.005.png都在一起,那么在读取数据的时候不太方便,所以将这三种不同可见度的图片分别转移到三个对应的文件夹下。
使用以下这段代码将数据集划分为三个可见度的文件夹下,记得修改自己的数据集路径,然后依次修改train、val、test就可以将原数据集中的图片转移到新文件夹下。
import os
import shutil# 定义源目录和目标目录
src_dir = 'D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/leftImg8bit_trainvaltest_foggy/test'
dest_dir_01 = 'D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/leftImg8bit_trainvaltest_foggy/images_beta_0.01/test'
dest_dir_02 = 'D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/leftImg8bit_trainvaltest_foggy/images_beta_0.02/test'
dest_dir_005 = 'D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/leftImg8bit_trainvaltest_foggy/images_beta_0.005/test'# 确保目标目录存在
os.makedirs(dest_dir_01, exist_ok=True)
os.makedirs(dest_dir_02, exist_ok=True)
os.makedirs(dest_dir_005, exist_ok=True)# 遍历源目录中的所有文件
for filename in os.listdir(src_dir):# 检查文件名是否包含beta值if 'beta_0.01' in filename:shutil.move(os.path.join(src_dir, filename), os.path.join(dest_dir_01, filename))elif 'beta_0.02' in filename:shutil.move(os.path.join(src_dir, filename), os.path.join(dest_dir_02, filename))elif 'beta_0.005' in filename:shutil.move(os.path.join(src_dir, filename), os.path.join(dest_dir_005, filename))print("Files have been moved successfully.")
然后将文件夹images_beta_0.01、images_beta_0.02、images_beta_0.005都重命名为
beta_0.01、beta_0.02、beta_0.005,这三个文件夹分别放的是图像和标签,如下图所示:




5、YOLO数据配置文件
如图,记得修改自己的数据集路径,数据路径不能有中文,否则就会报以下错误。
Dataset not found , missing paths ['D:\\\\\\\\YOLO\\images\\val'] Traceback (most recent call last): File "E:\pythonCode\ObjectDetection\yolov9-main\train_dual.py", line 644, in <module> main(opt) File "E:\pythonCode\ObjectDetection\yolov9-main\train_dual.py", line 538, in main train(opt.hyp, opt, device, callbacks) File "E:\pythonCode\ObjectDetection\yolov9-main\train_dual.py", line 97, in train data_dict = data_dict or check_dataset(data) # check if None File "E:\pythonCode\ObjectDetection\yolov9-main\utils\general.py", line 537, in check_dataset raise Exception('Dataset not found ❌') Exception: Dataset not found ❌

path: D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/beta_0.02
train: D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/beta_0.02/images/train
val: D:/Deep_Learning_DataSet/Object_Detection_DataSet/Foggy_Cityscapes/beta_0.02/images/val
#test: test-dev2017.txt
# Classes
names:0: car1: person2: rider3: truck4: bus5: train6: motorcycle7: bicycle
6、结果可视化
运行以下代码,将图片与对应的标注信息结合,得到带有目标边界框的图像,不要忘记修改地址
import cv2
import os# 图片路径
image_path = '../beta_0.02/images/train/aachen_000010_000019_leftImg8bit_foggy_beta_0.02.png'
# YOLO注释文件路径
annotation_path = '../beta_0.02/labels/train/aachen_000010_000019_leftImg8bit_foggy_beta_0.02.txt'# 读取YOLO注释文件
with open(annotation_path, 'r') as file:lines = file.readlines()# 读取图片
image = cv2.imread(image_path)
# 禁用窗口缩放
cv2.namedWindow('Image with Bounding Boxes', cv2.WINDOW_NORMAL)# 类别名称列表
# class_names = ['car', 'person', 'rider', 'truck', 'bus', 'train', 'motorcycle', 'bicycle']
# 类别名称与ID的映射字典
class_dict = {0: 'car', 1: 'person', 2: 'rider', 3: 'truck', 4: 'bus', 5: 'train', 6: 'motorcycle', 7: 'bicycle'}
# 绘制边界框和类别标签
for line in lines:parts = line.strip().split()class_id = int(parts[0])print(f"class_id:{class_id}")x_center = float(parts[1])y_center = float(parts[2])width = float(parts[3])height = float(parts[4])# 将归一化的坐标转换为像素坐标x_min = int((x_center - width / 2) * image.shape[1])y_min = int((y_center - height / 2) * image.shape[0])x_max = int((x_center + width / 2) * image.shape[1])y_max = int((y_center + height / 2) * image.shape[0])# 获取类别名称class_name = class_dict[class_id]# 绘制边界框cv2.rectangle(image, (x_min, y_min), (x_max, y_max), (0, 255, 0), 2)# 绘制类别标签cv2.putText(image, class_name, (x_min, y_min - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)print(image.shape)
# 显示图片
cv2.imshow('Image with Bounding Boxes', image)
cv2.waitKey(0)
cv2.destroyAllWindows()
效果如下所示:


7、使用YOLOv9-m进行训练
我的GPU是4060Laptop,8GB显存,使用YOLOv9-m,batchsize=4,刚好可以训练,再多就爆显存了。2975训练集、500验证集。

8、个人下载方式
通过百度网盘分享的文件:Foggy_Cityscapes
链接:https://pan.baidu.com/s/1NgOw9MjW3pMwEO7WAowP8Q?pwd=4ekd
提取码:4ekd
如果链接失效了,评论区告诉我一声哈。
相关文章:
计算机视觉常用数据集Foggy Cityscapes的介绍、下载、转为YOLO格式进行训练
我在寻找Foggy Cityscapes数据集的时候花了一番功夫,因为官网下载需要用公司或学校邮箱邮箱注册账号,等待审核通过后才能进行下载数据集。并且一开始我也并不了解Foggy Cityscapes的格式和内容是什么样的,现在我弄明白后写下这篇文章…...
css中的样式穿透
1. >>> 操作符 <style scoped> /* 影响子组件的样式 */ .parent >>> .child {color: red; } </style>注意:>>> 操作符在某些预处理器(如Sass)中可能无法识别,因为它不是标准的CSS语法。 …...
MMCA:多模态动态权重更新,视觉定位新SOTA | ACM MM‘24 Oral
来源:晓飞的算法工程笔记 公众号,转载请注明出处 论文: Visual Grounding with Multi-modal Conditional Adaptation 论文地址:https://arxiv.org/abs/2409.04999论文代码:https://github.com/Mr-Bigworth/MMCA 创新点 提出了多模…...
linux同步执行命令脚本 (xcall)
linux同步执行命令脚本 (xcall) 1、在/usr/local/bin目录下 创建xcall文件 vim /usr/local/bin/xcall2、输入内容 #!/bin/bash # 获取控制台指令 判断指令是否为空 pcount$# if((pcount0)); thenecho "command can not be null !"exit fifor host in bigdata01 …...
opencv - py_imgproc - py_grabcut GrabCut 算法提取前景
文章目录 使用 GrabCut 算法进行交互式前景提取目标理论演示 使用 GrabCut 算法进行交互式前景提取 目标 在本章中 我们将了解 GrabCut 算法如何提取图像中的前景我们将为此创建一个交互式应用程序。 理论 GrabCut 算法由英国剑桥微软研究院的 Carsten Rother、Vladimir K…...
ChatGPT多模态命名实体识别
ChatGPT多模态命名实体识别 ChatGPT辅助细化知识增强!一、研究背景二、模型结构和代码任务流程第一阶段:辅助精炼知识启发式生成第二阶段:基于…...
04-Dubbo的通信协议
04-Dubbo的通信协议 Dubbo 支持的通信协议 Dubbo 框架提供了自定义的高性能 RPC 通信协议: 基于 TCP 的 Dubbo2 协议 基于 HTTP/2 的 Triple 协议 Dubbo 框架是不和任何通信协议绑定的,对通信协议的支持非常灵活,支持任意的第三方协议&#x…...
开源数据库 - mysql - innodb源码阅读 - 线程启动
线程启动源码 /** Start up the InnoDB service threads which are independent of DDL recovery.*/void srv_start_threads() {if (!srv_read_only_mode) {/* Before 8.0, it was master thread that was doing periodicalcheckpoints (every 7s). Since 8.0, it is the log …...
在美团外卖上抢券 Python来实现
在美团外卖上抢券的 Python 实现 在如今的互联网时代,自动化脚本已经成为了许多用户生活中不可或缺的工具。尤其是在购物、抢券等场景中,自动化脚本能够帮助我们节省大量的时间和精力。今天,我们将一起探索如何使用 Python 编写一个简单的脚…...
【ONLYOFFICE 文档 8.2 版本深度测评】功能革新与用户体验的双重飞跃
引言 在数字化办公的浪潮中,ONLYOFFICE 文档以其强大的在线协作功能和全面的办公套件解决方案,赢得了全球用户的青睐。随着 8.2 版本的发布,ONLYOFFICE 再次证明了其在办公软件领域的创新能力和技术实力。 一.协作编辑 PDF:团队合…...
npm入门教程18:npm发布npm包
一、准备工作 注册npm账号: 前往npm官网注册一个账号。注册过程中需要填写个人信息,并完成邮箱验证。 安装Node.js和npm: 确保你的计算机上已安装Node.js和npm。Node.js的安装包中通常包含了npm。你可以通过运行node -v和npm -v命令来检查它…...
VueSSR详解 VueServerRenderer Nutx
SSR Vue中的SSR(Server-Side Rendering,服务器端渲染)是一种将页面的渲染工作从客户端转移到服务器端的技术。以下是对Vue中SSR的详细解释: 一、SSR的工作原理 在传统的客户端渲染(CSR)中,页面的…...
构建您自己的 RAG 应用程序:使用 Ollama、Python 和 ChromaDB 在本地设置 LLM 的分步指南
在数据隐私至关重要的时代,建立自己的本地语言模型 (LLM) 为公司和个人都提供了至关重要的解决方案。本教程旨在指导您完成使用 Ollama、Python 3 和 ChromaDB 创建自定义聊天机器人的过程,所有这些机器人都托管在您的系统本地。以…...
谷歌浏览器安装axure插件
1.在生成静态原型页面的路径下,找到resources\chrome\axure-chrome-extension.crx,这就是需要的插件了。 2.将axure-chrome-extension.crx重命名成axure-chrome-extension.zip然后解压到指定的文件夹(这个文件夹不能删除, 例如解压到了扩展程…...
Java唯一键实现方案
数据唯一性 1、生成UUID1.1 代码中实现1.2 数据库中实现优点缺点 2、数据库递增主键优点 3、数据库递增序列3.1 创建序列3.2 使用序列优点缺点 在Java项目开发中,对数据的唯一性要求,业务数据入库的时候保持单表只有一条记录,因此对记录中要求…...
opencv - py_imgproc - py_canny Canny边缘检测
文章目录 Canny 边缘检测目标理论OpenCV 中的 Canny 边缘检测其他资源 Canny 边缘检测 目标 在本章中,我们将学习 Canny 边缘检测的概念用于该目的的 OpenCV 函数:cv.Canny() 理论 Canny 边缘检测是一种流行的边缘检测算法。它由 John F. Canny 于1…...
Spring Boot 创建项目详细介绍
上篇文章简单介绍了 Spring Boot(Spring Boot 详细简介!),还没看到的读者,建议看看。 下面,介绍一下如何创建一个 Spring Boot 项目,以及自动生成的目录文件作用。 Maven 构建项目 访问 http…...
70B的模型需要多少张A10的卡可以部署成功,如果使用vLLM
部署一个 70B 的模型(如 defog/sqlcoder-70b-alpha)通常需要考虑多个因素,包括模型的内存需求和你的 GPU 配置。 1. 模型内存需求 大约计算,一个 70B 参数的模型在使用 FP16 精度时大约需要 280 GB 的 GPU 内存。对于 A10 GPU&a…...
clickhouse配置用户角色与权限
首先找到user.xml文件,默认在/etc/clickhouse-server路径下 一、配置角色 找到标签定义 <aaaa><readonly>1</readonly><allow_dll>0</allow_dll> </aaaa>其中aaaa为角色名称,readonly为只读权限(0–代表…...
面试题整理 4
总结整理了某公司面试中值得记录的笔试和问到的问题和答案。 目录 PHP传值和传引用区别?什么情况下用传值?什么情况下用传引用? 传值 传引用 区别 选择传值还是传引用时 简述PHP的垃圾回收机制 二维数组排序 什么是CSRF攻击ÿ…...
技术管理者最痛:如何让团队从“要我做”变成“我要做”?
在软件测试领域,技术管理者常常陷入一种无形的焦虑:测试用例的执行越来越像机械的流水线,回归测试变成了纯粹的体力劳动,而探索性测试和深度质量分析这些真正有价值的活动,却总是无人主动认领。你尝试过推行自动化覆盖…...
VSCode调试STM32实战:解决Cortex-Debug插件配置JLink/OpenOCD时最常见的5个报错
VSCode调试STM32实战:破解Cortex-Debug插件五大经典报错 当你在深夜赶工STM32项目,按下F5期待调试器顺利启动时,终端却弹出鲜红的错误信息——这种挫败感每个嵌入式开发者都深有体会。本文不重复那些基础配置教程,而是直击VSCode…...
从零到一:基于STM32与MAX30102构建可穿戴健康监测原型
1. 硬件选型与原理分析 第一次接触MAX30102传感器时,我被它小巧的体积和强大的功能震撼到了。这个比指甲盖还小的芯片,居然能同时测量心率和血氧饱和度,这让我对可穿戴设备有了全新的认识。选择STM32F103作为主控,主要是看中它丰富…...
Flink 流处理核心算子深度剖析
一、ProcessFunction 与 MapFunction 区别 1、功能和区别 MapFunction:纯数据转换,一条进一条出,无状态、无时间、无侧输出,只能做简单映射。 ProcessFunction:全能处理,一条进可以 0/1/N 条出,支持状态、定时器、侧输出、访问时间,能实现复杂业务逻辑。 简单说:Map …...
React极简表单库veyra-forms:轻量级、类型安全的表单状态管理方案
1. 项目概述:一个被低估的轻量级表单解决方案在Web开发的世界里,表单处理是个既基础又麻烦的活儿。从简单的联系表单到复杂的多步骤数据收集,开发者们总是在寻找一个平衡点:既要功能强大、易于集成,又要足够轻量、不拖…...
ARM ETMv4跟踪寄存器架构与调试实践
1. ARM ETMv4 跟踪寄存器架构概述ARM嵌入式跟踪宏单元(ETM)是处理器调试架构中的关键组件,ETMv4作为其第四代架构,提供了更强大的指令和数据跟踪能力。与传统的断点调试不同,ETM采用实时跟踪技术,能够在不中断处理器运行的情况下&…...
嵌入式游戏开发实战:在4x8 LED点阵上用CircuitPython复刻FlappyBird
1. 项目概述:在4x8的像素矩阵上“复活”FlappyBird如果你玩过嵌入式开发,尤其是用那些小巧的微控制器板子,可能会觉得游戏开发离它们很远——资源有限,没有图形库,怎么搞?但恰恰是这种限制,最能…...
开源科研操作系统OpenResearcher:一体化工作流与知识管理实践
1. 项目概述:当开源遇上学术研究如果你是一名研究生、博士生,或者任何需要长期进行文献调研、实验记录和论文撰写的科研工作者,那么你大概率经历过这样的场景:电脑桌面上散落着几十个PDF文件,文件名是“paper1.pdf”、…...
基于Terraform与Azure的Dify AI平台云原生自动化部署实践
1. 项目概述:一键部署AI应用平台的云原生方案最近在折腾AI应用开发平台,发现很多团队在从本地原型验证转向云端生产环境时,总会遇到一堆“部署地狱”的问题。环境配置不一致、资源管理混乱、成本不可控,这些问题在需要整合多个AI模…...
基于AI宏观流动性监测框架的黄金三日连跌研究:美联储加息预期按兵不动后的市场重定价逻辑
摘要:本文通过AI宏观利率模型、美元流动性监测系统与黄金波动率因子分析,结合美通胀数据、美债收益率变化及市场利率预期重定价过程,分析黄金连续三日回落背后的核心驱动逻辑,并探讨当前“高利率持续”环境下黄金资产的阶段性压力…...
