Python 爬虫采集训练数据：构建自定义场景的 Lingbot 微调数据集

Python 爬虫采集训练数据构建自定义场景的 Lingbot 微调数据集想用最新的视觉模型做点自己的事比如让它专门看懂你所在行业的图片却发现网上找不到现成的数据集这可能是很多开发者遇到的头疼事。就拿室内设计来说通用的深度估计模型在识别复杂家具布局、光影效果时效果总差那么点意思。最近在尝试微调 Lingbot-Depth-Pretrain-ViTL-14 这类视觉模型发现最大的瓶颈不是算法而是数据。你需要一个高质量、场景特定的图片集。今天我就来分享一个实战方案如何用 Python 爬虫从零开始构建一个属于你自己的、高质量的微调数据集。整个过程就像是为你的模型准备一份定制化的“视觉教材”。1. 为什么需要自定义数据集从通用到专用的价值跃迁现成的公开数据集比如 NYU Depth V2 或者 KITTI覆盖了卧室、厨房、街道、公路等常见场景对于训练一个通用模型来说功不可没。但当你需要模型在你关心的特定领域表现得更出色时这些数据就有点“隔靴搔痒”了。举个例子如果你想做一个专注于室内设计效果图深度估计的模型你需要的是大量高清的室内设计渲染图或实景图这些图片的构图、光影、家具样式都非常专业和统一。通用数据集中混杂的日常卧室照片在细节和风格上都无法满足这种专业需求。自定义数据集的核心价值就在这里让模型在你关心的数据分布上学得更深、更准。通过爬虫你可以从专业的室内设计图库如某些设计社区、设计师作品集网站或街景分享平台批量获取风格统一、质量较高的原始图片。这为后续的模型微调打下了坚实的数据基础。简单说就是“吃什么补什么”给模型喂它最需要“消化”的图片。2. 实战第一步规划爬虫目标与伦理边界动手写代码之前清晰的规划和正确的认知比技术本身更重要。2.1 明确数据源与采集目标首先你需要确定一两个高质量、图片风格符合你要求的网站。比如对于室内设计场景可以寻找那些展示完整设计方案、提供高清大图的平台。目标要具体网站示例专业的室内设计论坛、设计师作品发布站、家居灵感分享社区等。图片要求分辨率尽量高建议 1024x768 以上、构图完整、涵盖多种房间类型客厅、卧室、厨房、卫生间。采集规模对于微调起步初期目标可以设定在 5000 - 10000 张高质量图片。不必一味求多质量优先。2.2 严格遵守爬虫伦理与法律法规这是必须严肃对待的部分。爬虫不能无法无天。查看robots.txt在目标网站的根目录下如https://example.com/robots.txt查看该文件。它会告诉你网站允许或禁止爬虫访问哪些路径。尊重这些规则是基本的网络礼仪。识别并遵守服务条款很多网站的用户协议中明确禁止了大规模自动化抓取数据用于商业或训练目的。务必仔细阅读。控制访问频率在代码中设置合理的延时例如每请求一页或下载一张图片后休眠 1-3 秒避免对目标网站服务器造成瞬时高负载这既是道德要求也能有效降低被反爬机制封禁的风险。标注数据来源虽然最终数据集是自用的但在内部文档中记录数据来源是对原创者的一种尊重。我们的目标是合规地、有限度地获取用于个人学习和研究的数据任何可能侵犯版权或干扰网站正常运营的行为都应避免。3. 动手搭建Python 爬虫核心代码实现接下来我们进入实战环节。这里以爬取一个假设的设计图片网站为例展示核心步骤。我们将使用requests库进行网页请求用BeautifulSoup库解析HTML并用concurrent.futures实现简单的并发下载以提升效率。首先安装必要的库pip install requests beautifulsoup43.1 分析网页结构与图片链接爬虫的第一步是“观察”。打开目标网站按 F12 进入开发者工具查看图片在网页HTML代码中的位置。通常高清图片的链接会放在img标签的src或data-src属性里。import requests from bs4 import BeautifulSoup import time import os from urllib.parse import urljoin def fetch_image_links_from_page(page_url, base_url): 从单个列表页中解析出所有图片详情页的链接或直接解析出大图链接。 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } try: resp requests.get(page_url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) image_links [] # 假设图片详情页的链接在 class 为 ‘design-item’ 的 a 标签里 for item in soup.find_all(a, class_design-item): href item.get(href) if href: full_url urljoin(base_url, href) image_links.append(full_url) # 或者如果图片直接以大图形式展示在列表页 # for img_tag in soup.find_all(img, class_preview-image): # src img_tag.get(data-src) or img_tag.get(src) # if src and thumbnail not in src: # 过滤缩略图 # full_url urljoin(base_url, src) # image_links.append(full_url) return image_links except Exception as e: print(f获取页面 {page_url} 失败: {e}) return [] # 示例爬取前5页的图片链接 base_url https://example-design-site.com/gallery all_image_page_links [] for page_num in range(1, 6): page_url f{base_url}?page{page_num} links fetch_image_links_from_page(page_url, base_url) all_image_page_links.extend(links) time.sleep(1.5) # 礼貌性延时 print(f第 {page_num} 页完成找到 {len(links)} 个链接)3.2 下载高清图片文件获取到图片详情页链接或直接的大图链接后我们需要访问这些链接并定位到最终的高清图片文件地址进行下载。def download_image(image_page_url, save_dir, headers): 访问图片详情页找到最高清的图片地址并下载。 try: # 1. 获取详情页 resp requests.get(image_page_url, headersheaders, timeout10) resp.raise_for_status() detail_soup BeautifulSoup(resp.text, html.parser) # 2. 寻找高清图源。常见位置meta标签og:image或特定的大图img标签 high_res_url None # 方法A: 检查 Open Graph 标签 (常用于社交媒体预览通常是大图) og_image_tag detail_soup.find(meta, propertyog:image) if og_image_tag: high_res_url og_image_tag.get(content) # 方法B: 如果方法A没找到寻找特定class或id的img标签 if not high_res_url: img_tag detail_soup.find(img, idmain-image) or detail_soup.find(img, class_fullsize) if img_tag: high_res_url img_tag.get(src) if not high_res_url: print(f在 {image_page_url} 中未找到高清图链接) return False # 确保链接是完整的URL high_res_url urljoin(image_page_url, high_res_url) # 3. 下载图片 img_resp requests.get(high_res_url, headersheaders, timeout30, streamTrue) img_resp.raise_for_status() # 从URL生成文件名 filename os.path.join(save_dir, high_res_url.split(/)[-1].split(?)[0]) # 简单处理重复文件名 if os.path.exists(filename): base, ext os.path.splitext(filename) filename f{base}_{int(time.time())}{ext} with open(filename, wb) as f: for chunk in img_resp.iter_content(chunk_size8192): f.write(chunk) print(f下载成功: {filename}) time.sleep(1) # 下载每张图片后的延时 return True except Exception as e: print(f下载 {image_page_url} 失败: {e}) return False # 创建保存目录 save_directory ./downloaded_design_images os.makedirs(save_directory, exist_okTrue) headers {User-Agent: 你的浏览器User-Agent} success_count 0 for idx, img_page_link in enumerate(all_image_page_links[:50]): # 先测试50个 print(f处理 [{idx1}/{len(all_image_page_links[:50])}]: {img_page_link}) if download_image(img_page_link, save_directory, headers): success_count 1 print(f下载完成成功 {success_count} 张失败 {len(all_image_page_links[:50]) - success_count} 张)3.3 应对常见反爬策略网站可能会设置一些简单的反爬机制User-Agent 检查我们已经通过headers模拟了浏览器。请求频率限制我们通过time.sleep()进行了控制。更高级的做法可以使用随机延时。IP 封禁如果请求太频繁你的IP可能会被暂时封禁。对于大规模采集需要考虑使用代理IP池但这涉及更多复杂性和成本对于个人学习项目保持低频、礼貌的访问是最稳妥的方式。重要提示如果网站采用了复杂的验证码、动态加载需要执行JavaScript或 API 加密上述简单爬虫可能失效。此时可能需要用到Selenium或Playwright等浏览器自动化工具或者尝试寻找网站官方提供的公开 API。这超出了基础教程的范围但值得你了解。4. 从原始图片到训练数据集清洗与标注爬虫得到的是一堆原始图片距离成为 Lingbot 等模型可用的数据集还差关键两步清洗和标注。4.1 数据清洗与初步筛选不是所有下载的图片都是合格的。你需要一个简单的脚本来过滤掉问题图片import os from PIL import Image import concurrent.futures def is_valid_image(filepath): 检查图片是否损坏、尺寸是否过小、模式是否正确RGB。 try: with Image.open(filepath) as img: img.verify() # 验证文件完整性 img Image.open(filepath) # 重新打开以获取属性 width, height img.size mode img.mode # 筛选条件尺寸大于一定值且为RGB模式 if width 512 and height 512 and mode RGB: return True else: print(f剔除{filepath} (尺寸:{width}x{height}, 模式:{mode})) return False except Exception as e: print(f损坏图片{filepath}, 错误: {e}) return False def clean_image_dataset(image_dir): 遍历目录删除无效图片。 valid_count 0 invalid_files [] image_files [os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.lower().endswith((.png, .jpg, .jpeg, .webp))] # 使用线程池加速检查 with concurrent.futures.ThreadPoolExecutor(max_workers4) as executor: future_to_file {executor.submit(is_valid_image, f): f for f in image_files} for future in concurrent.futures.as_completed(future_to_file): file_path future_to_file[future] if not future.result(): invalid_files.append(file_path) else: valid_count 1 # 删除无效文件建议先注释掉检查日志确认无误后再执行 # for f in invalid_files: # os.remove(f) # print(f已删除: {f}) print(f清洗完成。有效图片: {valid_count}, 无效图片: {len(invalid_files)}) return valid_count, invalid_files # 执行清洗 clean_image_dataset(save_directory)4.2 为深度估计生成伪标签Lingbot-Depth-Pretrain-ViTL-14 是一个深度估计模型训练它需要“图片-深度图”对。我们只有图片没有真实的深度图这是最难获取的。这时伪标签技术就派上用场了。思路是用一个现成的、表现不错的单目深度估计模型比如MiDaS、ZoeDepth对我们爬取的图片进行预测生成的深度图就作为我们数据集的“标签”。虽然这些标签不如激光雷达采集的真实深度图精确但对于微调一个专门针对我们场景的模型来说这通常是一个有效且高效的起点。# 示例使用 Hugging Face Transformers 库中的 MiDaS 模型生成伪深度标签 import torch from transformers import DPTForDepthEstimation, DPTImageProcessor from PIL import Image import numpy as np import os # 加载模型和处理器确保已安装 transformers 和 torch device torch.device(cuda if torch.cuda.is_available() else cpu) processor DPTImageProcessor.from_pretrained(Intel/dpt-hybrid-midas) model DPTForDepthEstimation.from_pretrained(Intel/dpt-hybrid-midas).to(device) def generate_pseudo_depth(image_path, output_dir): 为一张图片生成伪深度图并保存。 try: image Image.open(image_path).convert(RGB) # 预处理和预测 inputs processor(imagesimage, return_tensorspt).to(device) with torch.no_grad(): outputs model(**inputs) predicted_depth outputs.predicted_depth # 后处理调整深度图尺寸与原图一致并归一化到可视范围 prediction torch.nn.functional.interpolate( predicted_depth.unsqueeze(1), sizeimage.size[::-1], # (height, width) modebicubic, align_cornersFalse, ).squeeze().cpu().numpy() # 归一化到0-255并保存为PNG depth_min, depth_max prediction.min(), prediction.max() depth_normalized (prediction - depth_min) / (depth_max - depth_min 1e-8) depth_uint8 (depth_normalized * 255).astype(np.uint8) depth_image Image.fromarray(depth_uint8) # 保存深度图文件名与原始图片对应 base_name os.path.splitext(os.path.basename(image_path))[0] depth_save_path os.path.join(output_dir, f{base_name}_depth.png) depth_image.save(depth_save_path) print(f生成深度图: {depth_save_path}) return True except Exception as e: print(f为 {image_path} 生成深度图失败: {e}) return False # 创建保存深度图的目录 depth_save_dir ./pseudo_depth_maps os.makedirs(depth_save_dir, exist_okTrue) # 为清洗后的图片生成伪标签示例处理前10张 image_files [os.path.join(save_directory, f) for f in os.listdir(save_directory) if f.lower().endswith((.png, .jpg, .jpeg))] for img_file in image_files[:10]: generate_pseudo_depth(img_file, depth_save_dir)现在你就拥有了一个初步的、可用于微调的数据集原始图片和对应的伪标签深度图。你可以将它们组织成标准的数据集格式如创建一个meta.csv文件记录对应关系然后就可以喂给 Lingbot 模型进行微调了。5. 总结走完这一整套流程你会发现构建一个自定义数据集虽然有些繁琐但每一步都有明确的目标和技术手段。从合规地规划爬虫、编写健壮的采集代码到严谨地清洗数据再到巧妙地利用现有模型生成伪标签这个过程本身就是一个极佳的工程实践。最终得到的不仅仅是一个数据集更是你对特定问题域数据的深刻理解。用这样的数据去微调模型比如 Lingbot-Depth它学到的特征会更贴合你的室内设计场景在后续应用中的表现很可能远超使用通用数据集训练的版本。数据工作往往是AI项目里最耗时但也是最值得投入的部分它直接决定了你模型能力的天花板。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。