使用Python爬虫构建LingBot-Depth-Pretrain-ViTL-14训练数据集

使用Python爬虫构建LingBot-Depth-Pretrain-ViTL-14训练数据集1. 项目背景与目标LingBot-Depth-Pretrain-ViTL-14是一个先进的深度估计模型能够将不完整和有噪声的深度传感器数据转换为高质量、精确度量的3D测量结果。要训练这样的模型需要大量高质量的RGB-D彩色图像深度图配对数据。传统的深度数据集往往存在规模有限、质量参差不齐的问题。通过Python爬虫技术我们可以从多个来源收集高质量的图像和深度数据构建一个大规模、多样化的训练数据集为模型训练提供充分的数据支持。本文将手把手教你如何使用Python爬虫技术构建适合LingBot-Depth-Pretrain-ViTL-14模型的训练数据集涵盖数据采集、清洗、标注的全流程。2. 环境准备与工具安装在开始之前我们需要准备相应的开发环境和工具库。以下是推荐的环境配置# 创建虚拟环境 conda create -n depth-data python3.9 conda activate depth-data # 安装核心依赖 pip install requests beautifulsoup4 selenium scrapy pip install opencv-python pillow numpy pandas pip install tqdm matplotlib # 可选用于处理3D数据 pip install open3d trimesh对于需要JavaScript渲染的网站我们还需要安装浏览器驱动# 安装Chrome驱动根据你的Chrome版本选择对应版本 # 或者使用webdriver-manager自动管理 pip install webdriver-manager3. 数据源分析与选择构建深度估计数据集时我们需要寻找包含RGB图像和对应深度图的数据源。以下是几个可靠的数据来源3.1 公开数据集网站NYU Depth V2数据集ScanNet数据集Matterport3D数据集Redwood 3D数据集3.2 学术资源平台大学实验室公开数据研究论文附带数据集开源项目提供的样本数据3.3 合成数据生成使用Blender、Unity等工具生成合成RGB-D数据虽然不如真实数据但可以作为补充。4. 爬虫实现详解下面我们实现一个针对多个数据源的爬虫系统能够自动下载RGB图像和对应的深度图。4.1 基础爬虫框架import requests from bs4 import BeautifulSoup import os import time from urllib.parse import urljoin import json class DepthDataCrawler: def __init__(self, base_url, output_dirdataset): self.base_url base_url self.output_dir output_dir self.session requests.Session() self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 }) # 创建输出目录 os.makedirs(os.path.join(output_dir, rgb), exist_okTrue) os.makedirs(os.path.join(output_dir, depth), exist_okTrue) os.makedirs(os.path.join(output_dir, metadata), exist_okTrue) def fetch_page(self, url): 获取页面内容 try: response self.session.get(url, timeout10) response.raise_for_status() return response.content except requests.RequestException as e: print(f请求失败: {e}) return None4.2 多数据源适配器不同的数据源有不同的结构我们需要为每个数据源编写特定的解析器def parse_nyu_dataset(self, content): 解析NYU Depth V2数据集页面 soup BeautifulSoup(content, html.parser) data_links [] # 查找数据下载链接示例逻辑实际需要根据网站结构调整 for link in soup.find_all(a, hrefTrue): href link[href] if any(ext in href for ext in [.png, .jpg, .jpeg, .npy, .mat]): full_url urljoin(self.base_url, href) data_links.append(full_url) return data_links def download_file(self, url, file_type): 下载文件并根据类型保存到相应目录 try: response self.session.get(url, streamTrue, timeout30) if response.status_code 200: # 根据URL确定文件名 filename os.path.basename(url) if file_type rgb: save_path os.path.join(self.output_dir, rgb, filename) elif file_type depth: save_path os.path.join(self.output_dir, depth, filename) else: save_path os.path.join(self.output_dir, metadata, filename) # 下载文件 with open(save_path, wb) as f: for chunk in response.iter_content(chunk_size8192): f.write(chunk) print(f成功下载: {filename}) return True except Exception as e: print(f下载失败 {url}: {e}) return False4.3 自动化批量下载def batch_download(self, data_list, file_type, delay1): 批量下载文件 success_count 0 for i, url in enumerate(data_list): print(f下载进度: {i1}/{len(data_list)}) if self.download_file(url, file_type): success_count 1 time.sleep(delay) # 礼貌性延迟避免被封IP print(f下载完成: {success_count}/{len(data_list)} 个文件) return success_count def crawl_website(self, max_pages10): 爬取网站的多页内容 all_rgb_links [] all_depth_links [] for page in range(1, max_pages 1): page_url f{self.base_url}?page{page} if page 1 else self.base_url print(f正在爬取第 {page} 页: {page_url}) content self.fetch_page(page_url) if content: # 根据网站类型调用不同的解析方法 if nyu in self.base_url: links self.parse_nyu_dataset(content) # 可以添加其他网站的解析器 # 分类RGB和深度链接 for link in links: if any(keyword in link for keyword in [rgb, color, image]): all_rgb_links.append(link) elif any(keyword in link for keyword in [depth, distance, 3d]): all_depth_links.append(link) time.sleep(2) # 页面间延迟 return all_rgb_links, all_depth_links5. 数据清洗与配对下载的数据往往需要清洗和配对确保RGB图像和深度图正确对应import cv2 import numpy as np from pathlib import Path class DataCleaner: def __init__(self, data_dir): self.data_dir Path(data_dir) self.rgb_dir self.data_dir / rgb self.depth_dir self.data_dir / depth def find_matching_pairs(self): 查找匹配的RGB和深度图像对 rgb_files list(self.rgb_dir.glob(*.*)) depth_files list(self.depth_dir.glob(*.*)) pairs [] for rgb_file in rgb_files: # 根据命名规则寻找对应的深度文件 depth_filename self.get_corresponding_depth_name(rgb_file.name) depth_file self.depth_dir / depth_filename if depth_file.exists(): pairs.append((rgb_file, depth_file)) return pairs def get_corresponding_depth_name(self, rgb_name): 根据RGB文件名生成对应的深度文件名 # 常见的命名约定转换规则 if rgb in rgb_name: return rgb_name.replace(rgb, depth) elif color in rgb_name: return rgb_name.replace(color, depth) elif img in rgb_name: return rgb_name.replace(img, depth) else: # 添加其他命名规则或使用相同的文件名 return rgb_name def validate_image_pair(self, rgb_path, depth_path): 验证图像对是否有效 try: rgb_img cv2.imread(str(rgb_path)) depth_data np.load(str(depth_path)) if depth_path.suffix .npy else cv2.imread(str(depth_path), cv2.IMREAD_UNCHANGED) if rgb_img is None or depth_data is None: return False # 检查图像尺寸是否匹配深度图可能是不同尺寸 # 可以根据需要调整此逻辑 return True except: return False def clean_invalid_pairs(self): 清理无效的图像对 pairs self.find_matching_pairs() valid_pairs [] for rgb_path, depth_path in pairs: if self.validate_image_pair(rgb_path, depth_path): valid_pairs.append((rgb_path, depth_path)) else: # 删除无效文件 rgb_path.unlink(missing_okTrue) depth_path.unlink(missing_okTrue) print(f有效图像对: {len(valid_pairs)}/{len(pairs)}) return valid_pairs6. 数据标注与增强为了提高数据集质量我们可能需要对数据进行标注和增强class DataAnnotator: def __init__(self, data_dir): self.data_dir Path(data_dir) def generate_metadata(self, pairs): 为每个图像对生成元数据 metadata_list [] for rgb_path, depth_path in pairs: rgb_img cv2.imread(str(rgb_path)) depth_data np.load(str(depth_path)) if depth_path.suffix .npy else cv2.imread(str(depth_path), cv2.IMREAD_UNCHANGED) metadata { rgb_filename: rgb_path.name, depth_filename: depth_path.name, image_size: { height: rgb_img.shape[0], width: rgb_img.shape[1], channels: rgb_img.shape[2] }, depth_range: { min: float(np.nanmin(depth_data)), max: float(np.nanmax(depth_data)), mean: float(np.nanmean(depth_data)) }, data_source: crawled, collection_date: time.strftime(%Y-%m-%d) } # 保存元数据 meta_filename rgb_path.stem _meta.json meta_path self.data_dir / metadata / meta_filename with open(meta_path, w) as f: json.dump(metadata, f, indent2) metadata_list.append(metadata) return metadata_list def augment_data(self, pairs, augmentations5): 数据增强创建额外的训练样本 augmented_dir self.data_dir / augmented os.makedirs(augmented_dir / rgb, exist_okTrue) os.makedirs(augmented_dir / depth, exist_okTrue) for i, (rgb_path, depth_path) in enumerate(pairs): print(f增强数据 {i1}/{len(pairs)}) rgb_img cv2.imread(str(rgb_path)) depth_data np.load(str(depth_path)) if depth_path.suffix .npy else cv2.imread(str(depth_path), cv2.IMREAD_UNCHANGED) for aug_idx in range(augmentations): # 应用不同的增强技术 aug_rgb, aug_depth self.apply_augmentation(rgb_img, depth_data, aug_idx) # 保存增强后的数据 aug_rgb_name f{rgb_path.stem}_aug{aug_idx}{rgb_path.suffix} aug_depth_name f{depth_path.stem}_aug{aug_idx}{depth_path.suffix} cv2.imwrite(str(augmented_dir / rgb / aug_rgb_name), aug_rgb) if depth_path.suffix .npy: np.save(str(augmented_dir / depth / aug_depth_name), aug_depth) else: cv2.imwrite(str(augmented_dir / depth / aug_depth_name), aug_depth) def apply_augmentation(self, rgb_img, depth_data, aug_type): 应用具体的数据增强技术 # 水平翻转 if aug_type 0: return cv2.flip(rgb_img, 1), cv2.flip(depth_data, 1) # 亮度调整 elif aug_type 1: hsv cv2.cvtColor(rgb_img, cv2.COLOR_BGR2HSV) hsv[:,:,2] hsv[:,:,2] * np.random.uniform(0.8, 1.2) return cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR), depth_data # 添加更多增强技术... return rgb_img, depth_data7. 完整流程整合现在我们将所有步骤整合成一个完整的流程def main(): # 配置参数 target_websites [ https://example.com/nyu-dataset, https://example.com/scannet-data ] output_directory lingbot_depth_dataset max_pages_to_crawl 5 # 创建数据集目录 os.makedirs(output_directory, exist_okTrue) all_rgb_files [] all_depth_files [] # 爬取多个网站 for website in target_websites: print(f开始爬取: {website}) crawler DepthDataCrawler(website, output_directory) rgb_links, depth_links crawler.crawl_website(max_pages_to_crawl) print(f找到 {len(rgb_links)} 个RGB链接和 {len(depth_links)} 个深度链接) # 下载RGB图像 crawler.batch_download(rgb_links, rgb) # 下载深度数据 crawler.batch_download(depth_links, depth) # 数据清洗和配对 cleaner DataCleaner(output_directory) valid_pairs cleaner.clean_invalid_pairs() print(f清洗后剩余 {len(valid_pairs)} 个有效图像对) # 数据标注 annotator DataAnnotator(output_directory) metadata annotator.generate_metadata(valid_pairs) # 数据增强可选 annotator.augment_data(valid_pairs, augmentations3) # 生成数据集统计信息 generate_dataset_report(output_directory, metadata) print(数据集构建完成) def generate_dataset_report(data_dir, metadata): 生成数据集的统计报告 stats { total_pairs: len(metadata), image_resolutions: {}, depth_ranges: [], data_sources: set() } for meta in metadata: res_key f{meta[image_size][width]}x{meta[image_size][height]} stats[image_resolutions][res_key] stats[image_resolutions].get(res_key, 0) 1 stats[depth_ranges].append(meta[depth_range]) stats[data_sources].add(meta.get(data_source, unknown)) # 保存统计报告 report_path os.path.join(data_dir, dataset_report.json) with open(report_path, w) as f: # 转换set为list以便JSON序列化 stats[data_sources] list(stats[data_sources]) json.dump(stats, f, indent2) print(f数据集统计报告已保存至: {report_path}) if __name__ __main__: main()8. 注意事项与最佳实践在构建LingBot-Depth训练数据集时需要注意以下几点遵守版权法规确保你有权使用爬取的数据遵守网站的robots.txt规则数据质量优先宁愿数据量少一些也要保证数据质量多样性很重要收集不同场景、光照条件、相机角度的数据合理的延迟设置在爬取时设置适当的延迟避免给目标网站造成负担错误处理机制实现完善的错误处理和重试机制数据备份定期备份已收集的数据防止意外丢失9. 总结通过本文介绍的Python爬虫技术你可以构建一个高质量、大规模的RGB-D数据集为LingBot-Depth-Pretrain-ViTL-14模型的训练提供充分的数据支持。整个过程涵盖了数据采集、清洗、标注和增强的全流程确保最终数据集的多样性和质量。实际应用中你可能需要根据具体的数据源调整爬虫策略并始终遵守相关的法律法规和道德准则。有了高质量的训练数据LingBot-Depth模型就能更好地学习深度估计任务在各种实际场景中表现出色。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。