当前位置： 首页 > article >正文

港科大沈劭劼、谭平团队最新成果：开源280万全景数据集，实现零样本立体匹配

article 2026/5/21 3:38:05
「一举攻克全景3D视觉两大瓶颈」目录01 行业痛点数据匮乏与畸变失效的双重桎梏1. 数据集稀缺泛化能力受限2. 球面畸变破坏单目先验一致性02 核心突破超大数据与航向对齐先验双驱动1. 280万级合成数据集打破数据壁垒2. 航向对齐法向量适配球面几何3. 迭代匹配架构兼顾精度与效率03 实验验证零样本性能全面领先1. 跨域数据集碾压对比2. 消融实验验证核心设计3. 真实环境与里程计落地04 行业价值与局限1. 核心价值2. 现存局限05 总结全景立体匹配能让机器人在未知环境里实时感知360°的三维深度这是导航和AR/VR的关键能力。上下排布的全景相机是获取这种能力的核心硬件但用它来做高精度立体匹配目前卡在两个地方一是带标注的训练数据太少模型换个场景就容易失效二是全景图像特有的球面畸变让很多在透视图像上很成熟的模型方法直接“水土不服”。针对这个问题香港科技大学沈劭劼教授联合谭平教授团队提出了H-OmniStereo。他们没有沿着小数据修修补补的旧路走而是直接构建了一个超大规模合成数据集来打破数据瓶颈并设计了一种航向对齐法向量先验来适配球面几何最终实现了零样本全景立体匹配。图| 上下全景相机对与全景立体匹配重建效果01 行业痛点数据匮乏与畸变失效的双重桎梏全景立体匹配的核心优势是上下相机形成的垂直对极线可直接适配透视立体匹配的成熟架构。但从透视到全景的迁移并非易事核心矛盾集中在两方面图| 现有上下全景立体数据集对比1. 数据集稀缺泛化能力受限现有全景立体数据集规模极小最大仅4万对图像且场景多局限于室内、相机参数固定。模型多在同域数据训练测试零样本泛化能力极差难以适配户外、动态场景及消费级相机的多变参数。2. 球面畸变破坏单目先验一致性透视图像训练的单目深度模型在全景球面畸变下精度骤降。而全景深度模型预测的是到球面中心的距离同一3D点在上下视图中深度值不一致导致先验特征不可靠。此外全景图像航向旋转不改变局部模式但固定坐标系下的法向量会随视角变化模型需区分相同模式的不同法向量训练效率低且易过拟合。这些问题导致现有方法如360SD-NET、MODE在跨域场景中误差极高难以落地真实环境。02 核心突破超大数据与航向对齐先验双驱动H-OmniStereo的核心创新是超大规模合成数据集与航向对齐法向量估计从数据和模型设计层面同时破解行业难题。1. 280万级合成数据集打破数据壁垒图| 合成全景立体数据集样本团队基于NVIDIA Isaac Sim构建超大规模全景立体合成数据集包含283万对上下等矩形图像是现有数据集的70倍。数据集设计兼顾规模与多样性场景多元涵盖室内外、结构化场景GRUtopia、HM3D与随机混沌场景融合80万高分辨率3D资产参数随机化相机基线0.05–0.5米、姿态滚转/俯仰±45°随机生成覆盖真实消费级相机参数范围标注完备每帧包含精准深度、表面法线标签为多任务训练提供监督。该数据集不仅规模空前更通过随机布局模拟真实世界复杂性为零样本泛化提供数据基础且将开源共享。2. 航向对齐法向量适配球面几何图| 标准相机坐标系法 vs 航向对齐法传统全景法向量在固定相机坐标系定义忽略航向旋转不变性导致特征不一致。H-OmniStereo提出航向对齐法向量先验核心是让法向量随像素经度旋转公式如下其中为相机坐标系法向量为像素经度角。该设计实现三大优势旋转不变性相同局部模式对应相同法向量模型无需区分重复模式训练效率提升跨视图一致同一经度像素共享坐标系上下视图法向量特征对齐畸变鲁棒适配球面几何缓解边缘区域畸变影响。团队用840万全景图像含合成数据与公开数据集训练法向量估计器为立体匹配提供几何先验。3. 迭代匹配架构兼顾精度与效率H-OmniStereo采用混合特征迭代优化框架图| H-OmniStereo 整体网络架构特征提取冻结预训练法向量估计器提取几何特征结合侧调适配器融合图像外观特征构建混合特征代价体构建生成3D相关代价体与4D混合代价体通过注意力混合滤波聚合信息迭代优化用ConvGRU迭代细化视差同步预测不确定性过滤不可靠匹配点提升精度损失设计分三阶段训练——法向量角损失、视差平滑L1损失、不确定性负对数似然损失逐步优化模型。03 实验验证零样本性能全面领先1. 跨域数据集碾压对比图| 全景立体匹配定量对比3D60/3D60Warp/MVS GI在3D60、3D60Warp旋转鲁棒性、MVS GI户外泛化三大跨域测试集上H-OmniStereo的MAE、RMSE等核心指标远优于现有方法误差仅为360SD-NET的1/6、MODE的1/9。定性结果显示其视差图边界更清晰、无纹理区域更平滑点云重建细节更丰富。图| 视差图定性对比360SD-Net、MODE、 ours2. 消融实验验证核心设计数据规模数据集从52万增至283万MAE从0.147降至0.103证明规模与多样性的重要性图| 训练数据规模消融航向对齐相比固定坐标系全图MAE降低15%中心裁剪视野不匹配场景降低76%鲁棒性显著提升图| 航向对齐法与固定法的消融全图 中心裁剪先验对比航向对齐法向量优于DepthAnythingV2、DA²等单目模型球面畸变下特征更可靠。图| 单目先验消融对比3. 真实环境与里程计落地模型直接适配消费级全景相机无需微调即可重建清晰家具、平整墙面。集成至全景视觉里程计后在 unseen 场景轨迹误差降低30%可实时0.47秒完成三维重建与轨迹估计。04 行业价值与局限1. 核心价值数据开源280万级全景数据集将大幅推动领域研究缓解数据稀缺痛点范式创新航向对齐先验为全景几何建模提供新思路可迁移至深度估计、分割等任务落地可行单模型适配多场景、多相机无需微调降低部署成本。图| 全景视觉里程计姿态误差对比2. 现存局限合成数据与真实域差距虽多样化但与真实世界光照、材质仍有差距标定敏感性依赖相机内参标定误差影响精度动态场景弱静态场景表现优动态物体匹配仍需优化。05 总结H-OmniStereo以超大规模合成数据航向对齐法向量为核心打破全景立体匹配的数据与几何双重瓶颈实现零样本跨域泛化。其不仅提供高性能模型与开源数据更确立“数据规模化几何感知先验”的行业新方向为机器人、AR/VR等领域的全场景三维感知提供关键支撑。未来结合真实数据微调、优化动态场景适配、降低标定依赖将进一步推动全景立体匹配从实验室走向大规模落地。Ref论文标题H-OmniStereo: Zero-Shot Omnidirectional Stereo Matching with Heading-Aligned Normal Priors论文链接https://arxiv.org/pdf/2605.14963

相关文章：

港科大沈劭劼、谭平团队最新成果：开源280万全景数据集，实现零样本立体匹配

「一举攻克全景3D视觉两大瓶颈」 目录 01 行业痛点：数据匮乏与畸变失效的双重桎梏 1. 数据集稀缺，泛化能力受限 2. 球面畸变破坏单目先验一致性 02 核心突破：超大数据与航向对齐先验双驱动 1. 280万级合成数据集，打破数据壁…...

编程日记 2026/5/21 3:38:05

保姆级教程：在S32G274ARDB2上，用IPCF点亮RGB LED（附源码解析）

从零玩转S32G2核间通信：手把手实现IPCF控制RGB灯效 拿到S32G274A开发板的第一天，我就被那个三色RGB LED吸引了——这不仅是硬件调试的指示灯，更是验证核间通信的绝佳媒介。作为多核异构处理器，S32G2的A53与M7核心如何协同工作&…...

编程日记 2026/5/21 3:38:04

基于PSoC 6与BMI160构建嵌入式IMU测试系统：从驱动到上位机全流程

1. 项目概述：从一颗传感器到一个完整的测试系统最近在做一个嵌入式项目，需要用到一款高性能的惯性测量单元（IMU）——博世的BMI160。这颗芯片在消费电子和物联网领域很常见，三轴加速度计加三轴陀螺仪，精度和…...

编程日记 2026/5/21 3:38:04

告别MPU6050例程！ATK-IMU901与Arduino串口通信的3个关键避坑点

ATK-IMU901与Arduino串口通信的实战避坑指南 当你从MPU6050切换到ATK-IMU901时，可能会发现原本顺畅的代码突然"罢工"了。这不是你的错——这两款IMU模块在设计理念上存在本质差异。本文将带你深入理解ATK-IMU901的通信机制，避开三个最常见的移…...

编程日记 2026/5/21 3:38:03

cp520靶场学习笔记

正文1、端口扫描2、web登录页面用户密码爆破3、文件上传漏洞利用4、nc 反弹5、Linux用户检索与特权分析6、图片隐写7、解密与格式转换8、cp命令横向获取用户密码9、diff命令进行文件比较正文 kali攻击机地址：192.168.1.4 靶场地址：192.168.1.15 1、端口…...

编程日记 2026/5/21 3:38:00

AOCODARC-F7MINI飞控固件编译踩坑记：从‘make arm_sdk_install’失败到成功编译

AOCODARC-F7MINI飞控固件编译实战：从工具链安装到烧录全流程解析 1. 环境准备与工具链安装 编译BetaFlight固件最令人头疼的环节往往不是代码本身，而是环境配置。以Ubuntu 20.04为例，我们需要先解决两个核心问题：基础编译环境和AR…...

编程日记 2026/5/21 3:35:58

C++ STL常用函数一览表（快速记忆版本）

C STL 常用数据结构与函数整理 这份笔记按常见 STL 容器分类整理&#xff0c;适合在刷题和复习时快速查阅。1. vector 1.1 特点 底层是动态数组支持随机访问尾部插入、删除效率高中间插入、删除效率低 1.2 常用定义 vector<int> v; vector<int> v(5); /…...

编程日记 2026/5/21 3:35:58

不止是省9.9刀：解锁特斯拉Model 3的‘行驶中保持WiFi’功能，打造家庭移动娱乐中心

不止是省9.9刀&#xff1a;解锁特斯拉Model 3的‘行驶中保持WiFi’功能&#xff0c;打造家庭移动娱乐中心 特斯拉Model 3的车载4G网络虽然方便&#xff0c;但在信号不佳的区域或需要大流量娱乐的场景下&#xff0c;往往显得力不从心。更让许多家庭用户纠结的是&#xff0c;高级…...

编程日记 2026/5/21 3:35:57

STM32 HAL库驱动中景园0.96寸OLED（SSD1306）避坑指南：从IIC地址到GRAM刷新的完整流程

STM32 HAL库驱动中景园0.96寸OLED&#xff08;SSD1306&#xff09;全流程实战解析 在嵌入式开发中&#xff0c;OLED显示屏因其高对比度、低功耗和快速响应等特性&#xff0c;成为许多项目的首选显示方案。本文将深入探讨如何基于STM32 HAL库高效驱动中景园0.96寸OLED&#xff0…...

编程日记 2026/5/21 3:35:55

Kimi、DeepSeek、阶跃星辰三天融资超百亿，中国AI的“中场战事”刚刚开始

过去一周&#xff0c;融资狂潮、智能体大军与算力基建三大赛道同时开火&#xff0c;天平正在加速倾斜。大模型调用量&#xff1a;连续三周&#xff0c;中国AI压住美国5月18日&#xff0c;根据OpenRouter最新数据&#xff0c;2026年5月11日至17日当周&#xff0c;全球AI大模型总…...

编程日记 2026/5/21 3:35:43

未来5年，程序员换工作，请做好降薪准备！

最近看到不少大厂的去年和一季度财报都公布了&#xff0c;不少人年终奖也发的差不多了&#xff0c;再加上金三银四也过了有一段时间了。按理来说&#xff0c;该晋升的晋升&#xff0c;该跳槽的跳槽&#xff0c;该加薪的加薪&#xff0c;基本尘埃落定&#xff0c;我公号后台应该…...

编程日记 2026/5/21 3:33:43

API 监控告警系统

LogMonitor - API监控告警系统 基于Python的智能API监控系统&#xff0c;集成Splunk日志分析和钉钉告警&#xff0c;支持多种API类型的实时监控和趋势分析。 代码地址 https://github.com/junbingliu007/log_monitor 功能特性 多API类型监控&#xff1a;支持多种API类型智…...

编程日记 2026/5/21 3:33:43

Midjourney × CLO 3D无缝协同方案（工业级打版前必读）：实现AI草图→虚拟缝合→力学模拟零损转换

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;Midjourney CLO 3D无缝协同方案&#xff08;工业级打版前必读&#xff09;&#xff1a;实现AI草图→虚拟缝合→力学模拟零损转换 在高精度服装数字样衣开发流程中&#xff0c;Midjourney生成的创意草图常因缺…...

编程日记 2026/5/21 3:33:43

企业级RAG系统数据可信生死线：Perplexity验证功能内测权限仅剩最后17个——附白名单申请通道

更多请点击&#xff1a; https://kaifayun.com 第一章&#xff1a;企业级RAG系统数据可信生死线&#xff1a;Perplexity验证功能内测权限仅剩最后17个——附白名单申请通道 在企业级RAG&#xff08;Retrieval-Augmented Generation&#xff09;系统中&#xff0c;检索结果与生…...

编程日记 2026/5/21 3:33:43

有这5个迹象，说明你公司内斗很严重！

见字如面&#xff0c;我是军哥&#xff01;昨天&#xff0c;一位读者小王给我留言。他在某大厂担任项目经理&#xff0c;最近工作推进得很艰难。同一件事开了好几次会&#xff0c;领导就是不拍板。跨部门协作费力不讨好&#xff0c;谁都不愿负责&#xff0c;项目卡在那里没有进…...

编程日记 2026/5/21 3:33:43

光纤干涉条纹投射导向的动态三维形貌测量技术【附程序】

✨ 长期致力于条纹投射轮廓术、光纤干涉条纹投射、正弦相位调制、任意步距相移相位解调、系统标定研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;1&#xff09;基于…...

编程日记 2026/5/21 3:31:42

Dify系列课程 - 5.Ollama：轻松驾驭本地大语言模型(在 Windows 上安装 Ollama 并部署 DeepSeek 大模型)

Ollama 安装Deepseek大模型 Ollama 大模型安装完成...

编程日记 2026/5/21 3:31:42

勒索病毒防线与数据恢复能力：四家云厂商安全水位线横向测评

对于制造业等行业的内部核心业务&#xff08;MES、WMS、ERP、HIS等&#xff09;上云&#xff0c;深信服托管云凭借其“资源专属全栈托管主动服务”三位一体的模式&#xff0c;在业务连续性保障、就近部署低时延以及贴身服务响应等方面&#xff0c;表现出比主流公有云方案更强的…...

编程日记 2026/5/21 3:31:42

序列近似整数规划导向的通用高性能离散变量拓扑优化新方法【附算法】

✨ 长期致力于拓扑优化、整数规划、序列近似规划、信赖域、拓扑不变量研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;1&#xff09;正则松弛算法求解大规模可分离整…...

编程日记 2026/5/21 3:31:42

脉冲神经网络与测试时自适应技术解析

1. 脉冲神经网络与测试时自适应概述脉冲神经网络&#xff08;Spiking Neural Networks, SNNs&#xff09;作为第三代神经网络模型&#xff0c;其核心在于模拟生物神经元的脉冲发放机制。与传统人工神经网络不同&#xff0c;SNN中的神经元仅在膜电位达到特定阈值时才产生脉冲信号…...

编程日记 2026/5/21 3:31:42

类型转换：隐式、显式与类型提升

在Java开发中&#xff0c;数据类型转换是最基础也最容易被忽略的核心操作——从简单的变量赋值、数字运算&#xff0c;到复杂的方法传参、泛型适配、多态转型、序列化&#xff0c;几乎每一行代码都隐含着类型转换的逻辑。很多同学只停留在“会用”的层面&#xff1a;知道int转l…...

编程日记 2026/5/21 3:29:42

KING大咖直播｜驯服时间洪流：电科金仓KES时序版“硬核”解码

设备互联、生产监控、交易行情……时序数据正以指数级速度狂奔&#xff0c;传统数据库频频掉队&#xff1f;电科金仓KES时序版&#xff0c;用“一库多模”破题&#xff1a;千万级并发写入稳如磐石、20倍压缩比瘦身立现、高密度写入与实时分析同框——这是国产时序数据库交出的一…...

编程日记 2026/5/21 3:29:42

磁性衬底导向的宽带超材料吸波体的吸波机理及设计方案【附代码】

✨ 长期致力于磁性材料、超材料吸波体、宽频带微波吸收、吸波机理、智能算法研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;1&#xff09;对称模型分析多层反射干涉…...

编程日记 2026/5/21 3:29:42

电铲自主行走多耦合行为及轨迹控制技术【附代码】

✨ 长期致力于电铲、自主行走、多耦合行为、离散元法、反演滑模控制、轨迹控制研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;1&#xff09;机电-离散元多体耦合动…...

编程日记 2026/5/21 3:29:42

夹矸煤层采煤机螺旋滚筒工作性能优化【附代码】

✨ 长期致力于夹矸煤层、螺旋滚筒、工作性能、可靠性、多目标优化研究工作&#xff0c;擅长数据搜集与处理、建模仿真、程序编写、仿真设计。 ✅ 专业定制毕设、代码 ✅ 如需沟通交流&#xff0c;点击《获取方式》 &#xff08;1&#xff09;离散元-有限元耦合截割模型与煤岩参…...

编程日记 2026/5/21 3:29:42

从音箱分频到电源净化：聊聊RLC低通滤波器那些意想不到的实用场景

从音箱分频到电源净化&#xff1a;聊聊RLC低通滤波器那些意想不到的实用场景 在电子工程的世界里&#xff0c;RLC低通滤波器就像一位低调的幕后英雄。它不像微处理器那样引人注目&#xff0c;也不像显示屏那样直观可见&#xff0c;却在无数电子设备中默默发挥着关键作用。从你每…...

编程日记 2026/5/21 3:27:42

盒子定位（Mac版）

Mac版写HTML与Windows版不同&#xff0c;但思路不变。首先&#xff0c;创建HTML文件&#xff0c; 通过快捷键commandspace 搜索“文本编辑”App。接下来&#xff0c;点击新建文稿将文稿重命名&#xff0c;改为html后缀结尾&#xff0c;如下图所示通过选择VScode的打开方式&…...

编程日记 2026/5/21 3:27:42

抖音视频批量下载神器：3分钟学会无水印批量下载技巧

抖音视频批量下载神器&#xff1a;3分钟学会无水印批量下载技巧 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support…...

编程日记 2026/5/21 3:27:41

构建AI应用时如何借助Taotoken实现模型的灵活选型与降级

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 构建AI应用时如何借助Taotoken实现模型的灵活选型与降级 对于正在开发AI应用的产品团队而言&#xff0c;模型服务的稳定性和成本效…...

编程日记 2026/5/21 3:27:41

顶尖销售都在读什么？这三本书揭示理解客户的奥秘

优秀销售真正厉害的地方&#xff0c;不是把产品硬推给别人&#xff0c;而是能够理解客户真正的需求&#xff0c;并让客户相信&#xff1a;你是在帮他解决问题&#xff0c;而不是单纯想把东西卖出去。 而要真正提升销售能力&#xff0c;读几本值得反复看的经典书籍&#xff0c;…...

编程日记 2026/5/21 3:27:41