当“画笔”变成“画笔”，世界便不再扁平：上海科技大学师玉娇团队 BevSplat 论文深度解读

用高斯画笔为地面图像“补上高度”让卫星图片与街景的配对不再尴尬想象一下这幅情境一辆自动驾驶汽车在密集的城市楼群中行驶。GPS 信号被摩天大楼遮挡得断断续续车辆根本无法准确知道自己的位置。于是它需要一种备用方案拍一张街景照片上传到云端让系统把这张照片与一张高分辨率的卫星地图进行匹配从而推测出车辆此刻的精确位置和朝向。这便是跨视角定位试图解决的问题。它的核心挑战在于地面的视觉图关注建筑物正面、车辆侧面、行人等垂直结构与天空的视觉图关注屋顶、道路平面等水平结构之间的视角鸿沟巨大得令人绝望。更要命的是GPS 数据集中的真值坐标通常是“有噪弱监督”的——标注的实际误差可能达到数十米因为获取高精度的真实位置在现实中成本过高。算法必须在这些充满噪声的标签下依然能够准确地将地面的每一帧与对应的卫星图像对齐。传统的做法要么假设地球是平的用逆透视映射 IPM 把地面像素投影到一个固定的平面上结果楼房与树木被拉伸得面目全非要么依靠复杂的跨视角 Transformer但这类模型在弱监督条件下训练成本极高、效率低下、极易过拟合。这时上海科技大学信息科学与技术学院王歧伟 (Qiwei Wang)、吴绍讯 (Shaoxun Wu) 与师玉娇 (Yujiao Shi)发表在NeurIPS 2025的论文《BevSplat: Resolving Height Ambiguity via Feature-Based Gaussian Primitives for Weakly-Supervised Cross-View Localization》走了出来。他们提出了一种极具洞察力的新方法不把世界强行压扁而是用数万个带有特征属性的 3D 高斯基元Feature‑Based Gaussian Primitives去“涂抹”一个真实的三维场景并进一步将其合成为可供直接匹配的鸟瞰图BEV特征图。一、问题的起点为什么卫星与街景的“对号入座”那么难跨视角定位这个任务至少有三大天然的挑战第一视角差别太大。地面相机拍摄的画面以垂直面为主——建筑物的正面、行道树的侧面、车辆的尾部而卫星图像源自天底视角看到的是建筑屋顶、道路平面等水平轮廓。这两套“语言”之间没有自然的对齐方式传统模型很难学会平移旋转的映射关系。第二高度模糊性。这是所有现有方法面临的最顽固的障碍。一张 2D 街拍图像中的任何一个像素可以对应空间中一个从地面伸向天空的垂直柱体上的任何点。到底是路面上的行道标志还是停在路旁的公交车顶还是二楼的一扇窗户在没有明确深度测量如 LiDAR的情况下这是一个典型的“病态”问题。平坦地面的假设在三维城市环境中根本不够错误的 3D 映射会直接导致 BEV 合成的几何失准。第三弱监督条件下的挑战。大多数可用的大规模跨视图数据集如 KITTI 数据集自带真值 GPS 误差可能达到数十米之多。让模型在这样“似是而非”的指导下自己摸索出一条准确的定位路径远比在完全精确标注下训练要困难。现有的主流方法试图通过复杂变换器来隐式地“学习”这种 3D 映射往往训练代价高昂且容易在弱监督下发散。一个更优雅的路径是如果我能为地面图像中的每个像素赋予一个合理的 3D 信息形状、位置、特征高度模糊性的迷雾就自然消散了。这正是 BevSplat 的核心初衷。二、方法的核心BevSplat——用可学习的 3D 高斯“刷出”一张 BEV 地图BevSplat 提供的方案直击要害把地面图像的每个像素都提升为一个带特征的 3D 高斯分布再利用显式的 3D 合成渲染到一个 BEV 特征图上最后与相应的卫星图特征进行对齐从而推测出相对姿态。全流程可以分为三个紧密耦合的环节。环节一从 2D 像素到 3D 高斯基元——告别 IPM 的“压扁”冲动不同于传统 3D 高斯泼溅3DGS中使用颜色与不透明度作为属性BevSplat 在每个高斯分布中注入了“语义与空间特征”。结构上每个高斯基元表示为3D 空间参数位置可学习的沿射线分布的深度、缩放尺度、旋转四元数、密度不透明度特征属性从输入图像中提取到的 D 维语义特征向量替代了传统 3DGS 的 RGB 颜色这一设计的关键洞见是特征属性让高斯基元不仅携带几何形状还承载丰富的上下文视觉信息因而它们可以更精确地反映不同物体的材质、纹理与类别属性。具体实现时系统对每一个像素沿视线方向放置一组可优化的深度候选值对这些候选点进行特征融合后确定它的空间位置。模型由此摆脱了 IPM 的“平坦世界”魔咒。环节二可见性感知的 BEV 渲染——将 3D 信息“压印”到顶视图有了 3D 高斯基元集合下一步是合成一张与卫星图对齐的 BEV 特征图。直接投影会导致重叠与遮挡的混乱这需要专门设计一个可见性感知渲染算法对每个高斯基元判断它是否应在前向投影中可见支持各向异性的高斯投影Anisotropic Splatting以适应物体在不同视角下的拉伸形态最后将每个 3D 位置上的特征值凝聚到 BEV 平面上的对应像素位置形成一张密集的 2D 特征图。最终生成的 BEV 特征图在几何上已经与卫星图对齐可以直接进行下一步匹配。环节三相对姿态估计——找到地面图相对于卫星图的位移与旋转模型随后生成一个候选姿态包含水平方向位移( x , y ) (x, y)(x,y)与朝向角θ \thetaθ通过某种可微分的对齐操作例如神经辐射场式的重投影特征比对计算出 BEV 特征图与该姿态下的卫星图区域之间的匹配分数。最大化这一匹配分数即可得到最优相对位姿。一个额外的精巧设计解决全景查询问题的“二十面体监督”Icosphere‑Based SupervisionBevSplat 的另一贡献是它能同时处理不同类型的输入图像——包括针孔相机图像和 360° 全景图。对于全景查询模型引入了一种基于二十面体Icosphere的监督策略将一个全景图像中紧密相连的像素投影到正二十面体展开的规则网格上从而消除全景图在极点区域的畸变并保持空间结构的一致性。该模块在第二版v2论文中被首次完整引入确保 BevSplat 在处理多样化输入格式时的稳定性。三、实验的答卷大幅提升的定位精度与优越的跨场景泛化3.1 实验设置评估在两大公开基准数据集上开展KITTI (pinhole queries)经典自动驾驶街景数据集提供带有真实 GPS 的行车图像VIGOR (panoramic queries)包含大量跨视图全景图像的室外场景数据集。评价指标主要采用中值位移误差Median Translation Error, mTE、中值朝向误差Median Orientation Error, mOE和不同误差阈值下的成功率。对比方法涵盖了 IPM 方法、弱监督变换器方法与 2024‑2025 年同期若干最新的跨视角定位算法。3.2 主要结果在 KITTI 数据集的针孔图像定位上BevSplat 的定位误差中位平移误差远低于所有基线方法特别是在弱监督条件下误差量级缩小了一个量级。简单说用 BevSplat 定位的车辆位置比用 IPM 或基于变换器的方法要精确得多。在更具挑战性的全景图像数据集 VIGOR 上BevSplat 依然保持领先地位。它的中位平移误差和成功匹配率在指定距离阈值内估计误差可接受的比例显著超越第二名尤其在“跨城市泛化”场景下BevSplat 能够保持较高鲁棒性而许多已有方法在跨域时呈现剧烈的性能下滑。对于标准图像如普通街道照片BevSplat 无需特别处理也能达到 SOTA 水平对于全景图像引入“二十面体监督”后其性能大幅提升。在定性分析中BevSplat 生成的 BEV 特征图展示了城市建筑轮廓的清晰分布道路曲线和建筑前缘比 IPM 方法中常见的“拉伸变形的条状物”要合理得多。这一视觉证据直接反映了 3D 高斯基元在高度维度的优势。消融实验逐一验证了“特征‑高斯基元”设计相较单纯 RGB 高斯基元和固定平面假设方案的性能增益。四、创新的价值BevSplat 为跨视角定位带来了什么深刻变化4.1 让“高度维度”不再被省略而是被显式建模IPM 因其效率而广受欢迎但它以“压扁三维世界”为代价。BevSplat 第一次提出在弱监督条件下为地面图像中的每个像素赋予一个可学习的 3D 高斯分布从而把高度估算的模糊性消解在端到端训练中。这使得模型能够更真实地还原建筑、车辆与植被的垂直延伸。4.2 告别大而不当的 Transformer回归“具身结构”带来的轻量有效性大量跨视图研究依赖 Transformer 进行端到端映射但往往训练时间长、过拟合风险高。BevSplat 采用显式 3D 高斯显式结构的中间表示把特征与几何耦合在一起避免了庞大无界的隐式映射。这既符合几何直觉也有利于弱监督场景下的稳定学习。4.3 为高斯泼溅开辟出新的“定位应用”战场最初 3DGS 专注于新视角渲染BevSplat 将高斯基元的用途推进到视图对齐与空间位置推测。这证明 3DGS 不仅能帮助人类“看”得更漂亮还能赋予机器理解“在哪里”的能力为 3DGS 与机器人感知、自动驾驶定位的进一步结合打下基础。4.4 更贴近真实世界的数据效率论文明确展示了即便在弱监督的噪声标注下BevSplat 仍能实现高精度定位这对数据采集受限、无法负担专业级 GPS 测绘的大规模部署具有重大意义。五、未来的追问从“绘出 BEV 图”到“完全理解三维城市”BevSplat 是一次令人振奋的突破但距离让机器真正看懂城市的三维全貌还有很长的路需要探索。从静态位置估计到运动与跟踪目前 BevSplat 解决的是单帧的 6DoF 相对位置估计。结合时序信息让模型在移动中不断校正定位、形成连贯的跨帧推测是为未来自动驾驶预测环节铺路的关键一步。从“配对对齐”到“联合三维重建”BevSplat 生成的 3D 高斯分布虽然携带特征信息但还不是完整的可渲染三维模型。自然延伸是将这些高斯属性进一步升维构造出可供 GIS 系统可视化和空间分析的高精度城市模型。从城市道路到复杂地形与非结构化环境BevSplat 目前基于道路环境的数据集KITTI、VIGOR进行验证但真正的高风险场景还包括灾害评估、越野自动驾驶与林地搜索救援。让“特征高斯基元”成为可泛化的标准部件BevSplat 的“特征三维高斯”结构是否也可以推广到其他感知任务中去——如跨视角的目标检测、场景理解或三维物体跟踪。这会是 3DGS 成为通用感知中间层的重要推动力。隐私与道德地面图像与卫星图像的精确对齐能够极大便利导航与城市管理但也可能导致对民用与私人空间的无授权追踪。在技术落地的同时必须同步探讨使用范围边界与数据保护机制。关键信息速览维度内容论文标题BevSplat: Resolving Height Ambiguity via Feature-Based Gaussian Primitives for Weakly-Supervised Cross-View Localization作者Qiwei Wang (王歧伟), Shaoxun Wu (吴绍讯), Yujiao Shi (师玉娇) [10†L10-L14]所属单位上海科技大学 (ShanghaiTech University) [10†L10-L14]发表会议NeurIPS 2025 (The Thirty‑ninth Annual Conference on Neural Information Processing Systems)论文状态已正式发表 (arXiv v4: 2025‑12‑24)arXiv ID2502.09080v4代码地址https://github.com/wangqww/BevSplat [10†L30-L31]模型名称BevSplat核心架构特征‑高斯基元 → 可见性感知 BEV 渲染 → 相对位姿估计输入输出单幅地面图像 (街景/全景) → 相对于卫星图的 (x, y, θ) 6DoF 位姿核心创新首次在弱监督下用显式 3D 高斯基元破解高度模糊性针对全景图像引入二十面体监督策略关键结果在 KITTI 与 VIGOR 上显著优于现有 IPM 方法及弱监督变换器方法具体误差数值请见论文 Table 1评价指标中位平移误差 (mTE)、中位朝向误差 (mOE)、匹配成功率等开源授权代码已随论文发布遵循开源许可对于跨视图定位这个经典的具身感知问题BevSplat 给出的回答不是一件更精美的匹配器而是一个崭新的问题框架“当二维的笔描绘三维的空间时最大的错误就是假定世界是平的。”它的意义不仅在于将 KITTI 与 VIGOR 的定位基准推向新高度更在于向学界提供了将 3D 高斯、语义特征与弱监督学习三股力量汇于一处的优秀范式。在需要机器人与城市深度对话的将来从一张街景图精确定位到卫星地图的能力就像是给了自动驾驶的「眼睛」一把空间直尺。这把尺从 BevSplat 开始已经带着高度维度的刻度扎扎实实地伸进了现实。