当前位置: 首页 > article >正文

【MLP-BEV(10)】BEVPooling V1和BEVPooling V2的view_transformer,进行鱼眼图片实践

文章目录

  • 先说说 BEVPoolv1
      • 步骤1:3D点生成
      • 步骤2 2D特征采样和BEV特征生成
      • 特点
  • 再谈谈BEVPoolv2
      • 步骤1:3D点生成
      • 步骤2: 计算索引关系
      • 步骤3: `voxel_pooling`计算
  • 鱼眼图片进行实践
    • 步骤1、3D点生成(基于Kannala-Brandt 进行调整)
    • 步骤2、2D特征采样和BEV特征生成
        • (1) 体素化 (Voxelization)
        • (2) 特征散射 (Scatter Operation)
  • 补充:Kannala-Brandt 模型简短说明
  • 参考

先说说 BEVPoolv1

BEVPoolv2 是 BEVPoolv1 的优化版本,其优化了图像特征到 BEV 特征的转换过程,实现了在计算和存储方面极大的降低。BEVPoolv1 (左)和 BEVPoolv2(右) 的示意图如下:

在这里插入图片描述

BEVPoolv1 的主要计算流程如下:

步骤1:3D点生成

利用get_geometry() 计算图像中每个像素对应的3D空间点在自车(Ego)坐标系下的坐标,即建立 2D像素坐标 ↔ 3D自车坐标 的映射关系。
输入(典型参数):

  • rots:相机到自车的旋转矩阵 [B, N, 3, 3]
  • trans:相机到自车的平移向量 [B, N, 3]
  • intrins:相机内参矩阵 [B, N, 3, 3]
  • post_rots / post_trans:图像后处理(如裁剪/缩放)的变换矩阵
  • depth_假设:离散深度值(如 [4.0, 5.0, ..., 45.0]

输出

  • points:3D点坐标 [B, N, D, H, W, 3]
    • B:Batch大小
    • N:相机数量
    • D:深度采样数
    • H/W:特征图高度/宽度
    • 3:自车坐标系下的 (x, y, z) 坐标

首先执行(1) 生成视锥体(Frustum)

  • 预定义一个 3D视锥体网格(Frustum),表示相机视野范围内的空间采样点:
    # 伪代码:生成像素坐标 + 深度假设的网格
    # frustum 是视锥空间的点集合,初始形状为 (B, N_cams, D, H, W, 3)。
    frustum = create_frustum(depth_bins, H, W)  # [D, H, W, 3]
    
    • 每个点的初始坐标为 (u, v, d)(像素坐标 + 深度)。

其次执行(2) 逆投影到3D相机坐标系

  • 通过相机内参的逆变换,将像素坐标转换为 归一化相机坐标
    [ x c a m y c a m 1 ] = K − 1 ⋅ [ u v 1 ] \begin{bmatrix} x_{cam} \\ y_{cam} \\ 1 \end{bmatrix} = K^{-1} \cdot \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} xcamycam1 =K1 uv1
  • 乘以深度值得到 3D相机坐标
    P c a m = [ x c a m ⋅ d y c a m ⋅ d d ] P_{cam} = \begin{bmatrix} x_{cam} \cdot d \\ y_{cam} \cdot d \\ d \end{bmatrix} Pcam= xcamdycamdd
# 使用深度信息&#

相关文章:

【MLP-BEV(10)】BEVPooling V1和BEVPooling V2的view_transformer,进行鱼眼图片实践

文章目录 先说说 BEVPoolv1步骤1:3D点生成步骤2 2D特征采样和BEV特征生成特点再谈谈BEVPoolv2步骤1:3D点生成步骤2: 计算索引关系步骤3: `voxel_pooling`计算鱼眼图片进行实践步骤1、3D点生成(基于Kannala-Brandt 进行调整)步骤2、2D特征采样和BEV特征生成(1) 体素化 (Voxe…...

Elasticsearch:使用 Azure AI 文档智能解析 PDF 文本和表格数据

作者:来自 Elastic James Williams 了解如何使用 Azure AI 文档智能解析包含文本和表格数据的 PDF 文档。 Azure AI 文档智能是一个强大的工具,用于从 PDF 中提取结构化数据。它可以有效地提取文本和表格数据。提取的数据可以索引到 Elastic Cloud Serve…...

常考计算机操作系统面试习题(四)

目录 1. Peterson 算法伪代码 2. 信号量生产者消费者问题分析 3. 注释 Peterson 主函数并分析输出结果 4. 用 fork 创建子进程的程序 1. Peterson 算法伪代码 题目: 写出 Peterson 算法的伪代码。 参考答案: // 定义变量 boolean flag[2]; /…...

IP 分片重组与 TCP 会话重组

1. IP 分片重组(IP Fragmentation & Reassembly) (1)分片原因 当 IP 数据包长度超过 MTU(Maximum Transmission Unit)(如以太网默认 1500 字节)时,路由器或发送端会…...

【 <二> 丹方改良:Spring 时代的 JavaWeb】之 Spring Boot 中的 AOP:实现日志记录与性能监控

<前文回顾> 点击此处查看 合集 https://blog.csdn.net/foyodesigner/category_12907601.html?fromshareblogcolumn&sharetypeblogcolumn&sharerId12907601&sharereferPC&sharesourceFoyoDesigner&sharefromfrom_link <今日更新> 一、开篇整…...

多模态大模型训练范式演进与前瞻

本文从多模态大模型相关概念出发&#xff0c;并以Flamingo 模型为例&#xff0c;探讨了基于多模态大模型训练的演进与前瞻。新一代训练范式包括统一架构、数据工程革新和动态适应机制&#xff0c;以提升跨模态推理能力和长视频理解。 多模态大模型 定义 什么是多模态大模型&…...

游戏引擎学习第187天

看起来观众解决了上次的bug 昨天遇到了一个相对困难的bug&#xff0c;可以说它相当棘手。刚开始的时候&#xff0c;没有立刻想到什么合适的解决办法&#xff0c;所以今天得从头开始&#xff0c;逐步验证之前的假设&#xff0c;收集足够的信息&#xff0c;逐一排查可能的原因&a…...

HarmonyOS NEXT 关于鸿蒙的一多开发(一次开发,多端部署) 1+8+N

官方定义 定义&#xff1a;一套代码工程&#xff0c;一次开发上架&#xff0c;多端按需部署。 目标&#xff1a;支撑开发者快速高效的开发支持多种终端设备形态的应用&#xff0c;实现对不同设备兼容的同时&#xff0c;提供跨设备的流转、迁移和协同的分布式体验。 什么是18…...

SAP-ABAP:OData 协议深度解析:架构、实践与最佳应用

OData 协议深度解析:架构、实践与最佳应用 一、协议基础与核心特性 协议定义与目标 定位:基于REST的开放数据协议,标准化数据访问接口,由OASIS组织维护,最新版本为OData v4.01。设计哲学:通过统一资源标识符(URI)和HTTP方法抽象数据操作,降低异构系统集成复杂度。核心…...

当Kafka化身抽水马桶:论组件并发提升与系统可用性的量子纠缠关系

《当Kafka化身抽水马桶&#xff1a;论组件并发提升与系统可用性的量子纠缠关系》 引言&#xff1a;一场OOM引发的血案 某个月黑风高的夜晚&#xff0c;监控系统突然发出刺耳的警报——我们的数据发现流水线集体扑街。事后复盘发现&#xff1a;Kafka集群、Gateway、Discovery服…...

Dify+ollama+vanna 实现text2sql 智能数据分析 -01

新鲜出炉-今天安装vanna踩过的坑 今天的任务是安装vanna这个工具&#xff0c;因为dify中自己写的查询向量数据库和执行sql这两步太慢了大概要20S&#xff0c;所以想用下这个工具&#xff0c;看是否会快一点。后面会把这个vanna封装成一个工具让dify调用。 环境说明 我是在本…...

【Python实用技巧】OS模块详解:文件与目录操作的瑞士军刀

大家好&#xff0c;我是唐叔&#xff01;今天咱们来聊聊Python中那个被低估的"老黄牛"——os模块。这个模块看似简单&#xff0c;但却是每个Python开发者都绕不开的利器。就像我常说的&#xff1a;“不会用os模块的Python程序员&#xff0c;就像不会用筷子的美食家”…...

动态内存分配与内存对齐

在C语言及其他低级编程语言中,内存管理是一个至关重要的主题。动态内存分配和内存对齐是确保程序高效和稳定运行的关键因素。本文将深入探讨动态内存分配的原理,内存对齐的概念,并解释它们如何共同影响程序的性能和资源利用。 一、动态内存分配简介 1.1 动态内存分配的概念…...

C 标准库 – 头文件

1️⃣ <fenv.h> 简介 <fenv.h> 提供了用于控制和检查浮点运算行为的宏和函数。它为浮点环境提供了精细的控制&#xff0c;允许设置舍入模式、捕获浮点异常等。通过 <fenv.h>&#xff0c;程序员可以&#xff1a; 控制浮点舍入模式&#xff0c;指定不同的舍入…...

Redis的基础,经典,高级问题解答篇

目录 一&#xff0c;基础 二&#xff0c;经典 缓存雪崩&#xff1a; 1. Redis事务的原子性 2. 与MySQL事务的区别 1. 主从复制原理 2. 哨兵模式故障转移流程 3. 客户端感知故障转移 三&#xff0c;高级 一&#xff0c;基础 Redis的5种基础数据类型及使用场景&#xf…...

uniapp uni-swipe-action滑动内容排版改造

在uniapp开发中 默认的uni-swipe-action滑动组件 按钮里的文字都是横排的 不能换行的 如果是在一些小屏设备 比如PDA这种&#xff0c;同时按钮文字又都是4个字 多按钮的情况 就会发现滑动一下都直接满屏了 观看体验都不好 但默认的官方组件又没有样式的设置&#xff0c;下面就告…...

电脑卡怎么办?提升电脑流畅的方法

电脑已经成为我们工作、学习和娱乐不可或缺的伙伴。然而&#xff0c;随着使用时间的增长&#xff0c;许多用户会遇到电脑运行变慢、卡顿的情况&#xff0c;这不仅影响了工作效率&#xff0c;也大大降低了使用体验。本文将为大家分析电脑卡顿的常见原因&#xff0c;并提供一套实…...

SpringBoot报错解决方案

org.apache.tomcat.util.http.fileupload.impl.SizeLimitExceededException: the request was rejected because its size (31297934) exceeds the configured maximum (10485760) 文件上传大小超过限制...

知识表示方法之二:产生式表示法(Production System)

有关知识表示方法之一:一阶谓词逻辑的内容可以看我的文章:https://blog.csdn.net/lzm12278828/article/details/146541478 一、定义 “产生式”这一术语是有美国数学家博斯特(E.Post)在1943年首先提出来的,他根据串替代规则提出了一种称为波斯特机的计算模型,模型中的每…...

SQL Server中账号权限

目录标题 查看现有权限授予权限拒绝权限撤销权限角色管理 在SQL Server中管理账号权限主要通过以下几个关键步骤&#xff1a; 查看现有权限 可以使用系统视图来查看账号的权限&#xff0c;比如 sys.database_permissions 视图&#xff0c;示例查询如下&#xff1a; SELECT d…...

软件需求未明确非功能性指标(如并发量)的后果

软件需求未明确非功能性指标&#xff08;如并发量&#xff09;可能带来的严重后果包括&#xff1a;系统性能下降、用户体验恶化、稳定性降低、安全风险增加、后期维护成本高企。其中&#xff0c;系统性能下降尤为显著。当软件系统在设计和开发阶段未明确并发量需求时&#xff0…...

VScode-i18n-ally-Vue

参考这篇文章&#xff0c;做Vue项目的国际化配置&#xff0c;本篇文章主要解释&#xff0c;下载了i18n之后&#xff0c;该如何对Vscode进行配置 https://juejin.cn/post/7271964525998309428 i18n Ally全局配置项 Vscode中安装i18n Ally插件&#xff0c;并设置其配置项&#…...

Spring Boot项目快速创建-开发流程(笔记)

主要流程&#xff1a; 前端发送网络请求->controller->调用service->操纵mapper->操作数据库->对entity数据对象赋值->返回前端 前期准备&#xff1a; maven、mysql下载好 跟学视频&#xff0c;感谢老师&#xff1a; https://www.bilibili.com/video/BV1gm4…...

车架号查询车牌号接口如何用Java对接

一、什么是车架号查询车牌号接口&#xff1f; 车架号查询车牌号接口&#xff0c;即传入车架号&#xff0c;返回车牌号、车型编码、初次登记日期信息。车架号又称车辆VIN码&#xff0c;车辆识别码。 二、如何用Java对接该接口&#xff1f; 下面我们以阿里云接口为例&#xff0…...

npm : 无法加载文件 C:\Program Files\nodejs\npm.ps1,因为在此系统上禁止运行脚本的处理方法

1、安装了node.js后&#xff0c;windows powershell中直接输入npm&#xff0c;然后就报错 2、出现原因&#xff1a;权限不够 系统禁用了脚本的执行&#xff0c;所以我们在windows powershell输入npm -v的时候&#xff0c;就会报上面的错误。 3、解决 Set-ExecutionPolicy Un…...

【java笔记】泛型、包装类、自动装箱拆箱与缓存机制

一、泛型&#xff1a;类型安全的基石 1. 泛型的本质与原理 Java 泛型&#xff08;Generics&#xff09;是 JDK 5 引入的特性&#xff0c;通过类型参数化实现代码的通用性。泛型类、接口和方法允许在定义时声明类型参数&#xff08;如 T、E、K、V&#xff09;&#xff0c;这些…...

数仓开发那些事(11)

某神州优秀员工&#xff1a;一闪&#xff0c;领导说要给我涨米。 一闪&#xff1a;。。。。&#xff08;着急的团团转&#xff09; 老运维&#xff1a;Oi&#xff0c;两个吊毛&#xff0c;看看你们的hadoop集群&#xff0c;健康度30分&#xff0c;怎么还在抽思谋克&#xff1f…...

自动化测试【Python3.7+Selenium3】

1、自动化测试环境搭建之selenium3安装 方法1&#xff1a;cmd环境下&#xff0c;用pip install selenium &#xff08;速度很慢&#xff0c;不推荐&#xff09; 方法2&#xff1a;下载selenium安装包手动安装 下载地址&#xff1a;https://pypi.org/project/selenium/ 在解压…...

从零开始完成冒泡排序(0基础)——C语言版

文章目录 前言一、冒泡排序的基本思想二、冒泡排序的执行过程&#xff08;一&#xff09;第一轮排序&#xff08;二&#xff09;第二轮排序&#xff08;三&#xff09;第三轮排序&#xff08;四&#xff09;第四轮排序 三、冒泡排序的代码实现&#xff08;C语言&#xff09;&am…...

工业级POE交换机:助力智能化与自动化发展

随着工业互联网、物联网&#xff08;IoT&#xff09;和自动化技术的快速发展&#xff0c;网络设备在工业领域的应用日益广泛。然而&#xff0c;在严苛环境下&#xff0c;传统网络设备往往难以应对复杂的温湿度变化、电磁干扰和供电不稳定等挑战。为同时满足数据传输与供电一体化…...