BEV+Transformer架构加速“上车”,智能驾驶市场变革开启
BEV+Transformer成为了高阶智能驾驶领域最为火热的技术趋势。
近日,在2023年广州车展期间,不少车企及智能驾驶厂商都发布了BEV+Transformer方案。其中,极越01已经实现了“BEV+Transformer”的“纯视觉”方案的量产,成为国内唯一量产“纯视觉”智驾方案的厂商。
预计明年1月,极越01将在BEV+Transformer的基础上通过OTA升级更新OCC占用网络技术,极大提升异形障碍物识别能力和场景泛化能力,并实现BEV+Transformer+OCC的“纯视觉”高阶智驾完整技术体系。
除此之外,蔚来、小鹏、理想、百度、华为等主流主机厂、自动驾驶方案商在此前也推出了基于BEV+Transformer的智驾方案。
据了解,Nullmax就围绕BEV+Transformer技术架构进行了大量的工作,包括开发了一套强大的平台化BEV-AI整体技术架构。
这种技术可以在感知层面同时融合时间信息和空间信息,从而更好地支持多传感器、多任务的协同工作。通过支持多平台、多产品,以及任意传感器配置,为快速完成车企各项功能和任务的开发提供了可能性。
对于以量产见长的Nullmax来说,BEV+ Transformer这套技术架构可以说是打造易于部署、性能优秀、持续升级的行泊一体量产方案的根本。
现阶段,各大主机厂已经进入了城市NOA的规模化竞争周期,“高性价比”的高阶智能驾驶方案成为了各大主机厂决胜智能化下半场的关键点。
根据高工智能汽车研究院最新发布数据显示,2023年1-9月,中国市场(不含进出口)乘用车前装标配(软硬件)NOA交付新车37.73万辆,同比上年同期增长151.20%。未来几年内,NOA(从高速到城区)的普及化将是高阶智能驾驶市场的主旋律。
传统的智能驾驶技术主要依靠的是分析表达式和二进制编码交通规则算法来感知环境、规划轨迹和控制车辆,但这些方法在处理动态目标、遮挡等复杂环境时,往往面临着诸多的挑战。
而BEV+Transformer方案能够很好地融合多传感器的特征,将多传感器收集到的图像信息转换成3D视角,从而提高感知和预测的准确率,进而成为了高阶智能驾驶的主流方案。
毫无疑问,伴随着BEV+Transformer的大规模应用,从芯片到传感器、软件算法、数据、模型部署等都将发生改变,整个智能驾驶供应链体系正在发生新一轮的重构。
高阶自动驾驶进入2.0时代
基于BEV+Transformer方案,高阶智能驾驶正在进入2.0时代。
一方面,伴随着智能驾驶感知系统进入新一轮的变革周期,“重感知、轻地图”成为了行业主流趋势。根据《高工智能汽车研究院》监测数据显示,目前市面上的智能驾驶系统,多摄像头依然是感知组合的必选项,而4D毫米波雷达、激光雷达则以辅助感知和冗余决策为主。
在这样的背景之下,车载摄像头作为智能驾驶感知系统的主力传感器,正在进入了全新的爆发式增长周期。根据《高工智能汽车研究院》数据显示,2023年1-6月中国市场(不含进出口)乘用车前装标配前向ADAS摄像头589.23万颗,同比增长29.29%;侧视ADAS摄像头225.64万颗,同比增长107.13%;舱内摄像头标配搭载量达到225.50万颗,同比增长82.40%。
与此同时,车用传感器也进入了快速迭代演进与技术升级的发展阶段,高性能、低成本、小体积成为了新一代传感器产品的主流发展趋势。以车载摄像头为例,其性能要求正在不断被提升,比如环视/侧视摄像头,传统的360环视更多只是解决人机交互的问题,图像的现实和拼接仅仅是辅助驾驶员的感知和决策,但BEV却对摄像头的分辨率与暗光成像等性能提出了更高的要求。
“BEV+Transformer对于传感器的测量精度、鲁棒性、性价比和数量等都提出了更高的要求。”元橡科技相关负责人表示,双目立体视觉系统内专用深度引擎,直接输出图像+深度信息,在同等目距、像素条件下,具备测距更远、精度更高等独特的竞争优势。
据介绍,元橡科技的双目立体视觉系统通过双目系统识别道路类型,扫描前方路面信息得到高精度路面3D点云,不依赖激光和高精地图,是有效应对城市、高速等复杂NOA需求的高性价比解决方案。同时,双目立体视觉系统还可以与主动悬架系统结合,从而实现 “魔毯”垂向控制技术。
目前,元橡科技的“主动悬架路面预瞄系统”已经获得国内多家一线乘用车企前装定点,成为国内首家基于双目立体视觉的主动悬架路面预瞄系统的前装量产供应商。此外,元橡科技针对多种场景定制立体视觉解决方案来解决行业痛点,满足各类需求,也降低传感器使用门槛,从硬件、软件、平台、应用多层级与合作伙伴共建立体视觉新生态。
“仅提供硬件产品已经无法满足主机厂的需求,新一代传感器需要配套软件算法、测试验证等服务,为主机厂提供全方位的服务。”有企业人士表示,具备自主学习能力且能够支持AI技术处理大模型数据的新一代智能传感器,未来市场空间巨大。
另一方面,由于BEV+Transformer方案面临着大数据量的处理,对于大算力芯片的需求也在日益增强。在地平线看来,以数据为驱动、大规模并行运算的智能计算正取代逻辑计算,成为车载计算的核心。因此,如何在有限的面积、有限的功耗及成本下,实现更大的算力,已经成为巨大的挑战。
为此,地平线专门自主研发设计了具备“智能进化”能力的BPU创新性智能计算架构,有望在未来几年做到一至两个数量级的有效算力提升。
目前,经三代架构迭代、超400万片前装量产验证,地平线已经推出了最新一代智能驾驶加速引擎——BPU纳什,专为大参数量Transformer、大规模交互式博弈而设计,具有超异构计算架构,可显著增强算力多样性,是智能汽车时代的最优选择。
除此之外,地平线还推出了基于征程5的纯视觉BEV感知原型方案,并提出“感知决策一体化”的自动驾驶通用算法框架(UniAD),将智驾流程融合到基于Transformer的端到端网络框架中。
而近期,地平线还发布了新一代系列车载智能计算方案——征程6,基于统一的BPU纳什计算架构而来,是业界首款能够覆盖从低到高全阶智能驾驶需求的系列车载智能计算方案。
据了解,征程6旗舰专为新一代城区高阶智驾而生,拥有高集成度、高算力、高效率、高处理能力、高接入能力以及高安全等特点,算力高达560 TOPS,对BEV、Transformer等先进模型的支持效率在业界处于领先地位。
地平线相关负责人介绍,征程6旗舰搭载的BPU纳什架构实现了软硬结合的极致优化,专为大参数Transformer而生,面向高阶智驾前沿算法赢得最佳计算效率。同时,在强大计算性能的加持下,单颗征程6旗舰即可支持感知、规划决策、控制、座舱感知等全栈计算任务。
总体来看,伴随着高阶智能驾驶进入2.0时代,从芯片、传感器乃至智能驾驶系统的每一个模块都在发生“震动”。
新机会已经显现
尽管BEV+Transformer的技术路线优势众多,但是目前仍然面临着诸多的挑战。不过,这也意味着全新的市场机会已经显现。
一方面,由于Transformer训练与迭代需要海量数据做支撑,催生出了海量的数据采集、数据标注以及数据闭环打造的需求。
觉非科技联合创始人与技术合伙人刘斌表示,数据闭环是决定自动驾驶下半场竞赛的胜负关键。Transformer算法特性对数据的质量有较高的要求,需要设计多种渠道的数据采集闭环通道。除了动态目标感知数据闭环之外,还需要配合基于环境感知数据闭环的运用。
众所周知,BEV+Transformer方案可以将静态道路信息与动态道路信息统一到了同一个坐标系下,通过实时感知与转换,在行驶中即可实时生成“活地图”。
觉非科技认为,在BEV+Transformer架构下,道路数据越来越重要。“单车BEV实时感知范围较小,且许多特殊场景出现频率低等因素影响,很难实现所有驾驶场景数据的全覆盖。”刘斌表示,高精地图具备超视距等能力,在复杂路口、恶劣天气等复杂与极端场景下,地图与车端BEV感知数据闭环进行有效互补,才能提升高阶智能驾驶的安全性和驾驶体验。
另一方面,Transformer必将推动AI芯片市场格局进一步发生重构。资料显示,传统AI芯片主要针对CNN模型设计,常使用INT8量化操作来减少存储和计算的使用,对于精度的要求较低。但Transformer模型需要在较高的精度下进行,要求硬件具备高性能的浮点运算能力。
此外,由于Transformer模型的体量庞大,对于芯片性能要求严苛,除了需要进行底层软件等优化之外,SOC层面还需对缓存与带宽空间进行提升。
在这样的背景之下,爱芯元智、后摩智能等芯片厂商已经针对Transformer模型推出了相应的产品,率先抢跑AI大模型时代的新机会。
比如,爱芯元智自研了爱芯智眸®AI-ISP和爱芯通元®混合精度NPU两大核心技术,不仅可以对传感器特性做精细化建模、对影像处理策略进行极致优化设计,还可以充分利用AI算法的数据驱动特性,来获取更高维度的效果“助推”,全面提升智能驾驶疑难场景下的表现力。
目前,爱芯元智已基于自研的两大核心技术爱芯智眸®AI-ISP和爱芯通元®混合精度NPU,研发了M55和M76两个系列智驾芯片。
其中,爱芯元智推出的车规级主控芯片M55H,其在图像处理、算力、安全性和功耗等关键指标实现了全面突破。比如M55H首创了AI ISP技术,实现黑夜成像、防抖除模糊、去雾除紫边等多项图像增强,大幅提升复杂环境感知能力,保障出行安全。而其采用自研混合精度NPU,算力性能可达同级产品的两倍,有力支撑智能驾驶算法的演进。
爱芯元智汽车事业部总裁龚惠民强调,得益于爱芯智眸®AI-ISP的加持,车企可以用更具性价比的传感器方案来降低系统成本。此外,爱芯元智的开发平台和工具链也可以帮助客户快速开发,实现降本增效。
而在后摩智能看来,在AI大模型时代,定制化的AI芯片已经难以满足以Transformer为代表的网络模型的需求,存算一体芯片的性能优势逐步凸显。
后摩智能的存算一体技术,采用非冯·诺依曼架构,打破了芯片设计的“存储墙”及“功耗墙”,实现计算单元与存储单元的集成,在存储单元内完成部分或者全部的运算。
今年5月,后摩智能发布了业内首款存算一体智驾芯片鸿途™H30,以12nm制程实现最高物理算力 256TOPS,典型功耗 35W,成为国内率先落地存算一体大算力AI芯片的公司。
可以预见,伴随着BEV+Transformer的大规模上车应用,一个全新的智驾市场格局正在到来。
相关文章:

BEV+Transformer架构加速“上车”,智能驾驶市场变革开启
BEVTransformer成为了高阶智能驾驶领域最为火热的技术趋势。 近日,在2023年广州车展期间,不少车企及智能驾驶厂商都发布了BEVTransformer方案。其中,极越01已经实现了“BEVTransformer”的“纯视觉”方案的量产,成为国内唯一量产…...
Java中的jvm——面试题+答案(JVM的一些高级概念、调优技巧、垃圾回收算法等)——第13期
当涉及到Java虚拟机(JVM)时,面试官可能涉及更深入的问题,涵盖性能调优、垃圾回收算法、类加载机制等方面。 什么是类加载机制?请解释类加载的过程。 答案: 类加载是将类的.class文件加载到内存中的过程&…...

Android修行手册-ViewPager定制页面切换以及实现原理剖析
Unity3D特效百例案例项目实战源码Android-Unity实战问题汇总游戏脚本-辅助自动化Android控件全解手册再战Android系列Scratch编程案例软考全系列Unity3D学习专栏蓝桥系列ChatGPT和AIGC 👉关于作者 专注于Android/Unity和各种游戏开发技巧,以及各种资源分…...

Mycat实现读写分离
Mycat实现读写分离 Mycat支持MySQL主从复制状态绑定的读写分离机制。这里实现的也是基于MySQL主从复制的读写分离。 MySQL主从复制配置 首先要配置MySQL的主从复制,这里配置的是一主一次从。可以参考下面的文章。 https://blog.csdn.net/wsb_2526/article/detail…...

Ceph----CephFS文件系统的使用:详细实践过程实战版
CephFS 介绍 是一个基于 ceph 集群 且兼容 POSIX 标准的文件系统。 创建 cephfs 文件系统时 需要在 ceph 集群中添加 mds 服务,该服务 负责处理 POSIX 文件系统中的 metadata 部分, 实际的数据部分交由 ceph 集群中的 OSD 处理。 cephfs 支持以内核模块…...
python tkinter 使用(七)
python tkinter 使用(七) 本篇文章主要讲下tkinter 中的message 控件. Message控件可以用于在窗口中显示一段文本消息. 以下是个简单的例子: #!/usr/bin/python3 # -*- coding: UTF-8 -*- """Author: zhTime 2023/11/24 上午11:38 .Email:Describe: "…...

17. Python 数据库操作之MySQL和SQLite实例
目录 1. 简介2. 使用PyMySQL2. 使用SQLite 1. 简介 数据库种类繁多,每种数据库的对外接口实现各不相同,为了方便对数据库进行统一的操作,大部分编程语言都提供了标准化的数据库接口,用户不需要了解每种数据的接口实现细节&#x…...

Kafka-TopicPartition
Kafka主题与分区 主题与分区 topic & partition,是Kafka两个核心的概念,也是Kafka的基本组织单元。 主题作为消息的归类,可以再细分为一个或多个分区,分区也可以看作对消息的二次归类。 分区的划分为kafka提供了可伸缩性、水…...

英特尔工作站:助力专业用户实现高效创作
原创 | 文 BFT机器人 英特尔工作站是由全球知名的英特尔公司设计和开发的一款计算平台。英特尔在工作站处理器领域将其产品分为性能型和移动型两类,它的诞生旨在满足专业用户在科学、工程、设计等领域对高性能计算的需求。英特尔工作站配备了最新的英特尔处理器、大…...

软件工程期末复习(选择+填空+判断)
文章目录 软件工程期末复习一、 选择题 软件工程期末复习 一、 选择题 1.“软件危机”的表现不包括:(c) A、软件产品不能按期交付 B、用户对“已完成的”软件产品时常不满意 C、程序员越来越供不应求 D、软件项目难以管理,维护困…...

群晖NAS基础设置
群晖NAS基础设置 最近一直在玩群晖NAS系统,有一些基础的配置跟大家分享一下 开启ssh登录 1.开启方法 控制面板—>终端和SNMP—>终端机 2.使用ssh软件登录 这里我用SecureCRT登录 进入ssh 3.进入root用户 starstar-nas:~$ sudo su -l root Password: ro…...
2023亚太杯数学建模A题B题C题选题建议,思路分析,模型代码
目录 ABC题思路模型代码:获取见文末名片,第一时间更新 视频连接讲解如上 A题思路:采果机器人的图像识别技术思路模型代码 B题思路:玻璃温室中的微气候法规 C题思路:我国新能源电动汽车的发展趋势 ABC题思路模型代…...

OpenGL的学习之路 -5
1.视景体 正交投影 人眼看世界,有一个可见范围。范围内可见,范围外不可见。视景体就是这么一个概念。 (上图仅学习记录用) 在OGL中,有两种投影方式,对应两种视景体。第一种,正交投影…...

【linux】服务器CPU占用50%,top/htop/ps却看不到异常进程?使用unhide可以查看!
问题描述 htop发现前32个核全被占满了,但是却找不到对应进程号 查杀 治标:杀死隐藏进程 1、unhide 安装unhide apt-get install unhideunhide使用 unhide proc果然发现了隐藏进程 kill -9 kill -9 [pid]这么多pid号,我这边杀了其中…...

JSP EL表达式获取list/Map集合与java Bean对象
上文 JSP EL表达式基本使用 中 我们对EL表达式做了一个基本的了解 也做了基础的字符串数据使用 那么 我们可以来看一下我们的集合 首先 list 这个比较简单 我们直接这样写代码 <% page import"java.util.ArrayList" %> <% page import"java.util.Lis…...

汇编程序:查找数组中最大最小值
实验内容 1. 从数据段DS中包含9个字节的数组数据VALUE中分别找出最大值(存到max中)、最小值(存到min中)。 2. 能够单步执行程序,认真观察、判断每条指令执行的结果是否正确,对错误结果,能够做出…...
ElasticSearch之禁用交换分区
操作系统将进程加载至内存中执行时,对于当前未使用到的内存页,可能会将相关内存页交换至硬盘上,即swap。 对于性能敏感、时延敏感的应用程序比如ElasticSearch,swap特性会明显影响性能和稳定性,因此最好禁用swap特性。…...

【Linux】第二十一站:文件(一)
文章目录 一、共识原理二、C系列文件接口三、从C过渡到系统:文件系统调用四、访问文件的本质 一、共识原理 文件 内容 属性 文件分为打开的文件 和 没打开的文件 打开的文件:是谁打开的?是进程!----所以研究打开的文件本质是研…...
centos7 docker开启认证的远程端口2376配置
docker开启2375会存在安全漏洞 暴露了2375端口的Docker主机。因为没有任何加密和认证过程,知道了主机IP以后,,任何人都可以管理这台主机上的容器和镜像,以前贪图方便,只开启了没有认证的docker2375端口,后…...

Java王者荣耀小游戏
Background类 package LX;import java.awt.*; //背景类 public class Background extends GameObject{public Background(GameFrame gameFrame) {super(gameFrame);}Image bg Toolkit.getDefaultToolkit().getImage("C:\\Users\\ASUS\\Desktop\\王者荣耀图片\\Map.jpg&…...
conda相比python好处
Conda 作为 Python 的环境和包管理工具,相比原生 Python 生态(如 pip 虚拟环境)有许多独特优势,尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处: 一、一站式环境管理:…...

docker详细操作--未完待续
docker介绍 docker官网: Docker:加速容器应用程序开发 harbor官网:Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台,用于将应用程序及其依赖项(如库、运行时环…...
React Native 导航系统实战(React Navigation)
导航系统实战(React Navigation) React Navigation 是 React Native 应用中最常用的导航库之一,它提供了多种导航模式,如堆栈导航(Stack Navigator)、标签导航(Tab Navigator)和抽屉…...

盘古信息PCB行业解决方案:以全域场景重构,激活智造新未来
一、破局:PCB行业的时代之问 在数字经济蓬勃发展的浪潮中,PCB(印制电路板)作为 “电子产品之母”,其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透,PCB行业面临着前所未有的挑战与机遇。产品迭代…...

【力扣数据库知识手册笔记】索引
索引 索引的优缺点 优点1. 通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度(创建索引的主要原因)。3. 可以加速表和表之间的连接,实现数据的参考完整性。4. 可以在查询过程中,…...

visual studio 2022更改主题为深色
visual studio 2022更改主题为深色 点击visual studio 上方的 工具-> 选项 在选项窗口中,选择 环境 -> 常规 ,将其中的颜色主题改成深色 点击确定,更改完成...

Python实现prophet 理论及参数优化
文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候,写过一篇简单实现,后期随着对该模型的深入研究,本次记录涉及到prophet 的公式以及参数调优,从公式可以更直观…...

Nuxt.js 中的路由配置详解
Nuxt.js 通过其内置的路由系统简化了应用的路由配置,使得开发者可以轻松地管理页面导航和 URL 结构。路由配置主要涉及页面组件的组织、动态路由的设置以及路由元信息的配置。 自动路由生成 Nuxt.js 会根据 pages 目录下的文件结构自动生成路由配置。每个文件都会对…...

P3 QT项目----记事本(3.8)
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

Android15默认授权浮窗权限
我们经常有那种需求,客户需要定制的apk集成在ROM中,并且默认授予其【显示在其他应用的上层】权限,也就是我们常说的浮窗权限,那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...