智能座舱相关术语全解及多模态交互在智能座舱中的应用

座舱相关术语全解

1. 智能座舱

智能座舱（intelligent cabin）旨在集成多种IT和人工智能技术，打造全新的车内一体化数字平台，为驾驶员提供智能体验，促进行车安全。目前国内外已经有很多研究工作，例如在车辆的AB柱及后视镜安装摄像头，提供情绪识别、年龄检测、遗留物检测、安全带检测等。

2. UFS

1. 定义
   • UFS闪存是由多个闪存芯片、主控、缓存组成的阵列式存储模块。

2. 特点
   • 弥补了eMMC仅支持半双工运行（读写必须分开执行）的缺陷，可实现全双工运行，性能得以翻番。
3. 分类及标准
   • 目前被细分为UFS 2.0和UFS 2.1，读写速度的强制标准都为HS - G2（High speed GEAR2），可选HS - G3标准。
   • 两套标准都能运行在1Lane（单通道）或2Lane（双通道）模式上，手机读写速度取决于UFS闪存标准、通道数以及处理器对UFS闪存的总线接口支持情况。
4. 应用及目标
   • 是一种设计用于数码相机、智能电话等消费电子产品使用的闪存存储规范。
   • 设计目标是发展一套统一的快闪存储卡格式，在提供高数据传输速度和稳定性的同时，减少消费者对于市面上各种存储卡格式的混淆和不同存储卡转接器的使用。

3. 多模态交互

1. 定义
   • 英文是modality，通俗说就是“感官”，多模态即将多种感官融合。Turing OS机器人操作系统将机器人与人的交互模式定义为“多模态交互”，即通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。
2. 意义
   • 打破了传统PC式的键盘输入和智能手机的点触式交互模式。

4. 3D虚拟引擎

1. 定义
   • 是将现实中的物质抽象为多边形或者各种曲线等表现形式，在计算机中进行相关计算并输出最终图像的算法实现的集合，就像在计算机内建立一个“真实的世界”。

5. AR/VR

1. VR
   • 虚拟现实Virtual Reality的英语缩写。VR显示的全是假的，是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。
2. AR
   • 增强现实Augmented Reality的英文缩写。AR显示的画面有一半是真的，一半是假的，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，目标是在屏幕上把虚拟世界套在现实世界并进行互动，最早于1990年提出，随着随身电子产品运算能力的提升，用途越来越广。

6. GNSS

1. 定义
   • 全球导航卫星系统（英文：Global Navigation Satellite System，GNSS），又称全球卫星导航系统。

7. TTS

1. 定义
   • TTS是Text To Speech的缩写，即“从文本到语音”。它将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语（或者其他官方语言语音）输出的技术，隶属于语音合成（SpeechSynthesis）。

8. DPU

1. 定义
   • DPU一般指数据处理器。数据处理器(英文名【Data Processing Unit】，简称DPU)是面向以数据为中心的计算的新一代处理器，集完整的数据中心功能于单芯片，和CPU及GPU一起构成新型计算的三大支柱。

9. 摄像头

1. 分类
   • ADAS Camera：高级驾驶员辅助系统Camera，一般为车前双目摄像头等。
   • AVM Camera：Around View Monitor，全景环视系统。
   • DMS：Driver Monitoring System，监测对象为Driver(驾驶员）。
   • OMS：Occupancy Monitoring System，监测对象为乘客。
   • CMS：Camera - monitor system，电子后视镜。
2. 相关组件
   • DES（DESerializer，解串器）、SER（SERializer，串行器）、CSI（CMOS Serial Interface）、ISP (Image Signal Processor，即图像处理)、NPU（Neural - network Processing Unit神经网络处理器）

10. 屏幕/显示器

1. 分类
   • Cluster：汽车仪表群。
   • IVI Display：In - Vehicle Infotainment，车载信息娱乐系统。
   • RSE：Rear seat entertainment，后排座椅娱乐系统。
   • CMS：Camera - monitor system，电子后视镜。
2. 相关组件
   • DP(display port，显示接口)、DSI（Display Serial Interface，显示串行接口，MIPI接口）

11. 音频

1. 组成
   • Speaker：喇叭、外放。
2. 相关组件
   • TDM（Time Division Multiplexing，时分复用）是PCM的一种方式，TDM相比I2S可以传输多channel音频数据。AMP（Amplifier，放大器）、A2B（Automotive Audio Bus）是汽车音频总线的简称，ADI设计研发的标准。

12. 无线连接

1. 分类
   • BT/WIFI：PCIe接口的模块。
   • GNSS：全球导航卫星系统模块。
   • FM/AM: Tuner（调谐器）

13. 其他组件

1. 分类
   • ETH：LIDARs（雷达）;
   • Vehicle Network:车载网络;
   • PCIe：SSD（固态硬盘，PCIe接口、NVMe协议）;
   • IMU：（Inertial Measurement Unit，即惯性测量单元）;
   • Codec: 编译码器。指的是数字通信中具有编码、译码功能的器件。

多模态交互在智能座舱中有以下一些应用

1. 语音 + 视觉：语音交互本身不可见，将其与视觉模态融合，例如通过中控屏幕上的语音虚拟形象或实体机器人的空间方位和状态变化，能让驾驶员更清楚地了解指令所处的状态，增强安全感。如蔚来汽车的 NOMI，在语音交互时能通过屏幕表情给出聆听、开心、点赞等反馈，增加了陪伴感和信任感。
2. 视觉 + 触觉：例如小鹏 P7 在打开车道辅助时，为减少驾驶员低头看仪表盘的情况，方向盘会通过抖动提示车辆压线；还可通过方向盘物理按键唤醒语音，语音虚拟形象的状态变化显示在中控屏上。
3. 手势识别：用于多媒体切换、音量控制、接电话、灯光控制等方面。比如岚图追光的手势控制，支持左右、上下和前后 3 种动态手势及 5 种静态手势，包括确认、自拍、接听 / 拒接电话和播放 / 暂停等常用功能，结合四音区语音系统实现语音 + 手势交互。一些车型还能通过 3D TOF 摄像头进行三维手势检测。
4. 驾驶员监测系统（DMS）：利用座舱内摄像头、近红外线等传感器，基于面部特征分析、头部姿态追踪、视线追踪、面部表情和情绪识别、身体姿势追踪和物体侦测等关键技术，实现对驾驶员的身份识别，以及疲劳驾驶、分心驾驶等危险行为的检测功能。例如，主流 DMS 方案采用近红外摄像头拍摄驾驶员眼球运动、面部表情，进行计算和 AI 识别，分析出驾驶员疲劳、分心、危险驾驶等动作信号，以此来提醒驾驶员。3D-TOF 传感器的 DMS 方案则可定位驾驶员眼神，协助 AR-HUD 实现动态校正。此外，DMS 能时刻监控驾驶员状态，满足 L3 决策安全性要求，法规也有标配 DMS 的趋势。
5. 乘客监测系统（OMS）：OMS 是 DMS 系统的延伸，可监测座舱内乘客的状态，比如监测儿童或宠物是否遗留在车内，还能检测人员是否使用安全带。在交互或娱乐方面，也可利用 OMS 摄像头完成手势识别、情绪识别、视频聊天等功能。
6. 增强现实抬头显示器（AR-HUD）：AR-HUD 可将车速、驾驶辅助和导航等信息直接显示在真实道路上，实现这一特性需要通过前视摄像头对前方的路况进行解析建模，得到对象的位置、距离、大小等，再把 HUD 需要显示的信息精准地投影到对应的位置。同时，融合 DMS 的眼神追踪摄像头，可保障画面跟着眼睛实时动态调节，保持动态中的相对静止，减少产生眩晕感，提升 AR-HUD 体验感。
7. AID 全息投影：借助光学原理投射在空气中，不需要任何介质，用户能从各个角度感受到悬浮在屏幕上的真实效果。它可同仪表、中控屏、视觉感知系统和语音交互系统等多维深度协同，与 DMS 的视线追踪和表情识别、自动驾驶的环境感知等融合，感知驾驶员的心情以及车外环境，通过数字虚拟人进行主动关怀（如音乐电影播放、氛围灯开启）、疲劳提醒、危险预警、天气提醒、节日变装等，建立更深层次的情感交流，带来更多陪伴和乐趣。
8. 情感化体验与主动服务：基于多模态感知，根据用户行为、历史使用习惯、用车场景和时间等情况主动推送应用服务。例如，对于 “路怒族”，AI 助手会通过心率、体温、表情等方面的大数据预判司机情绪是否处于 “路怒症” 发作范围，若判定则会通过对话、播放音乐、调节车内灯光等方式对司机进行安抚，并对车辆采取制动措施。还可感知司机的疲劳状态，准确识别人脸更多细节信息，如表情、微表情、精神状态（如是否疲劳、是否专注）等，从而判断出人的情绪、疲劳状态和开车时的专注度，通过情感互动进行疲劳驾驶预警，提高驾驶员专注度。