HI3516DV500 相机部分架构初探

Hi3516DV500 是一颗面向视觉行业推出的高清智能 Soc。该芯片最高支持 2 路 sensor
输入，支持最高 5M@30fps 的 ISP 图像处理能力，支持 2F WDR、多级降噪、六轴防
抖、多光谱融合等多种传统图像增强和处理算法，支持通过 AI 算法对输入图像进行实
时降躁等处理，为用户提供了卓越的图像处理能力。支持热红外、结构光和 ToF 
sensor 的接入和处理。

Hi3516DV500 内置双核 A55，提供高效、丰富和灵活的 CPU 资源，以满足客户计算
和控制需求。
Hi3516DV500 集成了高效的神经网络推理引擎，最高 2Tops NN 算力，支持业界主流
的神经网络框架。
Hi3516DV500 提供稳定、易用的 SDK 软件开发包，支撑客户产品快速量产。

VI 子系统

视频输入单元 VI（Video Input），可以通过 MIPI Rx（包含 MIPI、Sub-LVDS、
LVDS、HiSPi）接口、BT.656/601、BT.1120 接口和 DC（Digital Camera）接收视频
数据，存入指定的内存区域。VI 内嵌 ISP 图像处理单元，可以直接对接外部原始数据
（BAYER RGB 数据），VI 的功能框图如上图 所示

VI 分成两个物理子模块：捕获子模块 VICAP 和处理子模块 VIPROC 组成。其中：
⚫ VICAP 完成多路视频输入的数据捕获功能，并将捕获的数据存放到 DDR 或者在线
送给 VIPROC。VIPROC 用以支持离线模式（从 DDR 读取数据）或者在线模式
（从 VICAP 接收在线）视频数据处理。
⚫ VIPROC 支持将处理数据写到 DDR 或者直接在线送给 VPSS。

VICAP 子模块

VICAP 子模块有以下特点：
⚫ 输入最大宽度为 8192，最大分辨率为 4096 x 4096。
⚫ 最大支持 2 路 sensor 数据输入。
− 接口 0 最大性能支持 3072x1728@30fps 的 2F-WDR RAW 输入
− 接口 1 最大性能支持 3072x1728@30fps 的 MIPI RAW 时序输入
⚫ 输入支持最大数据位宽为 14bit。
⚫ 支持逐行输入模式。
⚫ 支持 BT.656（2mux）、BT.601、BT.1120 和 DC 接口。
最高支持 148.5MHz 单沿采样
⚫ 支持 MIPI、Sub-LVDS、LVDS、HiSPi 接口。
⚫ 支持 MIPI 接口输入 YUV 格式
− YUV422 semi-planner、YUV420 semi-planner 格式
− 支持 embed data 采集
⚫ 支持 flash trigger
⚫ 支持 shutter trigger
⚫ 支持 sensor 主模式和从模式
⚫ 支持主流热成像 sensor 时序
⚫ 支持 RAW 数据压缩
⚫ 支持在线输出图像数据到 VIPROC。
⚫ 支持离线输出图像数据到 DDR。
⚫ 支持 7 个写出通道
− CH0(channel0)~CH3 支持 RAW 格式写出
− CH3~CH6 支持 YUV 格式写出
− CH0~CH3（RAW）最大宽高为 4096 x4096
− CH3~CH6（YUV）最大宽高为 4096x4096
注：VCDS 最大支持宽度为 1920
⚫ 离线输出数据格式支持：
− Semi-planar YUV4:2:2 模式
− Semi-planar YUV4:2:0 模式
− Semi-planar YUV4:0:0 模式
− RAW 模式

VIPROC 子模块

VIPROC 子模块有以下特点：
⚫ 支持在线模式（数据来自 VICAP 在线传输）。
⚫ 支持离线模式处理（数据来自 DDR）。
⚫ 最大处理性能为 3840x2160@30fps（WDR 合成后）
⚫ 内嵌 ISP 处理功能。
⚫ 支持一个通道的视频输出。
⚫ 支持数据压缩
⚫ 支持输出图像数据到 DDR。
⚫ 输出数据格式支持：
− Semi-planar YUV4:2:2 模式
− Semi-planar YUV4:2:0 模式
− Semi-planar YUV4:0:0 模式
− RAW 模式

数字图像处理（ISP）

ISP 模块支持标准的 Sensor 图像数据处理，包括自动白平衡、自动曝光、
Demosaic、坏点矫正及镜头阴影矫正等基本功能，也支持 WDR(Wide Dynamic 
Range)、DRC(Dynamic Range Compression)、降噪等高级处理功能。 ISP 主要支持
的图像处理功能如下：
⚫ 支持黑电平校正 BLC(Black Level Correction)
⚫ 支持静态以及动态坏点校正，坏点簇矫正
⚫ 支持固定噪声消除
⚫ 支持 Bayer 降噪
⚫ 支持 Demosaic 处理
⚫ 支持紫边校正 CAC（Chromatic aberration correction）
⚫ 支持 Gamma 校正
⚫ 支持动态范围压缩 DRC（Dynamic Range Compression）
⚫ 支持 Sensor 内部合成宽动态功能（Sensor Built-in WDR）
⚫ 最大支持 2 合 1 宽动态功能 WDR
⚫ 支持自动白平衡 AWB(Automatic White Balance)
⚫ 支持自动曝光 AE(Automatic Exposure)
⚫ 支持 3A 相关统计信息输出
⚫ 支持镜头阴影校正 LSC(Lens shading correction)
⚫ 支持图像锐化
⚫ 支持自动去雾处理
⚫ 支持颜色三维查找表增强
⚫ 支持局部对比度增强
⚫ 支持色彩自适应 CA（Chroma Adjust）
⚫ 支持 AIBNR、AIDRC、AIDM、AI3DNR
⚫ 支持 3D 降噪
处理能力以及其他功能：
⚫ 最大支持 14 bit bayer 数据输入
⚫ Built-in WDR 最大支持 16 bit bayer 数据输入
⚫ 支持最大图像分辨率 4096x4096
⚫ 支持最小图像分辨率 120x88
⚫ 最小水平消隐区 64 像素
⚫ 最小垂直消隐区 40 行(DRC 打开时最小 64 行)
⚫ 最大性能：4K@30fps

ISP 的功能结构图如图 11-1、图 11-2、图 11-3 所示。此图与本文中提到的
ISP_FE(ISP Front End)均代指 ISP pipeline 中 FPN（不包含）之前的部分，ISP_BE(ISP 
Back End)均代指 ISP pipeline 中 FPN（包含）之后的部分

VPSS子系统

视频处理子系统 VPSS（Video Processing Sub System）实现视频处理功能。支持在线
（VICAP-VIPROC-VPSS 全在线）和离线（VPSS 离线或 VIPROC-VPSS 之间在线）两种
工作模式。包含视频遮挡、3D 降噪、视频马赛克处理、视频裁剪、缩放、亮度单分量
处理、压缩、解压缩、mirror、flip 功能。

视频与图形处理的特点
⚫ 支持图形和图像 1/15.5～16x 缩放功能
⚫ 支持水平方向全景拼接
输入 2 路 1920x1080@30fps，最大输出 3840x1080@30fps 或
1920x2160@30fps
⚫ 支持视频层、图形层叠加
⚫ 支持色彩空间转换
 

MIPI Rx

移动行业处理器接口 MIPI Rx（Mobile Industry Processor Interface Receiver），通过
低电压差分信号接收原始视频数据（BAYER RGB 数据），并将其转化为 DC（Digital 
Camera）时序后传递给下一级模块 VICAP（Video Capture）。
MIPI Rx 支持 MIPI D-PHY、LVDS（Low-Voltage Differential Signal）、HiSPi（HighSpeed Serial Pixel Interface）等串行视频信号输入，串行视频接口可以提供更高的传
输带宽，增强传输的稳定性。
MIPI Rx 包含 Combo-PHY 和 Controller 两部分，功能框图及在系统中的位置如图 10-
20 所示。
图10-20 MIPI Rx 功能框图及在系统中的位置

MIPI Rx 有以下特点：
⚫ 支持 MIPI DPHY-ver1.2
⚫ 可同时支持 2 路 sensor 输入
⚫ 单路最多支持 4-Lane MIPI D-PHY 接口，最大支持 2.5Gbps/Lane
⚫ 单路最多支持 4-Lane LVDS/ sub-LVDS /HiSPi 接口，最大支持 1.5Gbps/Lane
⚫ 支持 RAW8/ RAW10/ RAW12/ RAW14/ RAW16 数据类型的解析
⚫ 支持 YUV420 8-bit legacy/ YUV420 8-bit non-legacy/ YUV422 8-bit/ 数据类型
的解析,支持最大 4 路 YUV virtual channel
⚫ 最多支持 2 帧 WDR，支持多种 WDR 时序
⚫ 支持 LVDS/HiSPi 模式像素/同步码大小端配置
⚫ 支持 Lane 数和 Lane 顺序可配置