3D工业视觉

前言

本文主要介绍3D视觉技术、工业领域的应用、市场格局等，主要技术包括激光三角测量、结构光、ToF、立体视觉。

一、核心内容

3D视觉技术满足工业领域更高精度、更高速度、更柔性化的需求，扩大工业自动化的场景。

• 2D视觉技术基于物体平面轮廓，无法获得曲度、空间坐标等三维参数，检验精度低。
• 激光三角测量、结构光、 ToF、多目视觉等技术共同推动了3D视觉发展。 
• 生产线在线检测和装配难，需要复杂的解决方案来适应不同的生产场景，并在振动和环境光干扰下实现高速度和高精度，主要技术是激光三角测量和结构光。
• 高精度缺陷检测场景技术要求高，主要采用激光三角测量、干涉和共聚焦技术；
• 仓库自动化（尺寸测量、环境感知、手势识别、随机拣箱）主要采用结构光和立体视觉。 

移动机器人视觉引导是一个前景的场景，主要技术包括结构光、ToF、立体视觉。

• 环境感知具备宽视场、 高速度(用于实时视觉伺服)、高精度的要求，技术路径尚未确定。
• 特斯拉Optimus的3D传感模块以多目视觉为主，全身搭载8个摄像头，自研SoC芯片FSD，纯视觉方案硬件成本低，对软件算法要求高。
• 国内外其余厂商多采用3D相机+激光雷达方案，优必选WALKERX的视觉模块采用多目视觉，小米CyberOne的Mi-Sense采用iToF+RGB，追觅采用ToF+结构光，智元A1采用RGBD相机。 

从深度学习到通用视觉大模型，AI助力机器视觉提升效率，拓展应用场景。

• 过去工业机器视觉主要针对垂直场景的少量数据进行小模型训练，模型处理问题的复杂程度受限。
• 23年4月Meta发布通用图 像分割大模型SAM，视觉大模型赋能3D视觉，可以实现：
• a.大模型在广泛下游场景中具备优势，降低定制化开发成本，提升机器视觉产品毛利率，快速拓展应用场景。
• b.大模型在零样本或少量样本上表现优秀，机器视觉将在这些领域得以拓展，如从代码驱动变为视觉驱动的机器人、流程工业场景。 

二、3D视觉技术

2D视觉与3D视觉对比：

2D视觉发展

• 2D视觉技术在工业自动化过程的应用已经超过30年时间，
• 2D视觉基于物体平面轮廓驱动，解决部分二维层面的读条识别、边缘检测等问题，
• 无法获得曲度、空间坐标等三维参数，但可以满足外观检测、识别等应用，但检验精度低。

3D视觉发展

• 3D视觉技术在2014年前后开始兴起， 利用立体摄像、激光雷达等技术准确地完成物体三维信息的采集，
• 对于光照条件、 物体对比度等客观因素适应能力更强，可以实现2D视觉无法实现或者不好实现的功能，
• 例如检测产品的高度、平面度、体积等和三维建模等，
• 更加适配半导体、汽车、3C等领域的高精度工业需求，检测要求精度达到＜1μm。 

目前3D视觉最有前景的工业应用场景：高精度的测量及缺陷识别、高速高精度的在线检测、自动装配、视觉引导机器人等。

3D视觉常用四种技术：

• 激光三角测量、结构光、飞行时间(ToF)、多目视觉

1）激光三角测量 (Laser Triangulation)

激光三角测量是一种基于三角几何原理的测距技术。其基本原理如下：

1. 激光器发射一束激光，照射到目标物体上。
2. 激光反射回来，并由一个角度固定的摄像头接收。
3. 通过测量激光反射点在摄像头图像中的位置，可以根据已知的几何关系（激光器、摄像头和反射点之间的角度和距离）计算出目标物体的距离。

这种方法通常用于高精度的距离测量，适合于表面较为平整的物体。

2）结构光 (Structured Light)

结构光技术通过投射已知图案（如条纹、网格等）到目标物体表面，并用摄像头拍摄反射图案来测量物体的三维形状。其原理如下：

1. 投影设备发射特定结构的光图案到物体表面。
2. 光图案在物体表面发生变形，并由摄像头捕捉到。
3. 通过分析捕捉到的变形图案，可以重建物体的三维形状。

结构光适用于获取复杂物体表面的高分辨率三维图像。

3）飞行时间 (ToF, Time of Flight)

飞行时间技术通过测量光信号从发射到返回所需的时间来计算距离。其原理如下：

1. 光源发射短脉冲光信号（通常是激光或红外光）。
2. 光信号遇到目标物体后反射回来。
3. 通过测量光信号从发射到接收的时间差，并结合光速，可以计算出目标物体的距离。

ToF技术能够快速获取物体的距离信息，适合于实时性要求高的应用场景。

4）多目视觉 (Multi-view Stereo)

多目视觉是一种利用多个摄像头从不同角度拍摄同一场景，并通过图像处理算法重建场景的三维信息的技术。其原理如下：

1. 多个摄像头从不同角度同时拍摄目标物体或场景。
2. 通过图像配准和匹配算法，确定各摄像头拍摄的图像中相同点的对应关系。
3. 利用几何方法（如三角测量），计算出对应点的三维坐标，进而重建出整个场景的三维模型。

多目视觉适用于大范围场景的三维重建，广泛应用于摄影测量、机器人导航等领域。

3D视觉检测方法性能对比 

 3D视觉在工业的应用：

三、3D视觉市场格局

主要机器视觉厂商，产业链布局情况对比 ：

国内外机器视觉厂商，零部件核心技术指标比较：

各公司视觉软件对比，基恩士3D精度最高：

国内主要视觉引导机器人厂商：

公司	简介
海康机器人	面向全球的移动机器人、机器视觉产品提供商。
梅卡曼德	已形成包括 Mech-Eye 工业级 3D 相机、Mech-Vision 图形化机器视觉软件、Mech-Viz 机器人智能编程环境等在内的智能机器人基础设施产品线，可应用于无序抓取、高精度定位、装配、工业检测/测量、自动生成轨迹等典型场景。
图漾科技	全球领先的 3D 机器视觉供应商，为工业和行业应用提供高性价比的 3D 工业相机和配套软件方案。满足工业自动化、工业测量、物流科技、商业应用和其他多种场景。
燧智科技	公司的激光结构光 3D 相机产品主要应用于智能机器人引导，线光谱共聚焦 3D 成像系统应用于半导体、一、超分辨和共聚焦成像系统应用于生命科学。
迈德威视	专注提供各种工业相机类产品的开发及服务，是一家纯粹的相机硬件供应商，公司产品系列齐全，核心产品包含面阵相机、线阵相机、热成像相机、智能相机、3D 相机、双目相机模组、定制相机整机、摄像头模组等多条产品线。
知象光电	知象光电拥有自主研发的微结构光投射芯片、成像算法芯片、模组和整机，产品体积小、精度高、可靠性高。自研 3D 焊接视觉软件可实现复杂焊缝特征提取、轨迹导入、工件拟定定位等功能，焊接机器人落地生产。
埃尔森	埃尔森为多样化应用场景提供 3D 视觉方案，双目线扫激光 3D 技术应对严酷工作场景，双目面扫光栅 3D 成像技术应用于高精度成像场景，单线激光 3D 成像技术适合动态定位、测量、检测场景等。
燧智科技	面向工艺类场景，切坡口、焊接、上下料推拉流程化解决方案。
迁移科技	专注于 3D 工业相机和 3D 视觉机械臂引导系统，2022 年实现规模化量产。
如本科技	公司的 RVC 3D 工业相机、VDA 视觉位移测量分析系统以及垂直行业手眼配合产品，协同打造先进的机器人智能手眼方案。
蓝芯科技	新一代移动机器人全球引领者和制造业柔性物流解决方案一流提供商，核心技术 LX-MRDVS（蓝芯-移动机器人深度视觉系统）赋予机器人 3D 视觉感知能力。行业聚焦 3C、新能源（光伏/锂电）、包装，合作客户包括华为、中兴、比亚迪、德赛、美的、富士康、SHARP、LG、新能源等。
灵动科技	全球领先的视觉导航移动机器人（AMR）企业，第四代移动机器人（视觉 AMR）的开拓者和引领者，亚洲出货量、市场占率第一的“订单到人”方案商，拥有前瞻性的视觉导航 AMR 和全球领先的集群调度系统，以及全球化的销售、服务和运营能力。灵动科技已为众多世界 500 强头部企业提供服务，包括京东物流、顺丰供应链中国、欧莱雅、TCL、东风乘用车等，并成为华为严选唯一的机器人合作伙伴。
马路创新	多场景机器人大集群方案解决方案商，深耕人工智能大数据、调度算法、控制中枢等专业技术，聚焦搬运、拣选、分拣、智慧仓库、智慧工厂等场景。

3D 视觉重工行业应用:

3D 视觉技术应用于汽车生产制造:

汽车零部件厂｜视觉引导工件上下料

工件上下料是汽车零部件生产加工的重要环节。汽车零部件加工至成品需经过多道工序流转，催生了大量自动化上下料需求。

后续再更新~