完全自主研发,聚芯微发布3D dToF图像传感器芯片!
日前,由中国半导体行业协会IC设计分会(ICCAD)、芯原股份、松山湖管委会主办的主题为“AR/VR/XR×元宇宙”的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。武汉市聚芯微电子有限责任公司发布了完全自主知识产权的3D dToF图像传感器芯片SIF7010。
3D ToF技术为何更适合AR/VR/MR?
根据Yole Dévelopment的“2020年度3D成像与传感”报告显示,2019年全球3D传感模块市场规模为20亿美元,预计到2025年全球3D模块市场规模将增长到81亿美元,6年的年复合增长率超过了26%。Gartner在2019年发布的新兴技术成熟度曲线中,也指出3D传感技术即将进入成熟期。目前3D视觉技术已经被广泛的应用于智能手机、家庭娱乐、AR/VR/MR、智能AGV、智能制造等众多领域。
目前,主流的3D成像技术主要有三种,分别是双目主动立体视觉,结构光和TOF(Time Of Flight,又可分为iToF和dToF)。
从各项技术优缺点来看,双目成像虽然有着3D成像分辨率高、精度高、抗强光干扰性强、成本低等优势,但是其缺点也非常明显,比如其算法非常复杂、容易受到环境因素干扰、依赖环境光源、暗光场景表现不佳、模组尺寸相对较大等。因此目前在手机上应用相对较少。
3D结构光虽然有效识别距离相对较短,模组结构也比较复杂,成像容易受强光干扰,成本也相对较高,但是其通过一次成像就可以得到深度信息,能耗低、成像分辨率高,非常适合对安全级别要求较高的3D人脸识别、3D人脸支付等方面的应用。而且由于2017年苹果iPhone X的率先应用3D结构光技术的带动,该技术目前已经非常成熟。
虽然在苹果的带动下,之后有不少的旗舰也纷纷采用了前置3D结构光的方案,但是由于结构光在识别距离上的限制,使得结构光在手机上的应用,主要局限于前置,主要用作3D人脸识别解锁、3D人脸识别支付以及3D建模等应用,相对来说应用面较窄。
相比之下,3D ToF技术虽然成像精度和深度图分辨率相比结构光要低一些,功耗较高,但是其优势在于识别距离更远,可以做到0.4米到5米甚至更远的中远距离识别,抗干扰性强,而且FPS刷新率更高,这也使得ToF技术不仅可以应用于3D人脸识别、3D建模等方面,还可适用于SLAM、手势识别、体感游戏、AR/VR等多方面的应用,相比结构光技术应用面更广。
此外,相比结构光技术,3D ToF 的模组复杂度低,堆叠简单,可以做到非常小巧且坚固耐用且易于集成,因此更适合部署到移动端设备上,因此也得到手机厂商的青睐。
自2018年下半年开始,不少手机厂商都纷纷开始推出基于后置3D ToF技术的手机新品,比如OPPO R17 Pro、vivo NEX双屏版、华为P30 Pro、三星S10 5G版等。不过,这些基本都是基于iToF技术。
2020年,苹果率先在其新iPad Pro采用了基于dToF技术的“雷达扫描仪”,之后发布的iPhone 12 Pro和iPhone 12 Pro Max也配备了基于dToF技术的后置的“雷达扫描仪”,进一步加速了dToF技术的应用。

那么iToF和dToF技术又有何不同呢?
iToF 间接测量飞行时间,其原理为把发射的光调制成一定频率的周期型信号,测量该发射信号与到达被测量物反射回接收端时的相位差,间接计算出飞行时间。由于 iToF sensor 的 pixel 相对较小,可实现相对高图像分辨率。但iToF问题在于的测距精度的实现限制了最大测距距离,从原理上看,调制频率越高则测距精度越好,高调制频率意味着对应的测距距离不能太大,并且环境光会对电路产生干扰。
dToF是直接测量飞行时间,原理为向被测物体发射光脉冲,通过对反射和发射光脉冲时间间隔的测量,直接计算待测物体的深度。测距原理使得 dTOF 测量精度不会因距离增大而降低,功耗更低同时对环境光的抗干扰能力更强。
总结两种技术的优缺点来看,iToF具备低成本、较高分辨率优势,但识别距离相对较短,抗干扰性略差;而dToF技术则具备低功耗、抗干扰强、识别距离远等优势,适用于对测距精度要求高的较远距离测距场景。

聚芯微联合创始人、CTO孔繁晓也表示,我们看到3D ToF技术在AR/VR/XR应用方面的优势需求,主要的应用场景有两个方向,一个是更精细、更高速的,基于肢体或手势的识别率的场景,这种场景下希望有更高的分辨率,更精细的识别精度和帧率。另一种是对于混合现实方面,需要对整个空间进行扫描和建模,在这种情况下,可能对距离提出更高的要求。相对于其他3D视觉技术来说,ToF技术凭借分辨率及精度适中、识别距离更远、功耗低、平台易于集成等特点,更适用于AR/VR/MR设备所需的SLAM、3D建模等应用。
发布拥有全自主知识产权的3D dToF芯片
聚芯微作为一家具有较强的3D视觉技术能力的厂商,不仅能够提供iToF传感器,同时也是业内少数能够提供高性能dToF图像传感器的公司,致力于向业界提供一站式解决方案。
据介绍,聚芯微成立于2016年1月,是一家由数位拥有国际芯片大厂多年从业经验的归国学者成立的技术领先的芯片设计公司,专注于高性能模拟与混合信号芯片的开发。总部位于湖北武汉,在欧洲设有研发中心。目前员工210人,80%为研发人员,30%拥有海外学历学位和从业履历,获得专业投资机构和OPPO、小米、字节跳动等产业资本累计投资过数亿元。
在产品布局方面,聚芯微采取的是音频、触感、光学多产品线并行发展。其中,音频产品已实现数亿级别量产;线性马达驱动芯片也于2022年全面完成手机市场高中低端产品开发,解决了目前市场单一供应商的行业痛点。其首款线性马达驱动芯片匹配Haptic Core1.0的算法,目前也有被OPPO Find X6系列采用;在先进光学传感器方面,聚芯微的ALS only 单光感方案可兼容主流产品,实现光感产品在手机及IoT领域的广泛布局。其中,环境光传感器、多光谱的芯片都已经在大规模出货。

在3D ToF图像传感器芯片方面,聚芯微已经推出了国内首颗BSI 5um VGA iToF 传感器,且已获主流手机客户订单并量产。
孔繁晓表示,这款iToF传感器具有较高的分辨率(5um@VGA)和精度(100klux下<1%)以及抗干扰性,可以达到目前金融支付级人脸识别的要求和标准。并且功耗相比竞品低30%,是整个行业目前功耗最低的iToF传感器,支持非常灵活的配置模式,同时还有一个相对比较标准化的参考模组设计,整个模组系统功耗不超过600mW。


△针对典型的大卫头模型的测试,即使在加了100w干扰情况下,整个面部点云还是非常纯净的,拥有较高的成像质量和抗干扰性。

△针对户外的场景,100klux场景下,在4.5米,基于2.5w 940nm激光,整体系统功耗大概是几百毫瓦的量级,可以用于一些手势设备,或者电池方面,是即电式户外场景的应用要求。
据介绍,这款聚芯微自主知识产权的iToF传感器目前已经大量出货,可以应用于消费物流、手机、扫地机器人、智慧物流、机器人、无人工厂、轨道交通等应用场景。
此次聚芯微还发布了一款基于完全自主知识产权的3D dToF图像传感器芯片SIF7010。其采用了业界领先的3D堆栈式工艺,具有小尺寸低成本低功耗优势,可助力影像实现更好的全场景Auto-Focus,背景虚化人像模式,电影模式等,以及助力实现场景建模,河图-like AR/VR应用。
具体来说,SIF7010集成了自研的高PDP的SPAD成像阵列,高性能TDC以及低功耗DSP。
需要指出的是,dToF 深度算法相对简单,但难点在于用以实现较高精度的 SPAD(单光子雪崩二极管)。dToF 要检测光脉冲信号(纳秒甚至皮秒级),因而对光的敏感度要求会很高,因此接收端通常选择 SPAD或者 APD(雪崩光电二极管)这类传感器来实现。但是,APD集成度弱于普通的CMOS 图像传感器,像素尺寸一般大于 10μm,从而分辨率通常较差,成本也更高。相比之下,SPAD比APD更敏感,一个光生载流子就能触发大量雪崩电流,并且能够直接产生数字触发信号,可以实现更小像素尺寸,而且可与CMOS全兼容。可以说,SPAD技术是目前 dToF 技术的核心,但是技术难度大且制作工艺复杂,目前仅少数厂家具备量产能力。

具体技术指标方面,SIF7010拥有的1200的成像点(40×30像素),最远测距离5米,Depth精准度1%,具有较高的抗干扰性,系统功耗小于200毫安。可以广泛适用于多区对焦、SLAM、手势操作等应用。

据介绍,SIF7010相对于苹果所采用的索尼dToF方案来说,能够实现近似的AR/VR方案效果,但成本和功耗更低,目前这款芯片已经进入工程量产的阶段,预计今年量产。
“基于目前整个行业的发展趋势,我们认为3D ToF技术的适用性会更广泛,不管是iToF,还是dToF,彼此之间是互补的关系。iToF可以做相对近距离、分辨率更高的建模的应用。dToF更适合3、4米,甚至更远距离的空间建模的场景。作为行业内唯一一家同时具备iToF和dToF技术的团队,我们针对整个3D行业,我们拥有更为全面的解决方案。”孔繁晓总结说道。
编辑:芯智讯-浪客剑
相关文章:
完全自主研发,聚芯微发布3D dToF图像传感器芯片!
日前,由中国半导体行业协会IC设计分会(ICCAD)、芯原股份、松山湖管委会主办的主题为“AR/VR/XR元宇宙”的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。武汉市聚芯微电子有限责任公司发布了完全自主知识产权的3D dToF图像传感…...
MySQL 事物(w字)
目录 事物 首先我们来看一个简单的问题 什么是事务 为什么会出现事务 事务的版本支持 事务提交方式 事务常见操作方式 设置隔离级别 事物操作 事物结论 事务隔离级别 理解隔离性 隔离级别 查看与设置隔离性 注意可重复读【Repeatable Read】的可能问题ÿ…...
字节跳动测试岗四面总结....
字节一面 1、 简单做一下自我介绍 2、 简要介绍一下项目/你负责的模块/选一个模块说一下你设计的用例 3 、get请求和post请求的区别 4、 如何判断前后端bug/3xx是什么意思 5、 说一下XXX项目中你做的接口测试/做了多少次 6、 http和https的区别 7、 考了几个ADB命令/查看…...
基于.NetCore开源的Windows的GIF录屏工具
推荐一个Github上Start超过20K的超火、好用的屏幕截图转换为 GIF 动图开源项目。 项目简介 这是基于.Net Core WPF 开发的、开源项目,可将屏幕截图转为 GIF 动画。它的核心功能是能够简单、快速地截取整个屏幕或者选定区域,并将其转为 GIF动画&#x…...
PCB 基础~典型的PCB设计流程,典型的PCB制造流程
典型的PCB设计流程 典型的PCB制造流程 • 从客户手中拿到Gerber, Drill以及其它PCB相关文件 • 准备PCB基片和薄片 – 铜箔的底片会被粘合在基材上 • 内层图像蚀刻 – 抗腐蚀的化学药水会涂在需要保留的铜箔上(例如走线和过孔) – 其他药水…...
Python logging使用
目录 logging模块 logging核心组件 logger handler StreamHandler:把日志内容在控制台中输出 FileHandler:把日志内容写入到文件中 filter formatter 注意日志级别的继承问题 logger.exception 上述样例的整体代码 日志的配置文件及其模板 lo…...
红黑树的实现原理和应用场景
红黑树的实现原理和应用场景; 有如图所示的表,现在希望查询的结果将列成行 建表语句如下: CREATE TABLE TEST_TB_GRADE2 ( ID int(10) NOT NULL AUTO_INCREMENT, USER_NAME varchar(20) DEFAULT NULL, CN_SCORE float DEFAULT NU…...
idea插件完成junit代码生成,和springboot代码示例
在idea环境下,可以用过插件的方式自动生成juint模板代码。不过具体要需要自己手动编写。 1、安装插件 打开idea,file–settings–plugins,搜索和安装插件(JunitGenerator V2.0和JUnit),安装后,后…...
【Redis面试点总结】
1、缓存 1.1、穿透 查询一个空数据,mysql也查不到也不会写入缓存可能导致多次请求数据库 方案一:缓存设空即可(可能发生数据不一致就是这条数据有了但此时缓存是空,消耗内存) 方案二:布隆过滤器&#x…...
打卡智能中国(五):博士都去哪儿了?
《打卡智能中国》系列更新了几期,有读者表示,很爱看这类接地气的真实故事,也有读者反映,不是电工,就是文员、农民、治沙人,人工智能不是高精尖学科吗?那些学历很高的博士都去哪儿了?…...
[Nacos] Nacos Client获取调用服务的提供者列表 (四)
文章目录 1.Nacos Client获取调用服务的提供者列表1.1 从Ribbon的负载均衡入手到Nacos Client获取调用服务的提高者列表1.2 getServers方法返回分析1.3 通过selectInstances方法查找Instances实例1.4 获取到要调用服务的serviceInfo Nacos Client 从Ribbon负载均衡调用服务。 …...
gcc编译一个程序的步骤(嵌入式学习)
1.预处理(Preprocessing): 在这个步骤中,预处理器将处理与#相关的代码,包括展开头文件、删除无用定义和替换宏定义。预处理器会生成一个经过宏替换和条件编译处理的中间文件。 gcc -E xxx.c -o xxx.i2.编译࿰…...
邹检验,结构变化识别及其R语言实现
在描述多维数据的维度关系时,线性模型无疑应用最多。然而某些情况下,我们关心随着时间变化或随着样本分组,线性关系的具体参数是否发生了变化,即是否发生结构变化Structural break。邹检验Chow test提供了最基本的一种结构变化显著…...
腾讯云,物联网开发平台产品,动态注册步骤
1. 下载后解压,qcloud_iot_mqtt_sign-master.zip GitHub - tencentyun/qcloud_iot_mqtt_signContribute to tencentyun/qcloud_iot_mqtt_sign development by creating an account on GitHub.https://github.com/tencentyun/qcloud_iot_mqtt_sign 2. 按照readme文…...
Padding, Spacer, Initializer 的使用
1. Padding 的使用 1.1 样式一 1) 实现 func testText1()-> some View{Text("Hello, World!").background(Color.yellow) // 背景颜色//.padding() // 默认间距.padding(.all, 10) // 所有的间距.padding(.leading, 20) // 开始的间距.ba…...
少儿编程 中国电子学会图形化编程等级考试Scratch编程四级真题解析(判断题)2023年3月
2023年3月scratch编程等级考试四级真题 判断题(共10题,每题2分,共20分) 11、在使用自定义积木时,不可以传递布尔型参数 答案:错 考点分析:考查自定义积木的使用,使用自定义积木的时候可以传递数字、文本和布尔型参数,所以错误 12、执行如下图程序后,输出的结果为“…...
Makefile学习笔记
目录 一、概述 1.1 Makefile 介绍 1.2规则 1.3核心 1.4示例 1.5定义命令 1.6 make是如何工作的 1.7、makefile中使用变量 1.8让make自动推导 1.9、另类风格的makefile 1.10、清空目标文件的规则 二、Makefile 总述 2.1、Makefile里有什么? 2.2、 mak…...
C++ 函数模板基础
文章目录 一、什么是函数模板二、函数模板的优点1、代码重用2、类型安全3、可读性4、泛型编程5、性能优化6、库开发 三、函数模板的使用场景1、通用操作2、数据结构与容器操作3、排序与查找算法4、数学与统计函数5、类型转换器6、自定义函数对象 四、模板参数的声明(…...
CUDA torch reinstall 与杂谈
一 实用技巧 1 从cuda11升级到12 apt-get --purge remove "cuda*" wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda_12.1.1_530.30.02_linux.run sh cuda_12.1.1_530.30.02_linux.run vim ~/.bashrc export PATH/usr/local…...
[230530] 托福TPO口语真题| TPO66~TPO72|XPO|Task1|20:30~21:00
目录 真题 预测题 真题 66. Do you agree or disagree with the following statement? Some people believe that a person needs a college education in order to have a successful career. Others believe that a college education is not necessary for…...
RestClient
什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端,它允许HTTP与Elasticsearch 集群通信,而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级ÿ…...
使用VSCode开发Django指南
使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架,专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用,其中包含三个使用通用基本模板的页面。在此…...
Android Bitmap治理全解析:从加载优化到泄漏防控的全生命周期管理
引言 Bitmap(位图)是Android应用内存占用的“头号杀手”。一张1080P(1920x1080)的图片以ARGB_8888格式加载时,内存占用高达8MB(192010804字节)。据统计,超过60%的应用OOM崩溃与Bitm…...
Map相关知识
数据结构 二叉树 二叉树,顾名思义,每个节点最多有两个“叉”,也就是两个子节点,分别是左子 节点和右子节点。不过,二叉树并不要求每个节点都有两个子节点,有的节点只 有左子节点,有的节点只有…...
python报错No module named ‘tensorflow.keras‘
是由于不同版本的tensorflow下的keras所在的路径不同,结合所安装的tensorflow的目录结构修改from语句即可。 原语句: from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后: from tensorflow.python.keras.lay…...
用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会,玩音乐的本质就是玩电网。火电声音偏暖,水电偏冷,风电偏空旷。至于太阳能发的电,则略显朦胧和单薄。 不知你是否有感觉,近两年家里的音响声音越来越冷,听起来越来越单薄? —…...
A2A JS SDK 完整教程:快速入门指南
目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库ÿ…...
uniapp 开发ios, xcode 提交app store connect 和 testflight内测
uniapp 中配置 配置manifest 文档:manifest.json 应用配置 | uni-app官网 hbuilderx中本地打包 下载IOS最新SDK 开发环境 | uni小程序SDK hbulderx 版本号:4.66 对应的sdk版本 4.66 两者必须一致 本地打包的资源导入到SDK 导入资源 | uni小程序SDK …...
pycharm 设置环境出错
pycharm 设置环境出错 pycharm 新建项目,设置虚拟环境,出错 pycharm 出错 Cannot open Local Failed to start [powershell.exe, -NoExit, -ExecutionPolicy, Bypass, -File, C:\Program Files\JetBrains\PyCharm 2024.1.3\plugins\terminal\shell-int…...
Modbus RTU与Modbus TCP详解指南
目录 1. Modbus协议基础 1.1 什么是Modbus? 1.2 Modbus协议历史 1.3 Modbus协议族 1.4 Modbus通信模型 🎭 主从架构 🔄 请求响应模式 2. Modbus RTU详解 2.1 RTU是什么? 2.2 RTU物理层 🔌 连接方式 ⚡ 通信参数 2.3 RTU数据帧格式 📦 帧结构详解 🔍…...
