Science Advances 上海理工大学与美国杜克大学（Duke University）共同开发了一种仿生复眼相机

编辑丨%科学家开发了一种 AI 辅助的仿生复眼相机。炎炎夏日，相信各位读者都有被蚊子骚扰过的恼火记忆。但往往想要清剿蚊子的时候，却被它灵巧地躲开，再难找到。诸如蚊子这种节肢动物的视觉系统已经进化了 5 亿多年，从寒武纪一直到现在。它们所拥有的复眼，其中的复杂结构是经过进化优化的卓越产品。具有成百上千个视觉单元的复眼可以检测来自不同方向的光线，提供广角视野并实现深度感知。尽管节肢动物的视力质量不佳且脑力较弱，但它们却表现出非凡的视觉认知能力，社交昆虫中常见的复杂视觉学习行为（比如颜色学习，模式识别等）都可以证明这一点。图 1：BCE 和人工视觉系统。（图源：论文）仿生复眼 （BCE） 与其自然对应物具有相同的局限性：微小的复眼覆盖了像素区域的一小部分，缺乏全面的成像能力，并且只为图像贡献了几个像素，从而产生了马赛克般的图像。因此，BCE 的成像质量仍然需要显著提高。上海理工大学与美国杜克大学（Duke University）共同开发了一种仿生复眼相机，以节肢动物视觉为模型，能够产生 165° 视角和 40 微米分辨率的全彩全景图像。
该研究以「Seeing through arthropod eyes: An AI-assisted, biomimetic approach for high-resolution, multi-task imaging」为题，于 2025 年 5 月 21 日发布在《Science Advances》。论文链接：https://www.science.org/doi/10.1126/sciadv.adt3505BCE 相机BCE 相机成像过程很简单，通过平均每个复眼单元的光强度来实现。但因为单元的数量收到分辨率的限制，实际的像素数量是有限的。此外，单元的尺寸也导致较低的检测效率，因为小孔径限制了入射光量并在窄波导中引起多次内部反射，从而带来高光损耗。成像的一种方式是将单元用作成像器数组，相邻单元捕获的图像经过进一步处理以形成高质量的图像。在这种方法中，首选具有较大的视觉单元的 BCE 设计，因其形成清晰图像的能力更强，检测效率更高。在这项研究中，BCE 被安装在框架内，并组装到市售的彩色图像传感器上，该框架将 BCE 与图像传感器对齐并阻挡环境光。图像传感器直接检测 BCE 的输出，它的像素密度和波导近端的直径决定了每个视觉单元的有效像素数。BCE 模仿天然复眼的解剖结构，其中的每个视觉单元都可被用作单独的成像器，收集的图像使用单元近端像素直接传输至图像传感器检测，以防止产生重影。
图 2：BCE 的光学表征。（图源：论文）该相机的两个光学元件可分别在 18.9 到 42.5 毫米的物距范围内（α = 0°, β = 0° 方向）与 19.9 到 32.5 毫米的物距范围内（α = 68.7°, β = 0° 方向）上清晰识别所放置的图案。通过不同模式的演示，BCE 相机展示了其能通过宽视角与大景深收集大量信息，这些模式在测试单元的周围单元里也部分出现，能为三维定位提供线索。任务处理视觉处理是结合先验知识与视觉输入，感知、分析和解释视觉模式，进而创建有意义表示的过程。在人工视觉系统中，这个过程可以通过模仿生物神经网络的功能和结构的机器学习模型来实现。模型分为三个阶段，与大脑的功能相对应。第一阶段模仿视觉注意力，将视觉系统引导至识别并定位 BCE 相机获得的广角图像中的关键目标。在两个方向与实际距离的测定上，相机误差分别小于 2.6°和 2.3%。第二阶段重建目标的形状，提供视觉场的二维表示。在此过程中，结构相似性和 2D 相关性分别高于 0.82 和 0.85。颜色相似度高于 91.4%。第三阶段对视觉场景进行抽象分析，重建后的图像在反向旋转后用于提取有用信息。视觉系统在结构相似度（>0.86）、二维相关性（>0.89）和颜色相似度（>95.2%）方面均达到了高度相似。上述的阶段结果突显了该系统在不同照明条件下检测和重构各种模式的稳健性能。
图 3：使用 BCE 相机的全景成像与人工视觉认知。（图源：论文）此外，BCE 相机还能进行同时观测多个物体并实时追踪它们的空间位置的挑战。实战测试中，与真实数据的良好一致率表明 BCE 相机具有多目标追踪的能力。即使两个遮罩互相靠近，也能被相机准确标记。
仿生视觉系统这是一种模拟节肢动物自然复眼和大脑功能的仿生视觉系统，目的是更好地实现全景成像、深度感知和信息解读。其中 BCE 相机作为关键设备，有着高效的低成本微流控辅助 3D 打印技术和互补金属氧化物半导体制造工艺。BCE 与单片成像传感器无缝集成，消除了需要笨重的中继透镜或复杂三维光电探测器的需要。其中设计了微透镜和大口径光学波导（并未牺牲单个视细胞尺寸），实现低插入损耗和大量有效像素。BCE 相机展示了全色、广角高分辨率成像和大量像素的非凡能力，同时可以在三维空间中同时定位多个目标，并独立重建每个目标的图像而不互相干扰。未来，研究人员可能会为其添加集成光学神经系统，从而优化神经网络。研发团队预测，仿生昆虫视觉系统的发展，将在监视、机器人导航和医疗诊断等领域推动深刻的创新。