傅里叶单像素成像技术研究进展
摘要:计算光学成像,通过光学系统和信号处理的有机结合与联合优化实现特定成像特性的成像系统,摆脱了传统成像系统的限制,为光学成像技术添加了浓墨重彩的一笔,并逐步向简单化与智能化的方向发展。单像素成像(Single-Pixel Imaging, SPI)作为计算成像的重要分支,受到诸多学者的广泛关注。SPI利用空间光调制器调制出一系列具有不同空间结构的照明光场并投射到待成像目标场景,再用单像素探测器记录光场强度信息;而后利用预置的照明光场与记录的信号强度值之间的关联信息,实现对探测目标计算成像。由于其不需要面阵列探测器、调焦系统等复杂器件的配合使用,大大降低了光学成像的门槛。傅里叶单像素成像(Fourier Single-Pixel Imaging, FSPI)作为SPI典型的成像方法之一,由于其高效的成像表现,自被提出之后已经被应用到三维成像、边缘检测、散射成像等众多领域,衍生出了一系列的成像技术。文中从SPI的角度出发,主要介绍了FSPI的实现原理及相关成像技术方法研究进展,主要包括FSPI的光场调制技术、路径优化技术、重构方法及相应的应用场景研究进展,同时也对该领域亟待解决的问题进行了总结分析,并对未来的研究方向及相关应用进行了展望。
引 言
视觉是人类获得客观世界信息的主要来源,但受限于现有的成像技术,实现“更远、更广、更清晰”的成像效果仍是人们不断追求的目标。目前,主流的数字化成像技术主要基于CCD、CMOS等图像传感器阵列,通过建立起一一对应的成像关系来捕获目标图像,然而这种“所见即所得”的成像方式受到器件灵敏度等诸多因素的制约。在此背景下,一种新的成像方式——计算光学成像[1]应运而生。计算光学成像的发展不仅扩展了传统成像的应用范围,还推动了成像系统朝着简单化与智能化的方向发展。单像素成像(Single-Pixel Imaging,SPI)[2]作为计算光学成像的重要分支,近年来在多个领域取得了实质性进展,广泛应用于雷达探测[3−4]、图像加密传输[5−6]、实时成像[7−8]、显微成像[9−10]、医疗成像[11−12]等应用领域,同时在目标追踪[13−14]、多光谱成像[15−16]、大气湍流成像[17−18]、偏振成像[19−21]等方面也取得了重要的研究突破。
事实上,SPI最早可追溯到1884年由NIPKOW P[22]提出的Flying-spot相机。该相机通过光源投射一个带有孔洞的转盘,只有透过孔洞的光源才能照射到成像目标上,其余光线则被阻挡,实现了对单个目标场景的逐点空间扫描。随着成像技术的发展,SPI已从最初的逐点扫描模式演变为一种基于关联计算的新型成像方法[23−24]。根据光场调制的顺序不同,SPI技术可以分为主动SPI和被动SPI[25],具体实现原理图如图1所示。尽管这两种成像方式略有不同,但其实现原理基本类似。早期的SPI技术采用随机高斯分布的照明光场[26]结合二阶关联算法进行成像,但由于照明光场的随机性,重构的图像较为模糊,通常需要投射大量光场才能获得高质量图像。2011年,韩申生[27]课题组将SPI与压缩感知算法相结合,利用目标在特定变换域中的稀疏性,从一维桶探测器数据中恢复了目标。尽管压缩感知SPI减少了所需光场数量并提高了成像质量,但其计算过程相对复杂,耗时较长,且随机光场的非正交性可能导致目标信息的部分丢失。为了解决这些问题,研究人员提出了基扫描SPI)技术,该技术利用正交基底作为照明光场,不仅有效降低了图像采样过程中噪声的干扰,还充分利用了图像的稀疏性,使得在低采样率下通过简单的逆变换实现图像的高质量重构。目前,常见的基扫描SPI方法有哈达玛SPI[28−31]、小波变换SPI[32]、离散余弦SPI[33]以及傅里叶单像素成像[34−36](Fourier Single-Pixel Imaging, FSPI)。
近年来,FSPI技术因其兼顾高效率与高质量,被认为是基扫描SPI方法中一种有前景的选择。在FSPI技术中,通过傅里叶基底照明图案对目标场景进行采样,将其空间信息编码至频域。由于自然图像的频谱通常在低频区域具有较高的能量分布,FSPI通过对低频分量进行欠采样,减少了测量次数,从而提高了采样效率。在图像重建阶段,通过傅里叶逆变换将频域信息转换回空间域,从而生成高分辨率的图像。FSPI技术的高效采样和低计算需求使得成像过程更加迅速,这对于需要快速成像的应用场景尤为重要。因此,相比于其他基扫描SPI方法,FSPI不仅能够在低采样率下实现高效的图像重建,还能显著缩短重建时间,这使得它在实际应用中备受关注。文中将从FSPI的成像原理出发,探讨其在光场调制、路径优化、重构方法以及应用场景方面的研究。同时,对这些方法中存在的问题进行了系统分析,并简要概述了FSPI技术的应用前景及其未来发展的可能性。
1 FSPI技术原理
FSPI技术的核心原理是基于离散信号的傅里叶变换,通过从数字图像中提取频域信息,再将这些信息重新转换回时域以实现图像的重建。二维离散傅里叶正反变换的数学表达式如下[37]:
式中:M,N为图像大小;x,y为空间域下的直角坐标,取值范围分别为0 ~ M–1、0 ~ N–1;fx,fy为傅里叶域下的直角坐标,取值范围分别为0 ~ (M–1)/M、0 ~ (N–1)/N;I(x, y)为原始图像;C(fx, fy)为原始图像的傅里叶系数;j为虚数单位。由二维离散傅里叶变换分析可得,任何一个二维数字图像都可以表示为一系列不同空间频率和相位的傅里叶光场的线性叠加,其中每个傅里叶光场的权重由离散傅里叶系数C(fx, fy)决定,如图2所示。
为了获取目标图像在傅里叶域下的频谱系数,需要预先生成一系列傅里叶照明光场,并将这些光场依次投射到成像目标上,随后通过桶探测器接收总光强。每个照明光场Pθ具有特定的空间结构分布,其数学表示为:
式中:α是一个常数项,表示对比度;ß为强度调制系数;x和y为空间直角坐标;fx和fy分别对应空间坐标x和y方向的频率;θ为初始相位。由于常见的数字微镜(Digital Micromirror Device, DMD)的调制范围在0~1之间,因此通常将调制参数α和ß设置为0.5。
实际上,傅里叶照明光场由一系列具有不同初始相位和空间频率的正弦分布的灰度图案构成。假设目标是一个反射性物体,则通过单像素探测器接收物体反射的光强,可以用数学方法描述为:
获取目标场景的傅里叶系数主要有两种方式:三步相移法和四步相移法。其中,四步相移法是一种类似于差分测量的成像技术,能够有效减少背景光和实验系统噪声,从而提高目标图像的恢复质量。当使用四步相移获取目标图像的傅里叶频谱时,在特定空间频率(fx, fy)下,不同相位的照明光场投射到目标后所接收的强度值可表示为:
式中:E表示接收到的总光强值。在特定空间频率(fx, fy)下,傅里叶频谱系数可以通过公式(5)给出的四个值来确定,如下所示:
式中:T(fx, fy)为原始目标图像I(x, y)在傅里叶频率(fx, fy)下的频谱系数;F{}表示傅里叶变换。在获得目标场景的傅里叶频谱系数后,可以通过逆变换恢复目标场景的空间分布。
傅里叶分析表明,自然目标场景在傅里叶域中通常是稀疏的,大部分信息集中在低频区域。因此,优先选择低频傅里叶照明光场进行投射,可以有效减少成像所需的采样次数。此外,由于自然图像是实值的,其傅里叶频谱具有对称性,这就意味着在满采样情况下,仅需2×M×N的傅里叶照明光场即可完美重构目标场景。图3为FSPI实验系统的示意图,包括数字投影仪、待成像目标、单像素探测器以及计算机等。
2 FSPI技术方法
2.1 FSPI的光场调制
目前,常见的空间光调制器(如DMD)主要用于高速调制二值图案,其调制速率约为20000Hz。然而,对于由一系列灰度值在0~1之间连续分布的傅里叶照明光场,其调制速率仅为二值图案的1/8。DMD利用“时间平均效应”实现多灰度级图像,这是以牺牲时间分辨率来获得更多的灰度级显示,如图4(a)所示。就FSPI而言,如何快速地调制出傅里叶照明光场,对于恢复目标场景的质量和效率至关重要。
为了提高FSPI的调制速率,ZHANG等人[40]提出了一种空间抖动策略,将FSPI的速度提升了两个数量级。该策略主要利用“空间平均效应”,通过将灰度傅里叶照明光场二值化,近似还原灰度级的傅里叶散斑图案,从而实现空间光调制器的高速调制。如图4(b)所示,该方法通过对多灰度级的傅里叶基底图案进行插值(上采样),将像素数提升至kM×kN,其中k为插值倍数(k > 1)。随后,对插值后的傅里叶基底图案应用基于误差扩散的Floyd-Steinberg抖动算法,生成像素数为kM×kN的二值化离散傅里叶照明图案。图4(c)展示了不同二值化方式对成像性能的影响。理论上,k值越大,二值化产生的误差对重建图像质量的劣化影响越小,但图像分辨率也会降低。因此,该方法利用“空间平均效应”来抑制误差是以牺牲图像的空间分辨率为代价的。
此外,HUANG等人[41]提出了一种信号抖动策略来提高FSPI的成像效率,通过使用二值模式照明的计算加权方法来提高基于DMD的FSPI的重构效率,从而克服了基于DMD的FSPI成像系统中灰度散斑调制效率的问题。该方法与时间抖动策略相似,主要区别在于时间抖动策略通过DMD控制每个傅里叶照明光场分解的二值图案调制的持续时间,而信号抖动策略则使每个分解的二值图案的调制时间相同,但赋予不同的加权系数,通过将二值照明模式的光强度与加权系数相乘并求和,即可得到与待成像物体相互作用的灰度傅里叶基照明光场的强度值,如图5所示。两者在成像效果上是等价的,但基于信号抖动策略的FSPI能够有效降低照明光场调制的时间。
由于快速FSPI在进行照明光场二值化时使用了上采样和抖动策略,这会牺牲空间分辨率。若不进行上采样,FSPI的成像结果将会出现严重噪声。为此,LI等人[42]提出了一种名为Zhang-Qi的抖动策略,如图6(a)所示。不同于传统的Floyd-Steinberg抖动策略,Zhang-Qi抖动策略将一个像素的量化误差扩散到更大的邻域范围,让更多的像素区域共享误差,从而使误差在扩散过程中趋于平滑。此外,Zhang-Qi抖动策略具有更对称的结构,有助于消除误差。图6(b)展示了抖动策略中八种不同的扫描方式,图6(c)展示了使用Zhang-Qi抖动策略的四种扫描方式的傅里叶二值化结果。然而,重建图像中存在亚像素偏移,这种偏移仅依赖于误差扩散和扫描策略。为了平衡量化误差,该团队提出了一种合成重建图像的策略,实现了全分辨率和全视场的高质量FSPI,其立体目标场景的成像实验结果如图6(d)所示。
文中比较了三种不同的抖动策略的成像性能表现,如表1所示。具体来说,时间抖动策略通过控制傅里叶照明光场分解的二值图案的调制时间来提高调制频率,但通常会牺牲成像的时间分辨率;空间抖动策略通过误差扩散将傅里叶灰度照明转化为二值照明,以牺牲图像的空间分辨率来加快光场调制;信号抖动策略通过将傅里叶照明光场分解成二值模式并赋予不同的加权系数,以优化调制过程。
2.2 FSPI的采样路径
在FSPI中,采样路径的设计是提高成像效率和质量的关键因素。FSPI技术通过对单像素探测器接收到的光信号进行傅里叶变换来重建出目标图像,在这一过程中,如何高效地选择和调整采样矩阵直接影响到图像重建的速度和质量。采样路径设计主要涉及如何优化采样矩阵,以在最少的测量次数下获得高质量图像,这不仅能显著减少数据采集和处理的时间成本,还能提高系统的实用性和灵活性。有效的采样路径设计能够精确捕捉图像中的重要信息,最大限度减少冗余数据,从而提升整体成像性能。
常见的低频采样路径包括圆形采样路径、螺旋形采样路径以及菱形采样路径,ZHANG等人[43]详细比较了这几种采样路径分别对FSPI成像结果的影响。圆形采样路径以同心圆的形式进行采样,能够均匀覆盖图像的中心和边缘区域,避免图像中某些重要信息的丢失。对于具有圆形对称性或中心部分信息重要的目标图像,该路径能够较好地捕获关键特征,并减弱边缘效应对成像结果的影响。螺旋形采样路径则沿螺旋线的形式从图像中心向外扩展,逐步覆盖整个图像。该路径能够有效地捕捉图像的全局和局部特征,同时减少在边缘区域的盲点,提升整体成像的效率和质量,特别适用于需要从中心逐渐扩展到边缘的成像任务。菱形采样矩阵按照菱形网络的形式分布,能够有效捕获图像中的方向性特征,如纹理和边缘等。该路径的适应性强,可以根据不同的分辨率和细节要求调整采样点的密度和分布,特别适用于纹理分析和边缘检测等应用。
对于单像素成像而言,如何在保持高重建精度的同时有效减少成像时间仍然是一项挑战。一种实际有效的方法是采用非均匀稀疏采样(变密度采样),即根据图像特征的不同调整采样点的分布密度。然而,现有方法往往缺乏对稀疏性的直观和内在分析,这种局限性阻碍了在有限的可调范围内识别最佳分布形式的能力,进而影响了方法的整体性能。变密度采样是FSPI中一种重要的路径采样策略,它能够根据目标图像的重要频谱系数分布来构建合适的变密度采样矩阵[44−48],从而优化采样过程。2021年,QIU等人[44]发现傅里叶系数的重要性服从一维高斯分布,并基于此提出了一种高斯随机可变密度采样方法,如图7(a)和(b)所示。该方法结合了压缩感知技术,使得在低采样率下也能实现比传统采样策略更好的重建质量。实验结果表明,该方案可以在10%的采样率下重建出256 pixel×256 pixel的清晰图像,显著提升了成像效果。2023年,YAN等人[45]提出了一种稀疏采样方法,如图7(c)和(d)所示。该方法利用自然图像在频域内的稀疏特性,通过设计稀疏采样函数来识别图像中的重要频率区域。通过在这些关键频率区域进行更密集的采样,该方法能够显著提高图像细节的重构精度,确保高质量的图像重建。
自适应采样是一种动态调整采样策略的方法,通过在成像的过程中预测并提取下一个重要的频谱系数,以自适应的方式获取频谱信息。这种方法基于对图像频谱特性的实时分析,能够有效对关键频率位置进行采样。为了在有限的采样次数和较短的重建时间内平衡图像细节和噪声抑制,HE等人[49]提出了一种自适应傅里叶单像素成像(A-FSI)方法,如图8(a)所示。该方法通过检查傅里叶域中低频和高频分量之间的径向相关性,选择低频分量来估计重要的高频分量的位置,并仅使用逆傅里叶变换进行重构。A-FSI能够在有限的采样数和较短的重建时间内同时保持图像细节和降低重建噪声。在当前的研究中,深度学习技术被广泛应用于自适应采样路径的优化。这些方法主要通过训练大量的样本集来学习频谱系数与采样路径之间的对应关系,以实现最佳路径优化。WANG等人[50]提出了一种使用深度Q学习网络(DQN)的优化采样方法,如图8(b)所示。该方法将采样过程视为决策过程,并通过重建图像的改善作为反馈,获得了正交变换的SPI(OT-SPI)相对优化的采样策略。利用DQN,所提出的SPI能够直接获得最优采样策略,消除了人工规划采样路径对成像性能的影响。2023年,HUANG等人[51]进一步提出了一种基于学习的高效FSPI方法,如图8(c)所示。该方案引入了自适应欠采样网络(AuSamNet),通过反馈机制自适应地优化DNN重建的欠采样掩模,从而实现高效且高质量的图像重构,避免了繁琐的掩码设计和实验。
文中比较了不同采样路径策略的特性,如表2所示。传统路径采样采用固定路径,如圆形、螺旋形和菱形等,其采样点分布规律性强、易于实现,适用于规则结构的场景采集任务;稀疏采样则根据图像的频谱特性或特征分布,调整采样点的分布密度,实现非均匀变密度采样,这在低采样率下捕获图像特定特征时较为高效;自适应采样利用深度学习方法,能够根据图像特征动态调整采样路径,从而提高采样效率和图像重建质量,特别适用于快速成像、复杂场景中的智能采样,以及需要实时调整采样策略的任务。
2.3 FSPI的重构方法
在FSPI中,重构算法的选择对图像质量和重建效率至关重要。目前,FSPI的重构算法主要包括傅里叶逆变换[52]、二阶关联算法[53−54]、压缩感知算法[55−57]、深度学习技术[58−63]以及其他成像方式[64−65]。每种重构算法在应对不同的成像挑战时展现了独特的优势和局限性。因此,深入研究和比较这些算法对于推动FSPI技术的发展和实际应用具有重要意义。
2024年,合肥工业大学课题组提出了一种多区块FSPI(MB-FSPI)方法[52],该方法利用频分多路复用技术,对目标场景划分为多个独立的分块,并对每个区块进行独立调制,显著提高了成像质量和效率。即使在采样率仅为0.1%的情况下,MB-FSPI也能够实现1024×1024的高清分辨率,如图9(a)所示。该方法在弱噪声条件下表现出色,能够有效重建大规模目标场景,为实时大尺寸目标成像提供了新的可能性,如图9(b)所示。除了传统的傅里叶逆变换图像重构算法外,2015年,TAVASSOLI等人[53]提出了一种基于正弦照明光场的SPI方案,该方案依托傅里叶级数分解原理,通过正弦光场的正交性实现对目标场景的二阶关联重构。然而,该方法仅考虑了正弦光场的正交性,忽略了每种正弦散斑照明光场对目标重建的不同贡献度,导致成像效果在某些情况下受到限制。为克服正弦光场在成像质量上的局限性,合肥工业大学课题组[54]提出了一种基于优化正弦光场的高性能计算SPI方法,如图9(c)所示。该方法创新性地引入了优化的正弦模式,在低采样率下优先利用低频正弦模式,从而显著提升了成像质量。此外,提出的半循环正弦模式通过仅使用一半的正弦模式,进一步降低了采样需求,大幅缩短了成像时间,为实时SPI提供了一种有效的解决方案。实验结果表明,即使在5%的低采样率下,该方案也能恢复出高清晰度的目标场景,并在不同噪声水平下均表现出较好的成像效果,为高效成像技术的发展开辟了新的路径。
2019年,中国科学技术大学课题组[47]提出了一种结合稀疏采样与压缩感知算法的方法。该方法通过使用变密度随机采样矩阵对傅里叶光谱进行变密度采样,并对采集到的信号应用压缩感知处理,从而在降低采样率的同时获得高质量的目标场景图像。2020年,国防科技大学课题组[55]提出了一种结合离散梯度和非局部自相似性先验的方法,能更有效地利用自然图像的结构特性。在有限的采样测量条件下,与逆傅里叶变换(IFFT)和基于总变差(TV)的传统压缩感知算法相比,该方法显著提高了图像重建质量,特别是在图像细节和纹理信息丰富的目标场景中,其成像结果如图10所示。
近年来,深度学习技术的快速发展为计算成像领域带来了新的机遇。作为一种基于神经网络的机器学习方法,深度学习通过学习数据集中的非线性映射关系,能够实现更高质量的图像重建。特别是在FSPI领域,深度学习技术已被广泛研究和应用。2019年,曹杰团队[58]提出了一种深度卷积自编码器网络,通过对称跳跃连接架构,在5%~8%的采样率下实现了96×96分辨率的图像重建。经过大规模图像集的训练,该网络能够有效重建训练中未见过的多样化图像。与传统FSPI方法相比,该研究结果有力证实了结合深度学习的FSPI(DL-FSPI)在极低采样率下具有显著的图像恢复效果。2023年,司徒国海团队[51]提出了一种通过自编码器框架同时优化采样掩模和深度神经网络的新方法,该方法具备高度的灵活性和扩展性,能够适应各种成像条件和需求,显著提升了FSPI的效率和图像质量。
为了进一步提升FSPI在实时成像情况下的图像质量,**科学技术大学的研究团队[59]在2021年提出了一种基于生成对抗网络(GAN)的优化方案。该方案结合了Wasserstein生成对抗网络(WGAN)与梯度惩罚(GP)技术,构建了一个高效的图像重建框架。框架中的生成器和鉴别器通过对抗训练不断优化,特别是通过引入额外的生成器来提高重建图像的真实性。网络学习了从欠采样图像到高质量图像的端到端映射,在训练过程中重点去除各种噪声和伪影,同时保留图像的细节。通过这种方式,模型在极低的采样率下能够重建出高质量的图像,如图11(a)和(b)所示。该方法在95%~98%的压缩率下,相比传统的成像技术显著提高了在低采样率情况下的成像质量。此外,2024年,南昌大学课题组[60]提出了一种基于扩散模型的高分辨率迭代重建方法。该方法通过学习数据分布的先验信息,并结合真实采样的低频傅里叶谱作为一致性约束,显著提升了成像效率和质量,即使在1%的采样率下也能实现高质量的图像重建,如图11(c)和(d)所示。
文中比较了不同重构算法之间的差异,如表3所示。二阶关联算法是一种基于统计平均思想的经典成像方法,通过关联计算来重构目标场景,通常能够较快完成重建,但在噪声较大或统计特性不明显时,重构质量可能会有所下降;压缩感知算法利用目标图像信息的稀疏性,通过解决优化问题获得高质量的图像,但其重构时间较长;傅里叶逆变换通过将获取的傅里叶频谱系数进行逆变换,频谱域的信息转换回空间域,从而恢复高质量的图像;深度学习作为一种新兴技术,通过逐层提取和组合低层特征以构建高级特征,并进行大量训练来优化模型,从而能够快速发现数据的分布特征,并在训练完成后以极短的时间进行目标信息重构、成像。
2.4 FSPI的应用场景
FSPI技术凭借其独特的成像原理和优势,在光谱成像[66],三维成像[67−68],显微成像[69−70]、目标追踪[71−73]、图像加密[74−75]、边缘检测[76]以及散射成像[77]等多个领域展现了巨大潜力和应用价值,为未来成像技术的发展开辟了新方向。
在三维成像领域,FSPI技术因其高效的数据采集与处理能力,以及对复杂光学现象的适应性,展现了显著的应用潜力。该技术通过减少测量次数从而提高测量速度,有助于在工业检测、文物保护和医疗成像等多个领域实现快速且精确的三维表面重建。传统的轮廓测量方法,如条纹投影轮廓术,通常依赖于相机捕获由投影仪投射到物体表面的变形条纹图案,并通过分析这些图案的变化来重建物体的三维形状。然而,当测量表面存在次表面散射现象时,这些传统方法可能会受到干扰,从而影响测量精度。为了解决这一问题,钟金刚团队[67]提出了一种基于FSPI的双轮廓测量方法(AFDP),该方法利用环形傅里叶系数的测量显著减少了所需的测量次数,从而提高了测量效率,如图12(a)所示。实验结果表明,使用AFDP方法在没有反射和次表面散射的情况下,仅通过52次测量即可实现约0.08 mm的测量精度。这一成果证明,FSPI技术在处理具有复杂光学特性的物体时能够提供更为精确且高效的测量解决方案。
传统的边缘检测方法在图像处理中扮演着关键角色,通常需要先对目标物体进行成像,然后使用算法在图像上识别和提取边缘特征。这一过程不仅需要完整的图像数据,还可能涉及复杂的图像处理步骤。相比之下,FSPI技术提供了一种更高效的边缘检测方式。该技术通过分析图像的频域信息,能够快速识别边缘特征,既提升了处理速度,又简化了数据采集过程。基于此,北京理工大学课题组[76]提出了一种基于FSPI的边缘检测新方法,该方法结合了FSI与边缘检测算子,通过直接从目标物体的傅里叶谱中提取边缘信息,不仅提高了边缘的信噪比,而且在欠采样情况下,采用即插即用算法(PnP-EE-FPI)进一步增强了图像效果。图12(b)展示了在无需传统成像的情况下实现高质量边缘检测的巨大潜力,显著提升了边缘检测的效率和准确性,为资源受限或在成像条件不佳的情况下提供了新的有效解决方案。
散射介质常见于极端天气、浑浊水和生物组织等实际成像环境中,其存在会显著降低成像质量,增加精确成像的难度。为了提升FSPI在散射介质中的性能和效率,合肥工业大学团队[77]提出了一种将偏振信息与正弦照明光场相结合的新方法,如图13所示。基于Mie散射理论建立了雾天环境下的蒙特卡洛(MC)模型,并在模拟中设置了目标与背景反射率相近的条件,以深入探讨该方法的成像性能。实现结果表明,通过将偏振信息与正弦光场结合,该方法有效抑制了散射噪声的影响,显著提升了目标图像的对比度和清晰度。这一创新性方案为在复杂散射介质中实现高对比度、高分辨率的成像提供了新的技术手段,也为FSPI技术在实际复杂环境中的应用开辟了新的路径。
3 总结与展望
FSPI的光场调制技术主要基于空间抖动策略和信号抖动策略。基于空间抖动的FSPI技术通过将傅里叶灰度照明光场直接转换为二值化照明光场,充分利用了空间光调制器的高速二值调制能力。然而,这种方法会以牺牲图像空间分辨率为代价,从而影响图像的重构质量和清晰度。基于信号抖动的FSPI技术虽然在调制速率上提高了几个数量级,但仍无法完全匹配空间光调制器的调制速率。未来,通过研究不同的抖动算法,可以减少对傅里叶照明光场进行二值化过程中对光场特性的影响,从而最大限度地提高成像质量。
FSPI的路径优化主要包括构建采样矩阵和自适应采样。构建普适的采样路径是一种有效的成像方式,能够快速恢复目标并保持较好的成像质量。然而,不同的目标场景可能需要不同的最佳采样路径,自适应采样可以提供针对性的解决方案。基于深度学习自动优化采样路径是目前一种流行且有效的方法,但其弊端在于需要预先训练网络,训练过程可能耗时较长,并且在不同的成像系统中可能会失效。尽管如此,深度学习的优势明显,未来可以通过开发更加轻量化且具有良好泛化性的网络,以更高地适应实际的成像需求。
FSPI的重构算法主要包括傅里叶逆变换、二阶关联成像、压缩感知算法以及深度学习方法。傅里叶逆变化通过对获取的傅里叶频谱系数进行逆变换来恢复图像,此方法尽管在面对单一不变噪声时具有一定鲁棒性,但在大气湍流等实际环境中可能导致成像质量的下降。二阶关联成像利用统计平均思想进行目标场景重构,虽然其成像效率略低于基于傅里叶逆变换的成像方式,但在抗散射方面表现较好,适用于受散射介质影响的实际成像环境。压缩感知算法通过利用信号的稀疏性来降低采样率,但其主要局限在于需要大量迭代,计算复杂度高,从而增加了重建的时间成本。此外,基于深度学习的FSPI方法发展迅速,能够在极低的采样率下显著提高成像质量。然而,该方法需要大量的训练数据和时间,并且当训练环境与实际测试环境差异较大时,重建结果的准确性可能受到影响。可以发现,不同的FSPI重构方法各具特点,应针对具体的成像环境和现实需求选择最合适的恢复方案。
实质上,SPI通过在目标场景与照明光场之间建立线性或非线性关系,突破了传统意义上的成像方式。然而,实际应用中必须权衡SPI与传统光学成像的成本与性能。目前,包括FSPI技术中的成本代价尚未明确界定,需要一套完善的评估标准来衡量此类成像技术的成本。此外,尽管FSPI技术在理论上具有显著优势,但仍面临一些挑战,例如如何有效建立目标场景与重构图像之间的映射关系,以确保收集的数据能准确反映目标场景的有效信息。基于深度学习的FSPI方法通过利用大量训练样本来学习和优化从目标场景到重构图像的映射关系,但在某些特定应用场景中,如在个体医学病灶检测中往往更注重单个样本的差异性。因此,尽管基于深度学习的FSPI在许多应用中表现良好,但在这些领域的应用仍需进一步研究与优化,以更好地适应不同场景的需求。
作为计算光学成像的一部分,FSPI随着计算机性能和处理器技术的不断提升,有望突破光学衍射极限和其他物理定律的制约。同时,人工智能的引入将为FSPI注入新的活力,推动其从理论研究走向实际应用。未来,FSPI将在科学仪器、商业、工业和**安全等领域展现出广泛的应用前景。
相关文章:

傅里叶单像素成像技术研究进展
摘要:计算光学成像,通过光学系统和信号处理的有机结合与联合优化实现特定成像特性的成像系统,摆脱了传统成像系统的限制,为光学成像技术添加了浓墨重彩的一笔,并逐步向简单化与智能化的方向发展。单像素成像(Single-Pi…...

IDEA接入DeepSeek
IDEA 目前有多个途径可以接入deepseek,比如CodeGPT或者Continue,这里借助CodeGPT插件接入,CodeGPT目前用的人最多,相对更稳定 一、安装 1.安装CodeGPT idea插件市场找到CodeGPT并安装 2.创建API Key 进入deepseek官网…...

前端如何判断浏览器 AdBlock/AdBlock Plus(最新版)广告屏蔽插件已开启拦截
2个月前AdBlock/AdBlock Plus疑似升级了一次 因为自己主要负责面对海外的用户项目,发现以前的检测AdBlock/AdBlock Plus开启状态方法已失效了,于是专门研究了一下。并尝试了很多方法。 已失效的老方法 // 定义一个检测 AdBlock 的函数 function chec…...

macOS 上部署 RAGFlow
在 macOS 上从源码部署 RAGFlow-0.14.1:详细指南 一、引言 RAGFlow 作为一款强大的工具,在人工智能领域应用广泛。本文将详细介绍如何在 macOS 系统上从源码部署 RAGFlow 0.14.1 版本,无论是开发人员进行项目实践,还是技术爱好者…...

如何在Kickstart自动化安装完成后ISO内拷贝文件到新系统或者执行命令
如何在Kickstart自动化安装完成后ISO内拷贝文件到新系统或者执行命令 需求 在自动化安装操作系统完成后,需要对操作系统进行配置需要拷贝一些文件到新的操作系统中需要运行一些脚本 问题分析 Linux安装操作系统时,实际上是将ISO镜像文件中的操作系统…...

在服务器部署JVM后,如何评估JVM的工作能力,比如吞吐量
在服务器部署JVM后,评估其工作能力(如吞吐量)可以通过以下步骤进行: 1. 选择合适的基准测试工具 JMH (Java Microbenchmark Harness):适合微基准测试,测量特定代码片段的性能。Apache JMeter:…...

攻防世界32 very_easy_sql【SSRF/SQL时间盲注】
不太会,以后慢慢看 被骗了,看见very_easy就点进来了,结果所有sql能试的全试了一点用都没有 打开源代码发现有个use.php 好家伙,这是真的在考sql吗...... 制作gopher协议的脚本: import urllib.parsehost "12…...

STM32G474--Whetstone程序移植(双精度)笔记
1 获取Whetstone程序 Whetstone程序,我用github被墙了,所以用了KK的方式。 获取的程序目录如上所示。 2 新建STM32工程 配置如上,生成工程即可。 3 在生成的工程中添加并修改Whetstone程序 3.1 实现串口打印功能 在生成的usart.c文件中…...

【DeepSeek × Postman】请求回复
新建一个集合 在 Postman 中创建一个测试集合 DeepSeek API Test,并创建一个关联的测试环境 DeepSeek API Env,同时定义两个变量 base_url 和 api_key 的步骤如下: 1. 创建测试集合 DeepSeek API Test 打开 Postman。点击左侧导航栏中的 Co…...

开源身份和访问管理方案之keycloak(一)快速入门
文章目录 什么是IAM什么是keycloakKeycloak 的功能 核心概念client管理 OpenID Connect 客户端 Client Scoperealm roleAssigning role mappings分配角色映射Using default roles使用默认角色Role scope mappings角色范围映射 UsersGroupssessionsEventsKeycloak Policy创建策略…...

基于PaddleOCR的图像文字识别与程序打包方法
目录 一、基本介绍 二、程序实现 1)环境配置 2)代码实现 3)程序运行结果 三、程序打包 1)使用pyinstaller打包程序 2)添加依赖和模型数据 四、需要注意的问题 五、总结 一、基本介绍 本文主要介绍利用现有开源…...

单片机上SPI和IIC的区别
SPI(Serial Peripheral Interface)和IC(Inter-Integrated Circuit)是两种常用的嵌入式外设通信协议,它们各有优缺点,适用于不同的场景。以下是它们的详细对比: — 1. 基本概念 SPI࿰…...

Python 字典(一个简单的字典)
在本章中,你将学习能够将相关信息关联起来的Python字典。你将学习如何访问和修改字典中的信息。鉴于字典可存储的信息量几乎不受限制,因此我们会演示如何遍 历字典中的数据。另外,你还将学习存储字典的列表、存储列表的字典和存储字典的字典。…...

一个简单的Windows TCP服务器实现
初始化 WSADATA wsaData; SOCKET serverSocket, clientSocket; struct sockaddr_in serverAddr { 0x00 }; struct sockaddr_in clientAddr { 0x00 }; int clientAddrLen sizeof(clientAddr);if (WSAStartup(MAKEWORD(2, 2), &wsaData) ! 0) {printf("WSAStartup f…...

Node.js笔记入门篇
黑马程序员视频地址: Node.js与Webpack-01.Node.js入门 基本认识 概念 定义:Node.js 是一个免费、开源、跨平台的 JavaScript 运行时环境, 它让开发人员能够创建服务器 Web 应用、命令行工具和脚本 作用:使用Node.js 编写服务器端程序 ✓ …...

EX_25/2/10
epoll实现多路客户端之间的登录注册及消息和文件传输 服务器部分 #include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include…...

python视频爬虫
文章目录 爬虫的基本步骤一些工具模拟浏览器并监听文件视频爬取易错点一个代码示例参考 爬虫的基本步骤 1.抓包分析,利用浏览器的开发者工具 2.发送请求 3.获取数据 4.解析数据 5.保存数据 一些工具 requests, 用于发送请求,可以通过get,p…...

RbFT:针对RAG中检索缺陷的鲁棒性微调
今天给大家分享一篇最新的RAG论文: 论文题目:Enhancing Retrieval-Augmented Generation: A Study of Best Practices 论文链接:https://arxiv.org/pdf/2501.18365 论文代码:https://github.com/StibiumT16/Robust-Fine-tuning 研…...

证明: 极限的局部有界性
在考研数学中,极限的局部有界性是一个非常重要的概念,尤其是在讨论函数的连续性、可积性和可微性等性质时。局部有界性可以帮助我们理解函数在某些区域内的行为。 定理: 如果 lim x → x 0 f ( x ) L \lim_{x \to x_0} f(x) L limx→x0…...

51单片机俄罗斯方块计分函数
/************************************************************************************************************** * 名称:scoring * 功能:计分 * 参数:NULL * 返回:NULL * 备注:采用非阻塞延时 ****************…...

new 以及 call、apply、bind 关键字解析
1.new关键字 自动创建对象:使用new调用构造函数时,会自动创建一个空对象,并将其赋值给this。你不需要显式地使用{}来创建对象。 绑定this到新对象:构造函数内部的this指向新创建的对象,因此可以在构造函数中为新对象添…...

【用Deepseek搭建免费的个人知识库--综合教程(完整版)】第二篇:Ollama服务器
用Deepseek搭建免费的个人知识库–综合教程(完整版):第二篇:Ollama服务器部署 OLLAMA服务器的配置在很多网上都已经介绍的非常清楚了,我们的重点不在于那些简单的步骤,而是在需要为下一步做准备的地方更加…...

【图片合并转换PDF】如何将每个文件夹下的图片转化成PDF并合并成一个文件?下面基于C++的方式教你实现
医院在为患者进行诊断和治疗过程中,会产生大量的医学影像图片,如 X 光片、CT 扫描图、MRI 图像等。这些图片通常会按照检查时间或者检查项目存放在不同的文件夹中。为了方便医生查阅和患者病历的长期保存,需要将每个患者文件夹下的图片合并成…...

从基础到人脸识别与目标检测
前言 从本文开始,我们将开始学习ROS机器视觉处理,刚开始先学习一部分外围的知识,为后续的人脸识别、目标跟踪和YOLOV5目标检测做准备工作。我采用的笔记本是联想拯救者游戏本,系统采用Ubuntu20.04,ROS采用noetic。 颜…...

Elasticsearch:在 Elastic 中玩转 DeepSeek R1 来实现 RAG 应用
在这个春节,如一声春雷,DeepSeek R1 横空出世。现在人人都在谈论 DeepSeek R1。这个大语言模型无疑在中国及世界的人工智能发展史上留下了重要的里程碑。那么我们改如何结合 DeepSeek R1 及 Elasticsearch 来实现 RAG 呢?在之前的文章 “使用…...

寒假2.6--SQL注入之布尔盲注
知识点 原理:通过发送不同的SQL查询来观察应用程序的响应,进而判断查询的真假,并逐步推断出有用的信息 适用情况:一个界面存在注入,但是没有显示位,没有SQL语句执行错误信息,通常用于在无法直接…...

CTF中特别小的EXE是怎么生成的
我们在打CTF时候,出题的爷爷们给出的exe都很小 就10k左右,有的甚至就5k,那时候我很郁闷啊。现在我也能了啊哈哈 不多bb按如下操作: 我们来看看正常的release生成的代码# Copy #include "windows.h" int main(){ Messa…...

git rebase 和 git merge的区别
Rebase 可使提交树变得很干净, 所有的提交都在一条线上。 Merge 则是包含所有的调试记录,合并之后,父级的所有信息都会合并在一起 Rebase 修改了提交树的历史 比如, 提交 C1 可以被 rebase 到 C3 之后。这看起来 C1 中的工作是在 C3 之后进行的…...

Gitlab中如何进行仓库迁移
需求:之前有一个自己维护的新仓库A,现在需要将这个仓库提交并覆盖另一个旧的仓库B,需要保留A中所有的commit信息。 1.方法一:将原有仓库A导出后再导入到新的仓库B中 适用场景:新的仓库B是一个待建仓库,相当…...

LabVIEW 开发航天项目软件
在航天项目软件开发中,LabVIEW 凭借其图形化编程优势被广泛应用。然而,航天项目的高可靠性、高精度及复杂环境适应性要求,使得在使用 LabVIEW 开发时,有诸多关键要点需要特别关注。本文将详细分析在开发航天项目软件时需要重点注意…...