专利摘要

本发明涉及基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：1.设计算法结构，2.建立卷积神经网络，3.求解目标信息，4.消除干扰信息，5.获得原始目标。本发明中的双阶段成像算法结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR从20dB提高到38dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高4dB；在未知散射介质条件下，成功恢复隐藏的目标；基于u型结构和残差网络，构建双阶段卷积神经网络提取特征，恢复目标信息。

权利要求

1.基于物理约束和数据驱动的双阶段散射成像方法，其特征在于，包括以下步骤：

步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识代替散斑作为输入的双阶段成像方法，指导网络学习过程；

步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN；

步骤三：求解目标数据：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标数据，无序散斑中的目标数据分别在散斑仿真数据和散斑系统数据中获取；所述散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，双高斯随机矩阵根据不同的方差模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声，散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，所述散斑系统数据通过实际光学系统采集含噪图像，含噪图像包括低曝光引起的探测器噪声以及通过在实验中控制环境干扰光添加不同等级的光子噪声；

步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计增强网络ACR-1， ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，并基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，

(1)

式中，表示增强后的散斑自相关，表示散斑，*表示计算自相关的过程，表示待测目标，表示光学系统的测量噪声；

步骤五：获得原始目标：设计重建网络ACR-2，ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：

（2）

式中为由函数恢复的目标。

说明书

技术领域

本发明涉及一种基于物理约束和数据驱动的双阶段散射成像方法，属于图像处理技术领域。

背景技术

透过散射介质成像是一个十分重要且具有挑战性的问题，在很多领域内具有广泛的应用，例如生物医学成像和天文成像等。由于光波在透过介质时产生的强散射，传统光学成像系统无法直接观测隐藏在散射介质之后的目标信息。另一方面，不完美的成像环境往往会引发噪声干扰，因此，恢复目标信息的难度加大。

为了恢复隐藏在无序散斑中的目标信息，人们主要提出了包含基于光学相位共轭原理的波前调制技术和基于光学记忆效应的散斑相关成像技术。其中，基于波前调制的反馈调节聚焦技术通过控制空间光调制器调整入射光波的相位分布，补偿由于散射引起的相位畸变，恢复目标信息；基于光学传输矩阵的方法则是用矩阵变换来近似描述包含散射介质在内的光学输入场和输出场的对应关系，通过求解光学传输矩阵恢复目标信息；基于光学记忆效应的散斑相关技术结合自相关和相位恢复算法可实现非侵入式恢复目标信息。然而传统的相位恢复算法难以摆脱病态逆问题或无法收敛至全局最优解的阴影。由于传统散斑相关技术要求高质量散斑来消除噪声干扰，其成像系统要求采用高分辨率高灵敏度相机，噪声鲁棒性较差。

近些年来，基于深度学习的计算成像研究在解决病态逆问题上提供了很好的解决方法。其中，有人提出的"IDiffNet"实现了对散斑图像的重建，并且首次使用NPCC，即negative Pearson correlation coefficient作为损失函数。有人构建了一个“一对多”卷积神经网络，可以重建隐藏在未经训练的磨砂玻璃后的目标信息，前提是这种未经训练和已训练的磨砂玻璃属于同一类散射介质。有人通过构建一个GAN网络，恢复了隐藏在动态散射介质，如脂肪乳化液中的目标信息。以上工作都有其各自的优势，证明了深度学习可以在一定范围内恢复目标信息。目前，基于深度学习的重建方法一般直接映射散斑和目标的对应关系，这种纯数据驱动的端到端模型适用性有限，尤其无法解决噪声干扰或多种散射介质等复杂问题。

在实际应用中，成像环境往往是不完美的，会在无序散斑中引发噪声，因此在散射成像中提高噪声鲁棒性是一个亟待解决的问题。同时，散射介质的性质较复杂，重构算法应具有较强的噪声鲁棒性和泛化能力，能够适应复杂成像环境下不同散射介质的恢复任务。

发明内容

为了解决上述技术问题，本发明提供一种基于物理约束和数据驱动的双阶段散射成像方法，其具体技术方案如下：

基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：

步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识，指导网络学习过程；

步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN；

步骤三：求解目标信息：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标信息；

步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计增强网络ACR-1，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，

(1)

式中， 表示增强后的散斑自相关， 表示散斑，*表示计算自相关的过程， 表示待测目标， 表示光学系统的测量噪声；

步骤五：获得原始目标：设计重建网络ACR-2，从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：

（2）

式中 为由 函数恢复的目标。

进一步的，所述步骤一中自相关代替散斑作为输入的双阶段成像方法。

进一步的，所述步骤四中ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，所述ACR-1基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，获得高质量的散斑自相关。

进一步的，所述步骤五中ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，所述ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量的自相关数据中求解出原始目标分布。

进一步的，所述散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，所述散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，

所述双高斯随机矩阵根据不同的方差模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声。

进一步的，所述散斑系统数据通过实际光学系统采集含噪图像，所述含噪图像包括低曝光引起的探测器噪声以及通过在实验中控制环境干扰光添加不同等级的光子噪声。

本发明的有益效果：

(1)本发明中的双阶段成像算法是一种结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，实验测试了双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR可从20 dB提高到38 dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高了4dB；在未知散射介质条件下，本发明依然成功恢复了隐藏的目标，而无约束方法已无法恢复目标；

(2)本发明模型中，基于u型结构和残差网络，结合物理先验知识约束和指导网络学习过程，构建了双阶段卷积神经网络ACR-CNN来提取特征，恢复目标信息；

(3)ACR-1采用像素级和全局约束兼顾的损失函数，即使用像素级约束函数和全局约束损失函数，优化网络学习方向，提升网络输出质量；

(4)基于残差网络，采用u型网络包含跳层连接结构，融合低层信息和高层信息，对数据进行像素级和语义级挖掘，求解原始目标分布；

(5)根据目标数据是非零即一的特征，将ACR-2视为分类任务，相应地选用交叉熵作为损失函数，优化网络学习方向。

附图说明

图1是本发明设计的卷积神经网络ACR-CNN的结构图；

图2是本发明实施例实验中的光路图；

图3是本发明实施例中模拟实验中不同等级的高斯噪声效果图；

图4是本发明实施例在系统实验中的探测器噪声和不同等级的光子噪声效果图；

图5是本发明实施例中ACR-1在模拟和系统实验中的增强结果示意图；

图6是本发明实施例中ACR-1在模拟和系统实验中的SSIM结果图；

图7是本发明实施例中ACR-1在模拟和系统实验中的PSNR结果图；

图8是本发明实施例中有无物理约束的ACR-2对模拟和系统数据的重建结果对比示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明。

如图1所示，本发明的基于物理约束和数据驱动的双阶段散射成像方法，包括以下步骤：

步骤一：设计算法结构：结合散斑相关成像算法原理，设计基于物理约束的双阶段算法结构，通过自相关作为物理先验知识，指导网络学习过程；

步骤二：建立卷积神经网络：基于u型结构和残差网络，结合物理先验知识约束，建立双阶段卷积神经网络ACR-CNN，即Autocorrelation Reconstruction Convolutional NeuralNetwork；

步骤三：求解目标信息：采用卷积神经网络ACR-CNN提取特征，在光学记忆效应内求解隐藏在噪声和无序散斑中的目标信息；

步骤四：消除干扰信息：在光学记忆效应内，利用自相关作为物理先验知识设计网络ACR-1，由含噪声的低质量散斑自相关出发，获得不含噪的高质量自相关，消除噪声影响，通过公式（1）消除噪声和多种散射介质影响，

(1)

式中， 表示增强后的散斑自相关， 表示散斑，*表示计算自相关的过程， 表示待测目标， 表示光学系统的测量噪声；

步骤五：获得原始目标：从高质量无噪声的散斑自相关中重建目标，恢复隐藏在未知噪声和未知散射介质中的目标，通过公式（2）得：

（2）

式中 为由 函数恢复的目标。

其中，步骤一中自相关代替散斑作为输入的双阶段成像方法；步骤四中ACR-1基于u型网络结构对低质量的散斑自相关数据进行像素级信息挖掘，ACR-1基于残差网络提取有效信息、噪声信息特征、像素级约束函数和全局约束损失函数，获得高质量的散斑自相关；步骤五中ACR-2采用的u型网络包含跳层连接结构，融合低层信息和高层信息，ACR-2基于残差网络对高质量的散斑自相关数据进行像素级和语义级挖掘，根据目标数据是非零即一的特征，选用交叉熵作为损失函数，从高质量的自相关数据中求解出原始目标分布；散斑仿真数据获取的散射介质通过双高斯随机矩阵实现，所述散斑仿真数据获取的两次空间自由传输过程通过菲涅尔衍射理论进行仿真，根据不同方差的双高斯随机矩阵模拟不同统计特性的散射介质，并通过在仿真中添加不同方差的高斯噪声模拟不同等级可量化的噪声；采用实际光学系统采集含有待还原目标信息的散斑图像时，使用多种散射介质，并通过控制实验环境干扰光添加不同等级的探测器噪声和光子噪声。

基于学习的计算成像方法一般采用端到端的模式直接映射散斑和目标间的对应关系，这种纯数据驱动的方式严重依赖于大数据，具有一定的局限性。尤其当涉及噪声干扰和多种散射介质的问题时，端到端模型对网络的深度和宽度提出了更高的要求。然而网络参数的增多意味着学习映射的可能方向越多，合适的模型越难以训练。另一方面，更深更广的网络需要更大的数据进行驱动，并且极易出现过拟合的问题。为了摆脱这种困境，本发明将目标与散斑图之间的自相关一致性作为物理先验嵌入到网络结构中，搭建了双阶段神经网络ACR-CNN。其中，第一阶段ACR-1为增强网络，消除噪声影响；第二阶段ACR-2为重建网络，恢复隐藏在未知噪声未知散射介质中的目标。低质量的自相关作为输入送入ACR-1，经ACR-1编码器提取特征，由解码器通过上卷积扩展特征层信息，输出高质量自相关。其中，如图1所示，编码器主要由卷积层，池化层和残差块构成。

如图1所示，将ACR-1的输出作为输入送至ACR-2。增强后的自相关经ACR-2的编码器和解码器处理，输出恢复的目标信息。其中ACR-2的编码器和解码器与ACR-1结构相似，但有不同的深度和宽度。为了同时保留全局高级特性和局部细节信息，ACR-2的编码器和解码器之间增加了5个不同分辨率的跳层连接。由于ACR-2的目标是二值图像，因此可将此训练过程视为一个分类任务。相应地，采用交叉熵作为损失函数。

在设计双阶段除噪算法的过程中，基于MNIST和Char74数据集，使用仿真数据和系统数据来测试和验证算法的噪声鲁棒性和泛化能力，其光路图如图2所示，其中u为目标到散射介质的距离，v为散射介质到相机的距离。在设计双阶段除噪算法过程中，首先使用仿真数据来测试和验证算法的噪声鲁棒性和泛化能力。模拟光源波长为600nm，光信号经过空间自由传输过程后，与散射介质发生相互作用，散射光按随机方向自由传输至相机，由相机获取无序散斑图像。在仿真过程中，双高斯随机矩阵可以表征散射介质对入射光的调制作用，即不同方差的双高斯随机矩阵可以表征不同统计特性的散射介质。为了量化噪声等级，在仿真过程中添加了不同方差的高斯噪声，如图3所示。

为了测试双阶段除噪算法在不同噪声和不同散射介质条件下重建目标的能力，通过仿真生成了训练集和测试集。训练集在四种散射介质及四种高斯噪声条件下模拟生成，共包含13204个数字和英文字母。其中，四种散射介质分别由方差为100，150，200和250的双高斯矩阵模拟生成，分别表示为：D_100，D_150，D_200和D_250；四种高斯噪声的均值皆为0，方差 分别为0.01，0.03，0.05和0.07。16组测试集包含了两种散射介质，分别表示为D_110和D_260，和8种高斯噪声，其 分别为0.04，0.08，0.1，0.12，0.14，0.2，0.25和0.3。每组测试集有406个数字和英文字母。在设计双阶段除噪算法过程中，使用实际系统数据来测试和验证算法的噪声鲁棒性和泛化能力。光路图如图2所示，系统的光源为中心波长625nm的LED，即Thorlabs，M625L4。其中，实验过程中，来源于LED的系统环境光会对数据产生噪声干扰。因此，改变环境干扰光的光照条件会产生不同等级的光子噪声。使用三种磨砂玻璃：Thorlabs，DG100X-120、DG100X-220和DG100X-600作为散射介质，放置在分辨率为1024*768，镜元尺寸13.68um/pixel的DMD和型号为Balser acA1920-155um相机之间。

值得说明的是，即使没有环境光的干扰，低曝光也会引起探测器噪声，本实验中称为噪声0。为了引入不同等级的光子噪声，分别在LED、光瞳1和光瞳2三个元件上改变环境光的干扰条件。由于型号为Thorlabs, FL632.8-1的滤光片放置在相机的前面，环境干扰光主要对光强产生影响。在噪声1的光照条件下，在光瞳2处添加环境干扰光，此时经散射介质散射后的光路里，包含了弹道光、散射光和环境干扰光；在噪声2的光照条件下，光瞳1暴露在环境光下，此时光路通过光瞳1后，其光强受到环境干扰光影响；在噪声3的光照条件下，环境干扰光分布在三个元件，即LED，光瞳1和光瞳2中，影响光子传输过程，从而产生噪声3。四种不同等级的噪声效果如图4所示。

在实际系统实验中采集了实际光学系统的数据，并对噪声鲁棒性和泛化能力进行了训练和测试：

(1)噪声鲁棒性：为了测试双阶段除噪算法在不同噪声下重建目标的能力，通过实际系统采集训练集和测试集的系统数据。训练集和测试集在一种散射介质，即DG100X-220和三种光子噪声，即噪声1，2，3条件下采集。其中训练集共包含2700个数字和英文字母，根据三种光子噪声采集三组测试集，每组测试集有100个数字和英文字母。

(2)泛化能力：为了测试双阶段除噪算法在不同散射介质条件下重建目标的能力，通过实际系统采集训练集和测试集的系统数据。训练集使用七片玻璃作为散射介质，七片玻璃同属DG100X-220，每片玻璃采集600张散斑图。在探测器噪声为噪声0条件下，根据两种散射介质Thorlabs, DG100X-120和DG100X-600采集两组测试集。每组测试集有600张数字和英文字母。实验采用原始数据集目标自相关作为卷积神经网络ACR-1的Ground truth，即GT，散斑自相关作为输入图像。ACR-1的输出为增强后的自相关，并作为输入图像送至ACR-2。原始数据集目标作为卷积神经网络ACR-2的Ground truth。ACR-CNN网络所用GT图像和输入图像的大小都是256*256。

基于仿真模拟和实际系统数据，ACR-1的测试结果如图5所示。通过单次训练，卷积神经网络ACR-1可以有效增强通过多种不同散射介质，受不同等级噪声干扰生成的散斑自相关图像，且细节丰富。根据图6和图7可知，仿真数据在八种不同等级的高斯噪声条件下，其PSNR可保持在30dB以上，其SSIM可从0.15提升至0.98；而在受三种光子噪声干扰的系统数据中，其PSNR可从20dB提升至38dB，其SSIM可从0.2提升至1。基于仿真模拟和实际系统数据，ACR-2的测试结果如图8所示。通过单次训练，与不经物理约束的端到端方法，即SP相比，包含物理约束的方法，即AP可以恢复通过多种不同散射介质，受不同等级噪声干扰生成的散斑图像。根据图8可知，对于未经训练的噪声和散射介质，SP无法从仿真数据中恢复目标原始信息，而AP可以从增强的自相关中成功重建出目标。对于未经训练的散射介质，SP仍然无法从系统数据中恢复目标原始信息，而AP可以成功重建出目标；对于已训练的三种光子噪声，SP仅能从系统数据中恢复部分目标原始信息，而AP可以成功重建出目标，且细节丰富。在仿真和系统数据中，AP的PSNR整体比SP提高了4dB。

本发明中的双阶段成像算法是一种结合物理约束和数据驱动的算法框架，适用于噪声干扰的复杂成像系统，实验测试了双阶段成像算法的除噪和泛化能力，在不同等级高斯噪声、探测器和光子噪声下，增强阶段的PSNR可从20 dB提高到38dB；与无物理约束的方法相比，在已知散射介质和噪声的条件下，恢复目标的PSNR提高了4dB；在未知散射介质条件下，本发明依然成功恢复了隐藏的目标，而无约束方法已无法恢复目标；本发明模型中，基于u型结构和残差网络，结合物理先验知识约束和指导网络学习过程，构建了双阶段卷积神经网络ACR-CNN来提取特征，恢复目标信息；ACR-1采用像素级和全局约束兼顾的损失函数，即使用像素级约束函数和全局约束损失函数，优化网络学习方向，提升网络输出质量；基于残差网络，采用u型网络包含跳层连接结构，融合低层信息和高层信息，对数据进行像素级和语义级挖掘，求解原始目标分布；根据目标数据是非零即一的特征，将ACR-2视为分类任务，相应地选用交叉熵作为损失函数，优化网络学习方向。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

基于物理约束和数据驱动的双阶段散射成像方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。