专利摘要

本发明公开了一种基于深度学习的Shack‑Hartmann波前探测器，通过重新设计传统Shack‑Hartmann波前探测器波前重建算法，利用卷积神经网络算法替代传统算法，用强噪声数据对卷积神经网络训练，不仅能在强噪声下准确重建出波前，而且因为算法是端到端的波前探测，运算速度上比传统方法具有明显的优势。满足这两个设计要求以后，本发明能够解决在双光子显微系统中，随着在生物组织内部成像深度加深，组织所产生的强噪声使得波前无法准确探测的问题，并能满足双光子显微系统对波前探测速度的要求，而这两点是一直限制波前探测器在双光子显微系统中应用的因素，本发明正好解决了这两大限制，具有非常大的应用价值和意义。

权利要求

1.一种基于深度学习的Shack-Hartmann波前探测器，其特征在于，包括：

CMOS图像传感器，用于采集光波经微透镜阵列形成的点阵列图像并提供给上位机；

上位机，用于根据点阵列图像计算出波前的前n项zernike多项式系数，从而重建出光波的波前，n为大于1的自然数。

2.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述CMOS图像传感器采用产品型号为Dhyana 400BSI V2.0的背照式sCMOS相机。

3.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述微透镜阵列采用产品型号为MLA300-14AR的透镜阵列，且固定在距离CMOS图像传感器感光面f处，f为微透镜阵列的焦距。

4.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述上位机内加载有VGG16神经网络模块，其输入为点阵列图像且为归一化后的灰度图，输出为n维的zernike多项式系数向量。

5.根据权利要求4所述的Shack-Hartmann波前探测器，其特征在于：在训练所述VGG16神经网络模块时，利用氦氖激光器发射出的光波经光学4F系统两级放大后打到变形镜上，随机产生2万组n维的zernike多项式系数向量逐一加载到变形镜上用以产生不同的光波波前，不同波前的各组光波经微透镜阵列聚焦后形成对应的点阵列图像并由CMOS图像传感器采集提供给上位机，每一张点阵列图像及其对应的zernike多项式系数向量即构成了一组训练样本，用以对VGG16神经网络模块进行训练。

6.根据权利要求4所述的Shack-Hartmann波前探测器，其特征在于：所述VGG16神经网络模块从输入至输出依次由卷积层H1～H2、最大池化层P1、卷积层H3～H4、最大池化层P2、卷积层H5～H7、最大池化层P3、卷积层H8～H10、最大池化层P4、卷积层H11～H13、最大池化层P5以及全连接层Q1～Q2级联构成，每一卷积层的输出均经ReLu激活函数处理，其中：

卷积层H1～H2中的卷积核大小为3×3，卷积核数量为64，卷积步长为1；

卷积层H3～H4中的卷积核大小为3×3，卷积核数量为128，卷积步长为1；

卷积层H5～H7中的卷积核大小为3×3，卷积核数量为256，卷积步长为1；

卷积层H8～H13中的卷积核大小为3×3，卷积核数量为512，卷积步长为1；

最大池化层P1～P5中的池化核大小为2×2，步长为2；

全连接层Q1的输出个数1024且输出经ReLu激活函数处理；

全连接层Q2的输出个数n，即为光波波前的前n项zernike系数。

7.根据权利要求5所述的Shack-Hartmann波前探测器，其特征在于：对所述VGG16神经网络模块进行训练的具体过程为：成批将训练样本的点阵列图像输入至VGG16神经网络模块中进行训练，计算其输出结果与对应真值之间的损失函数L并通过Momentum算法对整个神经网络模块中的参数不断进行更新，直至损失函数L收敛或达到最大迭代次数，从而完成训练。

8.根据权利要求7所述的Shack-Hartmann波前探测器，其特征在于：所述损失函数L的表达式如下：

其中：y′i为同一批次中第i个训练样本的点阵列图像输入至VGG16神经网络模块所输出得到的zernike多项式系数向量，yi为同一批次中第i个训练样本的zernike多项式系数向量，m为每一批次中的训练样本数量。

9.根据权利要求1所述的Shack-Hartmann波前探测器，其特征在于：所述n取值为22。

说明书

技术领域

本发明属于光波波前探测技术领域，具体涉及一种基于深度学习的Shack-Hartmann波前探测器。

背景技术

双光子激发显微镜(Two-photon Excitation Microscopy)是一种荧光成像技术，可以对活体组织进行深度约1毫米的成像，它不同于传统的荧光显微镜，其激发波长短于发射波长，因为两个激发光子的波长长于所得发射光的波长。双光子激发显微术通常使用近红外激发光，其也可以激发荧光染料，然而对于每次激发，两个光子的红外光被吸收。使用红外线可最大限度地减少组织中的散射，由于多光子吸收，背景信号被强烈抑制，这两种效果都会导致这些显微镜的穿透深度增加。由于其更深的组织穿透，有效的光检测和减少的光漂白，双光子激发可以是共聚焦显微镜的优越替代品，但由于成像过程中系统和组织所带来的像差，严重影响了双光子显微镜的成像质量。

自适应光学(Adaptive Optics)是一项使用可变形镜面矫正因传输介质不均匀造成光波波前发生畸变，从而改进光学系统性能的技术；自适应光学的概念和原理最早是在1953年由海尔天文台的胡瑞斯·拜勃库克(Horace Babcock)提出的，但是超越了当时的技术水平所能达到的极限，只有美国军方在星球大战计划中秘密研发这项技术；冷战结束后，1991年5月，美国军方将自适应光学的研究资料解密，计算机和光学技术也足够发达，自适应光学技术才得以广泛应用。目前自适应光学被越来越多的应用到了其他成像领域，双光子显微镜由于是在生物组织内部成像，不规则的生物组织也会产生光波波前的畸变，所以自适应光学技术也被应用于双光子系统进行波前矫正，但由于生物组织的强噪声以及低透光性，这对波前探测元件Shack-Hartmann带来了极大的挑战。

近年来，随着计算机计算能力的提升，深度学习取得了极大的发展，并被用到越来越多的领域解决该领域的问题，因此如果用深度学习方法取代传统Shack-Hartmann波前重建算法，将有望克服双光子系统中存在的高散射噪声，使得Shack-Hartmann实现对双光子显微镜更深层组织成像的像差探测。

2006年，Hong Guo、NinaKorablinova等人利用人工全连接神经网络算法重建人类眼睛中的波前，在该方法中通过Shack-Hartmann波前探测器采集到的点阵列图在x,y方向的偏移δx和δy预测波前的zernike多项式系数，在网络训练过程中还通过对δx,δy中加入噪声来提高算法的鲁棒性。但通过δx,δy进行波前重建，前提是准确计算出δx,δy，该方法并未能解决怎样在强噪声环境下准确计算出δx,δy，而且先计算出δx,δy，再用δx,δy进行波前预测，整个算法的速度也会降低。

2018年Ziqiang Li、Xinyang Li等人提供了一种在含有噪声的情况下对Shack-Hartmann波前探测器中点阵列质心计算的方法，在噪声或者环境光污染的情况下，Shack-Hartmann中传统计算质心的方法将失效，该方法把将质心检测问题转化为一个分类问题，具体是把每个微透镜负责的像素编号，然后网络预测出重心所在的像素，再计算出质心位置。但通过神经网络先计算出点阵质心，在用质心重建波前，问题同样是会降低整个算法的计算速度。

发明内容

鉴于上述，本发明提供了一种基于深度学习的Shack-Hartmann波前探测器，通过引入卷积神经网络设计一个端到端的波前重建算法，不仅具有克服强噪声的能力，而且在计算速度上也将非常具有优势；完成这两点设计要求以后，本发明将满足了双光子显微系统对波前探测器快速灵敏的要求，具有非常大应用价值和意义。

一种基于深度学习的Shack-Hartmann波前探测器，包括：

CMOS图像传感器，用于采集光波经微透镜阵列形成的点阵列图像并提供给上位机；

上位机，用于根据点阵列图像计算出波前的前n项zernike多项式系数，从而重建出光波的波前，n为大于1的自然数。

进一步地，所述CMOS图像传感器采用产品型号为Dhyana 400BSI V2.0的背照式sCMOS相机。

进一步地，所述微透镜阵列采用产品型号为MLA300-14AR的透镜阵列，且固定在距离CMOS图像传感器感光面f处，f为微透镜阵列的焦距。

进一步地，所述上位机内加载有VGG16神经网络模块，其输入为点阵列图像且为归一化后的灰度图，输出为n维的zernike多项式系数向量。

进一步地，在训练所述VGG16神经网络模块时，利用氦氖激光器发射出的光波经光学4F系统两级放大后打到变形镜上，随机产生2万组n维的zernike多项式系数向量逐一加载到变形镜上用以产生不同的光波波前，不同波前的各组光波经微透镜阵列聚焦后形成对应的点阵列图像并由CMOS图像传感器采集提供给上位机，每一张点阵列图像及其对应的zernike多项式系数向量即构成了一组训练样本，用以对VGG16神经网络模块进行训练。

进一步地，所述VGG16神经网络模块从输入至输出依次由卷积层H1～H2、最大池化层P1、卷积层H3～H4、最大池化层P2、卷积层H5～H7、最大池化层P3、卷积层H8～H10、最大池化层P4、卷积层H11～H13、最大池化层P5以及全连接层Q1～Q2级联构成，每一卷积层的输出均经ReLu激活函数处理，其中：

卷积层H1～H2中的卷积核大小为3×3，卷积核数量为64，卷积步长为1；

卷积层H3～H4中的卷积核大小为3×3，卷积核数量为128，卷积步长为1；

卷积层H5～H7中的卷积核大小为3×3，卷积核数量为256，卷积步长为1；

卷积层H8～H13中的卷积核大小为3×3，卷积核数量为512，卷积步长为1；

最大池化层P1～P5中的池化核大小为2×2，步长为2；

全连接层Q1的输出个数1024且输出经ReLu激活函数处理；

全连接层Q2的输出个数n，即为光波波前的前n项zernike系数。

进一步地，对所述VGG16神经网络模块进行训练的具体过程为：成批将训练样本的点阵列图像输入至VGG16神经网络模块中进行训练，计算其输出结果与对应真值之间的损失函数L并通过Momentum算法对整个神经网络模块中的参数不断进行更新，直至损失函数L收敛或达到最大迭代次数，从而完成训练。

进一步地，所述损失函数L的表达式如下：

其中：yi'为同一批次中第i个训练样本的点阵列图像输入至VGG16神经网络模块所输出得到的zernike多项式系数向量，yi为同一批次中第i个训练样本的zernike多项式系数向量，m为每一批次中的训练样本数量。

优选地，所述n取值为22。

本发明通过重新设计传统Shack-Hartmann波前探测器波前重建算法，利用卷积神经网络算法替代传统算法，用强噪声数据对卷积神经网络训练，不仅能在强噪声下准确重建出波前，而且因为算法是端到端的波前探测，运算速度上比传统方法也具有明显的优势。满足这两个设计要求以后，本发明能够解决在双光子显微系统中，随着在生物组织内部成像深度加深，组织所产生的强噪声使得波前无法准确探测的问题，并能满足双光子显微系统对波前探测速度的要求，而这两点是一直限制波前探测器在双光子显微系统中应用的因素，本发明正好解决了这两大限制，具有非常大的应用价值和意义。

附图说明

图1为Shack-Hartmann的硬件结构示意图。

图2为数据采集光路示意图。

图3为卷积神经网络VGG16的结构示意图。

图4为测试数据上的均方根误差分布示意图。

图5为含高斯噪声的点阵图像。

图6为在含噪声数据上的zernike系数预测结果示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明Shack-Hartmann硬件分为微透镜阵列和CMOS两部分，通过硬件固定装置将微透镜阵列固定于距离CMOS感光面f处，其中微透镜阵列负责将波前分块并聚焦，CMOS负责采集阵列图。

本实施方式中CMOS采用了Dhyana 400BSI V2.0背照式sCMOS，微透镜阵列采用MLA300-14AR透镜阵列，f是微透镜阵列焦距。

然后通过数据采集光路采集大量的训练数据对网络进行训练，数据采集光路如图2所示，其由Shack-Hartmann波前探测器、氦氖激光器、变形镜DM和光学4F系统组成光路进行训练数据采集；先通过4F系统对激光器中打出的光进行两级放大，然后将放大的光波打到DM上，同时上位机随机产生20000组zernike多项式系数并转化为电压信号逐一加载到DM上，DM通过电压信号产生已知相应的波前，再让该光波进入Shack-Hartmann波前探测器生成点阵列图并进行采集，然后将采集到的点阵图和zernike多项式系数分别保存在上位机中，通过这种方式总共产生了20000组训练数据。

本实施方式在该过程中通过人造生物防体对部分数据加了噪声，还有一部分数据通过数字方法加入了噪声，部分数据为无噪声数据；激光束通过4F系统放大以后激光束的大小是DM反射面大小的0.9左右，太大会由于DM边缘的驱动效果不好导致产生的波前不好，太小会造成DM反光面的浪费；在数据采集过程中，从4F系统出来的光束和DM反射到Shack-Hartmann的光束夹角应该尽量小，在20～30°之间为宜。

本发明上位机算法采用了卷积神经网络VGG16，如图3所示，因为算法需要预测的是波前的前22阶zernike多项式系数，所以将网络最后的输出改成了22，因为倒数第二层全连接层输出为微透镜成像的点阵列图在x,y方向的偏移，与最终的系数呈线性关系，所以最后一层全连接层输出为线性输出，去掉了激活函数。

通过上面获得的数据对网络进行训练，网络训练是以点阵列图作为输入(即归一化后的灰度图)，zernike多项式系数作为输出，采集的图像分为三部分，1.8万组数据作为训练集对网络进行训练；0.1万组作为验证集，在训练过程中对神经网络的泛化能力进行验证，防止过拟合；0.1万组作为测试集训练完以后对神经网络进行测试；训练过程中损失函数采用了MSE损失函数，定义如下：

其中：yi为一个batch中第i个样本zernike多项式系数的真值数据，而yi'为对应的预测值，n为每一batch的样本数量。

优化算法采用的是momentum，公式如下：

mt＝μ*mt-1+gt

Δθt＝-η*mt

其中：η是学习率，gt是梯度，μ是动量因子。

本实施方式中训练是在Ubuntutu 18.4 LTS系统上进行的，内存为251.8GIB，处理器为intel Xeon(R)CPU E5-2687W V3@3.10GHZ×20，GPU为Tesla K80GPU，使用momentum优化方法，learning_rate＝0.001，batch_size＝10，总共在18000组数据中训练了150个epoch，训练完以后在1000组测试数据集上对模型效果及泛化能力做了测试。

最后，用Shck-Hartmann探测器采集波前阵列图，用上述训练好的神经网络进行波前预测。

为了验证本发明方法在含噪声点阵图中的作用，在网络训练完以后，通过测试集数据验证了重建算法的可行性，图4为在1000幅测试数据上的RMSE，水平线为平均RMSE，可以看到，在1000幅测试数据上的平均RMSE达到了0.06λ。图5为加入噪声的点阵图，加入的噪声为高斯噪声，其中std＝2；图6为对噪声点阵图波前预测的结果和label的对比，其中黑色为标签，灰色为预测值，可以看到，预测系数在强噪声情况下很好的拟合了真实值。

本发明通过重新设计传统Shack-Hartmann波前探测器波前重建算法，利用卷积神经网络算法替代传统算法，用强噪声数据对卷积神经网络训练，不仅能在强噪声下准确重建出波前，而且因为算法是端到端的波前探测，运算速度上比传统方法也具有明显的优势。满足这两个设计要求以后，本发明能够解决在双光子显微系统中，随着在生物组织内部成像深度加深，组织所产生的强噪声使得波前无法准确探测的问题，并能满足双光子显微系统对波前探测速度的要求，而这两点是一直限制波前探测器在双光子显微系统中应用的因素，本发明正好解决了这两大限制，具有非常大的应用价值和意义。

上述的对具体实施方式的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述具体实施方式做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

一种基于深度学习的Shack-Hartmann波前探测器专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。