专利摘要

本发明涉及一种空间非合作目标精细三维形貌测量方法，首先将TOF相机与单目相机进行联合标定，利用TOF‑单目相机融合测量系统确定相机的固联关系将高分辨率纹理图与低分辨率深度图对齐到同一视角下，并利用相同场景下单目相机的高分辨率纹理图引导TOF相机低分辨率深度图超分辨，将得到的高分辨纹理图、高分辨率深度图应用于空间非合作目标三维形貌测量。本发明融合TOF‑单目相机的成像优势并弥补了单目相机、TOF相机在应用上的缺陷，实现空间非合作目标精细三维形貌测量。本发明具有高效率、高精度等优势，可应用于空间非合作目标在轨服务的各项任务。

权利要求

1.一种空间非合作目标精细三维形貌测量方法，其特征在于，包括以下步骤：

步骤1，搭建TOF-单目相机融合测量系统;

步骤2，进行TOF-单目相机融合测量系统标定；

步骤3，利用所述TOF-单目相机融合测量系统采集图像数据并处理；

步骤4，根据2D-3D图像数据重构空间非合作目标三维点云；

步骤5，重复步骤3、步骤4，根据2D-3D图像数据不断重构空间非合作目标三维点云，再将每帧点云一一配准，形成稠密完整的空间非合作目标三维点云。

2.根据权利要求1所述的一种空间非合作目标精细三维形貌测量方法，其特征在于，所述步骤2具体为：

步骤2.1，采用张氏标定法标分别对TOF相机、单目相机单独进行标定，分别获取TOF相机、单目相机内参数和外参数；

步骤2.2，所述TOF相机（15）、单目相机（14）的外参数进行联合标定，由公式（1）得到TOF相机、单目相机之间的固联关系；

（1）。

3.根据权利要求2所述的一种空间非合作目标精细三维形貌测量方法，其特征在于，所述步骤3具体为：

步骤3.1，利用所述TOF-单目相机融合测量系统同步获取空间非合作目标的第n帧深度图、纹理图；

步骤3.2，设所述第n帧深度图、纹理图的图像像素坐标系下的坐标分别表示为，根据所述TOF相机、单目相机之间的固联关系，结合实际应用场景，由公式（2）的图像像素坐标系对应关系将单目相机获得的纹理图转换到TOF相机视角下，获得深度图视角下的纹理图，记为；

（2）；

步骤3.3，利用所述单目相机获取的高分辨率纹理图引导所述TOF相机获取的低分辨率深度图超分辨，获取高分辨率深度图，应用于纹理图引导深度图超分辨的鲁棒加权最小二法优化框架定义为：

（3）

其中，表示通过公式（3）迭代求解过程中不断更新的高分辨率深度图，表示深度图上像素点i的深度值，表示超分辨后像素点i的深度值，表示深度平滑项权重，根据经验令，表示以像素点i为中心的邻域，表示邻域内像素点j的深度值，定义如下：

（4）

（5）

表示纹理引导权重，表示基于像素距离的高斯函数，用来度量像素的相似性，分别表示像素处的纹理图灰度值，分别表示权重常数，是根据深度图平滑特性调整的自定义参数，根据经验取，将低分辨率深度图结合高分辨率纹理图不断迭代更新，得到高分辨率深度图；

步骤3.4，将所述高分辨率深度图恢复成三维点云，设世界坐标系与相机坐标系重合，三维点云的世界坐标为，表示高分辨率深度图中对应深度值，则可通过公式（6）将所述高分辨率深度图恢复出三维点云；

（6）。

4.根据权利要求3所述的一种空间非合作目标精细三维形貌测量方法，其特征在于，所述步骤4具体为：

步骤4.1，重复步骤3，获取处理完毕的第n+1帧的纹理图、三维点云；

步骤4.2，根据2D-2D纹理图计算位姿初值，步骤如下，

根据特征匹配点对利用对极几何约束求解位姿，设第n帧和第n+1帧之间位姿关系用旋转矩阵和平移向量表示，设空间三维点Q在第n帧和第n+1帧图像各自的像素坐标系下分别表示为，对极几何约束的极线方程（7）如下：

（7）

其中，表示叉乘运算，表示的单目相机的内参矩阵，分别表示对相机内参矩阵的逆和转置后求逆，表示的转置，可利用八点法构建线性方程组，通过奇异值分解（SVD）求解位姿得到初值；

步骤4.3，根据3D-3D点云进行ICP算法精确配准：

将求解的位姿初值代入ICP算法进行帧间的点云配准，由公式（6）得到的第n帧和第n+1帧三维点云分别表示为：

其中，a，b分别表示第n帧和第n+1帧三维点云的数量，分别表示在第n帧和第n+1帧三维点云中对应的待匹配的点，；

构建空间非合作目标三维点云问题转换为求解相邻两帧3D点云的欧式变换：旋转矩阵和平移向量，使得：

（8）

构建最小二乘问题，求解使得误差平方和最小的：

（9）

将位姿初值代入进行迭代求解，得到精确的旋转矩阵和平移向量，再通过公式（8）可将第n帧和第n+1帧得到的三维点云配准到第n帧坐标系下，形成空间非合作目标的局部点云图；

步骤5，重复步骤3、步骤4，根据2D-3D图像数据重构空间非合作目标三维点云，再将每帧点云一一配准，形成稠密完整的空间非合作目标三维点云，实现空间非合作目标精细三维形貌测量。

5.根据权利要求1所述的一种空间非合作目标精细三维形貌测量方法，其特征在于，所述TOF-单目相机融合测量系统包括TOF相机、单目相机和数据处理计算机，所述TOF相机和单目相机左右固联安装，且均与数据处理计算机相连。

说明书

技术领域

本发明涉及图像测量领域，具体是一种空间非合作目标三维形貌测量方法。

背景技术

随着航天技术的发展与人类太空活动的日益频繁，空间非合作目标的相关研究越发活跃。大部分航天任务面临的对象是空间非合作目标，空间非合作目标指不能主动提供任何有效合作信息的人造空间目标，包括空间碎片、废旧弃用航天器、敌对航天器、敌对航天器发射的空间武器等。 由于空间非合作目标缺乏先验信息，在太空中环境背景复杂，图像数据难以稳定获取，因此获取图像信息并精确测量其三维形貌成为完成空间任务的关键技术之一。

现阶段各国执行空间非合作目标测量任务的主要设备包括激光雷达、可见光相机、激光扫描仪等。由于空间非合作目标缺乏纹理特征、太空光照环境恶劣，可见光相机难以稳定提取特征；激光雷达分辨率低，不适应于精密测量；激光扫描仪设备昂贵，需要主动扫描目标，所需功耗较大，实时性较差。

发明内容

针对上述问题，本发明提出一种空间非合作目标精细三维形貌测量方法。

本发明解决上述技术问题所采用的技术方案为：一种空间非合作目标精细三维形貌测量方法，包括如下步骤：

步骤1，搭建TOF-单目相机融合测量系统;

步骤2，进行TOF-单目相机融合测量系统标定；

步骤3，利用所述TOF-单目相机融合测量系统采集图像数据并处理；

步骤4，根据2D-3D图像数据重构空间非合作目标三维点云；

步骤5，重复步骤3、步骤4，根据2D-3D图像数据不断重构空间非合作目标三维点云，再将每帧点云一一配准，形成稠密完整的空间非合作目标三维点云。

优选的，所述步骤2具体为：

步骤2.1，采用张氏标定法标分别对TOF相机、单目相机单独进行标定，分别获取TOF相机、单目相机内参数 和外参数 ；

步骤2.2，所述TOF相机、单目相机的外参数进行联合标定，由公式（1）得到TOF相机、单目相机之间的固联关系 ；

（1）

优选的，所述步骤3具体为：

步骤3.1，利用所述TOF-单目相机融合测量系统同步获取空间非合作目标的第n帧深度图 、纹理图 ；

步骤3.2，设所述第n帧深度图 、纹理图 的图像像素坐标系下的坐标分别表示为 ，根据所述TOF相机、单目相机之间的固联关系 ，结合实际应用场景，由公式（2）的图像像素坐标系对应关系将单目相机获得的纹理图转换到TOF相机视角下，获得深度图视角下的纹理图，记为 ；

（2）；

步骤3.3，利用所述单目相机获取的高分辨率纹理图引导所述TOF相机获取的低分辨率深度图超分辨，获取高分辨率深度图 ，应用于纹理图引导深度图超分辨的鲁棒加权最小二法优化框架定义为：

（3）

其中， 表示通过公式（3）迭代求解过程中不断更新的高分辨率深度图， 表示深度图 上像素点i的深度值， 表示超分辨后像素点i的深度值， 表示深度平滑项权重，根据经验令 ， 表示以像素点i为中心的邻域， 表示邻域内像素点j的深度值， 定义如下：

（4）

（5）

表示纹理引导权重， 表示基于像素距离的高斯函数，用来度量像素的相似性， 分别表示像素 处的纹理图灰度值， 分别表示权重常数， 是根据深度图平滑特性调整的自定义参数，根据经验取 ，将低分辨率深度图结合高分辨率纹理图不断迭代更新，得到高分辨率深度图 ；

步骤3.4，将所述高分辨率深度图 恢复成三维点云 ，设世界坐标系与相机坐标系重合，三维点云的世界坐标为 ， 表示高分辨率深度图 中对应深度值，则可通过公式（6）将所述高分辨率深度图恢复出三维点云 ；

（6）

优选的，所述步骤4具体为：

步骤4.1，重复步骤3，获取处理完毕的第n+1帧的纹理图 、三维点云 ；

步骤4.2，根据2D-2D纹理图计算位姿初值 ，步骤如下，

根据特征匹配点对利用对极几何约束求解位姿，设第n帧和第n+1帧之间位姿关系用旋转矩阵 和平移向量 表示，设空间三维点Q在第n帧和第n+1帧图像各自的像素坐标系下分别表示为 ，对极几何约束的极线方程（7）如下：

（7）

其中， 表示叉乘运算， 表示的单目相机的内参矩阵， 分别表示对相机内参矩阵的逆和转置后求逆， 表示 的转置，可利用八点法构建线性方程组，通过奇异值分解（SVD）求解位姿得到初值 ；

步骤4.3，根据3D-3D点云进行ICP算法精确配准：

将求解的位姿初值 代入ICP算法进行帧间的点云配准，由公式（6）得到的第n帧和第n+1帧三维点云 分别表示为：

其中，a，b分别表示第n帧和第n+1帧三维点云的数量， 分别表示在第n帧和第n+1帧三维点云中对应的待匹配的点， ；

构建空间非合作目标三维点云问题转换为求解相邻两帧3D点云的欧式变换：旋转矩阵 和平移向量 ，使得：

（8）

构建最小二乘问题，求解使得误差平方和最小的 ：

（9）

将位姿初值 代入公式（9）进行迭代求解，得到精确的旋转矩阵 和平移向量 ，再通过公式（8）可将第n帧和第n+1帧得到的三维点云 配准到第n帧坐标系下，形成空间非合作目标的局部点云图；

步骤5，重复步骤3、步骤4，根据2D-3D图像数据重构空间非合作目标三维点云，再将每帧点云一一配准，形成稠密完整的空间非合作目标三维点云，实现空间非合作目标精细三维形貌测量。

优选的，所述TOF-单目相机融合测量系统包括TOF相机、单目相机和数据处理计算机，所述TOF相机和单目相机左右固联安装，且均与数据处理计算机相连。

与现有技术相比，本发明具有以下有益效果：

1、本发明首先将TOF-单目相机进行联合标定，确定相机的固联关系将高分辨率纹理图与低分辨率深度图对齐到同一视角下，并利用相同场景下单目相机的高分辨率纹理图引导TOF相机低分辨率深度图超分辨，将得到的高分辨纹理图、高分辨率深度图应用于空间非合作目标三维形貌测量；

2、本发明融合TOF-单目相机的成像优势并弥补了单目相机、TOF相机在应用上的缺陷，实现空间非合作目标精细三维形貌测量；

3、本发明具有高效率、高精度等优势，可应用于空间非合作目标在轨服务的各项任务。

附图说明

图 1 本发明的相机系统标定示意图；

其中，14、单目相机；15、TOF相机。

具体实施方式

下面将结合图1详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。其中，TOF（Time of flight）直译为“飞行时间”。TOF相机成像是一种主动成像方式，即相机系统向目标发射激光，通过测量传感器接受到目标反射光的时间计算到目标的距离。

一种空间非合作目标精细三维形貌测量方法，包括如下步骤：

步骤1，搭建TOF-单目相机融合测量系统，所述发明的TOF-单目相机融合测量系统包括TOF相机15、单目相机14和数据处理计算机。其中TOF相机和单目相机左右固联安装，具有公共视野，且TOF相机、单目相机均与数据处理计算机连接，通过数据处理计算机同步采集和存储TOF相机、单目相机的图像数据，并进行后续图像处理等操作；

步骤2，进行TOF-单目相机融合测量系统标定，步骤如下，

步骤2.1，采用针孔相机模型描述TOF、单目相机镜头特性，采用棋盘格图像作为标定板。利用文献《A flexible new technique for camera calibration》（2000年发表于《IEEE Transactions on Pattern Analysis and Machine Intelligence》）的方法，即张氏标定法分别对TOF相机、单目相机单独进行标定，从而分别获取TOF相机、单目相机内参数 和外参数 ；

步骤2.2，所述TOF相机、单目相机的外参数进行联合标定，由公式（1）得到TOF相机、单目相机之间的固联关系 ；

（1）

步骤3，利用所述TOF-单目相机融合测量系统采集图像数据并处理，步骤如下，

步骤3.1，利用所述TOF-单目相机融合测量系统同步获取空间非合作目标的第n帧深度图 、纹理图 ， ；

步骤3.2，设所述第n帧深度图 、纹理图 的图像像素坐标系下的坐标分别表示为 ，根据所述TOF相机、单目相机之间的固联关系 ，结合实际应用场景，由公式（2）的图像像素坐标系对应关系将单目相机获得的纹理图转换到TOF相机视角下，获得深度图视角下的纹理图，记为 ；

（2）；

步骤3.3，利用所述单目相机获取的高分辨率纹理图引导所述TOF相机获取的低分辨率深度图超分辨，获取高分辨率深度图 ，应用于纹理图引导深度图超分辨的鲁棒加权最小二法优化框架定义为：

（3）

其中， 表示通过公式（3）迭代求解过程中不断更新的高分辨率深度图， 表示深度图 上像素点i的深度值， 表示超分辨后像素点i的深度值， 表示深度平滑项权重，根据经验令 ， 表示以像素点i为中心的邻域， 表示邻域内像素点j的深度值， 定义如下：

（4）

（5）

表示纹理引导权重， 表示基于像素距离的高斯函数，用来度量像素的相似性， 分别表示像素 处的纹理图灰度值， 分别表示权重常数， 是根据深度图平滑特性调整的自定义参数，根据经验取 ，将低分辨率深度图结合高分辨率纹理图不断迭代更新，得到高分辨率深度图，记为 ；

步骤3.4，将所述高分辨率深度图 恢复成三维点云 ，设世界坐标系与相机坐标系重合，三维点云的世界坐标为 ， 表示高分辨率深度图 中对应深度值，则可通过公式（6）将所述高分辨率深度图恢复出三维点云 ；

（6）

步骤4，根据2D-3D图像数据重构空间非合作目标三维点云，步骤如下，

步骤4.1，重复步骤3，获取处理完毕的第n+1帧的纹理图 、三维点云 ；

步骤4.2，根据2D-2D纹理图计算位姿初值 ，步骤如下，

利用单目相机获取的空间非合作目标的系列纹理图像进行初始匹配，包括SIFT特征点提取、匹配、坏点剔除等步骤，将相邻两帧间的SIFT特征点通过快速最近邻搜索算法（FLANN）进行匹配，RANSAC算法进行误匹配消除，保留正确的特征匹配点对，再根据正确的特征匹配点对利用对极几何约束求解位姿，设第n帧和第n+1帧之间位姿关系用旋转矩阵 和平移向量 表示，设空间三维点Q在第n帧和第n+1帧图像各自的像素坐标系下分别表示为 ，对极几何约束的极线方程如下：

（7）

其中， 表示叉乘运算， 表示的单目相机的内参矩阵， 分别表示对相机内参矩阵的逆和转置后求逆， 表示 的转置，可利用八点法构建线性方程组，通过奇异值分解（SVD）求解位姿得到初值 ；

步骤4.3，根据3D-3D点云进行ICP算法精确配准：

将求解的位姿初值 代入ICP算法进行帧间的点云配准，由公式（6）得到的第n帧和第n+1帧三维点云 分别表示为：

其中，a，b分别表示第n帧和第n+1帧三维点云的数量， 分别表示在第n帧和第n+1帧三维点云中对应的待匹配的点， ；

构建空间非合作目标三维点云问题转换为求解相邻两帧3D点云的欧式变换：旋转矩阵 和平移向量 ，使得：

（8）

构建最小二乘问题，求解使得误差平方和最小的 ：

（9）

将位姿初值 代入公式（9）进行迭代求解，得到精确的旋转矩阵 和平移向量 ，再通过公式（8）可将第n帧和第n+1帧得到的三维点云 配准到第n帧坐标系下，形成空间非合作目标的局部点云图；

步骤5，重复步骤3、步骤4，根据2D-3D图像数据不断重构空间非合作目标三维点云，再将每帧点云一一配准，形成稠密完整的空间非合作目标三维点云，实现空间非合作目标精细三维形貌测量。

在实施过程中，如图1所示，TOF相机15和单目相机14左右固联安装，且TOF相机、单目相机均与数据处理计算机连接，搭建TOF-单目相机融合测量系统，通过TOF-单目相机融合测量系统对空间非合作目标同时拍摄20-30幅棋盘格图片，采用张氏标定法分别对TOF相机、单目相机单独进行标定，获取TOF相机、单目相机内参数 和外参数 ，确定参数后，对TOF相机、单目相机联合标定，由公式（1）得到TOF相机、单目相机之间的固联关系 ，利用TOF与单目相机融合测量系统同步获取空间非合作目标的第n帧深度图 、纹理图 ，根据固联关系 ，结合实际应用场景，由公式（2）的图像像素坐标系对应关系将单目相机获得的纹理图转换到TOF相机视角下，实现二者对齐，获得深度图视角下的纹理图 ，将低分辨率深度图结合高分辨率纹理图不断迭代更新，通过公式（3）（4）、（5）计算得到高分辨率深度图 。利用单目相机获取的高分辨率纹理图引导TOF相机获取的低分辨率深度图实现超分辨，进行高分辨率深度图和高分辨率彩色图的图像处理，通过公式（6）将高分辨率深度图 恢复出三维点云 ，利用2D-2D纹理图，根据公式（7）计算位姿初值 ，由深度图获取3D点云，通过公式（8）将位姿初值代入ICP算法进行点云匹配，形成空间非合作目标的局部点云图，重复进行TOF-单目相机融合测量系统标定、根据2D-3D图像数据不断重构空间非合作目标三维点云，将每帧点云一一配准，输出形成稠密的空间非合作目标三维点云，实现基于TOF-单目相机融合的空间非合作目标精细三维形貌测量。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

一种空间非合作目标精细三维形貌测量方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。