专利转让平台_买专利_卖专利_中国高校专利技术交易-买卖发明专利上知查网

全部分类
全部分类
一种基于增强现实的机器人示教再现方法及装置

一种基于增强现实的机器人示教再现方法及装置

IPC分类号 : B25J3/00,B25J9/16

申请号
CN201711291805.6
可选规格
  • 专利类型: 发明专利
  • 法律状态: 有权
  • 申请日: 2017-12-08
  • 公开号: 108161882B
  • 公开日: 2018-06-15
  • 主分类号: B25J3/00
  • 专利权人: 华南理工大学

专利摘要

本发明公开了一种基于增强现实的机器人示教方法及装置。方法包括以下步骤:对体感设备获取的手势位姿进行滤波处理与数据优化;将优化后的数据通过无线网络发送给增强现实设备,驱动AR设备中虚拟机器人再现操作者的示教轨迹;示教者从增强现实设备中观察虚拟机器人的再现轨迹,通过语音调整误差较大的示教点,并修改之前的示教点,重复操作直至所有示教点的误差都在满意的限度内,则示教完成;将最终的示教轨迹转化为驱动真实机器人所需的关节角,控制真实机器人再现操作者的示教路径。本发明的装置包括体感设备、PC机、麦克风、光学透视式增强现实设备、WiFi路由器和机器人。本发明具有对示教者专业要求低,避免损坏作业机器人,重复效率高等优点。

权利要求

1.一种基于增强现实的机器人示教再现方法,其特征在于,包括以下步骤:

S1、启动示教模式,体感设备Kinect获取手势的位置与姿态;

S2、对S1中获取的手势位姿进行滤波处理与数据优化;具体包括:

对步骤S1中获取的手势位姿数据进行滤波处理和优化,以获得稳定准确的示教点位姿;具体计算步骤为:

⑴数据滤波

对于Kinect获取的数据,采用自回归滑动平均滤波器进行滤波;自回归滑动平均滤波器是一类线性滤波器,自回归滑动平均滤波器的输出是当前值与N个之前输入和M个之前滤波器输出的加权平均:

其中系数ai和bi表示第i项滤波器参数,式(4)等号右边第一部分叫做滑动平均项,是一个低通滤波器,允许直流分量通过;第二部分叫做自回归项;

根据式(4)对采集的位姿数据进行滤波,从而得到光滑稳定的示教轨迹;

⑵数据优化

采用递推最小二乘算法消除人手肌肉造成的固有抖动;数据优化系统的数学模型为:A(z-1)y(k)=B(z-1)u(k)+w(k),其中

na、nb为数据优化系统模型的阶次,z-i为系统z变换的第i项,表示延迟i个时刻,ai、bi为待估计参数,y(k)为系统k时刻的输出观测数据,u(k)为系统k时刻的输入采样数据,w(k)为系统k时刻的随机噪声;

定义:由以往时刻的输出观测数据y(k-1),...,y(k-na)和输入采样数据u(k-1),...,u(k-nb)组成的k-1时刻的观测数据向量φ(k-1)为

φ(k-1)=[y(k-1),...,y(k-na)u(k-1),...,u(k-nb)]T,T表示转置

由数学模型待估计参数组成的回归参数向量θ为

表示k时刻θ的估计值,其递推计算式为

K(k)为k时刻误差增益,其计算式为

Ρ(k)为k时刻方差更新矩阵,其计算式为

Ρ(k)=[I-K(k)φT(k-1)]Ρ(k-1)(8)

则递推最小二乘算法基本计算步骤如下:

①确定多项式A(z-1)和B(z-1)的阶次na,nb

②设定递推参数初值Ρ(0);

③采样获取新的y(k)和u(k),并组成观测数据向量φ(k-1);

④用式(6)~(8)所示的递推最小二乘算法计算当前参数递推估计值

⑤采样次数k加1,然后回到第③步继续循环,直到满足以下的停止准则:

式中为参数向量θ的第i个元素在第N+1次的递推计算结果,εRLS为给定的表示精度要求的一个正数;

S3、将优化后的数据通过无线网络发送给光学透视式增强现实设备,驱动光学透视式增强现实设备中虚拟机器人再现操作者的示教轨迹;

S4、在虚拟机器人再现的过程中,示教者从光学透视式增强现实设备中观察虚拟机器人的再现轨迹,对于误差大于期望误差的示教点,通过语音指令进行调整,并修改之前的示教点,直至所有示教点的误差都在期望误差范围内,则示教完成;

S5、将最终的示教轨迹转化为驱动真实作业机器人所需的关节角,发送给机器人控制器,从而让真实作业机器人再现操作者的示教路径。

2.根据权利要求1所述的基于增强现实的机器人示教再现方法,其特征在于,步骤S1中示教者沿着实际工作路径示教一遍工作位姿,体感设备以固定频率采集示教者的手势的位置与姿态数据作为示教点处的位姿;位姿的计算方法为:

示教者右手食指指尖的位置作为示教点的位置,掌心和食指根、无名指根这三个点所形成平面的法向量与参考坐标系即世界坐标系的夹角作为示教点姿态的欧拉角;具体计算过程如下:

世界坐标系为右手螺旋坐标系,x轴水平向右,y轴垂直向上,z轴垂直于纸面向外;设掌心为点A(x1,y1,z1),食指根为点B(x2,y2,z2)、无名指根为点C(x3,y3,z3),由不共线的三点形成的平面的法向量为根据法向量与平面内任意向量垂直,则有

展开即得

由式(2)解得法向量

机器人姿态用RPY来表示,R表示绕世界坐标系的z轴的旋转角Roll,记为φa;P表示绕世界坐标系y轴的旋转角Pitch,记为φo;Y表示绕世界坐标系x轴的旋转角Yaw,记为φn;由法向量可得其RPY角为

3.根据权利要求1所述的基于增强现实的机器人示教再现方法,其特征在于,步骤S3中,对于上一步优化过后的数据,需要通过无线网络传送给光学透视式增强现实设备,这些数据驱动光学透视式增强现实设备中的虚拟机器人末端运动,在增强现实的环境中完成示教任务的再现过程。

4.根据权利要求1所述的基于增强现实的机器人示教再现方法,其特征在于,步骤S4中,通过语音指令对手势示教过程中误差较大的示教点进行调整,实现精确示教;步骤S1中体感设备是以固定频率采集示教者的手势位姿,且人手手指有一定的大小,故示教轨迹本身存在误差,需在步骤S4中通过语音来进行修正,语音修正的误差定义为:

其中,(xri,yri),(xKi,yKi)分别为同一坐标系中的第i个机器人末端位置和由Kinect获取的示教路径的第i个点的二维坐标,Num为所有示教点的个数;

当误差在期望误差之内,即满足ε≤ε0,其中ε0为期望误差,则示教满足要求,进入下一示教点。

5.一种实现权利要求1所述基于增强现实的机器人示教再现方法的机器人示教装置,其特征在于,包括体感设备、PC机、麦克风、光学透视式增强现实设备、WiFi路由器和真实作业机器人,其中:

体感设备,与PC机通过数据线相连,用于实时捕捉示教者的手势位姿;

PC机,数据处理的核心,通过有线的方式连接体感设备、麦克风和机器人控制器,对体感设备捕捉的示教手势位姿数据进行滤波和去除人手抖动,接收麦克风采集的语音指令;通过无线局域网连接光学透视式增强现实设备,将处理过后的数据发送给光学透视式增强现实设备,以驱动光学透视式增强现实设备中的虚拟机器人运动,再现示教者的示教轨迹;

麦克风,与PC机相连,用于检测示教者的语音指令,语音指令格式形为:向【左】移动{5}厘米,方括号中的内容能为上、下、左、右、前、后,代表移动的方位,花括号中的内容为1,2,3,4,5的数字,代表移动的步长;

光学透视式增强现实设备,采用光学透视式头盔显示器,在示教者的视野中产生叠加于环境中的虚拟机器人,代替真实作业机器人完成示教再现过程;

WiFi路由器,提供一个无线的局域网环境,用于连接光学透视式增强现实设备;

真实作业机器人,与PC机相连,是示教完成后的执行体,真实作业机器人能按照示教者的示教轨迹再现示教过程。

6.根据权利要求5所述的机器人示教装置,其特征在于,采用微软的Hololens增强现实眼镜,通过Unity3D建模虚拟机器人,并添加运动属性,按照控制真实机器人的方式控制虚拟机器人的运动,示教者通过佩戴增强现实眼镜,观察虚拟机器人来完成虚拟示教任务。

说明书

技术领域

本发明涉及工业机器人示教领域,特别是涉及一种基于增强现实技术的机器人在线示教再现方法及装置。

背景技术

机器人从60年代诞生发展到现在,经历了三代:示教再现机器人、有感知能力机器人和智能机器人,然而示教再现型机器人仍然是工业领域应用最多的机器人。

机器人示教的目的是为了获得机器人完成作业所需的位姿,其示教方法可分为在线示教和离线示教。在线示教方式的缺点是示教过程繁琐费时,需要根据工作任务反复调整机器人的姿态,时效性差,而且很难规划复杂的工作路径。离线示教是利用计算机图形学技术建立机器人及其工作环境的几何模型,然后对机器人所要完成的任务进行离线规划和编程,并对结果进行动态仿真,最后将满足要求的示教路径传送给机器人控制器。离线示教方式的缺点是建模过程比较复杂,且模型与真实环境存在偏差,示教再现前需要进行相应的校正,对编程人员要求较高。

随着计算机软硬件技术的发展,虚拟现实技术得到了广泛的应用,在机器人示教领域形成了一种新的虚拟示教方法。为了进行虚拟示教,需要机器人及其工作环境的完整描述的CAD模型。此CAD模型存在着对真实场景模拟精度不高的问题,在一个松结构化的环境中对机器人任务进行示教需要做许多标定和工件定位的工作,这是虚拟示教方式的缺点。

对此近年来公开了采用增强现实技术来提高机器人示教方法操作性的方法和装置。

中国专利号:CN106363637A,名称:一种机器人快速示教方法及装置,该发明公开了一种增强现实环境中的机器人快速示教方法及装置,采用手势完成机器人示教过程,并通过语音对示教的动作进行命名,增强现实设备捕捉周围环境信息构成三维场景在显示屏上显示。然而该发明只是将语音用于示教动作的命名,没有利用语音指令的精确性对手势示教过程的误差进行优化,且未充分利用增强现实技术的虚实叠加特性来降低误操作对真实机器人和工件的损害,仅作为显示设备。

中国专利号:CN106863295A,名称:机器人系统,该发明公开了一种具备影像显示装置的机器人系统,该影像显示装置利用增强现实处理技术来将虚拟物体的图像叠加在机器人的影像上进行显示。该装置可以在没有机器人末端执行器的情况下完成机器人示教,然而,这种靠图像识别处理来完成虚实物体叠加的方式需要大量的计算量。

综上,目前机器人示教迫切需要一种自然、高效、安全、直观的示教编程方法。

发明内容

为了克服上述现有技术的不足,本发明提供了一种基于增强现实的机器人示教再现方法及装置。

为了实现本发明的目的所采用的技术方案是。

一种基于增强现实的机器人示教再现方法,包括以下步骤:

S1、启动示教模式,体感设备获取手势的位置与姿态

S1、启动示教模式,体感设备获取手势的位置与姿态;

S2、对S1中获取的手势位姿进行滤波处理与数据优化;

S3、将优化后的数据通过无线网络发送给光学透视式增强现实设备,驱动AR设备中虚拟机器人再现操作者的示教轨迹;

S4、在虚拟机器人再现的过程中,示教者从增强现实设备中观察虚拟机器人的再现轨迹,对于误差大于期望误差的示教点,通过语音指令进行调整,并修改之前的示教点,直至所有示教点的误差都在期望误差范围内,则示教完成;

S5、将最终的示教轨迹转化为驱动真实机器人所需的关节角,发送给机器人控制器,从而让真实作业机器人再现操作者的示教路径。

进一步的,步骤S1中,操作者沿着实际工作路径示教一遍工作位姿,体感设备(如深度相机Kinect,Leap Motion等)以固定频率采集示教者的手势的位置与姿态数据作为示教点处的位姿。

具体的,示教者右手食指指尖的位置作为示教点的位置,掌心和食指根、无名指根这三个点所形成平面的法向量与参考坐标系(即世界坐标系)的夹角作为示教点姿态的欧拉角;具体计算过程如下:

世界坐标系为右手螺旋坐标系,x轴水平向右,y轴垂直向上,z轴垂直于纸面向外。设掌心为点A(x1,y1,z1),食指根为点B(x2,y2,z2)、无名指根为点C(x3,y3,z3),由不共线的三点形成的平面的法向量为 根据法向量与平面内任意向量垂直,则有

展开即得

由式(2)解得法向量

机器人姿态用RPY(Roll,Pitch,Yaw)来表示,绕世界坐标系z轴的旋转角称为Roll,记为φa;绕世界坐标系y轴的旋转角称为Pitch,记为φo;绕世界坐标系x轴的旋转角称为Yaw,记为φn。由法向量可得其RPY角为

进一步的,步骤S2中,手势示教的准确度完全依赖手势采集系统采集的手势位姿,而人手由于生理原因,存在着固有的抖动,测量设备也存在着测量噪声,故对步骤S1中获取的手势位姿数据进行滤波和优化,来获得稳定的示教点位姿。⑴数据滤波

对于Kinect获取的数据,采用自回归滑动平均滤波器进行滤波。自回归滑动平均(ARMA)滤波器是一类线性滤波器,ARMA滤波器的输出是当前值与N个之前输入和M个之前滤波器输出的加权平均:

其中系数ai和bi表示第i项滤波器参数。式(4)等号右边第一部分叫做滑动平均(MA)项,是一个低通滤波器允许直流分量通过;第二部分叫做自回归(AR)项;

根据式(4)对采集的位姿数据进行滤波,从而得到光滑稳定的示教轨迹。⑵数据优化

采用递推最小二乘(RLS)算法消除人手肌肉造成的固有抖动。数据优化系统的数学模型为:A(z-1)y(k)=B(z-1)u(k)+w(k),其中

na、nb为数据优化系统模型的阶次,z-i为系统z变换的第i项,表示延迟i个时刻,ai、bi为待估计参数,y(k)为系统k时刻的输出观测数据,u(k)为系统k时刻的输入采样数据,w(k)为系统k时刻的随机噪声。

我们定义:

由以往时刻的系统输出y(k-1),...,y(k-na)和系统输入u(k-1),...,u(k-nb)组成的k‐1时刻的观测数据向量φ(k-1)为

φ(k-1)=[y(k-1),...,y(k-na)u(k-1),...,u(k-nb)]T(T表示转置)

由系统模型待估计参数 组成的回归参数向量θ为

表示k时刻θ的估计值,其递推计算式为

K(k)为k时刻误差增益,其计算式为

P(k)为k时刻方差更新矩阵,其计算式为

P(k)=[I-K(k)φT(k-1)]P(k-1) (8)

则递推最小二乘算法基本计算步骤如下:

①确定多项式A(z-1)和B(z-1)的阶次na,nb;

②设定递推参数初值 P(0);

③采样获取新的观测数据y(k)和u(k),并组成观测数据向量φ(k-1);

④用式(6)~(8)所示的RLS法计算当前参数递推估计值

⑤采样次数k加1,然后转回到第③步骤继续循环,直到满足以下的停止准则:

式中 为参数向量θ的第i个元素在第N+1次的递推计算结果,εRLS为给定的表示精度要求的某一正数。

进一步的,步骤S3中,对于上一步优化过后的数据,需要通过无线网络传送给光学透视式增强现实设备(如Hololens),这些数据驱动光学透视式增强现实设备中的虚拟机器人末端运动,在增强现实的环境中完成示教任务的再现过程。

进一步的,步骤S3中,增强现实设备中的虚拟机器人需要在启动示教模式之前离线建模好。

进一步的,步骤S4中,通过语音指令对手势示教过程中误差较大的示教点进行调整,实现精确示教。这是因为步骤S1中手势示教采集系统是以固定频率采集示教者的手势位姿,且人手手指有一定的大小,故示教轨迹本身存在误差,需在步骤S4中通过语音来进行修正。

为了定量分析示教误差,为语音精确示教提供依据,我们只考虑示教路径的位置,没有考虑姿态,故可对误差进行如下定义:

其中,(xri,yri),(xKi,yKi)分别为同一坐标系中的第i个机器人末端位置和由Kinect获取的示教路径的第i个点的二维坐标,Num为所有示教点的个数。

当位置误差在期望误差之内,即满足ε≤ε0,其中ε0为期望误差,则示教满足要求,进入下一示教点。

一种基于增强现实的机器人示教装置,包括体感设备、PC机、麦克风、光学透视式增强现实设备、WIFi路由器和机器人,其中:

体感设备,与PC机通过数据线相连,用于实时捕捉示教者的手势位姿;

PC机,数据处理的核心,通过有线的方式连接体感设备和机器人控制器,对体感设备捕捉的示教手势位姿数据进行滤波和去除人手抖动。通过无线局域网连接光学透视式增强现实设备,将处理过后的数据发送给增强现实设备,以驱动增强现实设备中的虚拟机器人运动,再现示教者的示教轨迹;

麦克风,与PC机相连,用于检测示教者的语音指令,语音指令格式形如,向【左】移动{5}厘米,方括号中的内容可为上下左右前后,代表移动的方位,花括号中的内容为1,2,3,4,5的数字,代表移动的步长;

光学透视式增强现实设备,采用微软的Hololens增强现实眼镜,通过Unity3D建模虚拟机器人,并添加运动属性,可以按照控制真实机器人的方式控制虚拟机器人的运动,示教者通过佩戴增强现实眼镜,观察虚拟机器人来完成虚拟示教任务;

WiFi路由器,提供一个无线的局域网环境,用于连接增强现实设备;

机器人,与PC机相连,是示教完成后的执行体,机器人可以按照示教者的示教轨迹再现示教过程

本发明与现有技术相比,具有如下优点和有益效果:

1、本发明采用一种自然的人机交互方式,利用手势和语音即可完成示教,不需要操作者具备专业的知识和熟练的工作经验。手势示教过程中,手势采集系统以一定的频率采集示教者的运动轨迹,作为机器人完成任务所需的工作轨迹。

2、机器人示教过程中难免存在误差,在真实机器人再现之前使用虚拟机器人进行再现,可以避免示教失败时真实机器人的损坏。

3、相比于其他在线示教而言,基于增强现实的在线示教不占用机器人的作业时间。不需要机器人停止工作,极大的提高了机器人的有效作业时间

4、可在不同示教任务间方便的切换,只有作业机器人是虚拟的,环境都是真实的,不需要像虚拟示教那样对环境进行重新建模,重复效率高。

附图说明

图1为增强现实示教流程图。

图2为示教点位姿获取示意图。

图3为语音示教工作流程图。

图4为增强现实示教装置组成图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。

现有的工业机器人在线示教再现方法,需要在真实的工作环境中对作业机器人进行现场示教,在示教失败的情况下会损坏作业机器人和工件。通过采用增强现实技术,先用叠加在真实环境中的虚拟机器人进行示教再现,能够避免示教失败时对作业机器人和工件的损坏,采用手势和语音相结合的示教方式,使得不具备专业知识的示教者也能完成示教。本发明基于此提出了一种基于增强现实的机器人示教方法与装置,下面对其进行详细说明。

一种基于增强现实的机器人示教装置,如图4,包括体感设备、PC机、麦克风、光学透视式增强现实设备、WIFi路由器和机器人,其中:

体感设备,与PC机通过数据线相连,用于实时捕捉示教者的手势位姿;

PC机,数据处理的核心,通过有线的方式连接体感设备和机器人控制器,对体感设备捕捉的示教手势位姿数据进行滤波和去除人手抖动。通过无线局域网连接光学透视式增强现实设备,将处理过后的数据发送给增强现实设备,以驱动增强现实设备中的虚拟机器人运动,再现示教者的示教轨迹;

麦克风,与PC机相连,用于检测示教者的语音指令,语音指令格式形如,向【左】移动{5}厘米,方括号中的内容可为上、下、左、右、前、后,代表移动的方位,花括号中的内容为1,2,3,4,5的数字,代表移动的步长;

光学透视式增强现实设备,采用微软的Hololens增强现实眼镜,通过Unity3D建模虚拟机器人,并添加运动属性,可以按照控制真实机器人的方式控制虚拟机器人的运动,示教者通过佩戴增强现实眼镜,观察虚拟机器人来完成虚拟示教任务;

WiFi路由器,提供一个无线的局域网环境,用于连接增强现实设备;

机器人,与PC机相连,是示教完成后的执行体,机器人可以按照示教者的示教轨迹再现示教过程

基于上述装置的机器人示教方法,其整体工作流程如图1所示,包括以下步骤:

S1、启动示教模式,体感设备获取手势的位置与姿态;

步骤S1中,体感设备为具有红外相机的设备,如Kinect,Leep Motion等,可以获取人体骨骼的三维坐标。手势位置与姿态的提取如图所示,指尖的位置作为手势的三维位置,掌心和两个指节形成的平面的法向量与参考坐标系的夹角为手势的姿态,法向量的参考坐标系为水平放置的右手坐标系。

具体的,示教者右手食指指尖的位置作为示教点的位置,掌心和食指根、无名指根这三个点所形成平面的法向量与参考坐标系(即世界坐标系)的夹角作为示教点姿态的欧拉角;具体计算过程如下:

世界坐标系为右手螺旋坐标系,x轴水平向右,y轴垂直向上,z轴垂直于纸面向外。设掌心为点A(x1,y1,z1),食指根为点B(x2,y2,z2)、无名指根为点C(x3,y3,z3),由不共线的三点形成的平面的法向量为 根据法向量与平面内任意向量垂直,则有

展开即得

由式(2)解得法向量

机器人姿态用RPY(Roll,Pitch,Yaw)来表示,绕世界坐标系z轴的旋转角称为Roll,记为φa;绕世界坐标系y轴的旋转角称为Pitch,记为φo;绕世界坐标系x轴的旋转角称为Yaw,记为φn。由法向量可得其RPY角为

S2、对S1中获取的手势位姿进行滤波处理与数据优化

步骤S2中,原始的三维坐标数据存在噪声,滤波时选择时延小效果好的均值滤波器,随后采用递推最小二乘(RLS)算法消除人手的生理抖动,优化滤波之后的数据。

⑴数据滤波

对于Kinect获取的数据,采用自回归滑动平均滤波器进行滤波。自回归滑动平均(ARMA)滤波器是一类线性滤波器,ARMA滤波器的输出是当前值与N个之前输入和M个之前滤波器输出的加权平均:

其中系数ai和bi表示第i项滤波器参数。式(4)等号右边第一部分叫做滑动平均(MA)项,是一个低通滤波器允许直流分量通过;第二部分叫做自回归(AR)项;

根据式(4)对采集的位姿数据进行滤波,从而得到光滑稳定的示教轨迹。⑵数据优化

采用递推最小二乘(RLS)算法消除人手肌肉造成的固有抖动。数据优化系统的数学模型为:A(z-1)y(k)=B(z-1)u(k)+w(k),其中

na、nb为数据优化系统模型的阶次,z-i为系统z变换的第i项,表示延迟i个时刻,ai、bi为待估计参数,y(k)为系统k时刻的输出观测数据,u(k)为系统k时刻的输入采样数据,w(k)为系统k时刻的随机噪声。

我们定义:

由以往时刻的系统输出y(k-1),...,y(k-na)和系统输入u(k-1),...,u(k-nb)组成的k‐1时刻的观测数据向量φ(k-1)为

φ(k-1)=[y(k-1),...,y(k-na)u(k-1),...,u(k-nb)]T(T表示转置)

由系统模型待估计参数 组成的回归参数向量θ为

表示k时刻θ的估计值,其递推计算式为

K(k)为k时刻误差增益,其计算式为

P(k)为k时刻方差更新矩阵,其计算式为

P(k)=[I-K(k)φT(k-1)]P(k-1)(8)

则递推最小二乘算法基本计算步骤如下:

①确定多项式A(z-1)和B(z-1)的阶次na,nb;

②设定递推参数初值 P(0);

③采样获取新的观测数据y(k)和u(k),并组成观测数据向量φ(k-1);

④用式(6)~(8)所示的RLS法计算当前参数递推估计值

⑤采样次数k加1,然后回到第③步继续循环,直到满足以下的停止准则:

式中 为参数向量θ的第i个元素在第N+1次的递推计算结果,εRLS为给定的表示精度要求的某一正数。

S3、将优化后的数据通过无线网络发送给光学透视式增强现实设备,驱动AR设备中虚拟机器人再现操作者的示教轨迹

步骤S3中,光学透视式增强现实设备采用微软的Hololens,Hololens中不具备用于示教的机器人模型,需要用3dMax三维建模软件对作业机器人进行建模,然后导入Unity3D中添加运动属性,之后即可按照控制作业机器人的方式来控制虚拟机器人的移动,示教者透过Hololens眼镜即可观察虚拟的作业机器人再现示教者示教的轨迹,与让真实的作业机器人再现相比,可以避免示教失败时对真实作业机器人末端和工件的损坏。

S4、在虚拟机器人再现的过程中,操作者从增强现实设备中观察虚拟机器人的再现轨迹,对于误差较大的示教点,则通过语音指令进行调整,并修改之前的示教点,重复这样的过程,直至所有示教点的误差都在满意的限度内,则示教完成

步骤S4中,对手势示教的示教轨迹进行语音调整,手势示教是一种粗糙的快速示教方法,因为人的手指指尖有一定的大小,不是一个质点,故步骤S4需对手势示教的作业轨迹进行调整,语音精确示教的流程如图所示,在AR设备中虚拟机器人再现每一个手势示教点时,判断是否需要进行调整,如果不需要,则直接进入下一示教点;如果需要进行调整,此时麦克风采集示教者的语音指令,进行特征提取,与模型文件进行匹配,提取出示教者的语音指令,如向左移动1厘米,将语音指令转化为位姿数据,驱动虚拟机器人移动,示教者通过观察虚拟机器人末端判断是否满足精度要求,如果满足,则保存修改的示教点数据并进入下一示教点;若果不满足,则继续进行语音调整,直到满足精度要求。其中对误差进行如下定义:

其中,(xri,yri),(xKi,yKi)分别为同一坐标系中的第i个机器人末端位置和由Kinect获取的示教路径的第i个点的二维坐标,Num为所有示教点的个数。

S5、将最终的示教轨迹转化为驱动真实机器人所需的关节角,发送给机器人控制器,从而让真实机器人再现操作者的示教路径。

上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

一种基于增强现实的机器人示教再现方法及装置专利购买费用说明

专利买卖交易资料

Q:办理专利转让的流程及所需资料

A:专利权人变更需要办理著录项目变更手续,有代理机构的,变更手续应当由代理机构办理。

1:专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2:按规定缴纳著录项目变更手续费。

3:同时提交相关证明文件原件。

4:专利权转移的,变更后的专利权人委托新专利代理机构的,应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A:(1)直接到国家知识产权局受理大厅收费窗口缴纳,(2)通过代办处缴纳,(3)通过邮局或者银行汇款,更多缴纳方式

Q:专利转让变更,多久能出结果

A:著录项目变更请求书递交后,一般1-2个月左右就会收到通知,国家知识产权局会下达《转让手续合格通知书》。

动态评分

0.0

没有评分数据
没有评价数据
×

打开微信,点击底部的“发现”

使用“扫一扫”即可将网页分享至朋友圈

×
复制
用户中心
我的足迹
我的收藏

您的购物车还是空的,您可以

  • 微信公众号

    微信公众号
在线留言
返回顶部