专利摘要

本发明提供了一种通过使用基于粒子滤波器的声音传感器在三维(3-D)空间中跟踪物体的方法。不是直接将用于纯方位跟踪的粒子滤波算法扩展到3-D空间，而是3-D粒子滤波器被分解成不同的简单的二维(2-D)粒子滤波器。分解为2-D粒子滤波器并选择它们是基于在噪声环境下的声音传感器的特征。还提供了对多个粒子滤波器关联的扩展，通过使用克莱姆-拉奥下界，证实了其强度和性能。提供了执行精确3-D物体跟踪的同时减少计算复杂度的优点。

说明书

技术领域

本发明涉及一种在三维空间中通过使用包括无源声音传感器的粒子滤波器的跟踪物体的方法，更特别的，涉及一种在三维空间中跟踪物体的方法，其能够降低计算的复杂性，同时通过将三维粒子滤波器分解为简单的二维粒子滤波器而不是直接扩展用于纯方位跟踪三维空间的传统的粒子滤波器算法，从而精确的执行三维物体跟踪。

背景技术

在很多应用中对在室内和室外使用无源传感器定位和跟踪物体感兴趣。对于使用无源传感器跟踪物体，提供了几种基于时延估计(TDE)方法和波束形成方法的方法。TDE方法基于到达接收器的信号的时间延迟来估计位置。波束形成方法使用被操作的波束形成器的频率平均的输出功率。TDE方法和波束形成方法试图使用仅在当前时间获取的数据来确定电流源位置。每种方法将声音数据转换成函数，该函数以一种确定性的方式在与源相对应的位置处呈现峰值。

然而，这些方法的估计精度对噪声损坏的信号是敏感的。为了克服该方法的这些缺陷，提出并应用了一种基于粒子滤波的状态空间驱动方法。粒子滤波是一种用于连续信号的处理尤其是用于非线性和非高斯问题的新兴的强有力的工具。对于源定位简单陈述了关于使用粒子滤波器跟踪的先前工作。提出了具有修订的使用粒子滤波的基于TDE或波束形成方法的架构，以及传感器以恒定的高度放置在指定的地点从而在二维空间(2-D)中估计物体的轨迹。然而，在这些方法中，扩展到三维空间是相当困难和难改变的。为了扩展到3-D，需要多于所放置的麦克风的数量来生成另一个2-D平面。此外，由于传感器的位置固定所以无法支持传感器的移动性。为了克服移动性问题，基于到达方向(DOA)的纯方位跟踪已广泛应用于多种应用。

在本文中，为了灵活的和精确的3-D跟踪我们分析了基于无源传感器的跟踪方法。已经通过直接扩展2-D纯方位跟踪问题到3-D问题而提出了在3-D中跟踪。代替直接扩展传统的粒子滤波算法以用于3-D空间的纯方位跟踪，我们提出将3-D粒子滤波器分解成几个简单的被设计用于2-D纯方位跟踪问题的粒子滤波器。对于2-D粒子滤波器的分解和选择是基于在噪声环境下的声音传感器操作的表征。作为无源声音定位器模型，在M.Stanacevic，G.Cauwenberghs，的“Micropower Gradient Flow acoustic Localizer”Solid-StateCircuits Conf.(ESSCIRC03)，pp.69-72，2003中提出使用了一种无源声音定位器。该声音定位器检测在传感器和物体之间的两个角度分量(方位角θ、仰角Φ)。我们把这个方法扩展到用于鲁棒性能的多粒子滤波器联合。我们将提出的方法与使用克莱姆-拉奥(Cramer-Rao)下限的直接扩展的纯方位跟踪方法相比较。

发明内容

技术问题

本发明提供了一种通过使用基于粒子滤波器的声音传感器在三维空间中跟踪物体的方法，所述方法能够在增加精度的同时降低计算的复杂性。

技术方案

根据本发明的一个方面，提供了一种通过使用基于粒子滤波器的声音传感器在三维(3-D)空间中跟踪物体的方法，该方法包括：在3-D空间中选择两个平面；分别在两个选择的平面上执行二维(2-D)粒子滤波；和将在各个平面上的2-D粒子滤波的结果相关联。

优选的，在选择的两个平面中，两个平面可以从由单个传感器形成的3-D空间中选择。在这种情况下，两个被选择的平面可以关于单个传感器，基于3-D空间中三个平面的仰角而确定。

另一方面，在选择两个平面中，两个平面可以从由多个传感器中的每一个形成的3-D空间中选择。在这种情况下，两个被选择的平面可以关于多个传感器中的每一个传感器，基于在3-D空间中平面的方位角和仰角确定。

优选的，选择两个平面可以通过使用独立的k重传感器来执行。另一方面，选择两个平面可以通过使用共同重采样(common-resampling)K重传感器来执行。另一方面，选择两个平面可以通过使用一个合并的K重传感器来执行。

优选的，将在各个平面上的2-D粒子滤波的结果相关联可以鉴于对于两个不同平面中相同的要素权重是相同的而被执行。另一方面，将在各个平面上的2-D粒子滤波的结果相关联可通过为两个不同平面中的相同因素彼此增加权重而实现。

有益效果

具有的优点是，根据本发明的一个实施例，在通过使用基于粒子滤波器的声音传感器来三维(3-D)空间中跟踪物体的方法中，在三维空间中精确的跟踪物体的同时，通过将三维粒子滤波器分解为一些简单的二维粒子滤波器而降低了计算复杂度。

工业可应用性

本发明可以应用到3-D物体跟踪领域。

附图说明

图1示出了最初测量的角度的转换；

图2和3示出了分别在投影的yz和zx平面上的角度变化；

图4示出了根据本发明的一个实施例当xy和yz平面在投影平面选择中被选择的情况；

图5示出了未使用根据本发明一个实施例的结合方法在yz平面上的跟踪偏差；

图6示出了基于结合方法的物体跟踪；

图7示出了以三维方式分布的粒子权重的玉米形状似然函数；

图8示出了一个角度的径向误差估计；

图9示出了关于全局坐标的坐标系统，也就是，初始传感器坐标系统；

图10示出了用于常见的重采样粒子的两种方法；

图11示出了多个传感器的重采样的过程；

图12示出了CRMS-II中的权重计算；

图13示出了通过使用由R传感器测量的所有值在 中的粒子权重计算，所述R传感器根据本发明的实施例被选择；

图14示出了使用在IMS中选择的两个优化的平面的多个传感器的性能；

图15和16示出了分别在各个方向中的下限；

图17和18示出了分别使用一个传感器和使用多个传感器的情况。

具体实施方式

为了全面了解本发明操作的优势和通过本发明实施例获得的目标，需要参考示出了本发明的优选实施例的附图和图中显示的内容。以下，将参考附图对本发明的优选实施例进行详细描述。在每个附图中显示的相同的附图标记表示相同的元件。

在M.Stanacevic，G.Cauwenberghs的“Micropower Gradient Flow acousticLocalizer，”Solid-State Circuits Conf.(ESSCIRC03)，pp.69-72，2003中描述了三维定位器模型和其具体实现。定位器基于梯度流以确定声音源的到达方向(DOA)。

图1示出了角度转换过程。基于来自声音定位器的测量的两个角度，方位角θ和仰角Φ，(0≤θ≤2π，2≤Φ≤π)，获取二维(2-D)平面的三个角度：θ_xy，θ_yz，θ_zx。这三个角度中的任一个角度用于使用粒子滤波器进行2-D跟踪。例如，在xy平面中使用θ_xy，在yz平面和zx平面分别使用θ_yz和θ_zx。角度定义如下：

θ_xy＝θ

θyz=tan-1(|secθ|tanθtanφ)+β]]>

θzx=tan-1(tanφ|secθ|)+γ---(1)]]>

其中在(y≥0，z≥0)时β＝0；在(y＜0)时，β＝π；在(y≥0，z＜0)时，β＝2π；在(z≥0，x≥0)时，γ＝0；在(x＜0)时，γ＝π；在(z≥0，x＜0)时，γ＝2π。

简单起见，我们假设原始测量的角度θ和Φ的方差σ(θ)²和σ(Φ)²被相同地测量并表示为σ²。具有方差σ²的噪声干扰的测量θ和Φ被传送到具有方差 和 的投影平面角θ_xy，θ_yz和θ_zx，如：

θxy,n=θ·xy,n+Enxy]]>

θyz,n=θ·yz,n+Enyz]]>

θzx,n=θ·zx,n+Enzx---(2)]]>

其中 是在p平面(x-y，y-z或z-x平面)上的真实角度。 是在p平面中具有方差 的投影的噪声。注意原始方差σ²通过投影分别表示为 和

每个投影的测量方差从(1)获得。然而，表达出需要非线性函数的方差乘积和方差的数学推导是困难的。此外，数学推导只是一个近似的解。图2和图3描述了在y-z和z-x平面中的投影角度方差，这是通过10000次试验而靠经验获得的。图2和图3示出了当θ和Φ的σ²均为1时的投影角度方差 和 注意在x-y平面的投影角度θ_xy与原始角度θ相同，因此， 与σ²相同。

当θ和Φ变化时在y-z和z-x平面的投影方差也变化。在y-z平面，Φ的范围在45±至135±之间导致比原始测量方差1更少的方差。此外，在θ接近为0±或180±时，方差进一步减少。另一方面，在z-x平面，在其他范围的θ和Φ导致比原始测量方差更小的方差。通过投影的测量方差，我们接近在3-D空间的物体跟踪方法。

将对三维空间估计的公式进行描述。

考虑物体的状态向量Xn，其根据下面公式演变，

X_n＝f_n-1(X_n-1)+Q_n-1    (3)

其中f_n是状态Xn的一种非线性的状态转换函数，以及Q_n-1是n和n-1之间的瞬时时间间隔中的非高斯噪声过程。演变的物体状态向量的测量表示为

Z_n＝h_n(X_n)+E_n    (4)

其中h_n是物体状态的一个非线性时变函数，E_n是测量误差，称为测量噪声序列，该测量噪声序列是独立同分布(IID)的白噪声过程。然后，获取预测概率密度函数(pdf)如下：

p(X_n|Z_1:n-1)＝∫p(X_n|X_n-1)p(X_n-1|Z_1:n-1)dX_n-1    (5)

其中，Z1:n代表直到时刻n的测量序列；p(Xn|Xn-1)是具有1阶马科夫(Markov)过程与(3)中的f_n(·)和Q_n-1相关的状态转换密度。注意，p(X_n-1|Z_1:n-1)是从先前时刻n-1递归地获取的。

对于基于贝叶斯(Bayes)规则的下一个时刻估计，包括预测pdf的后验证(posterior)pdf是如下获取的：

p(Xn|Z1:n)=p(Zn|Xn)p(Xn|Z1:n-1)∫p(Zn|Xn)p(Xn|Z1:n-1)dXn---(6)]]>

其中p(Z_n|X_n)是(4)中的与测量模型hn(·)和噪声过程En相关的似然或测量密度，而分母是标准化的常数。换句话说，测量Zn用来修改在先的密度(5)以获得电流后验密度(6)。

对于变量的一致指示，在时刻n的投影平面角度测量θ_xy，θ_yz，θ_zx被表示为Z_n(xy)，Z_n(yz)，Z_n(zx)，在2-D平面的物体状态向量(X_n(xy)，X_n(yz)，X_n(zx))和在3-D平面的物体状态向量(X_n)被定义为：

X_n＝[x_n Vx_n y_n Vy_n z_n Vz_n]    (7)

X_n(xy)＝[x_n(xy)Vx_n(xy)y_n(xy)Vy_n(xy)]   (8)

X_n(yz)＝[y_n(yz)Vy_n(yz)z_n(yz)Vz_n(yz)    (9)

X_n(zx)＝[Z_n(zx)Vz_n(zx)x_n(zx)Vx_n(zx)]   (10)

其中{x_n，y_n，z_n}和{Vx_n，Vy_n，Vz_n}分别是在3-D直角坐标系中的真正的源位置和速率。[x_n(xy)，y_n(xy)]和[Vx_n(xy)，Vy_n(xy)]是在x-y平面上的投影的真正源位置和速率；y-z和z-x平面也以相同的方式应用。注意，x_n，x_n(xy)和x_n(zx)是完全不同的，因为x_n(xy)和x_n(zx)是独立估计的，而x_n是基于x_n(xy)和x_n(zx)的最终联合值；其余的组成部分也类似地被应用。然后，包含预测概率密度函数p(X_n(xy)|Z_1:n(xy))，p(X_n(yz)|Z_1:n(yz))和p(X_n(zx)|Z_1:n(zx))的三个较晚的pdf给出如下：

p(Zn(xy)|Xn(xy))p(Xn(xy)|Z1:n-1(xy))∫p(Zn(xy)|Xn(xy))p(Xn(xy)|Z1:n-1(xy))dXn(xy)---(11)]]>

p(Zn(yz)|Xn(yz))p(Xn(yz)|Z1:n-1(yz))∫p(Zn(yz)|Xn(yz))p(Xn(yz)|Z1:n-1(yz))dXn(yz)---(12)]]>

p(Zn(zx)|Xn(zx))p(Xn(zx)|Z1:n-1(zx))∫p(Zn(zx)|Xn(zx))p(Xn(zx)|Z1:n-1(zx))dXn(zx)---(13)]]>

目标是利用来自后验概率密度函数的三个2-D估计并将它们联合成单个3-D估计。

公式(11)到(13)仅是为了概念上的目的，而不能在一般情况下被分析计算，除非在例如线性高斯状态空间模式下的特殊情况下。在任何非线性系统，粒子滤波器使用粒子云对后验分布进行近似。这里，广泛应用顺序重要性采样(SIS)以执行非线性滤波。SIS算法是通过一组具有相关权重的随机采样用于所需的后验pdf，并基于这些采样和权重计算估计。此外，其推导出顺序重要性重采样(SIR)粒子滤波器算法，该算法选择重要密度候补并在每个时刻执行重采样步骤。SIR算法构成了大多数推荐的粒子滤波器的基础。在本文中，我们采用具有普通粒子滤波算法的SIR粒子滤波器以用于物体跟踪。在假定在(11)到(13)中的非线性函数fn-1和hn已知的情况下，SIRPF方法具有能够容易的估计重要权重且能够容易的对重要的密度采样的优点。

推荐了一些用于时间改变的位置和速率的动态模型。特别的，在纯方位跟踪上，提供有常速度(CV)模型、顺时针协调转动(CT)模型和逆时针协调转动(ACT)模型，上述模型被表示如下：

Fn(1)=1Ts000100001Ts0001---(14)]]>

其中p＝2，3，且 被称为模式条件转向速率，该模式条件转向速率被表示如下：

其中α是确定旋转角度的因子。在本文中，通过修改(14)，也表示CV模型的CA模型被修正为：

Fnxy=1AxTs22Vx,n-1+Ts000AxTsVx,n-1+100001AyTs22Vy,n-1+Ts000AyTsVy,n-1+1---(16)]]>

其中Ax和Ay表示在x-y平面的加速度。对于其他平面，y-z和z-x平面，Ax和Ay根据目标状态向量被替换。另外，当Ax和Ay的值为零时CA模型成为CV模型。

在动态模式在每个平面P中传播一个先前的M粒子组 后，产生新的粒子组 然后观测似然函数 被表示为高斯分布。该观测似然函数 计算产生的粒子的权重并通过每个平面P中的重采样过程估计物体状态向量X_n(P)。

下面将要根据本发明的一个实施例来描述一种用于在三维空间中跟踪物体而选择投影平面的方法。下面，该选择投影平面的方法被称为投影平面选择(PPS)方法。首先，将会描述在PPS方法中的平面选择和粒子产生，随后，将会描述一种考虑冗余的结合方法。

平面选择和粒子产生：不是直接使用3-D粒子滤波器表述，该方法使用三个可能2-D粒子滤波器表述中的至少两个来用于估计3-D状态信息。在PPS方法中，我们根据图2和图3选择具有最小方差的两个平面。注意，总是选择x-y平面，因为该平面是第二好的平面，其与原始测量的方位角具有相同的方差。基于测量的角度选择剩下的一个平面。例如，当两个角度都在45°到135°之间时，选择y-z平面。否则，选择z-x平面。

一旦选择了平面，2-D粒子滤波器独立地估计状态。图4示出了当选择x-y和y-z平面(即，根据初始测量的θ和Φ在y-z平面中的投影测量方差小于在z-x平面中的方差)时的一个例子。图4示出了用于3-D状态向量估计的两个选择的独立2-D粒子滤波器。在选择平面中的粒子滤波器估计状态向量的同时，在另一个剩余平面中的粒子滤波器等待被选择。当观测目标到达剩余平面的投影测量方差变小的范围时，将会改变平面的选择。

不管选择哪两个平面，在两个平面上都会出现一个冗余的分量(即，出现在x-y和y-z平面中的y分量)。然而，由于两个粒子滤波器独立地估计状态，则来自两个粒子滤波器的y分量可能不同。正如在(7)到(10)中所讨论的，中间的2-D目标状态向量是来自于x-y平面粒子滤波器的[x_n(xy)，Vx_n(xy)，y_n(xy)，Vy_n(xy)]，和来自于y-z平面粒子滤波器的[y_n(yz)，Vy_n(yz)，z_n(yz)，Vz_n(yz)]。最终的3-D目标状态向量X_n可以通过结合这两个估计而确定。

在结合方法中的冗余考虑：我们先前说过平面选择方法经常产生冗余。例如，当选择了平面x-y和y-z时，从这两个平面的粒子滤波器获取y方向的状态向量。有两种方式合并y方向的状态向量的冗余信息：平面权重合并和同等权重合并。同等权重合并方法简单地获得平均数值，该平均数值将相同的权重给冗余分量y。另一方面，在平面权重合并方法中，冗余分量的权重是根据粒子权重和 而确定的。粒子权重和的值粗略地指示了状态估计的可靠性。两个滤波器的权重和 是用于最终估计的每个平面滤波器上的权重，其中P代表选择的平面。基于每个平面的权重，考虑平面权重合并方法。在选择平面x-y和y-z的情况下，基于平面权重合并方法的最终3-D目标状态向量X_n是：

Xn=Xn(x|xyz)100000010000+Xn(y|xyz)001000000100+Xn(z|xyz)000010000001---(17)]]>

其中Xn(x|xyz)，Xn(y|xyz)和Xn(z|xyz)分别表示最终3-D状态向量的最终x，y和z状态向量，所述最终3-D状态向量表示

X_n(x|xyz)＝X_n(x|xy)    (18)

Xn(y|xyz)]]>

=Xn(y|xy)Σi=1Mwn(i)(xy)+Xn(y|yz)Σi=1Mwn(i)(yz)Σi=1Mwn(i)(xy)+Σi=1Mwn(i)(yz)---(19)]]>

X_n(z|xyz)＝X_n(z|yz)(20)

其中Xn(x|xy)表示在x-y平面中2-D状态向量的x分量。注意，由于相等权重合并方法忽略了每个平面的权重和，基于同等权重合并方法的(19)中的冗余分量y被替换为：

Xn(y|xyz)=Xn(y|xy)+Xn(y|yz)2---(21)]]>

在下文中，将会描述根据本发明的一个实施例的PPS方法和直接扩展到三维物体跟踪的方法(下文中，称为“直接三维方法”)之间的比较。

平面权重合并方法的有效性：迄今，我们假定非线性动态转移矩阵f_n是已知的。如果在跟踪中间的动态模型f_n转变为g_n，而没有给粒子滤波器任何改变信息，那么跟踪可能会偏离。假如在平面P中的物体被置换为动态模型g_n，而粒子滤波仍然使用动态模型f_n。那么，真正的源状态向量是g_n(X_n-1(P))而粒子滤波器用下面的观测似然函数表示：

p(Zn(P)|Xn(1:M)(P))=p(Zn(P)|fn(X^n-1(1:M)(P)))---(22)]]>

由于物体的和粒子滤波器的动态模型不同，所以估计一定是偏离的。

Xn(P)~fn(Xn-1(1:M)(P))≠gn(Xn-1(P))---(23)]]>

另外，如果未匹配模型的状态持续得更长，即使在匹配模型后估计也可能不能恢复。平面权重合并方法丢弃基于 来自具有忽略的粒子权重和的平面的估计，因此避免了估计的偏离。

如果所有选择的平面粒子滤波器很好地跟踪物体，同等权重合并和平面权重合并方法可能具有相似的跟踪性能。然而，如果两个粒子滤波器中的一个粒子滤波器不可靠地跟踪物体，权重合并方法完成得更好。表1和表2显示了这两种合并方法之间的比较。为了产生结果使用了1000个粒子。

表1

表2

表1表现了当所有平面粒子滤波器具有良好的跟踪精确度时的误差率(％)。如表格中所示，两种方法具有几乎相同的结果。然而，当两个平面中的一个平面的粒子滤波器的跟踪是不可信的，平面权重合并方法如表格2II所示进行补偿。(即，一个粒子滤波器的故障可能由仅跟踪角度而不跟踪到传感器的距离的突然的移动轨迹或半径误差引起)。注意y方向分量的误差率。这种现象也由图5和图6显示并作为一个仿真结果。选择的平面是x-y和y-z平面，修正y方向估计的状态向量。图5表现了未使用合并方法在y-z平面的跟踪偏离。图6表现了基于合并方法的跟踪。特别是在图6(b)中，显示出平面权重合并方法通过相应地考虑来自于不同平面的组分从而增强了跟踪性能。

与直接3-D方法相比较：PPS方法接近具有3-D目标状态模型的直接3-D方法的估计。图7示出了具有用于分配3-D分布式的粒子权重的玉米形状似然(corn shape likelihood)的直接3-D方法。PPS方法具有相同的效果，两个可变观测似然函数和3-D分布式粒子被投影到两个选择的平面上。由于根据给定的投影测量方差选择具有小的方差的平面，所以与直接3-D方法相比PPS是更好的评估者。基于克莱姆-拉奥(Cramer-Rao)下界(CRLB)评估性能的比较。CRLB会在下面进行详细描述。

以下会描述一种根据本发明的实施例通过使用多个传感器在三维空间中跟踪物体的方法。

由于在(23)中的物体动态模型的意想不到的改变而引起的跟踪轨迹偏离可以被平面权重合并方法部分地解决。然而，单个粒子滤波器是不能够辨别半径误差的，如图8中所示。由于这个原因，引入基于粒子滤波的多个传感器以用于鲁棒跟踪，即使是在粒子滤波器中的一个的测量是严重错误的时候。在这个章节，我们提出多个提议和传感器选择方法。

首先，描述一个动态模型和测度函数转换。

对于一个从位于 的第k个传感器获得的另外测量的角度，测度函数被修正为：

Zn′k=h′(Xnk)+En′---(24)]]>

其中

h′(Xnk)=tan-1yn-yn(s)kxn-xn(s)k---(25)]]>

最初的传感器S1假定被放置于源端，如图9中所示。图9示出了关于全局坐标的有关坐标系统(也就是最初的传感器的坐标系统)。坐标系统中的每个必须满足(25)。

目标动态模型也为每个传感器而改变。由于在图9中显示的附加的传感器分别具有不同的坐标系统，目标动态模型关于最初的传感器坐标系统改变为

Fn[S2]=1-AxTs22Vx,n-1+Ts000-AxTsVx,n-1+100001AyTs22Vy,n-1+Ts000AyTsVy,n-1+1---(26)]]>

Fn[S3]=1AxTs22Vx,n-1+Ts000AxTsVx,n-1+100001-AyTs22Vy,n-1+Ts000-AyTsVy,n-1+1---(27)]]>

Fn[S4]=1-AxTs2

在三维空间中基于使用声音传感器的粒子滤波器的物体跟踪方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。