专利摘要

本发明涉及一种梯度图引导的基于深度重采样3D-HEVC编解码方法。本发明该方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用梯度图引导的分块中值滤波的方法对深度视频下采样；解码端采用梯度图引导的邻域估值的方法对深度视频上采样；最后对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明方法在保持编码性能的前提下，保护了深度视频的边缘，提高了深度视频重采样的质量，降低了算法复杂度。

权利要求

1.梯度图引导的基于深度重采样3D-HEVC编解码方法，其特征在于：该方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用梯度图引导的分块中值滤波的方法对深度视频下采样；解码端采用梯度图引导的邻域估值的方法对深度视频上采样；最后对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频；

编码方法的具体步骤是：

步骤(1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D-HEVC编码器；

步骤(2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入3D-HEVC编码器；

步骤(3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为纹理视频和深度视频；

步骤(5)、将解码的深度视频，采用梯度图引导的邻域估值方法进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(6)、将解码后的纹理视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

2.如权利要求1所述的梯度图引导的基于深度重采样3D-HEVC编解码方法，其特征在于步骤(6)所述的视点合成采用典型的基于深度图渲染方法。

3.如权利要求1所述的梯度图引导的基于深度重采样3D-HEVC编解码方法，其特征在于步骤(2)所述的梯度图引导的分块中值滤波方法进行下采样，具体步骤如下：

a.对于深度视频的每帧图像，首先生成每个像素的水平方向和垂直方向上的梯度：

$▿G=(G_h,G_v)---\left(1\right)$

其中，G_h和G_v分别是水平方向和垂直方向上的梯度；则每个像素的梯度值为：

$G=\sqrt{G_h^2+G_v^2}---\left(2\right)$

b.设缩放系数为s,将深度图划分为互不重叠的大小为s×s的块，则分块后的深度图为：

G_B(x,y)＝G(sx,sy)(3)

其中x,y是分块深度图G_B(x,y)的中心坐标；G(sx,sy)是原深度图的坐标；

c.把深度图划分的所有的块B(x,y)划分为边缘块B_e(x,y)和非边缘块B_ne(x,y):

$B(x,y)=\{\begin{array}{cc}{B}_e(x,y)& \begin{array}{cc}if& N_h(x,y)>p*N_{total}(x,y)\end{array}\\ B_{ne}(x,y),& otherwise\end{array}---\left(4\right)$

其中，p是百分比参数，N_total(x,y)是一个块内的所有像素的数目，N_h(x,y)是块B(x,y)里面的具有高梯度值的像素的数目，计算如下：

$N_h(x,y)=\underset{(i,j)\in B(x,y)}{\Sigma }\rho [G_B(i,j),G_{Bavg}(x,y)]$

(5)

$with\rho [G_B(i,j),G_{Bavg}(x,y)]=\left\{\begin{array}{cc}1,& \begin{array}{cc}if& G_B(i,j)\ge {\mathrm{\lambda G}}_{Bavg}(x,y)\end{array}\\ 0,& otherwise\end{array}\right.$

其中，λ是下采样的阶数，λ＝1,2,3对应于缩放系数为2，4，8；G_B(i,j)是块B(x,y)里面像素(i,j)的梯度，G_Bavg(x,y)是块B(x,y)的平均梯度；

d.与分块的梯度图相对应，深度图被划分为非重叠的边缘块和非边缘块；对于边缘块B_e(x,y)，计算它的中值为：

$D_{down}(x,y)=\underset{(i,j)\in B(x,y)}{median}\left\{D_{Bh}(i,j)\right\}---\left(6\right)$

其中，{D_Bh(i,j)}代表块B(x,y)里面具有高梯度G_Bh(x,y)的像素集合，它满足以下条件：

D_Bh(i,j):G_Bh(i,j)≥λG_Bavg(x,y)(7)

其中，λG_Bavg(x,y)的定义同式(5)；

对于非边缘块B_ne(x,y)，计算它的中值为：

$D_{down}(x,y)=\underset{(i,j)\in B(x,y)}{median}\left\{D_B(i,j)\right\}---\left(8\right)$

其中，{D_B(i,j)}代表块B(x,y)里面所有像素深度值的集合；式(6)和式(8)的结果构成了下采样的深度图的值。

4.如权利要求1所述的梯度图引导的基于深度重采样3D-HEVC编解码方法，其特征在于步骤(5)中所述的采用梯度图引导的邻域估值方法进行上采样，具体步骤如下：

①根据步骤(a)的生成深度图的梯度图；

②设缩放系数为s，将每个待插值像素扩展为s×s大小的块，得到上采样后的深度图模板；

③设解码输出的深度图的一个像素坐标为(x,y)，则它在上采样后的深度图模板中的左上角像素的坐标为(s(x-1)+1,s(y-1)+1)，右上角像素的坐标为(s(x-1)+1,sy)，左下角像素的坐标为(sx,s(y-1)+1)，右下角像素的坐标为(sx,sy)；对左上角、右上角、左下角和右下角4个像素采用邻域估值的方法进行插值，具体如下：

设待估值的像素的坐标为(sx,sy)，深度图中(x,y)的深度值为D(x,y)，梯度值为G(x,y)；则该像素的三个邻域像素(x,y+1)、(x+1,y)、(x+1,y+1)的深度值分别为D(x,y+1)、D(x+1,y)、D(x+1,y+1)，梯度均值为G_avg(x,y)；记D_median(x,y)是集合{D(x,y)，D(x,y+1)，D(x+1,y)，D(x+1,y+1)}的中值，则估计的深度值D(sx,sy)为：

$D(sx,sy)=\left\{\begin{array}{cc}D(x,y),& \begin{array}{cc}if& G(x,y)\ge {\mathrm{ϵG}}_{avg}(x,y)\end{array}\\ D_{median}(x,y),& otherwise\end{array}\right.---\left(9\right)$

这里的参数ε＝1；

④由步骤③得到块的四个顶角的深度值，位于水平方向上(s(x-1)+1,s(y-1)+1)和(s(x-1)+1,sy)之间的空白像素估值为：

$D_1=\frac{1}{2}[D\left(s\right(x-1)+1,s(y-1)+1)+D\left(s\right(x-1)+1,sy)]---\left(10\right)$

位于水平方向上(sx,s(y-1)+1)和(sx,sy)之间的空白像素估值为：

$D_2=\frac{1}{2}[D(sx,s(y-1)+1)+D(sx,sy)]---\left(11\right)$

位于垂直方向上(s(x-1)+1,s(y-1)+1)和(sx,s(y-1)+1)之间的空白像素估值为：

$D_3=\frac{1}{2}[D\left(s\right(x-1)+1,s(y-1)+1)+D(sx,s(y-1)+1)]---\left(12\right)$

位于垂直方向上(s(x-1)+1,sy)和(sx,sy)之间的空白像素估值为：

$D_4=\frac{1}{2}[D\left(s\right(x-1)+1,sy)+D(sx,sy)]---\left(13\right)$

位于45°对角线方向上(s(x-1)+1,sy)和(sx,s(y-1)+1)之间的空白像素估值为：

$D_5=\frac{1}{2}[D\left(s\right(x-1)+1,sy)+D(sx,s(y-1)+1)]---\left(14\right)$

位于-45°对角线方向上(s(x-1)+1,s(y-1)+1)和(sx,sy)之间的空白像素估值为：

$D_6=\frac{1}{2}[D\left(s\right(x-1)+1,s(y-1)+1)+D(sx,sy)]---\left(15\right)$

剩余的空白像素采用距离其最近的已插值像素的深度值。

说明书

技术领域

本发明属于3D视频编码技术领域，尤其涉及一种梯度图引导的基于深度重采样3D-HEVC编解码方法。

背景技术

近年以来，许多基于3D的视频应用，例如移动3D视频，自由视点视频和立体视频显示等技术得到了快速发展。但是，基于多视点技术的3D视频应用带来了大量的视频数据需要存储或传输，制约了其进一步的发展。随着基于HEVC的多视点加深度数据的编码标准3D-HEVC的正式发布，带来了3D视频的高效压缩编码。然而，随着高清和超高清视频的应用，用户数量的不断增加，视频数据量的不断增加已不可避免，而视频传输的信道带宽是有限的，因此有必要采用新方法降低码率。基于深度重采样的3D-HEVC视频编解码方法是一种能够进一步提高3D视频压缩效率的方法，因而受到广泛关注。

现有的基于深度重采样的3D-HEVC视频编码方法，其深度下采样方法常用最近邻域下采样方法(nearestneighbordownsampling)，双线性下采样方法(bilineardownsampling)或者双三次下采样方法(bicubicdownsampling)。这些下采样方法的共同缺点是未考虑下采样过程中边缘像素的深度值的保护，因此破坏了原始深度图的边缘的深度值，这样就会造成上采样后的深度图质量的下降。而常用的深度上采样方法，即同时匹配纹理图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。他们的缺点是算法的复杂度高，难以实现视频实时处理，而且未考虑边缘的连续性导致容易产生断裂的边缘。另外，深度图的特点是由显著的边缘分割各个内部平坦的物体，因此深度图的梯度特征是边缘像素具有较高的梯度，而非边缘像素具有较低的梯度，利用这个特征可以很好的区别边缘像素和非边缘像素。因此本发明提出了新的深度下采样方法。首先基于梯度图将分块的深度图分类为边缘块和非边缘块，然后对这些块内的不同像素集合采用中值滤波方法，能够较好的保留原始深度图中边缘的深度值；同时作深度上采样的时候，为了恢复连续的深度边缘，采用基于梯度图引导的深度估值方法。首先将深度图每个像素扩展为矩形块，然后估计矩形块四个顶角的深度值。比较被扩展像素的梯度与其它三个邻域像素的梯度均值，如果前者大于后者，说明被扩展像素不同于其邻域像素，应该是边缘像素，其顶角深度值即为被扩展像素的深度值；反之，被扩展像素与其邻域像素相似，则应为非边缘像素，其顶角深度值为被扩展像素与其它邻域像素深度值的中值。然后在水平，垂直和对角线方向上使用已估值的顶角深度值进行插值。本发明提出的上采样方法能够很好地保护边缘并使得边缘具有连续性。此外，本发明提出的深度视频分块下采样和扩展上采样的方法，使得可以根据缩放系数灵活地对深度图进行采样。本发明提出的深度视频下采样方法和上采样方法，其算法复杂度低，适合在3D-HEVC编码器和解码器中使用。

发明内容

本发明的目的是针对现有的基于深度重采样的3D-HEVC视频编码方法的不足，提出了一种梯度图引导的基于深度重采样3D-HEVC编解码方法。

本发明方法对纹理视频按原始分辨率进行编码，对深度视频进行降分辨率编码。为了保留原始深度图中边缘的深度值，对于深度视频下采样，首先生成它的梯度图，按照缩放系数把原始梯度图划分为互不重叠的块。在梯度图引导下将深度图划分为边缘块和非边缘块，最后对这些块内的不同像素集合采用中值滤波方法得到下采样的深度值。为了得到连续的边缘，对于深度视频上采样，首先生成它的梯度图，然后按照缩放系数把低分辨率深度图中的每个像素扩展为矩形块，得到上采样深度图的模板。接着估计矩形块的四个顶角的深度值，比较被扩展像素的梯度和其它三个邻域像素梯度的均值，若前者大于后者，则对应位置的顶角深度值为被扩展像素的深度值；若后者大于前者，则对应位置的顶角深度值为被扩展像素和其它三个邻域像素的深度值的中值。然后，利用四个顶角组成的顶角对的平均深度值，对水平，垂直，对角线上的空白像素进行插值。剩余的空白像素采用其最近距离的已插值的深度值。最后用典型的基于深度图渲染算法对解码得到的纹理视频和上采样深度视频进行视点合成，得到所需的多视点视频。

本发明包括编码方法和解码方法。

编码方法的具体步骤是：

步骤(1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D-HEVC编码器；

步骤(2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入3D-HEVC编码器；

步骤(3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(Ⅰ)、将视频编码的比特流进行解码，按参考编码顺序输出为纹理视频和深度视频；

步骤(Ⅱ)、将解码的深度视频，采用梯度图引导的邻域估值方法进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(Ⅲ)、采用典型的基于深度图渲染算法将解码后的纹理视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

本发明有益效果如下：

(1)本发明使用基于缩放系数的分块方法对深度视频重采样，因此可以适用于不同的采样率；(2)本发明提出的3D-HEVC视频编码方法中的深度下采样方法根据深度图边缘块和非边缘块的梯度特征，以中值滤波的方法保留原始深度图中的边缘值。(3)本发明提出的3D-HEVC视频编码方法中深度上采样方法根据深度图中相邻像素的梯度特征，估计上采样深度图模板中每个扩展像素块四个顶角的深度值，然后分别在块内作水平，垂直，对角线上的深度插值，最后根据最近邻域的方法得到其余像素的深度值。这样可以保持上采样的深度图边缘的连续性，减少离散边缘点。

附图说明

图1为本发明中编码和解码方法流程图；

图2为本发明中深度图下采样方法的流程图；

图3为本发明中深度图下采样方法的示意图；

图4为本发明中深度图上采样方法的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

梯度图引导的基于深度重采样3D-HEVC编解码方法，采用3D视频编码HTM模型，测试条件参考JCT-3V的通用测试条件(JCT3V-E1100)，使用HTM模型自带的2个视点的多视点编码(MV-HEVC)的配置文件baseCfg_2view.cfg,下采样和上采样的缩放系数s＝4。

具体实施步骤参照附图1～4。

3D-HEVC视频的具体编码方法如图1所示：

步骤(1)、将纹理视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D-HEVC编码器。

步骤(2)、将深度视频采用梯度图引导的分块中值滤波方法进行下采样，然后送入3D-HEVC编码器。如图2所示，其步骤为：

a.对于深度视频的每帧图像，首先用Sobel算子生成每个像素的水平方向和垂直方向上的梯度：

其中，G_h和G_v分别是横向和纵向的梯度。则每个像素的梯度值为：

b.如图3所示，将深度图划分为互不重叠的大小为4×4的块，则分块后的深度图为：

G_B(x,y)＝G(4x,4y)(3)

其中x,y是分块深度图G_B(x,y)的中心坐标。

c.把所有的块B(x,y)划分为边缘块B_e(x,y)和非边缘块B_ne(x,y):

其中，p＝0.5，N_total(x,y)是一个块内的所有像素的数目，N_h(x,y)是块B(x,y)里面的具有高梯度值的像素的数目，计算如下；

其中，λ＝2，对应于缩放系数s＝4。G_B(i,j)是块B(x,y)里面像素(i,j)的梯度，G_Bavg(x,y)是块B(x,y)的平均梯度。

d.与分块的梯度图相对应，深度图被划分为非重叠的边缘块和非边缘块。对于边缘块B_e(x,y)，计算它的中值为:

其中，{D_Bh(i,j)}代表块B(x,y)里面具有高梯度G_Bh(x,y)的像素集合，它满足以下条件：

D_Bh(i,j):G_Bh(i,j)≥λG_Bavg(x,y)(7)

其中，λG_Bavg(x,y)的定义同式(5)。

对于非边缘块B_ne(x,y)，计算它的中值为：

其中，{D_B(i,j)}代表块B(x,y)里面所有像素深度值的集合；式(6)和式(8)的结果构成了下采样的深度图的值。

步骤(3)、将纹理视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出。

3D-HEVC视频的具体解码方法如图1所示：

步骤(Ⅰ)、将视频编码的比特流进行解码，按参考编码顺序输出为纹理视频和深度视频；

步骤(Ⅱ)、将解码的深度视频，采用梯度图引导的邻域估值方法进行上采样，得到与原始视频相同尺寸的解码视频。如图4所示，左图是解码后得到的降分辨率的深度图，右图是把左图的每个像素扩展为4×4大小的块，从而得到上采样的深度图模板。左图像素a扩展为右图由A1～A12像素构成的4×4大小的矩形块，其估值步骤为：

①按照步骤(a)生成深度图的梯度图；

②首先从左图估计右图矩形块四个顶角A1，A4，A13和A16的值。设a的坐标为(x,y)，则A1的坐标为(4(x-1)+1,4(y-1)+1)，它的值由{e,f,h,a}估计；A4的坐标为(4(x-1)+1,4y)，它的值由{f,g,a,b}估计；A13的坐标为(4x,4(y-1)+1)，它的值由{h,a,i,c}估计；A16的坐标为(4x,4y)，它的值由{a,b,c,d}估计。这四个顶角估值的方法是类似的，下面以A16为例予以说明。设原深度图中像素a的深度值为D(x,y)，梯度值为G(x,y)，它的三个邻域像素b,c,d的深度值分别为D(x,y+1)，D(x+1,y)，D(x+1,y+1)，它们梯度的均值为G_avg(x,y)。记D_median(x,y)是集合{D(x,y)，D(x,y+1)，D(x+1,y)，D(x+1,y+1)}的中值，则像素A16估计的深度值D(4x,4y)为：

这里的参数ε＝1。

③由步骤②得到块的四个顶角的深度值后，位于水平方向上A1和A4之间的空白像素A2和A3估值为：

位于水平方向上A13和A16之间的空白像素A14和A15估值为：

位于垂直方向上A1和A13之间的空白像素A5和A9估值为：

位于垂直方向上A4和A16之间的空白像素A8和A12估值为：

位于45°对角线方向上A4和A13之间的空白像素A7和A10估值为：

位于-45°对角线方向上A1和A16之间的空白像素A6和A11估值为：

剩余的空白像素采用距离其最近的已插值像素的深度值。

步骤(Ⅲ)、采用典型的基于深度图渲染算法将解码后的纹理视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

梯度图引导的基于深度重采样3D-HEVC编解码方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。