- 相关推荐
小议3D 视频编码传输技术
1 引言
随着网络技术和视频编解码技术的进步，视频和多媒体业务得到了广泛的应用。对这类业务人们不只追求画面的高清晰度，业务的实时性，更提出了在二维平面的显示设备上满足现实感、临场感、立体感的要求。这种现实感和立体感正是3D 视频技术需要解决的问题。
3D 立体感是人眼视觉的重要功能之一，人双眼的平均瞳距约为65 mm，当两眼从稍微不同的两个角度去观察客观三维世界的景物时,与观察者不同距离的景物由于光学投影的原因会在左、右两眼视网膜上形成不同的位置的像。这种两眼视网膜上位置差就称为双眼视差,它反映了客观景物的深度。人眼的深度感即立体感就是因为有了这个视差,再经大脑加工而形成的。现有的3D 视频技术正是基于上述原理，通过技术手段还原人们对客观景物的深度感知从而达到3D 立体的效果。
3D 视频技术诞生以来便备受关注，然而由于3D 视频占用大量带宽并且观看时容易疲劳等原因，3D 视频技术一直没有在市场上引发大规模商用，仅仅定位于所谓的利基市场，应用在专业领域（科学模拟、医疗）和娱乐领域（立体电影、3D 游戏）。近年来由于大量科研力量的投入，技术上的进步拓展了3D 视频技术的应用，市场上已经出现了3DTV，FVV（freeview TV），3D 会议系统等较为成熟的产品。这些进步使得更为多样化的3D 视频系统和业务应用进入市场成为可能。
不同的 3D 视频系统有着不同的3D 视频表现格式，无论哪种表现格式都带来了大量的数据需要进行存储，传输和保护。大量的数据对视频获取、编码、传输、到3D 视频显示的各个处理环节都提出了技术挑战。虽然当前网络技术已经有了很大进步，但是带宽仍然是很稀缺的资源，尤其在无线传输环境中无线终端的功率有限，高效的数据压缩非常必要。实现高效的数据压缩后的比特流会对信道传输条件十分敏感。因此，考虑到3D 视频系统有效性和可靠性，如何实现对数据的高效压缩编码，如何保证数据的可靠传输是我们需要重点关注的问题。本文将结合研究热点对当前的3D 视频编码和传输技术做个概括性的介绍和比较，文章最后会对未来3D 视频技术的发展做个展望。
2 3D 视频编码技术
2.1 传统立体视频编码
传统立体视频编码是目前所知最简单的3D 视频表示方法。这种编码系统通过模拟人双眼的功能获取视频的立体效果。首先将两部摄像机摆放到稍有差异的位置进行拍摄，两部摄像机获取的视频信息经过正交化，色彩纠正等处理步骤后，视频信号直接由3D 视频系统播放。播放之前不需要在视频信号中添加视频场景的几何信息，各个摄像机的视频信号可以独立进行编解码。
编码过程使用时序预测和视频序列间预测可以大大提高编码效率， MPEG-2 在10 多年前就对这种方法给出了相应标准，在最新的编码标准H.264/AVC 中也给出了类似建议。
这种时序预测和视频序列间预测相结合的方式已经成了目前立体视频编码的基本原则。
传统立体视频的编码对由两幅图像组成组成，由于观看同一景物时视角稍有差异，两幅图像有很大的相关性，因而非常适合压缩编码。也就是说，可以把图像I1 独立编码，另一幅图像P1 通过已编码的I1 进行预测，这种思想和时序预测编码非常相似。
由于左右两个视频序列3D 场景和相机参数(焦距)的一致性，对视频编码对的两个图像（如I1,P1）的编码，可以采用同一视频序列中两个连续图像预测和编码的方法。相应的，两个图像（I1,P1）的差异可以当作是由于拍摄物移位而产生的，因此图像的运动估计和运动补偿可以采用差值预测和差值补偿的方法。
理想情况下，I1，P1 的差异仅仅是由视角不同引起的，实际应用中我们发现一些细节也会带来两者的差异。比如，出现在I1 的内容可能没有在另一幅图像P1 中出现，这种情况出现在I1，P1 之间的概率会大于出现在I1 和B1 之间的概率。两个摄像机光照条件不同，拍摄物不同角度的反光也能造成图像差异。这些都是传统立体视频编码需要关注和解决的问题。
实践表明，两种预测方法相结合的编码方式并没有带来编码效率的显著提高，这主要因为，两个在时间上连续的两个图像比空间上相邻的两个图像有更大的相关性，因此引入视频序列间的预测并不能进一步大幅度提高编码效率。目前传统立体视频编码优化朝着多个方向发展，出现了很多不同的优化算法，如优化码率在两个视频序列间分配，设计更有效的序列间预测结构等。传统立体视频的解码器也大多基于最新的H.264/AVC，MPEG-4 visual 标准。
传统立体视频技术相对其他编码方法有很多缺陷，由于可再现的3D 场景从拍摄时就已经确定了，图像的深度感觉不能随着的3D 设备的显示类型和显示尺寸做出调整，输出的视频角度也不能变化。这些缺点限制了传统立体视频技术的应用，在目前尚未形成立体视频的大众市场的背景下，还没有传统立体视频技术达到商业化的水平。
2.2 基于深度信息的视频编码（V+D）
传统立体视频系统通过模拟人类视觉的二目成像原理获得深度信息，在基于深度信息的视频编码（Video+Depth）系统中，解码端接收到一个普通的色彩图像和一个像素深度信息图后，根据深度信息图重新生成立体图像对。深度信息图可以看作一个单色的亮度图像，每个像素的深度数值被限定在最大值Zmax 和Zmin 之间，数值的大小代表相应物点到镜头的远近。一般深度值通过8 比特线性量化，即：用255 代表最近点，0 代表最远点，这样深度信息图完全可以视为一个灰度图像。
由于灰度图像比较平滑，图像边缘比较锐利，大概色彩图像10%～20%的比特速率就可以完成对灰度信息的编码。这种V+D 的编码方式比传统立体视频编码有更高的效率。V+D视频编码方式中的色彩图像可以直接在传统的2D 显示设备上播放，具有良好的后向兼容性。
多年来业界一致认为，对某些3D 视频业务（如3DTV）而言，良好的后向兼容性是关系到3D 视频业务能否大规模应用的关键。V+D 方式实现了高压缩率，后向兼容性及更优秀的3D视频显示功能，是很被看好的3D 视频编码方法。
V+D 作为目前3D 视频编码的研究热点，已经有了很多成熟的算法。这些算法大都利用了深度信息图像的特征，有的还考虑到了色彩图像和深度图像的相关性等。
V+D 系统最终显示的3D 视频是由色彩图像和深度图像共同恢复出来的，通过观察得知，深度图像质量的小幅下降并不会显著影响所恢复的3D 视频质量，因此可以在编码过程中使用较低分辨率的深度图像，由于解码端需要原始分辨率的深度信息图像，人们提出了所谓的DSUS 算法，即在编码前对深度信息图像下采样，解码之前进行上采样，这种DSUS算法比直接用较低分辨率进行编码取得更好的视频图像质量。
由于色彩图像和深度图的像是用来描述同一个视频场景的内容的，色彩图像包含了颜色表面结构等纹理信息，而深度描述每个像素点相对摄像机的位置。因此有人认为在色彩图像和深度图像中的物体运动情况是一致的，可以把色彩图像的运动矢量运用到深度图像中，实现色彩和深度图像共用运动矢量。研究结果证明通过一系列3D 宏块的匹配算法可以实现码率的降低，但同时也增加了计算的复杂度，使用这种共用运动矢量的算法，需要在码率降低和运算复杂度提高之间做个折中。
这种 V+D 的编码方式在实际应用中也有一定困难，目前存在的最大问题是V+D 视频的生成质量不高。虽然当前市场上有了可以自动获取图像深度的摄像机，但是摄像机获取图像深度信息的能力依然非常有限，深度预测算法也有许多改进的空间。考虑到深度预测差值对3D 视频恢复有很大影响，改进的算法一般都会牺牲编码效率，因此非常有必要开发一套完全自动的，准确，可靠的视频深度获取系统。可以说，提高V+D 视频的获取质量是扩大该编码方式应用范围的关键所在。
2.3 多视角视频编码（MVC）
多视角视频即MVC 用多部摄像机从多个角度拍摄同一场景，传统立体视频可以当作多视角视频中摄像机数N=2 的特殊情况。每个摄像机获取的视频信息进行独立编码是最直接的方法，但是由于拍摄的场景一样，各个视频间有很大的相关性，引入时序预测和视频序列间预测能显著提高编码效率。
现在有很多算法提出了优化的预测结构。目前效率最高的编码预测结构是H.264/AVC标准支持的分等级的B 帧预测，但这种方法的编码效果很大程度上依赖视频图像的内容特征，摄像距离，帧率等。这种编码方法的缺点是预测结构复杂，所谓预测结构复杂涉及到计算量，存储空间，延迟等方面，在编码过程中需要考虑码率降低和复杂度升高之间的取舍。
现有的 MVC 编码还出现了很多新的编码方法，这些编码算法的基本思想看可以概括为利用视频序列间的相关性，提高预测的准确性。如基于图像景深和差值的预测方法，该方法通过在MVC 编码中引入景深来提高预测的准确度，光照和色彩补偿的方法可以提高MVC不同视频序列的相关性。目前还出现了分布式的MVC 视频编码，利用用户之间的交互性对视频进行有效的编码和传输等多种灵活的编码方式。
MVC 编码的缺点在于多个视频序列的控制相对其它编码方法复杂，如多个视频序列间的同步控制，不同序列的延时抖动对显示端的影响。但是MVC 给用户提供了多视角的视觉享受，MVC 编码系统与传统２D 系统相比，对硬件几乎没有特殊要求。应用范围特别广泛，是很被看好的3D 视频编码方法。
2.4 多描述编码（MDC）
在典型的通信环境中，压缩后的3D 视频数据需要在有突发错误的信道中传输，高效压缩后的数据会对信道传输状况十分敏感。为此人们提出了所谓的信源信道联合编码的概念，多描述编码（MDC）就是其中一种应用较为广泛的信源信道联合编码方式。MDC 首先将原始数据分成两个或者多个可独立解码的比特流，每个比特流称为一个描述，在解码端接受任何一个描述都可以恢复出质量尚可的原始数据，接收到的描述越多，恢复出的原始数据越好。
达到这个效果的代价是需要在所有的描述中加入一定数量的冗余信息。
需要特别指明的是，MDC 编码并不是一种基本的3D 视频的表现格式，该方法只是为了实现数据的可靠性传输而使用的编码手段。单个视频编码，基于深度的视频编码，多视角视频都可以使用这个编码手段来提高视频数据传输的可靠性。
多描述编码（MDC）码流之间相互独立，且可以与多种编码方式结合使用，通过不同信道传输，因而可以在较高的压缩效率下增强信号的强壮性和灵活性。因此，MDC 已经成为视频图像数据传输的有效工具。在当前互联网，无线网等资源受限的系统中，在多描述编码做为解决问题的可选方案之一，具有很强的生命力。
3 3D 视频传输技术
3D 视频业务的蓬勃发展给传输网络带来很大挑战，实时3D 视频业务对网络延时很敏感，立体视频对不同视频序列的同步性要求很高。在IP 网或者无线网这样资源受限的网络上实现视频数据有效、可靠传输，是3D 视频传输技术需要解决的问题。
视频传输的失真主要是由信息丢失和信道错误引起的，在有线网络中，拥塞引起的丢包是视频失真的主要原因，而无线网络的传输失真主要是由带宽窄和信道干扰大引起的。因此为保证3D 视频的传输质量，现有传输技术在IP 网中重点解决丢包问题，无线网中重点关注差错恢复。
为了防止数据在传输过程中发生数据丢失，人们提出了所谓的不对称差错保护法。这种算法的基本思想是，给3D 视频中的重要信息编码时分配更高的比特率，传输过程中给予更高的传输优先级，进行重点保护。例如，在V+D 视频传输过程中，因为色彩图像包含了绝大部分信息，丢失色彩图像比丢失深度图像更让用户难以接受，可以给色彩图像更多的保护，以保证信道条件恶劣的情况下，用户仍然接收到质量尚可的视频图像。该方法也可以用在MDC、MVC 视频编码中。
在视频传输过程中，如果发生丢帧失，可以用差错隐藏算法降低丢帧对视频质量的影响，该算法的基本思想是：在视频序列解码过程中，如果发生丢帧或者接收到的某一帧质量太差必须丢掉，可以用一个最近正确解码的帧，通过运动矢量预测丢掉的帧。为了对丢失帧有更好的预测效果，一些更为复杂的预测方法还会综合空间时间和频谱域特点对运动矢量进行纠正。
传统 IP 网上的信息传递采用单播和广播的方式，两种传播方式有效性低且缺乏QoS 保证，广播方式还会让用户被动接收无用信息或者接收到未经授权的信息，尤其在存在路由环路时还可能引起广播风暴。组播技术有效弥补单播和广播的缺陷，被认为是解决3D 视频传输的有效解决方案。
在传送组播数据时，路由器需要构造一个连接所有组播组成员的树。根据这个树，路由器得出转发分组的一条唯一路径，这个树就是分布树。根据构造方法的不同，分布树分为源分布树和共享分布树。源分布树以组播源为根节点构造到所有组播组成员的生成树。共享分布树的构造方法是以网络中的某特定路由器为根节点，由此根节点生成包含所有组成员的树。使用共享分布树时，组播源需要先把组播分组发送给集合点路由器，再由这个路由器转发给其他的组成员。由于成员可以动态地加入和退出，分布树也必须动态更新。动态分布树的实现是组播技术的一个难点，目前已经有了很多比较成熟的分布树生成算法，这些分布树基本实现了如下功能：能够提供静态预先计算功能，树的结构是集中化的，分布树有自管功能，能够根据网络性能进行调整。
现有组播技术根据组播分组的构建方法不同可分为IP 组播和覆盖组播，IP 组播假定每组有唯一确定的组地址，其他主机可以通过向该地址发消息而把信息传递给所有组成员。IP组播技术需要网络中所有的路由节点都具有组播功能,而现实网络中只有部分路由节点具有组播功能,因此IP 组播技术目前不能大范围应用到实际网络中。覆盖组播技术把网络中具有组播功能的节点集看作组播覆盖网络,在其上构建“核心”组播数据分发树,组成员以某种规则接入“核心”组播树,从而实现组播功能。比较而言，IP 组播效率较高而覆盖组播更为灵活。
组播技术在应用中显现出了很大的优势。组播技术可以通过建立合理的动态路由防止网络拥塞，通过增加路由器的复制能力，防止同样的数据包在线路上重复传送。现在有了很多很成熟的算法优化组播传送路由，有的算法还做到了传播路由随网络性能调整，传送的视频包大小根据可用带宽调整。
组播技术被认为是传播视频数据业务最好的方案， IP 组播的所有路由器都需要记录每个数据流的状态，而覆盖组播的各个分组之间不能共享底层信息，在传播过程中需要考虑带宽限制，连接限制和分组动态。这些问题是目前网络传输技术研究的热点，尤其利用MDC方式所提供的编码传输间的多个接口的研究方向，已经有了很成熟的解决方案。另一个研究方向就是根据应用端点和途径节点的重要性，找到算法合理分配上行带宽。覆盖组播的途径节点模式是另一个研究方向，这个模式需要重点解决的问题是途经节点的管理，哪些节点何时加入组播分组，何时离开组播分组。
4 结论
本文着重介绍了三种基本的3D 视频表现格式，实际应用中的3D 视频编码格式非常丰富，新的编码方法不断涌现，多种编码方式有互相结合的趋势，如在MDC 中的每个描述可以是一个V+D，也可以是MVC 的一个视频序列，甚至在MVC 的每个视频序列都可以是V+D 的表现格式。由于组播技术绝对优势，组播传输是未来3D 视频传输的最有潜力的解决方案，结合组播特点和3D 视频业务的需求，是未来3D 视频业务发展需要重点关注的问题。
【小议3D 视频编码传输技术】相关文章：
Video Object编码技术05-29
通信工程中传输技术研究05-14
通信工程传输技术探讨论文（通用16篇）07-27
小议民事诉权06-04
小议安溪铁观音文化05-29
小议西方文学的研究趋向论文04-17
浅谈广播电视信息传输系统的维护措施08-10