裸眼3D视频技术与节目制作

◎ 国家新闻出版广电总局广播科学研究院 周 毅

裸眼3D视频技术与节目制作

◎ 国家新闻出版广电总局广播科学研究院 周 毅

概述了主流3D格式和国际3D标准发展现状，正在申请制定的下一代的3D（裸眼）/多视图中国国家视频标准覆盖3D终端，2D到3D转换软件和转换芯片（IC），以及3D内容制作和存储等，在功能性和可用性上具备较大的优势。随后，较详细地介绍了中国裸眼3D标准的三大档次、技术优势以及推进计划，以期对3D国标的推进起到积极的作用。

裸眼3D；标准；格式

在视觉正常的情况下，人类看到的图像都是立体的。但是受技术实现上的限制，电视、电影画面从黑白到彩色，长时期只能显示二维图像，而技术发展的最终目标一定是实现与真实场景一样的视像体验。因此可以说，裸眼3D是3D研究发展的终极目标。从实现方式和手段上来讲，就是“把眼镜戴到终端显示器上去”。

然而，任何科学创造的立体视像都是对自然图像的恢复和重构，因此，必然有很多人为的痕迹，如何抹去这些痕迹，成为目前科研人员需要解决的重点问题。

主流3D格式

目前，业界被广泛认知的3D格式主要有以下4种：H.264/AVC的多视图视频编码（MVC）；采用Declipse格式的飞利浦图像加深度图（2D-plus-Depth/ 2D+Z）；杜比3D格式；2D plus Delta/ MVC（stereoscopic 3D）等。

目前，3D节目内容大都采用side-by-side方式传输，如果终端不支持3D，会在电视上同时出现两幅画面，不宜观看。而2D+X的方式因为保留了2D格式的完整信息，可以向下兼容普通显示设备的播放模式，更符合技术发展的规律。

1.2 D+Z

飞利浦图像加深度图（2D+Z）模式主要由主图像和深度图像两部分组成，主图像就是完整的2D节目源信息，即使终端设备不支持3D，也能通过解码主图像，直接播放节目内容，不会浪费频道的资源。而立体电视的解码器用主图像加深度图来生成两视图或者多视图图像，实现立体节目的显示。目前，2D+Z是裸眼3D研究的主流，在ISO/IEC FDIS 23002-3:2007（E）中已被MPEG标准化为对于3D视频信号的扩展。

2D+Z中的重点技术是Declipse格式，该格式中，每一帧都包含初始的2D图像、对应每帧的深度图、被前景对象覆盖的背景区域和对应的深度图4个部分（见图1）。视频帧中某些部分因为多视图中前景物体的大量偏移而形成阻挡区，从而影响视频质量。因此，这种格式可以为阻挡区提供更加精确的填充，从而提高潜在的视觉质量。

图1 Declipse格式示例

2.杜比3D

杜比3D的方式采用了2D+Delta的方式，与2D+Z方式相比，Delta中除了深度信息还包括边缘、彩色补偿等信息，对于图像恢复后的质量更有保证，同时也增加了图像还原的难度（见图2）。杜比3D的关键组件包括解码器端的实时深度提取（自动转换）和多视图渲染，由用户或自动的深度调整，立体（S3D）和祼眼立体（AS3D）显示，以及2D到3D实时转换。实验显示，当Delta占主图像的35%～40%时，效果最好。

图2 杜比3D原理示意图

国际3D标准发展现状

1.日本

由于日本还没有统一的3D电视标准，各公司采用不同的标准来推广3D电视。2007年12月，NHK（日本放送协会）采用自主开发的“MT”方式推出3D电视频道BS11。索尼、松下、东芝等其他公司和美国公司RealD合作，采用RealD格式推广3D电视[1]。

日前，日本经济产业省决定制定相关3D影像标准，以使影像制作者不要制作过于强调立体感的图像，并将向国际标准化组织提出建议，在全世界普及其标准。经济产业省认为，只有建立起3D产业标准，其3D电视电影等相关产业才能得到进一步发展。此外，经济产业省还准备采取援助企业进行3D产品开发，开设讲座培养年轻人才等措施[2]。

2.韩国

韩国情报通信技术协会（韩国的标准化制定机构）目前已制定完成的3D标准如表1所示。

表1 韩国情报通信技术协会已制定完成的3D标准

日本、韩国、美国和欧洲的3D标准都在制定中，但重点不是显示端，而在传输、压缩和编码方面。笔者所在的国家新闻出版广电总局广播科学研究院申请制定的3D标准，不仅兼容2D视频和需佩戴辅助设备的3D视频，还支持裸眼3D视频的编码、传输及显示，在功能性和可用性上优于现存或正在制定的3D标准，可以满足我国下一代3D标准的制定需求。

中国的裸眼3D标准

1.标准制定的必要性

目前的3D标准存在不足：无法向后兼容现存的视频编码标准；不能实现对深度信息和辅助信息的高效编码；对2D+depth的渲染伪影较低；不能支持新用户通过视图合成和多视图来体验（3D效果）；不能支持不同的3D/多视图显示器和转换内容。

2.裸眼3D新标准建议

标准旨在建立一套包括编码、传输、解码和显示等部分的3D视频标准，能够支持多个视频数据流，在传统的2D视频数据流上增加新的辅助信息，因此可以实现高效的3D制作及编码。

标准不仅支持传统的3D视频（需佩戴辅助设备观看），还支持最新的裸眼3D显示技术，不仅方便了用户，也可以带给用户全新的视觉体验。标准在现有的基本视频流上增加了多层辅助信息，可以在2D/3D数据流间自由切换，并向后兼容现存的2D TV/ HDTV。因此本标准可以通过现有的2D架构引入3D视频，这在一定程度上降低了系统重构成本，也更容易被用户接受。

3.新标准的概述

中国的裸眼3D标准提案主要分为基本、高级和下一代三大档次（见图3）。

图3 中国裸眼3D标准提案路线图

基本档次：利用简单的、初级的多视点模式进行三维重现，具有极低复杂度的2D到3D/多视图转换硬件，可以放大缩小并且具有自由视点。其优势是终端负担较小，运算较快，但是存在图像效果较粗糙，三维可视角度较小等问题。

高级档次：分为经济模式和质量模式两种（见图4），与基本档相比最大的特点是在图像恢复前置入设备的“眼镜”进行了连续的、多视点的处理，以提升图像质量。

下一代档次：在网络环境较好、用户对立体感要求较高的时候，适度补充多视图模式立体画面，以完善基本和高级档次的图像（见图5）。

新标准的三大档次与现存标准的比较如表2所示。

综上所述，下一代的3D（裸眼）/多

图4 高级档次

视图中国国家视频标准非常必须，它具备现存3D标准不具备的全新特性和功能，且能广泛支持不同的显示器和内容供应商，定将引领世界的3D标准。

图5 下一代档次的多视图导航

在裸眼3D推进计划的草案中，已经涵盖3D终端，2D到3D转换软件和转换芯片（IC），3D内容制作和存储以及互联网电话3D显示系统。未来，还将对标准的绿色用眼、环保等方面展开进一步的研究和探索。

表2 新标准比较

[1] 维基百科.立体テレビ放送[EB/OL]. [2014-09-10].http://tinyurl.com/pyp⁃ca2p.

[2] 傅勇.3D重构全球电子业新秩序[N].经济参考报，2010-07-06（18）.

周 毅，教授级高级工程师，广播科学研究院副院长。曾获第六届“王选新闻科学技术奖”人才奖之“杰出人才奖”、中国电子学会评选的电子信息科学技术奖、广电总局科技进步奖等若干，近年组织团队在URa⁃dio系统、裸眼立体电视和广播级高速摄像机方面的研究和产品填补了国内空白，取得了突出成果。

TN949；TP391

A

【本文献信息】周毅.裸眼3D视频技术与节目制作[J].电视技术，2014，38（22）.