新华社亚太总分社视频直播报道的技术探索与实践

齐 心

（新华社亚太总分社，香港 999077）

1.直播报道概况

新华社亚太总分社（以下简称总分社）总部设在香港，是新华社在海外建立的第一个地区总分社，负责近50个国家和地区的新闻报道工作。近年来，总分社报道任务重，突发报道多，视频直播作为最直观的报道形式被广泛应用于各种新闻场景。在香港特别行政区，选举委员会选举、第七届立法会选举、第六任行政长官选举、行政长官记者会、全民国家安全教育日、中小学开学第一课、抗击第五波新冠肺炎疫情等涉港报道在较短时间内实现不同平台的视频直播。香港回归祖国25周年报道创新直播形式，进行了增强现实直播，为观众提供沉浸式互动新闻体验。在香港之外其他地区，阿富汗局势等地区突发事件进行了全方位直播。总分社已成为新华社海外分社中直播场次最多、时长最长、直播报道影响力最大的分社之一。

为了更好地对总分社视频直播报道进行技术赋能，本文在研究直播关键技术基础上设计和实现了总分社视频直播系统，并在全媒体采集、5G直播、云导播、增强现实直播等方面进行了技术探索。在香港选举、香港抗疫、香港回归祖国25周年等重要视频直播报道中，技术人员以“内容+技术+灵感+美学”为导向[1]，从选题策划、方案设计、技术测试、直播保障全程支持，形成嵌入式视频直播报道新常态，是先进技术赋能新闻报道的生动实践。

2.直播关键技术

2.1 视频编码技术

随着视频直播超清化的趋势，视频数据量增长迅速，传输和存储面临很大的挑战。视频编码的作用就是将视频数据进行压缩，降低视频的数据量，从而更高效地传输和存储。视频编码的原理是消除视频数据的冗余信息，包括数据冗余和视觉冗余。数据冗余是由于视频帧间和帧内像素存在很强相关性而产生的，包括空间冗余、时间冗余、结构冗余等；视觉冗余则是由于人眼的视觉特性而产生，包括亮度辨别阈值、视觉阈值、空间分辨力等。[2]

视频编码按压缩程度可以分为浅压缩和深压缩。浅压缩编码又称为夹层压缩编码，其压缩比低、算法简单、延时小，多用于制播域，也被用于视频信号IP传输。典型的浅压缩编码包括TICO、JPEG-XS、NDI编码。在香港回归祖国25周年报道中，新华社前方发稿中心采用NDI编码将公共信号传输至多个显示终端，效果流畅清晰且布线工作量极大减少。深压缩编码具有压缩比高、算法复杂、延时大的特点，多被用于跨域传输。典型的深压缩编码包括H.264/MPEG AVC、HEVC/H.265等。高清时代，ITU-T及ISO/IEC等国际组织共同制定了H.264/MPEG AVC标准，是视频压缩和分发最常用的格式。与此同时，我国数字音视频编解码技术标准工作组（简称AVS工作组）发布了第一代AVS标准。超高清时代，ITU-T及ISO/IEC等国际组织制定了HEVC/H.265标准和针对8K视频的VVC/H.266标准，AVS工作组发布第二代及第三代AVS标准。总分社视频直播报道设备支持H.264/MPEG AVC、HEVC/H.265等主流编码标准。

2.2 流媒体技术

流媒体技术是指视音频数据经过压缩编码后，以某种网络协议通过流的形式在网络中实时传输的技术。流媒体技术包含采集、编码、推流、服务器处理、数据CDN分发、拉流、解码、播放等技术流程[3]，其中关键是推拉流。推流是将直播内容通过流媒体协议推送到媒体服务器的过程，可以通过本地或云端推流服务器完成。拉流是通过流媒体协议从媒体服务器拉取视频内容的过程。

推拉流过程需要相应的流媒体协议支持。[4]流媒体协议主要包括RTMP、SRT、HLS、MPEG-DASH等。RTMP协议全称是Real Time Messaging Protocol，是面向连接提供可靠交付的实时消息传送协议，为用户提供持久流畅的流媒体数据，是目前使用最广泛的流媒体协议。SRT协议全称是Secure Reliable Transport，是一种基于UDP协议的开源视频传输协议，具有安全可靠、低延迟等特点，能够有效解决公网环境中的丢包抖动和带宽变化等问题。新华社是国内较早使用SRT协议的媒体机构，多次将其应用于视频移动报道。HLS协议全称是HTTP Live Streaming，即基于HTTP的实时流式传输协议。该协议用于分发阶段，得到流媒体服务器、媒体播放器、Web浏览器和移动设备的广泛支持。MPEG-DASH是第一个基于HTTP的自适应比特率串流协议。与其他协议相比，该协议与编解码器无关，因此可支持任何编码标准。

2.3 扩展现实技术

扩展现实（Extended Reality，XR），是指通过计算机技术和可穿戴设备产生的一个真实与虚拟结合、可人机交互的环境。扩展现实技术是一种涵盖性术语，包含了虚拟现实 （Virtual Reality，VR）、增强现实（Augmented Reality，AR）、混合现实（Mixed Reality，MR）及其他新型沉浸式技术。[5]

VR是指通过计算机技术生成虚拟环境，给用户带来封闭式和沉浸式的虚拟世界体验。用户通常使用VR头显设备与虚拟世界进行实时交互。VR直播是将VR技术应用于直播报道，给观众带来沉浸式的新闻体验。[6]新华社使用组合式VR摄像机和集成式VR摄像机进行VR直播。

AR是指通过计算机技术生成虚拟对象并将其叠加在现实世界之上或与现实世界结合，使用户处在虚实结合的世界中。其特征是虚实结合、实时交互、三维注册。[7]AR关键技术包括三维跟踪注册、三维融合生成及实时交互技术。三维跟踪注册是对现实场景三维空间重建和虚拟场景的三维注册，用来获取现实场景坐标系、摄像机坐标系、虚拟场景坐标系的映射关系，为虚拟对象嵌入现实场景奠定基础，其包含了三维几何重建、同时定位与地图构建（SLAM）、三维物体检测识别和跟踪等技术。三维融合生成是指虚拟对象的生成及在现实场景的叠加，包含了三维建模、虚实视觉融合、虚实视觉融合和显示等技术。实时交互是指用户与现实场景和虚拟对象进行实时交互。[8-9]AR直播，即将AR技术应用于直播报道中，可以通过AR摄像机或手机进行。

3.直播系统的设计与实现

在研究直播关键技术基础上，本文按照如下原则设计和实现总分社视频直播系统。

移动性：充分利用互联网技术和移动通信技术，使用轻量化设备随时随地发起直播。

灵活性：快速响应不断变化的直播需求，要求直播系统架构灵活可变，方便直播信号快速接入和分发，可以为直播创新提供技术手段。

可靠性：为直播报道提供安全可靠技术保障，要求直播系统具有备份手段。

如图1所示，总分社视频直播系统包括直播信号采集、直播信号处理、直播信号发布3部分。该系统通过智能采访终端、视频背包等轻量化设备进行直播信号采集，通过云导播平台和直播后台进行直播信号处理，面向多平台进行直播信号发布。

图1 总分社视频直播系统图

3.1 直播信号采集

随着移动互联网的发展，手机成为实现“全员媒体”的必备利器。新华社技术局自主研发的智能采访终端，以手机为主要载体集成不同移动应用和硬件装备，让记者能够实现全媒体采集。总分社是第一个应用智能采访终端的海外分社。采访通App为总分社记者提供移动端新闻采编、图片短视频即拍即传等功能，并提供了音讯、翻译、OCR识别等智能化工具。直播App与总分社云导播平台及直播后台连通，可以在亚太地区突发事件现场实现5G+4K直播，提升新闻报道时效。AR App可以将三维虚拟模型叠加在亚太地区现实场景中，与直播App配合使用可以实现5G+AR直播，为观众提供虚实结合、实时互动的新闻体验。[10]直播App与外置相机、手持云台、无人机等装备集成使用，能够实现直播画面的专业化和丰富化。使用智能采访终端进行直播时，可以通过无线麦克风实现广播级收音，通过5G随身路由器保障无线网络稳定性。

总分社还使用专业摄像机和视频背包进行直播信号采集。摄像使用便携式专业摄像机拍摄信号后，通过视频背包将信号压缩编码再经过多链路聚合网络进行传输，单人即可完成广播级信号采集。视频背包支持H.264/MPEG AVC、HEVC/H.265等主流编码。多链路聚合网络包括4G/5G网络、有线网络、无线网络等多种传输方式。视频背包在亚太地区使用时需要配备符合当地网络制式的模块，可插入最多8张不同运营商的4G/5G流量卡，单兵便携式视频背包可以插入最多4张流量卡。总分社还配备了移动式编码器与视频背包搭配使用，其包含的外置天线可为视频背包增加6个额外网络连接，在带宽苛刻环境下为直播提供更稳定的网络。除了用于总分社直播信号采集，视频背包还被用于总分社通联信号传输。

3.2 直播信号处理

总分社通过云导播平台和直播后台对采集后的直播信号进行接收解码、信号切换、直播推流等后续处理。

云导播平台是基于公有云的导播制作工具，具备资源分配灵活、部署方便快捷的特点，导播人员通过互联网可以随时随地进行导播切换和多平台推流。总分社使用的云导播平台支持接入多种视频源，包括智能采访终端信号、视频背包信号、IP视频流（支持SRT、RTMP等协议）及本地视频文件。云导播平台可以实现直播信号的快速接入，记者和被采访嘉宾使用直播App扫描二维码后即可参与到直播中。云导播平台支持多路信号在云端无缝切换，支持视频源直切到PGM和传统PVW/PGM工作流程，还支持音视频分开切换。在推流方面，云导播平台可将PGM视频流快速分发至多个平台，分发协议支持RTMP、HLS、SRT、ISSP等。

直播后台由多通道视频接收系统、多功能收发服务器、收录监看系统及媒资共享系统组成。多通道视频接收系统负责接收、管理、切换和分发总分社及下辖分社的十几路视频背包及智能采访终端信号。该系统接收和解码前方信号后，通过云端视频矩阵完成信号切换，根据需要将信号嵌入台标并推流（支持SRT、RTMP等协议）至直播信号发布平台，也可以输出基带信号至其他系统。该系统通过基于云的直播管理平台监控和管理直播流。直播管理平台能实时显示亚太地区的直播设备并可以对设备进行设置操作，还可以对在线传输设备进行视频监看和信号切换。多功能收发服务器是总社视频直播系统的节点设备，在服务器上可以运行多个应用程序，其功能包括SDI/IP编解码、IP视频切换、图形叠加、存储和文件转发等。总分社使用该服务器在直播后台和总社视频直播系统之间进行双向信号传输，可以调度收发共4路直播信号。收录监看系统由录机、监视器等组成，与多通道视频接收系统和多功能收发服务器连接用于收录和监看直播信号、通联信号及总社返送信号。媒资共享系统由NAS集群构成，用于存储和共享直播素材，记者和编辑通过视频工作站客户端进行访问。

3.3 直播信号发布

总分社基于互联网实现直播信号多渠道协同分发。直播信号通过推流方式分发至“新华香港”脸书账号、新华网、新华社客户端等新华社海内外新媒体平台。其中，“新华香港”脸书账号是在香港有较大影响力的重要社交媒体账号，其粉丝量过百万，参与度在国际主流媒体中文脸书账号中位居前列。直播信号还通过总社视频直播系统分发至新华社媒体用户和外部媒体矩阵。

4.直播报道技术实践

4.1 香港特别行政区选举直播

从2021年9月到2022年5月，香港特区相继举行完善选举制度后的3场重要选举，即选举委员会选举、第七届立法会选举、第六任行政长官选举。总分社对这3场重要选举都进行了视频直播报道，有力配合了中央涉港工作大局。在2021年9月19日香港选举委员会选举报道中，总分社在“新华香港”脸书账号就选举进行了长达9个小时直播，有效引导舆论。在2021年12月19日香港第七届立法会选举报道中，选举投票站现场直播信号回传总社并在海外社交媒体等平台播出。在2022年5月8日香港第六任行政长官选举报道中，总分社首次通过5G进行直播，智能采访终端和视频背包3个机位采集回传选举现场、记者出镜及公共信号并在相关平台播出。

在香港选举直播中使用智能采访终端和视频背包等轻量化设备进行直播信号采集。在选举现场，使用智能采访终端直播App进行5G直播，还可以进行短视频即拍即传和移动发稿。直播App与总分社云导播平台及直播后台连通进行信号的解码切换，并最终推流至直播信号发布平台播出。在选举现场，便携式专业摄像机采集拍摄选举相关画面后，通过视频背包将信号进行压缩编码，经多链路聚合网络进行传输。在视频背包中选择不同通道则使用不同传输路由，当选择总分社通道时，背包信号会传输至直播后台进行处理并推流给“新华香港”脸书账号，当选择总社通道时，背包信号会回传至总社视频直播系统并分发给海外社交媒体及相关平台。

4.2 香港抗疫直播

香港第五波新冠肺炎疫情暴发以来，总分社与香港分社、新华网联合推出“新华云直播：直击内地援助香港抗疫最新情况”，每周综合香港疫情、内地援港、方舱日记等最新情况进行直播报道，增强了民众抗疫信心。该直播获得几十家中外媒体采用，单场直播点击量超过百万，被评为总分社优秀新闻作品。

在香港抗疫直播中使用云导播平台和直播后台双平台进行推流直播以提升直播可靠性。云导播平台部署快速、操作方便，在疫情期间总分社导播人员通过互联网接入即可进行工作。云导播平台视频源包括智能采访终端信号、IP视频流及本地视频文件。直播时，导播在多路信号中进行切换，将PVW画面切至PGM并通过RTMP推流至新华网，由新华网处理后分发至新华网客户端和其他几十家媒体用户。本次直播还使用开源流媒体系统OBS进行推流，作为备份信号源接入到云导播平台。除云导播平台外，香港抗疫直播同时使用直播后台进行推流。视频工作站输出信号后通过视频背包传送至直播后台，直播后台接收和解码信号并推流至新华网，由新华网进行后续处理和分发。

4.3 香港回归祖国25周年AR直播

为庆祝香港回归祖国25周年，总分社、音视频部、技术局联合进行了AR直播“文化瑰宝耀香江——探访香港故宫文化博物馆”。该直播在2022年7月3日香港故宫文化博物馆正式对公众开放参观当日播出，新华社记者走进博物馆展厅，带领观众一同沉浸式感受闪耀香江的历史瑰宝和中华文明。如图2所示，在直播中，随着记者的介绍，虚拟绘画卷轴在记者手边徐徐展开，建筑物模型从画轴中出现，古代瓷器等栩栩如生的虚拟故宫文物在画轴上陆续旋转到观众面前，给观众带来身临其境、虚实结合的观看体验。此次AR直播在新华社客户端、新华网、“新华香港”脸书账号，以及快手、视频号、微博等平台播出，吸引大量观众，仅在新华社客户端观看量就达115万次。

图2 香港回归祖国25周年AR直播

此次报道是新华社首次通过移动XR平台进行AR直播。总分社、音视频部、技术局提前策划，运用三维空间重建、空间识别与定位、三维模型编辑、实时云渲染等技术，构建了香港故宫文化博物馆的三维虚拟空间，在现场通过智能采访终端AR App生成虚实相融报道环境，将虚拟绘画卷轴编排在展厅中。当记者互动时，虚拟建筑物和虚拟故宫文物出现在卷轴之上，跟随AR镜头的移动，观众可以通过不同视角欣赏精心设计的虚拟故宫文物。AR App拍摄的画面可以通过直播App推流实现AR直播，从而实现在复杂环境场景下的XR沉浸式互动报道。此次AR直播准备历时大半年，技术团队全程参与，从方案策划、素材拍摄、模型构建、系统测试到最终直播，目的就是给观众带来更好的沉浸式互动新闻体验。

5.总结与展望

新华社亚太总分社视频直播报道在内容和形式上不断创新，技术也需要不断进步才能更好引领业务发展。本文结合工作实际，在研究直播关键技术基础上设计和实现了总分社视频直播系统，在全媒体采集、5G直播、云导播、增强现实直播等方面进行了技术探索，并在香港选举、香港抗疫、香港回归祖国25周年等重要视频直播报道中进行了技术实践。

目前媒体科技发展呈现移动化、智能化和超清化的趋势，媒体技术工作者需要充分利用行业知识，将5G、AI、8K/4K、XR等技术与业务相结合，用先进技术赋能新闻业务，为全媒体报道贡献力量。