视频模板智能生成技术在节目生产中的应用设计

徐进苗，郭国辉，王春辉，尚健廷

（中国电子科技集团公司第三研究所，北京 100016）

0 引 言

近年来，语音识别、场景识别等依托智能引擎的应用技术在音视频领域得到广泛的应用。高质量的长、短视频节目在社交平台、视频网站等传播渠道的吸粉程度最高。社交平台和视频网站等传播渠道不受频道、时间限制，对内容的需求是海量的，传统的节目制作模式已经无法支撑[1]。如何利用智能化技术提高内容生产效率，媒体行业也在不断地进行探讨。

由于社交平台和视频网站等传播渠道对内容多样性、海量性的要求，媒体行业的内容生产机构在内容制作流程中需要投入大量人力、物力。其中，风格迥异的视频节目模板是节目制作流程的重要环节，也是设计成分最高的环节[2]。例如，人为地对诸多不同的视频节目内容、风格、背景、时长等进行观察和分析，然后进行模板制作。这种人工制作模板的方式，在应对单一的或少量的节目生产时，基本能够满足节目内容生产需求，但在应对当前多个不同社交平台、视频网站的不同视频节目时，就会显得力不从心，且误差明显、效率一般，不能满足视频节目内容生产高质量、高效性的要求，也不能满足视频节目内容发布及时性的要求。

对此，可以利用语音识别、场景识别、语义理解等智能化技术提供的能力，应用于视频模板制作场景，构建视觉信息智能化提取应用技术、视频剧本智能语义理解应用技术、视频画面优质信息理解及重构应用技术，从而形成视频模板智能生成系统[3]。视频模板智能生成系统能够对不同内容、不同风格的视频信息进行学习和理解，自动重构出不同内容、不同风格的视频制作模板样式，为视频节目编辑包装提供模板应用支撑，满足多样性、复杂性的节目制作需求，同时满足内容发布及时性的要求。

1 视频模板智能生产技术剖析

视频模板智能生成，首先要对视频节目进行智能识别与分析理解，同时也需要对视频剧本进行智能语义理解，其次进行综合性优质信息分析与提炼，梳理出视频信息风格与特点，最后重构出通用化的视频节目制作模板[4]。与之对应，这里主要涉及基于视觉信息智能化提取技术、视频剧本智能语义理解技术以及视频画面优质信息理解及重构技术。

1.1 基于视觉信息智能化提取技术

面对当下社交平台、视频网站的视频节目丰富多样的环境，各式各样的视频制作模板需求越来越高。传统人工制作多样化模板时，需要理解分析大量视频资源，通过提取时长、画幅、风格等生产要素，然后人工制作模板。面对多样化的视频节目需求，人工制作模板生产过程效率较低，质量标准也参差不齐，而人工智能（Artificial Intelligence，AI）技术的出现和发展，使视觉信息智能化提取工程化和规范化变得可以实现。

视觉信息智能化提取是利用人脸识别、物体识别、场景识别以及智能化标签提取等技术，对视频节目的名称、编目、来源以及节目里的人物、场景等重要信息进行综合分析处理，实现视频节目模板生产要素识别、归纳、提取及结构化管理[5]。结构化管理的生产要素可以支持AI 视觉信息智能化标签筛选检索，方便对视频中的生产要素进行定位和调整，优化生产要素信息提取的准确性。具体提取层面，主要涉及画面构成重要信息识别与标记、视频生产要素提取。

（1）画面构成重要信息识别与标记，基于场景识别、OCR 识别、语音识别、智能标签等AI 技术，构建画面构成重要信息识别与标记应用引擎，对视频节目的画面进行理解与区分，对视频内容构成信息进行识别与定位，包括画面的LOGO 区域、画面的背景区域、画面的视频播放区域、字幕区域、视频场景切换时间点、背景音乐等信息，以及画面构成基础信息进行有效的识别，并将重要信息进行标记，记录视频中生产要素的获取时间点与位置，为视频生产要素的提取提供基础支撑。

（2）视频生产要素提取，基于智能抠像、字幕替换、渲染模型等技术，面向标记完成的视频模板要素，进行拆解与提取，包括但不限于背景音乐提取、背景图片提取、视频画面叠加图片提取、视频播放时间点标记信息提取、视频转场时间点提取以及视频字幕位置信息提取等，为后续视频模板重构提供基础支撑。

1.2 基于视频剧本智能语义理解技术

视频节目中的画面、音频以及字幕等内容，都存在大量的有效信息。在视频节目生产过程中，节目特效、转场也与视频传达的信息紧密相关，而音频的内容完全是视频传达信息构成的具象化体现。因此，对视频中的音频信息进行识别与深度分析，有利于生产制作人员对节目内容及逻辑结构的理解[6]。然而，目前生产制作人员只能依赖个人经验对音频内容及字幕进行深度理解，从而复制应用。受人员和时间的限制，这种模式只能生产少量优质模板，无法批量产出大量优质的视频模板，不能高效辅助媒体内容的快速生产制作。

针对以上问题，可以采用语音识别技术、机器翻译技术、自然语言理解技术，构建视频剧本智能语义理解应用引擎，实现对视频内容中音频信息的识别、纠正、理解以及转化。通过自然语言的深度理解，完成对视频内在故事线、剧本的逻辑理解与拆解，有利于对视频模板的转场时间点、视频模板分配时间线位置、视频模板播放时长等视频模板生产要素的精准化输出。

利用语音识别技术，对视频素材中的音频内容进行识别，将其转化为文字，可以为下一步对音频内容的语义理解做好准备。如有外文，可利用机器翻译技术，进行统一文字规范，能够基于中文内容进行语义理解。然后利用自然语言理解技术，通过分词、词性标注、句法分析、文本相似度等处理，对文本内容进行语义分析与理解，并与对应的视频画面关联，间接分析出视频类型、风格等特点。例如，通过分析语音内容，可得到此视频素材画面风格属于具体哪一类视频，视频具有什么样的风格特点，视频画面中有哪些信息需要保留、有哪些冗余信息需要去除，有利于视频画面生产要素的精准提取和视频模板输出。

1.3 基于视频画面要素优质信息理解及重构生成技术

视频制作模板的智能生产，需要对大量视频节目信息进行分析和理解，对视频中的生产要素进行分析和理解，然后进行去冗存精，才可以重新构造出预期的视频制作模板，并对模板进行结构化管理，便于模板查找和调用。

在基于视觉信息智能化提取结果、视频剧本智能语义理解结果基础之上，可以利用AI 技术，构建视频画面要素优质信息理解及重构生成应用引擎，把视频画面和语音内容相互结合进行综合分析与理解，对视频内容进行画面分析、多元语义理解，归纳出视频画面特征和风格。基于节目制作生产系统的时间线逻辑，结合视频内容中提取的模板构成要素以及在视频内容中识别到的关键要素时间点信息，进行模板剧本的构建。按照模板剧本调用时间线工程，匹配视频模板生产要素，形成视频模板工程时间线文件，重构输出视频画面，形成面向社交平台或视频网站的视频制作模板。批量化生成后的模板自动保存到模板库中进行统一管理，便于视频生产系统直接调用。

2 视频模板在智能节目生成中的应用设计

2.1 应用架构设计

视频模板在智能节目生成中的应用架构设计，如图1 所示，主要包含基础支撑层、数据要素层、能力供给层及能力生成层。

图1 视频模板应用架构

基础资源层包含计算资源、存储资源及网络资源等，为上层技术引擎和应用业务提供基础环境支撑。本次应用设计能够适应在公有云、私有云、传统机架式服务器等不同基础环境的部署与运行，保障技术层面先进性的同时，也有利于新旧计算资源的充分综合利用。

数据要素层对元数据、实体数据关联关系及数据库集等数据进行分类、定义，为视频模板智能化生成提供充足的数据资源，主要包括数据分析要素和实体数据要素。数据分析要素包括画面使用度、画面共性度、画面背景、视频元素及视频动作等。实体数据要素包括人脸数据库、场景数据类型库、动作类型库、字幕类型库、语音类型库及视频素材库等不同的数据资源。

能力供给层为视频模板智能生成业务应用提供能力供给支撑，包括视觉信息智能化提取、视频剧本智能语义理解、视频画面优质信息理解及重构。视觉信息智能化提取主要是对视频画面处理、视频画面构成重要信息识别与标记以及视频生产要素提取。视频剧本智能语义理解主要进行视频语音转化处理、视频内容语义理解以及剧本要素信息提取。视频画面优质信息理解及重构是在视觉信息智能化提取、视频剧本智能语义理解的基础上，进行综合性的视频画面结构理解，提取视频画面生产要素，进行视频画面重构，并进行视频模板的管理。

能力生成层是体现业务能力的应用，包括视频模板生成、模板编辑及系统管理等应用，主要是合成输出多频率元素、多频率模块以及同款对应风格的制作模板。

整个应用设计提供规范化、开放式接口，便于信息资源管理系统的接入，快速调用图片、短视频、网络媒体视频等媒体资源，以及生产系统的接入，能够调用智能化生成的视频节目模板。

2.2 应用流程设计

在应用流程设计方面，充分考虑信息制作业务流程需求，并与现有技术相互结合，进行整体规划设计，以提高信息制作整体生产能力和效率，为行业用户提供快速高效的视频生产能力支撑。设计的应用流程如图2 所示。

图2 应用流程

视觉信息智能化节目模板重构可与信息资源管理系统对接，调用不同的多媒体成品节目，进行不同视频画面生产要素的提取与分析，然后根据生产要素进行画面重构，渲染输出生成不同风格、不同样式的制作模板，供生产系统进行模板调用，全流程下在必要时可进行人工调整。

3 结 语

本文围绕视频模板智能生产技术的应用设计，通过对视觉信息智能化提取技术、视频剧本智能语义理解技术、视频画面要素优质信息理解及重构技术等三个方面的智能技术应用分析，可以预知，人工智能技术在视频模板制作方面的应用是可行的，但人工智能技术受限于材料学习与训练，并不能完全按照制作人员的期望或要求去生产模板。这就需要不断地对智能模型或算法进行进化训练，提升视频画面智能识别的准确率和模板重构转化率，迭代提高制作模板生成质量，才可以逐步向视频制作人员的预期效果靠拢。

智能化视频模板重构的创新应用，不仅能够提升内容创作人员的生产效率，也可以为内容创作者提供更多的创意参考。未来，更高质量、高效率、高智能化地辅助创作者进行制作模板的输出，也有很大的发展空间，也是智能技术一个重要的应用研究方向。只有通过不断的理论探索与操作实践，才能稳步推进智能化技术在媒体行业不同业务层面的创新应用。