多模态融合趋势下提升数字出版传播效能的模式、方法与进路

卢毅刚 方贤洁

【摘 要】数字时代，一种全新的表意系统正通过时间、空间、工作、文化和个体层面的变化对数字出版的内部、外部资源进行重新整合，这种整合促使数字出版进一步挖掘多模态资源，构建自身能适应快速演进的传播环境，再通过传播效能的提升加速数字出版的跨界运作和深度融合。数字出版的多模态传播构建不仅迎合了用户心理和习惯在信息时代数字化技术飞跃中所呈现的诸多新特征，亦遵循并改变了传播生态及其运行法则在“适配原则”下的行动逻辑。

【关  键  词】多模态融合；数字出版；传播效能；提升进路

【作者单位】卢毅刚，西北民族大學新闻传播学院；方贤洁，中共成都市委党校文化建设教研部。

【基金项目】2022年度全国党校（行政学院）系统重点调研课题（2022DXXTZDDYKT114）的阶段性成果。

【中图分类号】G230.7 【文献标识码】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2023.04.012

数字出版的物质性要求决定了其内容载体的具象化，而其传播性限定了其内容载体的媒介取向。一方面，技术赋能下的数字出版融合力不断提升，超越了数字出版初期对媒介的单纯依赖，转而依靠媒介的多样性满足受众多层次的信息需求；另一方面，数字出版逐渐驾驭媒介融合，智能出版、智慧出版的便捷使公众在内容、渠道、运营模式等方面达到高度认可。但公众满意度仍建立在数字出版传播效能提升的基础上，研究多模态融合趋势下提升数字出版传播效能的模式与方法，可为学界和业界提供逻辑进路与实践探索参考。

一、数字出版的多模态融合模式

1．数字出版的媒体融合发展

媒体融合自19世纪由Rosenberg首次提出［1］，就与计算机技术、终端科技形态研究互相促进，Langlois提出媒体融合是应用计算机高度发展的互联产物［2］，Ithiel De Sola Pool在1983年就媒体融合给出了具体定义，认为媒体融合是基于数字技术的产物，使得媒介的传播形态边界逐渐模糊，并聚合呈现多样一体化的特点［3］。

从广义来看，数字出版的媒体融合是指包含出版要素的媒体进行多元交织、聚合共融的形态与内容创新。就狭义而言，是指通过差异化的数字出版进行媒体形态创新，是基于量变产生新类别。根据学者尹章池、郭慧提出的内容、网络、终端与人工智能、区块链、虚拟现实等技术融合的逻辑［4］，我们可以看到，国内外相关学者始终从媒体融合的角度研判数字出版的高度与深度，交织出技术赋能下从单点到多维渐进发展的融合过程。

党的十八大以来，包括数字出版在内的数字经济融合态势受到了党中央的高度重视，政策端《关于推动传统出版和新兴出版融合发展的指导意见》发布，产业端数字出版产值大幅跃升，彰显数字出版的融合生态已然建立。党的二十大以来，国家对加快发展数字经济、实施国家文化数字化战略等作出了一系列重要部署，为数字出版的未来提供了强有力的保证。

2．数字出版传播效能

从媒体实践角度来看，数字出版传播效能在定义与要素构成上暂未实现学界与业界的高度统一，但与施拉姆在1954年提出的“经验范围”模式［5］紧密联系。喻国明提出传媒经营的本质为传播效能［6］。何格夫提出数字出版传播效能的优势体现在信息量、互动力、传播成本、资源禀赋等层面，进而产生可被复制的传播效果［7］。聂绛雯提出数字出版传播效果情况比较复杂，但由于其参与生产流程的链式结构，因而构建了符合我国国情的社会传播形态［8］。蒋静通过网站下载量、知网下载量及其与引用次数间的相关性考察了OA期刊网站的传播效果［9］；冀芳认为数字出版应当重视媒体融合的表现力，从而提升传播效果［10］；张立、吴素平认为数字出版主流APP传播效果最佳［11］；卫晓婧根据科技期刊数字出版时滞分布，提出提升数字出版传播效果的最优时滞为6个月［12］。

从市场格局来看，我国数字出版产业格局逐渐打开。传统意义上的数字出版通过技术赋能已然从文字读物、有声读物衍生出ACG作品、在线教育、数字音乐、数字营销广告等形态。根据中国新闻出版研究院发布的《2021—2022年中国数字出版产业年度报告》，2021年我国数字出版产业整体规模达到12762.64亿元，较往年增长8.33%。电子游戏、在线教育等移动出版融合业态深受消费者青睐，消费者偏好渐趋稳定，国漫小说、国漫动画等概念衍生品逐渐兴起，产业规模保持良好发展态势。

3．数字出版信息传播中的多模态数据分析

多模态相对于单一模态，是基于物质固有特性而表现出的不同形式。在社会意义系统中，多模态信号作为基础架构，呈现文字、语音、图像等表意形态。当下多模态被用于数据分析并成为一种显著趋势［13］。肖珺认为多模态分析理路源于语言学，通过语言符号和非语言符号的结合，从整体上可以观测传播互动效果［14］；穆肃、崔萌、黄晓地使用多模态数据方法，提出一对一、一对多、多对一的三角辩证关系，而多模态数据分析可以整合多对一、多对多和三角互证模式［15］。数字出版信息传播中的多模态数据分析也遵循了以上模型建立与数据采集处理流程，概括为多模态的数据表示、数据映射、数据对齐、数据融合以及协同学习五个层次［16］。

具体而言，学界较为认可的多模态数据分析方法为：通过已建立的映射关系，将目标多模态符号数据向量化，再通过神经网络原点的建立方式，对应关联信息进而投射到其他模态。通过大数据反复核验跨模态元素，矫正出适用度高的多模态数据映射模型。如在版面设计影响受众心理接受度的传播效能研究中，Leckner对数字出版中文字排版位置、字体、动态性进行了对比分析，发现相比右侧、小字体、动态字体，受众更易接受左侧、大字体、静态文字［17］。

与此同时，我们也应注意到，学界和业界较多以单一、孤立、静止的视角来观测数字出版中的传播效能建构，满足于点对点、点对面的模态分析方式，忽略了通过互动、融合、开放的模态符号进行意义建构的过程。然而，恰恰是基于开放视角构建出的共享型媒体融合，才是数字出版媒体融合未来深化突破的重点。另外，对数字出版传播效能的研究偏重于新兴媒体的传播效果核验和传统数字出版传播效果的提升，如何对数字出版融合媒体中传播价值的测量仍属于未研究领域，可见在数字出版媒体融合进程中的信息收集、加工、表达、传播链路缺少全过程、标准化的整体科学评价体系。将多模态数据分析引入交互、复杂、融合的出版流程中，可对该流程进行动态、实时和立体的观测，并使其成为数字出版媒体融合中提升传播效能的有力抓手。

二、多模态融合趋势下提升数字出版传播效能的方法

数字出版传播效能将沿着多模态融合的趋势特征，结合媒体融合过程中的动态互动，提炼出影响数字出版传播效能的主因素，再通过色散模型［18］、多模态融合范式检验影响数字出版传播效能的要素，如应用机器的反复深度学习等，完善传播效能评估体系，进而为实现传播效能最大化提供可行路径。

1．基于多模态融合元分析的数字出版传播效能

当下数字出版模态主要分为视觉模态、听觉模态、触觉模态和嗅觉模态四种。模态间的关联是相融而非间替取代的，即运用多模态分析数字出版传播效能是对既往分散视角研究数字出版传播效果的优化与迭代。事实上，数字传播全链路中不光存在单一传播路径，还存在复杂叠加的多维传播路径。故而将色散模型中基于三原色的叠加影像原理应用于此，构建“聚合—辐射”的效能验证视角，可充分观照在数字出版融合进程中媒介符号、内容情感、场景境遇等维度间的融合效应。

元分析指对现有文献基础的反复指标进行验证，再基于大量数据的显著性特征对变量间的相关性进行分析核验。具体而言，被数字出版传播广泛应用的视觉元语言，是通过图像、视频、超链接的多模态符号呈现的，而多模态融合元分析则是通过文献计量从上层深度提炼媒体形态变迁中影响数字出版传播效能的首要元素，并基于动态交互的传播效能显性特征，完成受众本位、数字出版内容、融合媒体、社会效益等变量间的关联度测量。通过对数字出版媒体融合案例的经验总结，补充元分析下层关键要素，最终输出数字出版传播效能模型。该模型能动态评估影响数字出版传播效能的因素，为传播效能最大化提供前置构成要件。

2．基于“聚合—辐射”效应的数字出版传播效能

技术赋能、政策加持、产业联动使得数字出版从内容端主体位转向新兴媒介生态环境下的角逐位，不再是出版信息的唯一传播路径，转而参与到聚合信息、辐射受众的信息流通环节中。数字出版的初衷是为受众提供信息互动的交流基础，依托媒体在此过程中凸显出产品/服务的强大作用。

事实上，多模态融合元分析的传播效能检验了数字出版中媒介载体、内容符号、受众情绪、消费环境等的多维作用力。在多维作用力下，受众接触的数字出版信息通常是“聚合—辐射”后的模态内容，虽然会产生传播效果偏差，但仍在传播源辐射范围内循环互证。基于此，多模态融合元分析的“聚合—辐射”传播效能模型，应当充分考量模态信号、受众情绪、场景效力，通过积极学习和改良算法，解释数字出版信息辐射效应与元文本的关联效应，进而衡量多模态融合数字出版变量间的稳定关系。

3．基于公共空间自我重构的数字出版传播效能

以技术为表征的数字空间和以受众现实社会交往为特征建立的城市空間构成了现代化的自治空间。自治空间中的受众通过数字出版的多模态呈现完成议题搜集、信息提取、辐射影响、确定行为的链路逻辑。也就是说，数字出版将数字空间中的受众聚合为固定类别社群，而受众的点赞、分享、转发行为映射数字出版自治空间中的符号、情感、场景三个维度。

自治空间的稳定表现为受众所属社群持续认同并构成稳定的公共空间。数字出版传播效能是公共空间得以存在且依托受众实现自治的重要保障。数字出版传播效能不仅为公众提供组建社群的物质条件，也为其他类别信息传播行为补位。公共空间本身就是受众自治空间的外化，既包含公众对公共权利赋权的渴望，又制约了公众对公共权力的使用。可见，数字出版传播效能是对受众自治空间的赋能，更是调动受众自主性对公共空间进行重构。

4．基于大众传播向智能传播演进的数字出版传播效能

互联网的出现冲破了传统大众传播模式的框架，社交媒体的创新也使得受众转变为传播者，传播生态一家独大的话语特征逐渐消失，公众通过数字空间的搭建获得了数字出版传播行动的可能性，经过曼纽尔·卡斯特所言的“大众自传播”时代，进入技术赋能下的智能传播时代。以ChatGPT为代表的人工智能在公域数据采集、私域信息整合方面彰显了巨大优势，其通过机器学习向受众传递聚合效能，而面向元宇宙的NFT也对数字出版起到增值作用［19］。借助智能传播的整合优势，聚集出版信息、传播普遍性知识，是数字出版传播效能最大化的重要方面。智能传播模式成为数字出版新的风口与中介，承担起智能中枢的强大功能。以人工智能为代表的媒体平台、技术、手段将为数字出版开启新的链接端口与实际载体。

如前所述，对数字出版传播效能提升的方法论即基于传统媒体互动传播中的动、静态指标，形成影响传播效果的前置指标；再通过色散指标的聚合，建立多模态框架对影响传播效果的指标进行测量，最终形成数字出版传播效能评估模型，并对客观实践起指导作用（如图1所示）。

三、多模态融合趋势下数字出版传播效能提升的进路

1．优化新型数字出版生态位的建立

媒体生态的发展趋势并不完全由技术单方面推动，更多地受到人类主体性的影响，当需要延伸人类的某一效率机能（无论是本能还是附带）时，媒介的进化必然发生，而无论此种进步带来何种缺陷与不足，都会因人性化趋势而调动更多的选择机能来完善。数字出版需要通过媒体融合的不断进阶才能充分发挥复刻社会实在、再现世界的重要功能，因此，建立和优化新型数字出版生态位是提升数字出版效能的重要面向。

2．重视社群系统在传播端发挥的作用

以公众自治空间为基础建构的公共空间内，存在以社群为构成单位的社群系统。数字出版所构建的社群系统对应的是对出版信息的解释空间，只有抓住这个解释空间才能对传播的意义及其对社会所产生的经济、人文价值形成更准确的评价和判断。一方面，社群内部文化规约的不断加深使得出版内容的认同感需要在集体共识范畴下形成，社群的代际传承也使得数字出版的二次传播力得以延续；另一方面，社会多元交织构建出相应的政治规范、理念、制度、体系等。数字出版必须全方位考量与社群系统的适配性，出版内容满足社群需求才能促进社群成员间形成广泛认同并积极实践。

3．确立多模态数字出版的媒体融合框架

人工智能技术的多模态融合框架可以帮助数字出版提升传播效能。数字出版公共空间中的符号维度可以使用人工智能LDA模型进行符号分析，将数字出版的标题、关键词分类别建模，通过对类别的向量构建得出主题集，再通过主题集“聚合—辐射”匹配社群内部关联，用以衡量社群间出版信息的传播热度。就数字出版公共空间中的情感维度而言，朴素贝叶斯分类模型可以完成公众正面（1）与负面（0）态度的向量收集，并通过类目区别的方式将数字出版内容赋值标记，再通过反复的机器学习充分考量公众情感信息差值，标记内容传播力；就数字出版公共空间中的场景维度而言，借助数字出版的空间与时间向量，引入出版主体场景、出版内容事件场景、发生传播的空间场景，三大场景中任何一方占据优势，都会对出版信息的总传播效能形成支配。通过以上关联数据对比，可以完成受众本位、数字出版内容、融合媒体、社会效益等变量间的关联度测量，这对出版产品的生产与流通大有裨益。

4．探索多模态融合数字出版传播效能评估模型

在总结多模态融合趋势下的数字出版传播效能时，我们同样会对内容符号及其依托受众完成的社会价值转化进行规律观察。一方面，在搭建传播势能过程中，数字出版生态位的“ToC”（To Consumer）服务功能彰显，受众权利的扩大化使得传播模态愈发贴合受众群体偏好；另一方面，数字出版的社会价值彰显，要求在构建“社群—媒体社群化运营系统—融合政策体系”的责任引领［20］方面下狠功夫。

如前所述，本文的要义在于测量分析影响数字出版传播效能的多模态融合因素，将动静相融的要素系统进行关联度评测，使之成为“一事一议”的评估模型。从元分析方法论中导入光的“聚合—辐射”效应恰恰对应了数字出版传播中的撒播进程。基于此，多模态融合演化推论与计算机模型建立成为提升数字出版传播效能的重要助力。

四、结语

多模态融合趋势下对数字出版传播效能提升问题的考察实际是一种关于人、技术、出版媒体在数字时代中的人文价值关涉，对技术的重视并不意味着数字出版是冰冷的技术产物，而是对用户的生活世界、社会世界在触及数字出版产品之后的价值关联再判断，以及由这种价值关联体现的用户与出版间实在的关系，更为重要的是，这种关系的建立、维持与发展将直接决定出版的价值。

｜参考文献｜

［1］ROSENBERG N. Technological change in the machine tool industry，1840-1910［J］. The Journal of Economic History，1963（4）：414-443.

［2］LANGLOIS J H，ROGGMAN L A，MUSSELMAN L. What is average and what is not average about attractive faces？［J］. Psychological science，1994（4）：214-220.

［3］高鋼，陈绚. 关于媒体融合的几点思索［J］. 国际新闻界，2006（9）：51-56.

［4］尹章池，郭慧. 关于出版媒介融合的综合性研究［J］. 编辑之友，2009（5）：27-29.

［5］刘卫东. 传受双方的约定与最佳传播效能：关于传播的内在机制问题［J］. 现代传播（北京广播学院学报），1995（6）：17-22.

［6］喻国明. 影响力经济：对传媒产业本质的一种诠释［J］. 现代传播，2003（1）：1-3.

［7］何格夫. 当前制约我国数字出版发展的六个因素［J］. 编辑之友，2008（2）：29-31.

［8］聂绛雯. 数字出版的传播链条与效果分析［J］. 出版发行研究，2014（5）：74-77.

［9］蒋静. 自动化和计算机技术类核心期刊的OA现状、特点和传播效果分析［J］. 中国科技期刊研究，2014（9）：1106-1112.

［10］冀芳. 学术期刊媒介融合传播研究：一个文献综述［J］. 科技与出版，2017（8）：91-96.

［11］张立，吴素平. 对近年来数字出版评优产品的追踪测评及分析（Ⅰ）：传统书报刊单位App测评报告［J］. 科技与出版，2021（3）：98-107.

［12］卫晓婧. 科技期刊传播力提升研究：以《中国农村水利水电》网络首发为例［J］. 出版科学，2022（5）：75-79.

［13］LEVINE P，RON S. Discourse and technology：Multimodal discourse analysis［M］. DC：Georgetown University Press，2004.

［14］肖珺. 多模态话语分析：理论模型及其对新媒体跨文化传播研究的方法论意义［J］. 武汉大学学报（人文科学版），2017（6）：126-134.

［15］穆肃，崔萌，黄晓地. 全景透视多模态学习分析的数据整合方法［J］. 现代远程教育研究，2021（1）：26-37+48.

［16］BALTRUŠAITIS T， AHUJA C， MORENCY L P. Multimodal machine learning：A survey and taxonomy ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2019（2）：423-443.

［17］LECKNER， & S. Presentation factors affecting reading behaviour in readers of newspaper media：an eye-tracking perspective［J］. Visual Communication，2012（2）：163-184.

［18］马晓悦，马昊. 基于“色散-叠加”的多维度微博信息交互演化模型研究［J］. 信息资源管理学报，2020（4）：109-118.

［19］李骐辛，于春生. 面向元宇宙的NFT数字出版发展策略研究［J］. 出版广角，2022（18）：33-37.

［20］麦尚文，张钧涵. “系统性融合”：新型主流媒体的社群驱动与传播生态建构［J］. 现代传播，2021（6）：25-32.