基于视听联觉理论的音乐动画表现研究

王思茹 傅凯莉

摘要：文章以视听联觉理论为基点，探究音乐和动画的关系、视听联觉在动画中的表现形式以及基于视听联觉的音乐动画创作方法。艺术与艺术之间是相通的，视觉与听觉的结合有利于打破音乐与视觉艺术之间的界限，从而在视觉艺术创作领域融入音乐原有的抽象概念，触发观者视听感官的共通，产生视听联觉效应。通过研究视听联觉的定义与内涵，分析其中的层级构成，结合实现方式和表现形式阐述音乐动画中的视听联觉现象。提出基于视听联觉的音乐动画设计方法，展现音乐和动画之间相互诠释的多重关系，促进音乐与视觉画面的融合，用音乐诠释动画，用动画表现音乐。

关键词：视听联觉;音乐动画;音画同步;通感

中图分类号：J617.6 文献标识码：A 文章编号：1004-9436（2022）03-0-03

0 引言

音乐动画是一种结合视觉与听觉的艺术形式，画面与音乐在相互阐释的过程中完成一种双向运动[1]。音乐动画运用数字媒体技术和手段，对音乐语言和画面语言进行组合表达，两者皆可作为主要表现的艺术形式而存在，整体以音乐审美的方式借由音乐和动画共同传达同一主题，从而打破传统的叙事、剪辑的创作方式。视觉和听觉是人类最主要的感知系统，两者之间的通感，也就是视听联觉，属于最常见的跨系统联觉[2]。其中，聯觉是指人的内心世界因为不同感知系统之间的相互对应结合而产生影响的现象，刺激因素作用于一种通道引发感觉的同时，也引发了其他通道的感觉[3]。在音乐可视化的视听联觉中，最简单直观的方式就是将音乐和动态图像有机结合，也就是动画的形式[4]。文章基于视听联觉理论，探究音乐动画创作的一般规律和方法，为视听觉欣赏在动画中更好的结合提供设计思路，为相应的基于视听联觉的音乐动画创作提供指导。

1 视听联觉理论

1.1 联觉的概念

联觉是指人体的一种感官受到刺激后引起其他一种或多种感官系统知觉反应，形成的多感官相互作用的现象[5]。联觉是无意识的，属于心理学范畴，对心理的影响是潜移默化的。在生活中，联觉可以体现在“电闪雷鸣”时，人们看到闪电后可能不自觉地想到打雷的声音，这是因为当人受到来自视觉这一感官系统的刺激时，听觉感官会自觉准备好接收相对应的声音信号。由此可见，联觉所强调的正是个体不同感官系统间的互联互通，人体生理反应将在这一过程中呈现明显特征。

日常生活中，各种各样的联觉现象使我们的跨感官体验在各类审美活动中更加容易被激发，通常个体的感觉关联能力越强，则艺术感知力越敏感[6]。文章将联觉理论引入动画设计领域，旨在创新动画设计的表现思路，进一步提升其艺术表现力。

1.2 联觉的层级构成

结合金开诚先生的文章《艺术通感的心理内容》中对联觉的划分[7]，以及陈育德先生的心觉内容，可以将联觉根据其构成方式和特点划分为感觉挪移、多觉叠加、意象互通三个层级[8]。

感觉挪移是三个层级中最初级的一种形式，是指一种感官受到刺激后产生的感觉引起另一种感官的感觉，具有自发性和直观性。就像日常生活中嗅觉与味觉之间的挪移，闻到很香的食物气味会刺激到味觉感官，从而食欲也被嗅觉感官所接收到的气味信号所激发。

多觉叠加是在感觉挪移的基础上多层次多角度地联系更多的感觉系统。仅仅是感觉表象的结合并不能构成多觉叠加，而是不同的感觉表象通过联想被多层次地表现出来，以感觉经验为基础产生连锁反应。

通常情况下，说到联觉，大部分人都会和五官的感觉联系起来，然而从更全面的角度而言，人的思维活动、内在情感也能够产生联觉。这两者也正是意象互通中“意”的含义，而“象”是指带有物质属性的客观事物的外在表现。所谓意象，就是传播情感，表达意象。意象互通体现了人的主观性与物的客观性之间的相互渗透、相互诠释，是在感觉挪移基础上的一种升华。

1.3 视听联觉

视听联觉是视觉感官与听觉感官之间形成互补并一起发生作用的现象。在联觉情况下，相对应的视觉心理感受是由听觉接收声音信号后不受主观意识的控制且自发引起的[2]。

在心理学方面，眼睛和耳朵这两种感觉器官接收的信号形式不同，但在两种信号间也存在一定的相似性和共通性。很多人可能有过类似的经历，即当我们的听觉接收到一段旋律的时候，脑海可能涌现出当时在听这首音乐时所对应的画面，从而情绪也跟随这段旋律发生相应的变化，这是因为当视听觉感官同时接收对应的信号刺激时，两者共同作用于脑机制，弥补视觉感官相对应的听觉感受，以及听觉感官相对应的视觉传达，相互作用，形成视听联觉。

2 音乐动画中的视听联觉

2.1 音乐动画中视听联觉的特征

郭醒乙在《音乐动画和多媒体交互设计》一书中写道：音乐动画的融合不仅仅是节奏、旋律的把握和音乐角色与动画角色间的音画对位，还包括对应喜怒哀乐的情感色彩等问题[9]。这一系列问题都会影响到观者在观看音乐动画过程中的视听联觉体验。

首先，音乐动画中的视听联觉往往呈现对应性特点，通过与音乐各个元素相对应的画面来弥补单一音乐形式对歌曲意境、氛围、背后故事线等方面的表达。通过视觉画面的辅助加深人们对歌曲内涵的理解，也通过与画面相对应的音乐中的各元素来彰显动画的表达意图，凸显动画的主题含义。

其次，音乐动画中的视听联觉也呈现整体性特点。《艺术与视觉感知》一书中写道：知觉的经验并非感觉元素的集合，而是一个统一的整体[10]。即知觉的整体性。情感的传播与接收是触发观者知觉的一大因素，并在整个过程中持续存在。如前所述，意象互通是联觉创作中非常重要的一部分，在音乐动画的表现过程中，观者在音乐与画面的相互配合下对创作者所要表达的情感会有所领悟，主观思维和内在情感呈现持续推进的趋势，呈现整体性特点。

2.2 音乐动画中视听联觉的表现形式

在音乐动画中实现视听联觉的最佳方式是音画并行，即声音与画面的对应设计。音乐动画的画面风格可以是抽象的，也可以是具象的，视听联觉的一些表现形式也涵盖在这两类风格中。无论表现形式是抽象的还是具象的，其中的视听联觉都是基于音画并行实现的。

2.2.1 抽象风格表现形式

抽象风格主要以几何图形、线条、不规则图形等为元素，从音乐的抽象概念出发，将音乐的音色、节奏、响度、旋律等因素对应为图形、线条等元素的变化，使图形与音乐中的旋律等因素相匹配，从而使观者产生音乐与图形变化趋势之间的视听联觉效应。

例如，抽象派动画大师奥斯卡·费钦格所创作的抽象动画《视觉诗歌》，不同乐器发出的不同音色以不同形状的图形呈现。在其作品《研究第六号》中，表现不同的旋律时使用了以不同角度、不同密度、不同方向运动的图形，旋律的调性呈上升和下降趋势时，分别以钝角形态和月牙形态快速移动或相互交错。在同系列作品《研究第七号》中，音乐的不同响度以不同的形状和面积呈现。音乐的音色、旋律、响度、节奏就这样与图形的形状、方向、面积、位置同步对应，共同作用于观者的视听感官，并随之形成基于“音画并行”的视听联觉体验。

2.2.2 具象风格的表现形式

具象风格是基于人物角色、故事情节等具体元素而创作的画面。以故事线为整体架构，场景、空间的变化对应节奏、旋律的走向，使观者对音乐中与画面情节对应的歌词内容、场景变幻对应的节奏走向以及空间延伸所对应的旋律起伏等产生视听联觉。

《黄色潜水艇》是披头士乐队同名单曲相对应的音乐动画短片，人物形象、场景以及风格均来自20世纪60年代与其同名的经典音乐动画长片。这部具象风格的音乐动画短片带给人的视听联觉正是基于音画并行实现的，音乐与画面同步进行，每句歌词所描述的情景都有相对应的画面呈现。例如，第一句歌词“在我出生的小镇子里”，對应画面是一个人走在小镇的路上。接着第二句歌词“生活着一个老水手”所承接的画面是老水手开着潜水艇的镜头。到高潮副歌时，旋律明显更加欢快和律动，对应的画面节奏也更加紧凑。音画并行的表现方式就这样贯穿整部音乐动画，相对应的画面情景和歌词分别通过视觉感官和听觉感官同步被观者感知到，形成视听联觉。

《黄色潜水艇》这部音乐动画短片以黄色潜水艇为载体，时刻传达着爱与和平的信息。整首歌曲旋律平缓，画面节奏有序呈现，再加上具象画面下音画并行产生的视听联觉，整部音乐动画短片的立意以及带给观者的视听体验和动画主题思想都能更好地被传达和感知。

3 基于视听联觉的音乐动画设计

3.1 基于视听联觉的音乐动画设计流程

在设计一部音乐动画时，可以根据出发点、立意以及主题思想确定画面风格是抽象还是具象。如果单纯想让一首音乐的旋律、节奏、音色、响度更生动形象地被听众感知，那么运用图形、线条、几何体等形式创作出的抽象动画更能够增强观者对音乐旋律、节奏的体验。首先，根据音乐中的这些因素制作出与之相对应的静态图形。其次，制作图形的运动轨迹和变化形式。最后，同步对应音乐的旋律、节奏、响度、音色等，为观者呈现音乐与图形一体式的抽象音乐动画。

如果创作一部音乐动画的初衷是说明一条故事线，从而传达某种主题思想的话，那么带有人物场景的这种具象动画更合适。首先，先确定动画主题和选用的音乐类型。其次，确定与创作主题相匹配的音乐是采用现有歌曲还是自行创作，无论采用哪种方式，音乐的创作都应比动画创作早一步完成，这样对于后面画面中的故事情节、节奏感、主题表达等方面的设计而言，能更加和谐地同步对应音乐的歌词内容、旋律、情感抒发等因素[1]。如果采用现有的歌曲，动画表达上会存在一定的局限性，会受到原有歌词、旋律等的限制。如果自行创作与动画主题相应的音乐，无论音乐创作还是动画设计上都相对灵活，能够彼此之间相互调试，达到越来越高的契合度。最后，实现音画并行，人物情节和情感基调一一对应，同步发展。基于视听联觉创作这种带有故事线和画面情节的音乐动画时，歌词和节奏就是连接音乐和动画画面的关键点[11]。

3.2 音画并行设计流程

基于音画并行的设计方法，画面根据歌曲进行同步卡点设计在音乐动画设计流程中属于最后一步，也是最重要的环节。

首先，根据确定好的音乐和画面类型绘制画面元素。如果是具象音乐动画，根据音乐类型确定色彩风格，根据歌词内容确定人物角色和场景;如果是抽象动画，根据不同乐器的音色特点确定与之对应的不同图形。

其次，将绘制好的画面卡点对应到音乐中。因为具象动画的画面表达相对于抽象画面更加细致，所以与音乐的对应大部分是基于情节和旋律的对应。抽象画面中画面与音乐各元素的卡点对应越密集、越准确，音乐动画的联觉体验就越强烈。抽象画面的卡点对应是将绘制好的图形根据音乐中各元素逐帧同步对应，在图形与音乐精准卡点的基础上实现基于音画并行的视听联觉。

最后，作最终的动态调整。在具象动画中，确保与音乐对应的人物角色、场景、故事情节走向等与音乐同步进行时能够连贯通畅，根据音乐的歌词内容和旋律不断调整相对应画面的贴合度、节奏的把控以及色彩的适应区间，在此基础上同步推进音乐动画情节的发展。在抽象动画中，反复逐帧调整图形的方向、排列、速度、面积等，使之与音乐中各元素精准卡点对应，使抽象画面与音乐无缝衔接，不断优化音画并行带给观者的视听联觉体验。

4 结语

在音乐动画中，画面与音乐的同步结合在观者接收故事情节、主题思想、旋律节奏等因素时创造了一种最优方式，观者也在这种同步性中产生了视听联觉。画面的存在更好地表达了动画的思想，而音乐的存在通过不同的节奏氛围使艺术感染力更加深入人心。

在数字媒体技术快速发展的今天，创作音乐动画受到的风格和技术限制越来越少，多元化的发展趋势为音乐动画创造了更多的可能性以及自由创新性。音乐与动画越来越多的结合方式和表现手法会在这个信息化、艺术多元化的时代不断创新，两者之间更多深层次的关系也将不断被挖掘，并与数字媒体技术相结合进行不断的探索、创新和尝试，音乐动画的新时代在这种大趋势下将变得触手可及。

参考文献：

[1] 付龙.从动画音乐到音乐动画[J].当代电影，2015（10）：153.

[2] 王晨萌.基于视听联觉的《春江花月夜》视觉化表达[D].岳阳：湖南理工学院，2021.

[3] 王海滨.联觉：音乐臻达情感的心理机制[J].才智，2017（16）：229.

[4] 黄诗谣.抽象动画中的音乐可视化表现研究[D].北京：北京服装学院，2018.

[5] 黎莎.略论“联觉”与“通感”的异同[J].黄河之声，2020（14）：112.

[6] 于西.音画互动中的视听联觉设计[D].南京：南京艺术学院，2021.

[7] 金开诚.艺术通感的心理内容[J].社会科学，1980（6）：130-132.

[8] 陈育德.灵心妙悟：艺术通感论[M].合肥：安徽教育出版社，2005：39-56.

[9] 郭醒乙.音乐动画和多媒体交互设计[M].北京：线装书局出版社，2013：107-110.

[10] 鲁道夫·阿恩海姆.艺术与视知觉[M].加州：加州大学出版社，2004：106.

[11] 冯爽妮.音乐动画中性爱艺术表现探究与实践[D].北京：清华大学，2017.

作者简介：王思茹（1999—），女，山东聊城人，硕士在读，研究方向：数媒与影像数字化。

傅凯莉（1988—），女，江苏苏州人，博士，讲师，研究方向：实证美学、感性工程学、用户体验设计。