跨媒体艺术创作的叙事特征分析

孙钲皓（南京艺术学院）

跨媒体艺术是在美术背景下产生的、不再基于特定媒介传播的艺术创作概念，是近年来不同类型的媒介互动创新、相互碰撞所产生的新名词。严格来说，跨媒体艺术并不是一种常规的艺术形式，不像雕塑、绘画、电影等有着明确或相对精准的定义，而更多用于形容跨越多种媒介的创作关系。

当然，与跨媒体艺术类似的新媒体艺术概念更为大众所熟知，二者都具备先锋与实验的艺术特点，都是以艺术观念为驱动的当代艺术创作活动，但二者在媒介应用上有着细微的区别，新媒体艺术的“新”体现出对于数字技术应用的依赖，强调对于新兴技术的追逐；跨媒体艺术的“跨”则更侧重于不同媒介的融合以及媒介之间的动力转化。

但在后文的讨论过程中，暂且模糊这两者的区别，以便于探讨这类新兴媒体艺术与传统艺术在叙事特征上的不同。

一、媒介演进与跨媒体创作

传播学家马歇尔·麦克卢汉在著作《理解媒介》中提出“媒介是人的延伸”这一理论。他认为，媒介是人的感觉、感官能力的延伸或拓展，比如文字和印刷媒介是人的视觉的延伸，广播是人的听觉能力的延伸，电视则是人的视觉、听觉和触觉能力的综合延伸。伴随着工业时代后科技的飞速进步，媒介技术自身的发展突飞猛进，媒介演进则带动了“人”的感官能力的放大与增强，这与现代艺术的需求不谋而合。现代主义蕴含着一股废除一切、冲破陈旧的力量，艺术早已不是艺术本身，人们借助艺术对新的世界进行解释、批判与反思，理性逻辑退居其位，感官知觉成为重要的创作依据，为此，艺术家们能否破除陈规，利用独创性创作新型艺术作品成为评判一个现代艺术家的重要依据，这种理念上的破除与重建，也成为跨媒体艺术创作的精神支柱。

借助这股艺术界的思想浪潮，20 世纪60 年代中期，激浪派艺术家迪克·希金斯针对当时的“混合媒介”实验提出了“跨媒介”的概念。在此之前，19 世纪的歌剧音乐家理查德·瓦格纳提出了与跨媒体概念类似的“总体艺术品”概念，倡导未来的艺术作品应该是综合各类艺术门类来实现人类的整体目的——圆满的人性。对于瓦格纳来说，这是人类未来的集体工作，也就是要将艺术从个人层面上升到全人类共同改造世界的实践。从瓦格纳提出跨媒体概念的雏形，到希金斯正式确立的这段时间内，许多跨媒体创作、多种艺术门类融合的作品相继诞生，如早期未来主义画派创作的由报纸拼贴而成的“视觉诗歌”、安迪·沃霍尔的无声电影以及激浪派的那些试听融合的装置艺术作品，其中激浪派成员的作品，可以算得上是20 世纪跨媒体艺术的翘楚。作品中艺术与物理、数学等其他学科的相互融合、创作媒介的不断更新、艺术语言的不断进步都深刻地影响着当时与未来的跨媒体艺术家们，并带给他们无限的灵感与启发，尤其是以视频装置为主要创作形式的艺术家白南准，他的作品《电视大提琴》，可以作为跨媒体艺术标杆级别的案例。《电视大提琴》是由三台电视机，以中型、小型、大型的顺序进行排列，大致组成了一架大提琴的轮廓，演奏家摩尔曼拉动琴弓，琴弦与琴弓接触摩擦后产生的震动以数字波纹的形式出现在电视屏幕上，并伴有强烈的电子噪波声。电视屏幕上的图像分为四个部分：录制好的录像内容，正在转播的电视节目，连接着摄像机的闭路电视系统，以及受干扰的电视画面。代入跨媒体艺术视角进行作品分析，《电视大提琴》展现了不同艺术门类的融合，如音乐、影像、表演；不同创作媒介的融合，如大提琴乐器、电视机和人体；不同感官体验的融合，视觉、听觉以及观众上台尝试交互的触觉，这种混合媒介、跨艺术门类、多感官的方式刺激着艺术家与观者双方。更加巧妙的是在这种复杂的形式下，这件艺术作品并没有显得杂乱无序，反而相互配合，营造出了耐人寻味的氛围与对于作品的无限遐想。观者可以理解为这是古典艺术与现代艺术的巧妙融合，也可以理解为传统与现代的理念碰撞，电视视频中的干扰波纹似乎就是那碰撞下所产生的“裂纹”，《电视大提琴》中跨媒体、多艺术门类融合的碰撞下，所产生的叙事成分，似乎才是作品的精髓，这使得跨媒体艺术的研究不应停留在多媒体融合这种“形式”的表面，更应当代入艺术创作中“叙事”层面进行理解与分析。

二、艺术创作中的“叙事”

“叙事”一词通俗来讲就是描述或讲述一段故事与经历，原始社会时期，我们的祖先猿人还不具备文字能力，属于口语阶段，他们相互为对方梳理毛发、讨论分析别人的八卦行为，是叙事的初始状态，这也是猿人们建立信任与凝聚力的关键行为。换句话说，通过分享故事满足他人的好奇心，渴望与他人沟通，得到认可成为叙事方的动力。在艺术创作中，叙事同样在满足受众的好奇心，并从中获得沟通与被理解的成就感。但是，叙事一定是循规蹈矩地讲述一件完整的、有逻辑的故事吗？

叙事学发展到今天，可以划为两个阶段：经典叙事学和后经典叙事学。经典叙事学一般被认定为文学领域，主要以文字为叙事手段，以小说、散文等文学相关作品为成果；后经典叙事学则不局限在“叙事作品、叙述、叙述结构以及叙述性的理论。”而是逐渐与多种学科融合，深入与拓展叙事的可能性，这正符合如今艺术创作的特点，尤其是跨媒体艺术这类新兴艺术。叙事为何会打破原有的经典文学叙事模式，反而与其他学科进行交叉融合，上文中所讨论的媒介“功不可没”。

回顾媒介与叙事的历史，可以发现叙事的发展进化与媒介发展紧密相连，从不具备文字能力的原始人开始，他们日常使用的身体、口语媒介自然演变为身体叙事、口语叙事，而之后的绳结叙事、图像叙事、文字叙事、影像叙事，一直到如今热门的跨媒介叙事，都是建立在媒介进化的基础上而诞生的，媒介对于叙事起着至关重要的作用。20 世纪法国作家罗兰巴特曾提出“任何媒介都可以用于叙事，不单单包括文学作品，也包括绘画作品、电影、连环画、社会杂文。叙事的渠道可以口口相传，也可以是书面形式的表达、固定或者活动的画面、肢体语言，以及所有这些材料的混合。”这种前卫的观点恰好印证了如今艺术创作叙事的现况，艺术家们不再使用某种特定的媒介进行创作，而是集合多种媒介进行创作，产生出有别于传统叙事的跨媒体艺术叙事。

三、跨媒体艺术的叙事特征

（一）跨媒介性与媒介间性

跨媒介性和媒介间性可以理解为跨媒体艺术创作的“跨”与“合”，是其叙事表达的重要铺垫。其中，“跨”这一点很好理解，跨媒介艺术创作融入多种媒介、多门学科、多个艺术门类，赋予艺术作品无限的可能与想象，但就像厨师炒菜，堆叠食材容易，如何巧妙地将不同菜品的特色完美融合，创造出“一加一大于二”的效果来说，则是一门学问，艺术创作也是如此，如何让不同的媒介诉诸各感官系统的感知，得到贯通、融合、超越线性的作品叙事，媒介间性正是起到这个作用。

“媒介间性”存在于媒介与媒介之间，可以理解为媒介之间的流动辩证。在跨媒体艺术中，媒介间性可以理解为“处理”不同创作媒介之间的关系，给予一方某种转换或跨越的动力，从而实现各媒介之间的配比与平衡。通俗来讲，就是在发挥每种媒介特色优势的情况下，平衡这些媒介之间的关系，使其化为一个完整而不突兀的艺术作品。在跨媒体艺术创作“跨”与“合”完成后，将产生有别于传统艺术的独特叙事模式，下面以跨媒体艺术家Refik Anadol 的作品《机械幻觉》为例进行分析。

《机械幻觉》是Refik Anadol 在纽约举办的一个大型展览，位于一个6000平方英尺的地下画廊空间，其主题内容是表现机器智能眼中的城市记忆。其最终内容是呈现在360 度环绕墙面上的实验影片，通过解构纽约市深层意识的集体记忆，将纽约的故事形象化，而这里的记忆并不是来自人类，而是来自我们制造的机械智能。机器的记忆幻觉为我们探索替代现实提供了独特的环境，可以扩展我们的梦想能力。该作品在媒体属性上，使用了16k 分辨率的影像空间、环绕式音响，结合这6000 平方英尺的地下环境，保证了受众的沉浸体验感。在主题上，作品将机器智能学科与实验影像学科相结合，把两门相差较大的学科通过“城市记忆”这个主题完美地融合到一起，通过智能算法生成城市影像，将城市建筑的演变史呈现给观众，这种独特的叙事模式背后，充分体现了跨媒体艺术的“跨”与“合”。

除了这种媒体类的艺术作品之外，同样能体现跨媒介性、媒介间性的还有再媒介转译作品。再媒介转译这一词在Robert K.Logan 的书《理解新媒介》中称之为“再媒介”，指的是一媒介在另一媒介基础上蔓生发展、再创造，这在日常生活中其实数不胜数，其中家喻户晓的漫威系列就是典型代表。漫威系列最早作品主要是纸质漫画《蜘蛛侠》系列等，随着影视行业的发展，人们将其改编为电影、电视剧，而随着家用电脑的升级，许多游戏厂商也购买其IP，将其做成漫威游戏系列。如今随着互联网、新媒体技术应用的日渐成熟，漫威系列的身影出现在多个领域内。麻省理工学院教授詹金斯提出：“跨媒体叙事最理想的形式，就是每一种媒体出色地各司其职，各尽其责。”这种将同一主题分散在不同媒体领域进行多样化传播的方式，同样是跨媒体叙事的重要手段。

（二）新媒体性

新媒体性是跨媒体艺术叙事表达中不可缺少的元素。虽然缺少新媒体，跨媒体艺术创作仍然可以正常叙事，但却背离了跨媒体艺术出现的初衷之一“对新的、未知领域的探索创作”。跨媒体艺术不会被任何一种媒介所完全束缚，而是万物皆媒，一切媒介都可以成为创作的载体，而最新出现的新媒体技术，则会很快被用到跨媒体艺术的创作当中。

每个时代都有当时“炙手可热”的新媒介，20 世纪60 年代的录像技术、20 世纪80 年代的计算机技术、千禧年前后的移动端、互联网技术，一直到如今流行的人工智能、虚拟现实技术等，都可在跨媒体艺术创作中见到其身影。这不仅证实了新媒体属性是跨媒体艺术的重要特点之一，更是体现了跨媒体艺术的理念追求，带着面向未来的视角，不仅叙述当下，更是积极大胆地“预测”未来，为次时代发觉媒介变革与社会变迁，对未来生活进行想象与构建，推动社会发展。

还是以Refik Anadol 的作品为例，作为走在技术与艺术前沿的跨媒体艺术家，Refik Anadol 将新媒体技术与人文关怀情感融合一体，带来独特的叙事体验，《融化的记忆》正是此类型的代表作。该作品为可视化的装置艺术作品，通过使用外接传感器读取人们记忆的脑电波，在其之后经过人工智能技术化计算，把记忆数据可视化为一幅幅动态的具象化雕塑。作品的灵感来自Refik Anadol 那位身患阿兹海默症的叔叔，这种令人记忆混乱的症状引起了Anadol 对于记忆的思考以及具象地展现这些患者们的记忆现状，引发了观者们强烈的思考。这类题材若是放在传统的影视领域，在叙事上需要足够的剧情铺垫、人物情绪的逐步加强，直到爆发点的情感释放，才能完全表达作品的中心思想。而在Anadol的这类跨媒体艺术作品中，叙事上不需要多余的铺垫，通过新媒体技术的加持，作者直观地将阿兹海默症、与记忆有关的情感展现在观众面前，再加上该作品具备的交互性，使得每一位观众都可以将自己独一无二的记忆在装置上具象化，从而获得独属于自我的“记忆”画面，获得有别于被动接受的叙事体验。而随着未来新的技术媒介不断更新，谁又能预想到未来的跨媒体艺术能给我们带来什么样的惊喜。

（三）干涉、互动与引导

干涉、互动与引导是目前许多跨媒体艺术作品常用的叙事方式，尤其是以公共空间为创作场域的作品。这里的公共空间并不是指任何对外开放的空间，而是人流量大、空间流动性强的场所，如广场、商场、火车站等。当然，如今的互联网由于具备大量的虚拟数据流，也被视作虚拟公共空间。无论是实体公共空间，还是虚拟公共空间，都有着跨媒体艺术家们喜爱的地方——公共性与开放性，即大量的艺术参与群体，这也是干涉、互动与引导的基础前提。

用一个作品案例来分析这三个叙事特征，《Reflection》是城市艺术家Spy创作的一组公共空间内的跨媒体艺术作品，由20 个凸面交通镜组成，安置在西班牙马德里繁华的街头上。作品中的镜子随着观众的运动和位置的不同变化而演变。通过这个作品，作者探索了路人与自己的倒影互动的方式，进而引导出观众与自身所处环境之间的关系。我们把作品拆解为干涉、互动与引导三个部分，首先作品设置在繁华的城市街头，来往的人群在看到这个作品后，就已经受到了“干涉”，这是空间的使用所达到的效果，它打破了原有的空间秩序，使得大众关注到这个放置在街头的作品，从而达到艺术家所预设的目的。其次，由于该跨媒体作品本身具备的可交互性和趣味性，使得人们自愿与其发生互动，观众们像做游戏般“戏弄”着这些交通镜，除了类似游戏般的乐趣外，他们也在思考着作品是否想表述什么意义价值。最后是引导，在观众们发现镜子中的倒影总是跟随后，也发现了其他人的身影，这是这组作品带来的不可避免的警惕，我们在其中发现自己，其他观众也不可避免随着周围环境反映出来。这是作者最后带来的理念阐述，当然不是直白地写在纸上，而是通过干涉、互动直到最后的引导，给予观众充分探索的权利，让他们在参与过程中，领悟到作者的思想。这种看似被动的叙事模式，实质上会留给大众更为深刻的印象，这也引出了下一个观点，作品叙事主导权的变化。

（四）主导权的转变

跨媒体艺术作品的叙事主导权普遍由创作者转向观众，这也符合如今媒体传播的规律，由从前的“单向度传播”转向“双向传播”。单向度可以理解为老派权威传统媒体的内容只输出，从不或极少接受大众的回音，比如电视节目、报纸等；双向是指如今的新媒体如“两微一抖”等，其中许多内容来自大众的输出，并且与大众保持密切的接触，许多跨媒体艺术作品都秉持着这种理念。

（五）多感官叙事

如今，越来越多的跨媒体艺术家们开始混合利用多种媒介，调动观众的感觉器官，以便使他们更加投入地欣赏作品、理解作品。对于作品中的多感官体验，不同的艺术家有着不同的策略，但大致可以分为两种，即感官沉浸与感官分离，就像是戏剧学中的斯坦尼斯拉夫斯基体系与布莱希特体系的差别。

感官沉浸是大多数创作者会选择的手法，强调的是作品将观众的各感官调动后，营造出一种身临其境的沉浸感，就像斯坦尼斯拉夫斯基体系中，强调演员不是好像存在于舞台上，而是真正存在于舞台上，是个活生生的人。

感官分离则有很大的不同，是指抽离的、拒绝迷失自我的感官知觉体验，这和布莱希特学派所强调的演员可以随时进入、跳出角色，演员与角色要保持距离的观点有着异曲同工之妙。

四、小结

除了上述五种跨媒体艺术的叙事特征之外，在跨媒体艺术自身实验性的加持下，将来还会有更多的叙事方式出现，其表达形式也会随着新型媒体的融合千变万化，从而走在时代潮流的前沿。并且无论是在商业领域，还是研究项目中，都具有极强的应用性与可塑性。但值得注意的是目前的跨媒体艺术还存在明显的困境与需要突破之处，概括来说，就是创作手法的华丽无法掩盖作品本身精神价值与人文导向的薄弱。目前的跨媒体艺术在内容选择上多为实验性的，或较为虚无的主题，过于追求标新立异，而忽视了跨媒体艺术作为艺术本身的职责，比如，描绘人类的精神世界，传达自身的精神内核。期待在将来的跨媒体艺术作品中，见到更多以承载创作文化、叙事精神为主体，多媒介融合、新型媒介为辅助手法的优秀艺术作品。