触屏媒介符号传播与体验研究

李 颖

安徽工程大学艺术学院，芜湖，241000

随着社会的发展，新技术的应用，传统的符号学或者是传播符号学已难以完整地诠释新型的传播形态，特别是GPS定位、环境感应、三维成像、虚拟现实、视频传输等新技术在手机领域的应用,一方面创造了全新的视觉符号，如虚拟现实、即时影像；另一方面，其符号传播的过程更为复杂，手势触动界面，链接打开信息，将语言符号与非语言符号的传播融混一体，互动媒体领域的符号传播，完全打破了传统符号传播的常规形态，呈现全新的内容和特点。

自媒体时代的视觉传播以视觉符号为表达手段，符号为用户提供了广阔的意义交流和表达空间。符号是“携带意义的感知”[1]，用户与屏幕交流的一切信息内容通过符号来传达。因此,触屏媒介的信息交流是一个符号体系的传播过程，验证了符号传播学在新媒介信息时代的衍变过程。

1 触屏媒介的符号传播

符号，包括语言符号和非语言符号，传统符号学的研究是建立于语言结构基础之上的。法国语言结构主义代表人物罗兰·巴特对符号学的研究就是基于索绪尔的语言结构学基础之上的[2]，同时他也是将符号学理论应用于视觉传播领域的先驱人物[3]。语言符号主要包括语音和文字，具有明显的结构。语言符号是以语音形式为能指、以语义为所指的听觉符号系统[4]。

所谓非语言符号是语言符号以外可通过感官感受到的如表情、手势、动作等。非语言符号更为复杂，具有即时、变化、连贯等特点。在人类社会早期，肢体语言是信息交流的重要工具，表情、手势和动作是表达情感的有力符号。同样在自媒体时代的界面传播，表情、手势和动作仍然是触发信息感应与传播的有力符号。智能影像采集系统可以录入人的表情、手势与动作触发信息界面的不同反应，触屏界面以人的手指动作为触发信息感应的先决条件。

1.1 触屏媒介的视听语言符号

将语言符号扩展至画面语言与声音语言，触屏媒介的图像、声音、文字、影像等视听元素共同构成了触屏界面的视听语言符号体系，能其传达界面的内容、功能与用户感知。以APP界面为例，触屏媒介的视觉符号的外在形态主要表现为“图”和“像”[5]，其中“图”主要指图标、图形、图示等，“像”包括动画和影像，尤其“像”的视觉语素包括空间、色彩、声音、运动等[6]。不难理解文字和图像作为语言符号而感官形态更为丰富的影像、动画、虚拟现实，融视觉和听觉元素于一体，是新型的视听语言符号。

APP界面的视觉表达以视觉符号为外在表征形式，以视觉意象为内核内容。所谓视觉意象是指事物的视觉化呈现，如照片是实际场景在界面上的视觉化呈现，代表这一场景的视觉意象。界面是视觉符号的聚集层，它所包含的文字、图像、影音、动画是界面内容的视觉化呈现，APP系统通过界面与用户发生信息交流与交互，用户在接收到视觉符号的同时，结合自身的经验、逻辑和想象进行认知与感受，从而形成一定的视觉印象和视觉思维，这也是用户视觉体验的完整过程。可见，用户界面的符号表达是APP系统用户交流的“门窗”。用户对于界面视觉符号的接收与处理过程如图1所示。

图1 APP界面视觉符号处理过程

1.2 触屏媒介的非语言符号：手势

“手势”成为触屏时代重要的身体语言符号。与大众媒体的单向传播不同，互动媒体的符号传播与解读是双向的，一方面，用户通过界面视觉符号的解读获取信息；另一方面，用户发出的指令，作为一种动作信号，触发新的界面视觉符号的呈现。“手势”是一种新型的视觉符号，“触屏”是一种全新的操作方式，包括点触、拧转、捏合、滑动等一系列操作，每一项操作指令基本上都可以分解为触屏开始(touchstart)、触屏移动(touchmove)和触屏结束(touchend)的组合。区别于一般的视觉符号，触屏操作符号具有更强的随机性、变化性和即时性，通过刺激界面的连锁信息反应而传递着屏幕界面的大量信息。

手势符号通过屏幕感应触发界面视觉符号，通过点触和滑动手势打开和切换界面，获取不同界面的视觉符号，同时，视觉符号引导用户操作，互相推进。以手势为主的非语言符号触发图、文、影像、动画、虚拟现实等界面视听语言符号的变化，视听语言符号又引导着非语言符号的发生，如导航图标、链接、元素等对用户操作的引导，呈现出无限循环的交互感应过程，如图2所示。在此过程中，用户的体验是融视觉、听觉、触觉于一体的界面符号体系的感应过程。

图2 触屏交互过程

2 触屏媒介的符号化体验过程

触屏媒介的符号传播增加了互动的过程，与大众媒介的单向交流相比，这一符号传播具有很强的过程性，与其说是一种交流，不如说是一种体验，体验过程涵盖了用户在与媒介互动过程中全部的感官感受和心理感受，是用户内在状态与系统情境相互作用的产物[7]。结合诺曼的认知理论[8]，从本能层的感官体验，到行为层的操作体验，再到反思层的心理体验，互动媒介的视觉符号体验反映人对事物的基本认知过程。用户沉浸于多种视觉符号组合的媒介世界里，体验着符号所带来的意义和感受：通过设计符号体验交互界面的外观与风格，通过元素符号体验交互界面的内容呈现，通过美学符号体验交互界面的视觉美感。

触屏媒介提供密集、多元、复杂的符号化世界，小小的视框里展示着变幻莫测的信息世界，而这一世界是通过人的感官去体验的。屏幕世界集合了图、文、影像、声音等多种语言符号，人们对于这一时空的体验很难单单用“符号的解读”去表达，而更多的时候是一种“符号的沉浸”。人沉浸到符号世界中，感官与符号建构的环境相互作用。因此，互动媒介符号体验的心理意义要远远高于它的逻辑意义，更加强调符号与人的关系。

3 触屏媒介的符号化体验的时空延展

3.1 符号体验空间的无限性和虚拟性

互动媒介的视觉符号是以数字化符号为基础的。尼葛洛庞帝在其著作《数字化生存》中提出人与数字的共生关系[9]。数字技术建构的视像可以是仿真的，也可以是虚拟的。数字化的虚拟符号世界是有形与无形的同构，全方位地调动人们的视觉、听觉、触觉与运动感知，通过点击、手势互动、穿戴设备零距离体验数字化的符号世界，得到突破自身局限的超现实体验。体验空间从界面延伸到设备，从软件延伸到硬件，从“视窗”延伸至无限的信息交互空间，因此符号体验空间是无限的。

屏幕世界是多种视觉符号交织、综合的系统，屏幕一方面为人们提供了虚拟体验的环境；另一方面提供了体验的工具，在虚拟环境中开启了想象，对符号信息的理解，在“翻译”的基础上又增加了想象的空间，意义被解读、延伸和再创造。

3.2 符号体验的时空特性

触屏媒介符号体验的时空特性主要表现为时间、空间的符号化以及符号化的时空体验。

首先，互动媒体的动画、影像、交互空间等视觉元素都是基于时间的空间变化的体现，呈现出一定的时间性，且时间的变化与用户的操作选择相关，空间的感受是基于用户视觉和知觉的虚拟体验，可以是二维的、三维的或多维度的，也可以是虚拟的，或真实场景的再现。

其次，用户连续发出的手势符号与界面视觉符号相互刺激、交互变化，构成一个连续的符号体验空间。超越视听的虚拟体验更符合用户对于交互界面的更高要求。

再次，时间与空间的符号化。互动媒体中的时间与空间要素同样以符号的形式呈现，并表现出具象的属性(如时间的帧、时间线、长度属性，空间的维度、大小等属性)，用户通过符号感受着时间与空间的存在和丰富的时空体验。

4 体验主体的符号化

德国学者卡西尔将人定义为符号的动物[10]。在数字化的虚拟世界里，符号重构了人的意义，在这一层面上再去理解“人是符号的动物”这句话，就有了超现实意义。

进入屏幕世界的人具有双重身份：符号的使用者和作为符号的人。网络世界中的人是一个符号，比如人们在网站上的账号、头像、昵称，是一个虚拟的“人”的标记；作为符号的人，能够直接与其他符号互动，产生意义；同样触动着符号世界的变化和反应，形成人与符号共生的连接关系。但是“人”的符号与其他符号有着显著的不同，毕竟是真实的人在网络上的化身，附加了强烈的主体意识和能动性。

4.1 符号重构并传达了人的审美价值

借鉴台湾学者叶嘉莹提出“兴发感动”[11]的体验层次理论，用户对于触屏界面的审美体验过程由“官能的触引”到“情感的触动”再到“感发之意趣”，运用于触屏媒介的符号体验过程，正是由界面视听语言符号引发的一种由官能的感知到心理情感的变化，进而触发心灵上的感发力量，如沉浸、依赖、联想和想象等。

触屏媒介界面在与用户互动的过程中，通过双向选择构建了富有人性化特点的信息界面，人们对颜色、版式、布局的偏好也同时体现在对界面的选择上。一方面，符合用户个性化审美特征的界面和元素更容易吸引用户的注意；另一方面，用户会主动选择更为符合自身审美偏好的界面和元素。而触屏界面的符号化体系的构建在双向选择和动态构建的过程中展现了作为体验主体的人的审美倾向。与以空间和距离作为基本要素的传统审美不同，数字化的审美过程处处体现着速率之美、变化之美和响应之美。用户的每一次点击、触碰、拧转等手势操作都触发着界面符号系统的连锁反应，而呈现在用户面前的信息界面正是用户操作选择的结果，传达着用户的审美价值。

4.2 符号重构并传达了人的思维活动

触屏媒介的符号体验是由感官体验引发交互行为，触发思维活动的过程。人们对于界面的认知反应，对于交互行为的选择以及对于信息界面的处理行为，处处体现并传达着人的思维活动。这一思维活动过程一部分发自于人的主体意识：一方面受到界面符号的影响。人们在不同的界面符号的刺激下会产生不同的思想活动，这是人的主体意识与界面符号互相作用的结果。由于体验过程是动态变化的，界面信息的变化刺激用户感官，引导着用户行为，催生着大脑皮层的连锁反应，构建快速变化、高度敏感的用户思维活动。另一方面，界面符号体系的衍变是用户操作选择的结果，是用户思维活动的有效传达。

4.3 符号重构并传达了人的意义情感

触屏界面用户交互过程中，通过符号传达了用户的内心活动，融入了用户的感官与心理活动，符号世界中的人是虚拟的人，同时是富有主体情感的人。人们在触屏界面交互过程中信息获取的满意度、视觉体验的舒适度、交互体验的流畅性带给人们不同的心理情感反应。符号世界中的人是高度敏感的，在与界面互动的过程中，触发了用户的多种情绪，如界面交互时流畅体验的愉悦感、界面打开时信息呈现的好奇感、网速较慢时焦急等待的焦虑感以及信息交互时未能获取需求信息的沮丧感等。各种不同的情绪可能在短短的几秒内错综变化。

触屏界面的符号世界带给体验主体共生感与沉浸感。全身心投入屏幕界面的人是忘我的，符号引导着人的行为和心理活动，而即将离开屏幕符号世界时，又会产生不适与依赖，这也是触屏时代的人们媒介依存症越来越严重的原因。触屏时代的符号世界所构建的人的意义情感是超越以往任何一个时代人们的自我认知与想象的。

5 结 语

触屏媒介的信息交流过程是一个符号传播的过程。随着社会的发展，传统符号学理论已难以适应各种新型的传播形态，特别是以屏幕为介质的互动传播领域。有别于传统的单向交流与被动接收，触屏媒介的信息交流呈现出交互呈现、互动演进、无限延伸的传播形态，以声音、画面、文字为主的视听语言符号刺激着人的感官，引导着用户行为，触发不同的用户心理反应；以手势为主的非语言符号触发包括图、文、影像、动画、虚拟现实等在内的界面视听语言符号体系的不断变化，进而引发用户行为、思维和心理的连锁反应，交错呈现出无限循环的交互感应状态。

同时，触屏媒介的信息交流过程是一个符号化体验的过程。在此过程中，人作为一种特殊的符号，体验着触屏带来的丰富多彩、变化多端的符号世界。人的肢体语言特别是手势动作被符号化，作为一种操作符号触发着界面的连锁反应。符号化的体验空间呈现出虚拟和无限延伸的时空特征，重构和拓展了人的体验空间。与其他符号不同，作为体验主体的“人”的符号，附加着强烈的主体意识与能动性。在与界面符号共同构建的连接关系中增强了人的体验，重构了人的审美价值、思维活动和意义情感，并且这些全新的主体特征在界面符号体系中得到了有效传达。触屏媒介构建的全新人类符号体验空间，有着很大的创作空间和研究价值，需要进行更多富有价值和趣味性的探索。

参考文献：

[1]赵毅衡.重新定义符号与符号学[J].国际新闻界,2013(6)：6-14

[2]罗兰.符号学原理[M].李幼蒸,译.北京：中国人民大学出版社,2008：1-10

[3]李思屈,刘研.论传播符号学的学理逻辑与精神逻辑[J].新闻与传播研究,2013(8)：29-37

[4]聂志平.语言符号论[J]．东南大学学报：哲学社会科学版，2017，14(4)：66-72

[5]国玉霞，颜士刚.论视觉传播视野下的知识可视化过程[J].电化教育研究,2016(3)：21-25

[6]赫伯特.图像·声音·运动：实用媒体美学[M].3版.赵淼淼，译.北京：中国传媒大学出版社，2003：231-232

[7]Hassenzahl M，Tractinsky N．User Experience-a Research Agenda[J].Behavior and Information Techn-ology，2006，25(2)：91-97

[8]诺曼．设计心理学3：情感化设计[M].何笑梅,欧秋杏,译.北京：中信出版社，2015：8

[9]尼古拉.数字化生存[M].胡泳,译.北京:电子工业出版社,2017:82-88

[10]卡西尔.人论[M]．李琛，译.上海：上海译文出版社，2004：37

[11]朱维.叶嘉莹“兴发感动”理论对王国维“境界”的体系化及反思[J].重庆师范大学学报：哲学社会科学版，2012(6)：37-43