交互设计视域下的视听通感研究

【摘要】探究无意识行为与视听通感的交互设计方法，通过视觉听觉的表现形式，解读人们日常生活中所熟知的规范性动作。以书法体验为例进行设计，区别于传统的视觉上单通道的教学方式，给用户提供一种新的体验。达到将交互过程中的不可见行为展现出来的目的，为交互式设计提供新的思路。

【关键词】交互设计；视听通感；无意识行为；书法体验；参与感

【中图分类号】G206 【文献标识码】A 【文章编号】1007-4198（2021）19-103-03

【本文著录格式】周琬贞.交互设计视域下的视听通感研究——以书法体验为例[J].中国民族博览，2021，10（19）：103-105.

基金项目：本文为海南省研究生创新课题项目“人工智能视域下无意识行为视听通感研究——以书法体验为例”（项目编号：Hys2020-130）。

交互设计主要以用户的感受为起点，利用新兴的技术能力，通过视觉、听觉等感知器官向用户传达信息与意图。现今，交互设计涉足诸多行业，不少设计师将目光转向教育行业的兴趣培养方面。书法、舞蹈、体育运动等对视听的需求较高，学习者需要根据个人理解对动作进行记忆，导致学习效率较低。因此，需要有规律可循的行为与视觉和听觉的对应关系，以便于更好的学习体验。

一、交互设计概述及视听需求

（一）交互设计概述

近年来，交互体验式的设计在现代人类社会中得到广泛的应用，商场、博物馆、橱窗、电子设备等隨处可见交互设计的身影。应用领域包括游戏、影像、装置、虚拟场景等。增强手势交互、AR和VR技术、智能的微交互动画、AI语音助手、智能读取视频字幕与翻译已成为交互体验设计的发展趋势。交互设计概念使原本静态的作品动态化，为设计注入新的情感体验。这种方式激发了用户的参与感，使用户不再被动地接受展示已设定好的内容，而是可以参与其中进行体验。

（二）书法交互设计中的通感需求

交互设计拓展了信息传递的渠道。在信息传递中，人们对信息的吸收率，视觉为83%，听觉为11%；注意力集中程度，81.7%通过视觉，54.6%通过听觉；可记忆三天以上的，有20%是视觉记忆，10%是听觉记忆，68%是视听结合记忆。可见，视觉和听觉在人类感官中最为直接且接收信息率最高，在交互设计中应用视听进行信息传递有助于增强信息传递的效果。书法是用视觉传达的艺术，音乐是用听觉传达的艺术，使用音乐建立视听通感是交互设计的优选辅助手段。

1.书法现状分析

据统计，以没有接触过书法的零基础成人为例，每周学习2小时的频率，练习时长5小时左右算，4年为一个节点可对书法的字体有稍微系统的了解。在学习期间，首先练习篆书掌握基本字体结构，半年以上过渡到隶书、楷书和行书的练习，最后可以进行草书练习。可见，传统方式书法入门需要很长时间，且书法学习者在学习过程中会感觉到重复练习枯燥，极易半途而废。目前，市面上的主流学习方法还是以传统的老师教学生写为主，仍缺乏提高学习者兴趣的直观有效辅助方式。

2.视听通感的作用

通感理论的构建最早起源于西方，物理学家牛顿利用数学和物理将光色与音乐对应，确立了光谱音程图，用最为直接的方法将声音与色彩联系起来。其研究表明，光在从红色到紫色的颜色频谱中的振荡频率，与音阶声音的振荡频率有关。对通感现象的研究不仅限于哲学、神学、科学领域的学者，还包括文学家、艺术家，主要由于其可以给人带来心理上独特的知觉效应。外国学者乌尔曼发现通感手法在文学中的运用具有由低至高，由简单到复杂的规律；国内自钱锺书先生发表《通感》一文，对古今中外作品进行总结，整理出文学创作中的通感表现手法，自此通感理论受到越来越多学者的关注。这种通感就好比一座桥梁，连接人体的各个感觉系统，在同一种物品出现的刺激下产生相匹配、相关联的体验。例如，视觉中的红色在听觉中被想象为活跃、暴躁，味觉上被感知为辣，触觉被替换为疼痛等。然而，每个人有着对色彩音乐的独特理解，是极富有感性思维的理解，单单凭借理性的分析并不充分。因此，各领域的研究者们将视听通感引入到了感性层面，在阿蒂尔兰波的理念中，对某种颜色、味道、气味等是由人给予这个物品的特殊情感，让其具有一定的象征意义，即谈到某种单独的音、色就唤起相匹配的事物。在通感理论的推动下，国内外设计师们试图将视觉艺术与声音、味道、触感等相结合形成艺术通感。艺术通感一方面有利于设计师拓宽思路进行创意，另一方面可以赋予作品更好的体验效果，构建更加深刻的语境和意境，使观众从内心情感上对设计作品产生共识，进而增强信息传递效果。

书法是中国最具代表性的艺术，书法的动态变化与音乐的韵律变化如出一辙。“律”在音乐领域指音节高低，在诗词中指平仄音的变化，在书法中则主要指书体蕴含的精神和灵魂。音乐作为世界的通用语言，与书法结合更有助于理解书法艺术。瞿小松作曲的《行草》通过配乐式书法表演帮助人们理解书法。新媒体舞蹈剧《墨声》建立舞蹈肢体语言与水墨文字的联系，实现了琴声的可视化。水墨随着舞蹈演员的肢体运动，琴声越强节拍越快，墨色就愈浓重。程伊兵的作品《乐中书》，将古琴音色和人声吟唱经过电子化处理，借用传感技术使书写过程中实时播放生成音乐，实现了音乐家与书法家的现场双向互动，为观众提供了视觉艺术和听觉艺术的双重感觉器官享受。可见，音乐与书法结合有利于更好的进行书法体验，视听结合的方式可以增加用户的参与感，并提高其学习兴趣。

二、视听通感在交互设计中的研究现状

自通感体验和交互设计结合以来，关于交互设计的系统模型、设计范式和展示形式研究取得了一定的成就，研究可以分为有意识的通感交互和无意识的通感交互。就视听通感在交互设计中的应用现状进行了系统性的总结，为视听通感的设计应用打下基础。

有意识的通感交互是最早被人们关注到的交互方式，主要通过引导用户或用户主观产生的行为进行交互。如Castel用光色浓淡显示钢琴音，当音键按下后其对应的颜色将被照在玻璃上；Chladni通过沙子变换的形状观察声波，当小提琴的弓震动产生声音时，声波震动带动沙子形状变换；Terry等人将肌腱电转化为音符进行了表演，每块肌肉都与乐器的一部分相连，当表演者肌肉用力产生肌腱电时与乐器相对应的部分产生声音。这种联系也启发了人们对现代教育方面的思考。Nakamura等人以笔头变形时的影响为切入点，构建了美化字体系统，将专业人士书写时毛笔的速度和压力的变化可视化。黄冬等制作了一个毛笔书写仿真系统，其对毛笔骨骼蒙皮建模，并对笔头运动时的扭曲效果进行计算，使用头戴显示器制造沉浸感，实现了实时的视觉反馈。

无意识的通感交互主要在用户自主自然状态下，是在不干扰用户行为的情形下进行的交互。Loup等人基于混合现实技术构建了行为和视觉间的通感关系，根据线路颜色观测书写速度的变化，书写速度慢时显示蓝色，快时显示红色，保持不变显示黑色。Nakamura等人将书写时毛笔的速度和压力的变化可视化，构建了美化字体系统。Oliver等人构建的可视化反馈平台“歌唱树”可以提高使用者的唱歌水平。Robyn等人建立了一个基于ANIMUS框架的采用虚拟现实技术的音乐可视化系统，系统中的虚拟角色可以实时反馈观众现场表演行为，从而增强观众的表演热情。

通感的交互设计也引发了人们对教育的思考，丁淞汀发现目前对外书法教育研究领域大多是对教学方法、教学原则、设计构想以及对外书法教学存在的问题等方面的探讨，而以学习者为中心的研究还很少。因此，在书法角的教学中，他针对不同学习内容选择教学语言，以学习书写技巧为主，对笔画结构的顺序进行教学。他同时表示学习书法除运用手指、手腕等身体力量来控制运笔外，结合嗅墨香、赏筝曲和习书法三位一体进行练习，协调多感官进行书法的练习更有助于兴趣的培养和保持。庞中华研究快乐立体教学法，用手风琴演奏乐曲，将书法的点、线都与对应的音乐和旋律相匹配，通过声音、书写等多种方式对人的感觉器官进行刺激。亲身体验的外国人认为，将书法与音乐的巧妙结合，给原本枯燥的练习增添了乐趣。德国的联合国工作人员经过3个月的学习，不仅对书法产生强烈的兴趣，还表示将继续学习。由此可见，构建视听通感关系，可有效辅助书法学习并对学习者的学习兴趣有一定的提高作用。

综上所述，通感体验交互设计可满足用户的交互体验，可根据用户的行为进行实时反馈，准确的为用户提供视听引导。目前，通感体验在交互设计的行为展现方面已相对成熟，但探究无意识行为和视听之间的具体可测量的对应关系，尚处于空白阶段，仍缺乏系统的解决思路和方法。

三、视听通感书法体验设计与实现

本研究针对帮助初学者进行书法体验的问题，利用人工智能深度学习算法将书法中笔法的韵律与音乐的韵律相结合，通过寻找音乐与书法的相通之处建立视听通感关系。书法初学者接触书法的时间较短，通过多感官刺激可帮助其记忆，更快掌握基本笔画的书写。

（一）关键元素捕捉

先由专业人士临摹常用汉字，分别记录加速度传感器所收集的每个汉字的运笔数据，其中，加速度传感器的采样频率以不同字体的属性进行设定。笔杆前端装有用于传输数据的蓝牙通信模块，加速度传感器与蓝牙通信模块相连，蓝牙通信模块与服务器无线传输连接。服务器接收运笔数据并进行处理，计算出每个字的运笔速率值。将专业人士的运笔速率值作为推荐速率并建立标准数据库。

（二）关键元素引入

首先，利用深度学习模型学习服务器中的古典音乐，建立运笔数值与音乐之间的对应关系。使用Python语言编写深度学习模型，该模型的程序实现构架包括Network、Train、Generate、Until四个部分。Network为循环神经网络，用于在曲库中得到所有不重复的音调数目，并返回所有的输出序列。为防止过度拟合造成最终生成的音乐与曲库中的音乐风格不同，每次训练丢弃30%的神经元。Train用于训练神经网络，并将参數存入文件中。用从Network中得到的所有音调的名字创建一个字典，映射音调和服务器计算好的速率值，建立神经网络的输入输出序列。在训练过程中，每次循环结束时都保存模型的参数。Generate用训练好的神经网络模型参数从既有的曲库中找出匹配字段，再进行拼接。Until为最后一步，用于生成音乐。从Train建立的字典中根据输入的速率值提取出音符和和弦，用训练好的神经网络模型生成可播放的音乐格式文件。

其次，用专业人士的运笔数据建立标准数据库。将专业人士书写的某一汉字的运笔数据带入深度学习模型中，自动生成每个汉字对应的音乐。将生成的音乐整理形成标准数据库，用于初学者书法体验。

（三）视听通感书法体验

在进行书法体验时，加速度传感器收集学习者运笔数据，通过蓝牙通信模块将运笔数据传输给服务器，服务器将学习者的运笔数据和标准数据库进行对比。若与标准数据库相匹配，则播放这个汉字在标准数据库中对应的音乐；反之，则没有音乐播放。音乐实时提示运笔失误，便于学习者在练习时及时发现运笔失误，提高学习兴趣和学习效率，具有便携、效果好、成本低的优点。

为直观观察书法体验的效果，对每个字在有音乐和无音乐两种方式下学习的错误数进行了统计，橙色表示音乐辅助书写体验，蓝色表示无音乐辅助书写体验。如图1在书写错误比较中，大多数书法学习者使用音乐提示方式书写的错误率均高于无音乐方式。在笔画顺序错误率比较中，有音乐的书写体验更容易掌握规范的笔画顺序。图2为练习15分钟时的笔画顺序书写错误数，20位体验者中有8位体验者书写错误数为0。有音乐提示方式比无音乐方式的学习效果明显更好，书法初学者可以在短时间内掌握书写顺序，准确记忆字体字形。

综合以上结果显示，两种评价标准下，有音乐方式的正确率均明显高于传统无音乐的教学方式。可见，视听通感的多通道感官刺激对书写文字的学习和记忆有较明显的作用。本次研究仅针对书写速率与音乐对应的研究，在之后会进行字体与音乐曲风对应的研究，墨迹颜色与音调高低的研究，以及舞蹈等其他运动的视听结合研究等。

四、结语

本文针对视听通感理论和前人的实际应用案例进行剖析，通过用户无意识行为与视听通感结合进行设计，丰富交互设计的理论研究材料，拓展了交互设计的方式。在设计实现阶段，用户不需要佩戴设备，使用户在完全自然的状态下展示行为动作，为用户带来更好的体验。通过对用户做规范性的运动时产生的无意识行为进行分析，更有针对性的将原本不可测量的动作规范化。这种设计方式更易于用户的学习，为面向无意识行为的交互设计及相关理论研究提供方向。

参考文献：

[1]钟鸣，何人可，赵丹华，王蔚.基于通感转化理论的交互装置体验设计[J].包装工程，2021（4）：109-114.

[2]钱锺书. 七缀集[M]. 北京：生活·读书·新知三联书店，2002.

[3]张珊.浅析中国书法的韵律美[J]. 美术教育研究，2017（11）：37.

[4]燕飞.书法艺术在两首当代琵琶作品中的不同演绎——对《点》与《千章扫》的比较研究[J].艺术百家，2010（S2）：271-275.

[5]吴玲俐.音乐与书法的双向实时互动——程伊兵《乐中书》的艺术追求与开拓性意义[J]. 中国音乐，2008（3）：222-224.

[6]于淞汀. 西澳大学孔院社区书法角的教学策略研究[D]. 长春：吉林大学，2019.

作者简介：周琬贞（1995-），女，黑龙江人，硕士研究生，研究方向为艺术设计。