服务听障人士的声音可视化互动设计——音诗

陶雨琦 上海工程技术大学 上海 201680

一、简介

（一）项目背景及作品创意

众所周知，声音是由振动产生的。在传统意义上，音乐属于耳朵，是用听觉体验美感的艺术。人们在欣赏音乐时，往往是在倾听的基础上，通过“音响感知与情绪感受”“形象联想与理性感悟”以及“音乐美的体验与感悟”等阶段，完成对音乐作品由感性到理性的审美体验过程。音乐具有形象思维的特点，在情感的伴随下，通过想象联想，获得音乐形象、生活情景以及意境等形象，音乐可视化变为现实。

我们计划塑造一个能将音乐可视化的产品，以更好地呈现音乐所带来的情绪。同时，我们期望这款产品在未来的迭代过程中，实现能够帮助听障人士感受音乐的功能。

（二）作品功能

第一部分的作品包括My Song和麦克风输入。这两者都是将音频进行图像化处理的程序，这两者是根据音频的振幅变化来生成图像，所以使用Processing自身创建amplitude对象。第二部分的作品包括键盘钢琴与电子琴，这一部分的作品是对于图像音频化的诠释。其中，电子琴一共有32个键位，键盘上的三排字母都可以成为按键。最低音是G3最高音到D8，因为G3是扬声器所能发出的最低音；而最高音则是受限于键盘数所以只排到D8，实际最高音未知。电子琴的琴音是电脑自生成音，与钢琴不同，不需要data文件夹来添加音频文件。

图1 系统功能框架图

（三）系统开发平台

开发工具与编程语言：Processing；源码支持环境：Windows/Linux/MacOS，需在Processing Development Environment-processing.exe中运行；开发使用的库文件：Minim 2.2.2，Sound 2.2.3；音乐、视觉效果均为团队原创，使用工具有：Adobe Illustrator，Adobe Photoshop，库乐队，Adobe Audition。

（四）作品特色

第一部分的作品包括My Song和麦克风输入。这两者都是将音频进行图像化处理的程序，在使用方面，如果想要套入使用的音频格式不是mp3，则需要去源码中找到XXX=new SoundFile（this,”Xxx.mp3”)这一行，将双引号中的文件名与格式改成想要播放的音频文件。如果还是无法播放则降低音频质量，因为受Processing自身频谱分析限制，无法分析过高质量音频。麦克风输入则如其字面意思一般，通过输入、捕捉外界声音，利用minim库来分析音频，进而生成图案变化——声音越低沉波动越平缓，音调越高则波动越剧烈。

第二部分的作品包括键盘钢琴与电子琴，这一部分的作品是对于图像音频化的诠释。琴音是根据每个键位输入的每个音所代表的频率来产生的。在编程时考虑的听众感受，采用的是体感最舒适的矩形波所生成的电子音。当然，也可以通过将源码第三行第一个单词改成SinOsc、SawOsc、TriOsc或Pulse来分别用正弦波、锯齿波、三角波或脉冲波形成音频。另外，电子琴在弹奏的时候屏幕随机出现会变化颜色的矩形，这些颜色变化是根据音频频率变化而产生的。

二、多媒体系统详细设计

根据作品类别任选一类（可包含但不限于下列内容）。

构想（创意）：我们作品的设计方向是围绕着“图像”与“音频”这两个概念展开的。其背后想法就是将“图像”可听化以及将“音频”可视化。

交互规则：我们参考了诸多乐器与麦克风的声音呈现方式，探索视觉、触觉对听觉具象化的可能性。

视觉艺术：采用Adobe Illustrator、Adobe Photoshop设计样稿，在Processing中通过编程实现样稿的可视化效果。

程序系统设计与编程（参考非媒体类的系统结构设计与数据库结构设计）：

全部使用Processing开发完成，调用的库文件有：Minim 2.2.2，Sound 2.2.3。

美术、声效：团队成员使用钢琴、架子鼓录制基础音频，在库乐队，Adobe Audition中进行优化处理。

编剧、角色、道具、场景：本作品中不涉及任何人物角色、道具与场景。

界面设计：由Processing封装的基础可视化界面。

三、系统安装及使用说明

Processing项目是Java开发的，天生就具有跨平台的特点，同时支持Linux、Windows以及Mac OSX三大平台，并且支持将图像导出成各种格式。对于动态应用程序，甚至可以将 Processing 应用程序作为 Java™ applet 导出以用在 Web 环境内。当然，为了降低设计师的学习门槛，用Processing进行图形设计的编程语言并不是Java，而是重新开发了一门类C的编程语言，这也让非计算机科班出身的设计师很容易上手。

（一）构建Processing环境

第一步是安装Processing环境。去Processing.org（https://processing.org/download/），单击Download Processing 并选择您的操作系统。此外，还需要确保Java技术已经可用。在windows上，下载解压后直接运行processing.exe即可。这应该会弹出Processing Development Environment（PDE 或 Processing IDE）。占此窗口较大的部分是文本编辑器。如果输入图中所示的两行代码，然后单击Run（左上角的三角形），出现一个窗口，显示您所输入的简单程序（或Processing术语所指的sketch）的结果。单击Stop（左上角的方框）退出程序，窗口消失。

（二）安装程序调用的库文件

在速写本-引用库文件-添加库文件中搜索并安装Minim 2.2.2，Sound 2.2.3。

图2 搜索并安装库文件

四、结语

我们作品的设计方向是围绕着“图像”与“音频”这两个概念展开的。其背后想法就是将“图像”可听化以及将“音频”可视化。本作品采用视觉、触觉等方式，令每一位体验者充分动用五感，感受音乐的魅力，其采用的交互效果也是音乐行业值得参考的。

我们期待这款产品在未来的迭代过程中能够通过可视化的形式帮助听障人士认识、理解音乐。