基于互联网的音乐信息传输技术研究及应用初探

韩金昊/杨万钧

引 言

2019年起，受新冠疫情（COVID-19）影响，全球各大音乐演出机构不得不停止线下演出，转而以虚拟音乐会形式在线进行音乐表演。不过受技术条件与客观网络质量影响，直播平台为保证流畅的信号传输，都会对音视频信息进行压缩，而有损压缩算法会对信号质量产生无法还原的失真及数据丢失。另一方面，直播和在线会议平台不对参与者的声音信号进行强制同步校验，使得在同一直播间或会议室的数个参与者间会产生不同长度的信号延迟，用于音乐表演其质量会受到严重影响。

在音乐创作方面，作曲家在使用网络会议时很难和演奏员流畅的交流，音频质量也达不到演奏标准，使得在创作时受到极大影响。尽管市场上有一些成熟的商业音频传输系统，但能满足线上音乐表演需求的均价格不菲，因而许多作曲家和工程师都在努力探寻一种能够在保证音频质量的情况下，低成本、高质量的传输音频数据的技术方案。

本课题是在疫情造成社会生产受到极大影响，作曲家和表演艺术家坚持在困难条件下继续音乐创作和表演的背景下提出的。笔者和团队成员针对相关问题与技术，检索并梳理了大量相关文献，对部分理论和技术进行研究实验，寻找可能的解决方案，通过本文向具有相关需求的读者进行介绍。

一、商业化网络音频传输系统

（一）线上虚拟音乐会

十多年前，网络音频传输是一项比较复杂的技术，要实现虚拟线上音乐会通常需要很高的经济和技术成本，例如自2010年开始的Eric Whitacre虚拟合唱团，在三年内实现了从185人到4000人的线上合唱表演，参与者遍布全球73个国家，在虚拟线上音乐会中留下了浓墨重彩的一笔。但他所构建的网络通讯系统十分庞大，运行成本很高，同时还需得到通信赞助商的支持，因此在完成第三次虚拟合唱音乐会后便不再举行。

近年来网络技术飞速发展，音乐信息传输技术得到快速进步，虚拟音乐会的概念也逐渐被大众接受，一些机构也把虚拟音乐会作为演出排期的一种列入计划。受新冠疫情影响，原定于2020年的许多音乐会都不得不紧急取消或改为线上演出，如2020年纽约城市电子音乐节（NYCEMF 2020）和2020年国际电子音乐年会（ICMC 2020）都为应对当地严峻的疫情，改成了线上虚拟音乐会或线上推广。

但因客观经济条件与技术条件的限制，组委会选用流媒体技术作为线上音乐会的通信手段。不过以流媒体技术传输的音频信息都会被压缩以加快传输速度，运营商和平台为了保证流畅度会再次压缩数据，这会对声音细节造成不可挽回的损失。为此NYCEMF组委会提供了可下载的工程文件和音频文件，方便听众在非实时环境中更好地欣赏作品。

由此可见，目前流行的网络直播平台或基于流媒体技术的网络会议平台并不适用于专业的音乐数据传输，难以应用于虚拟线上音乐会中，因而需要更符合专业音乐演出质量要求的网络音频传输方案。

（二）商业网络音频传输系统

通过网络传输音频的技术已经得到广泛应用，但要高质量、高精度的传输音频信号，目前只有很少的厂商掌握核心技术，其中Steinberg公司出品的VST Connect Performer系统是质量较稳定的常用系统之一。

VST Connect（下文简称VSTC）（如图1所示）的开发团队有着超过十年的网络音频传输技术的开发经验，该系统操作方便、功能强大，易于上手。VSTC是一款强大的音频信号传输及分布式处理软件，通过内置在Cubase和Nuendo中作为一个路由终端，实现音频传输网络的构建，在专属网络内可高质量、高精度的传输音频信号、MIDI信号，甚至视频信号，是当前使用较广的网络音频传输系统之一。

图1 VST Connection的工作界面

完整版本的Cubase或Nuendo价格较高，为满足非Steinberg用户应用VSTC技术，Steinberg公司允许单独发行并购买独立的VSTC程序，可以应用于其他工作站或音乐软件。

VSTC将音频信号的处理分散至网络上的多台计算机，减少单一计算机的运算压力。用户在主控端登陆后便可自行构建用户网络，将受控端接入系统中，构成一个基于网络的音频传输系统。在传输信号时，VSTC可同时实现信号处理。通过主控端的VSTC可以设置受控端的处理进程，精确控制数字信号的流向，实现网络内的信号分布式处理，最终混合成一个完整的信号。

除此之外，Apple公司的Logic Pro也提供基于网络的分布式音频处理（DAP）功能。利用TCP/IP协议，通过网络将信号分散到有Logic Node服务的节点上处理，借助每个节点的运算能力对音频信号实现处理，完成后发送回主机，减轻主机的运算压力。Logic Pro的DAP系统只能运行在苹果计算机上，不能跨平台、跨宿主连接，在通信上较为不便。但凭借Logic强大的编曲功能和人性化的操作设计，仍活跃在音乐家群体中。

（三）商业化声音处理网络的局限

Steinberg的VST Connect还是Logic Pro的DAP系统都是商业软件，作为功能模块或插件接入系统，其核心组件都进行了加密封装，对系统接入的功能做出了限制，降低了音频传输与信号处理的兼容性，使得作曲家很难对其进行二次开发。兼容性的减弱还意味着用户很难用其它平台的软件与系统建立连接，该网络系统下所有的成员都必须采用同样的接入方式，整体构建系统和使用的成本大大增加。这两套系统的目标客户是商业数字音频工作站，其售价与使用成本高昂，学生、非盈利组织研究者等难以负担其应用成本。

二、低成本的虚拟音乐会技术实现

（一）内网穿透技术

前面提到的声音传输系统大多在局域网内工作，可以在小型音乐会场中用作低延时的通信服务，但要在大型活动或远程表演中该如何实现信号传输呢？

经过笔者的研究与实验，大部分的声音传输系统都支持TCP/IP或UDP协议，因此可以利用内网穿透技术将本地IP地址和端口映射为公网IP地址和端口，从而将局域网和公网连通，使数字音乐信息可以通过公网进行传输。

在穿透内网时要使用和当前音频传输系统相同的网络协议，用转发IP的方式把内网的IP与端口映射到公网。在实验中，笔者使用JACK音频传输套件，其信号可以通过UDP协议传输，因此首先要构建一条UDP通道才可将系统与公网连通。

因可以实现内网穿透的服务或软件较多，经过多次实验，笔者最终选定SukuraFrp系统实现了内网穿透。该系统是一种服务进程（守护进程），不需对操作系统做出设置，能够根据选定条件自动构建UDP通道，非常适合有相关需求的音乐家或艺术家使用。

（二）MIDI协议

与常规网络数据一样，MIDI数据也可以在局域网内通过网络通信协议在各终端之间传输。Mac OS上可以使用系统内置的IAC驱动实现网络MIDI信号传输。Windows平台上与之相似的网络MIDI传输驱动有rtp MIDI，相较于MIDI over LAN或IP-MIDI等协议，rtp MIDI为开源自由软件，免费而高效。笔者基于WiFi网络使用rtp MIDI构建MIDI信息网络，免去布线的麻烦，减少对演出场地的占用，使通信变得更方便。

（三）Open Sound Control协议

OSC（Open Sound Control）是一种数据传输规范，用于应用程序、硬件之间的实时通信。OSC项目最初是为设计一种替代MIDI的高精度、低延迟、灵活的通信标准，用于网络环境下的实时音乐表演。相对于MIDI，OSC移除了MIDI许多固有的信息结构和硬件限制，加入了开放式、可自定义的空间地址模型，甚至可以通过标准网络硬件提供任意的参数控制。

TouchOSC是目前比较流行的开源OSC控制软件，支持跨平台连接，可以使用基于UDP和TCP/IP协议的网络通信。TouchOSC可以自行开发控制界面，用户可以根据需要在开发套件中设计交互面板，不需要从代码层面进行开发。

对于远程表演来说，OSC在网络通信方面已经超越了MIDI，可预见OSC将会成为音乐制作通用标准之一。

（四）JACK

JACK（Jack Audio Connection Kit）是一款介于软件与音频驱动之间的中间层，为音频软件、硬件之间的通信提供服务，可以让用户构建强大的信号处理及音乐制作系统。JACK来源于Linux系统，是专业级的声音服务（守护进程），为音频信号和MIDI数据提供实时、低延迟的连接。JACK中的JACKRouter服务可以运作在声卡驱动与音频软件之间，作为一个中间层把音频信号在各个端口间进行桥接。

在实验中，已载入JackRouter的音频程序可以作为JACK网络中的一个节点，通过JACK的中间层功能将信号桥接到其他应用或驱动中。这样的方式打破了操作系统对音频I/O的限制，JACK作为跳线盘（patch bay）以跳线的方式将各个音频软件的信号相互连通，构建自己的信号流路由系统。

三、线上虚拟音乐会设计与表演实践

经过笔者和团队对上述网络音乐信息通信技术研究和实验，于2021年4月在四川音乐学院数字媒体四川省重点实验室举办了一场小型虚拟线上音乐会，笔者和多位团队成员参与创作了多部基于网络通信的实时音乐作品。

此次线上虚拟音乐会在策划之初，就讨论决定作品基于低成本的互联网音乐传输技术和内网穿透的远程通信技术创作和实现，主要使用前文介绍的通信技术，搭建一套用于远程传输音乐信息的网络通信系统，以此实现一场实时的线上音乐会。

现代观众更愿意、更喜欢接受能够与自己产生联系的作品，如现场表演和现场互动；而录播的作品在内容上较为死板，虽然能够忠实地传达作者的创作意图，但观众很难身临其境地融入到作品中。因此本场音乐会作品既有传统的预制型作品、交互型作品，也有基于网络的实时交互作品、实时编码作品，从而体现出网络技术在音乐创作表演中的应用和新的可能性。

其中，实时交互作品以内网穿透为核心通信手段，用MIDI、OSC传递控制信息，用JACK传输音频数据，在总控计算机上整合为一个完整的作品。相比传统音乐创作，基于网络的创作可以使用低成本的开源软件与通信技术，减少使用价格高昂的商业化系统，大幅降低创作成本来实现虚拟音乐会。

在交互作品创作中，MIDI协议是最常用通信标准。传输MIDI信息比传输音频信息所需带宽更窄，传输更为高效。为减少演出时主控端的运算负荷，大部分的音频运算由音源宿主完成。宿主通过网络获取MIDI信息后，运算并生成音频信号，通过声卡发送至扬声器，提高系统的整体运算效率。

在表演方面，基于网络环境创作的作品无需演奏家亲临现场，能够跨越地域限制邀请到高水平的演奏家，减少人员流动所带来的一系列成本和安全问题，演奏家只需安装指定的通信软件就可加入虚拟音乐会进行表演。

实时的远程通信还可以强化表演者与创作者之间的联系，让彼此合作更容易，在表演时可以更方便地交流，精确控制作品表演的细节，实时回应现场观众的需求，与观众互动。

远程通信的优势不仅体现在表演者与创作者之间，在音乐会的参与人数上也可大幅提升。传统音乐会由于场地限制，无法满足过多观众同时亲临观赏，但在网络上不受此条件的限制。理论上只要网络音乐会主控端的数据带宽足够，就可以容纳更多的观众，因此网络音乐会可以让更多的音乐爱好者参与其中。

在观众互动中，使用网络通信可以拓展出新的交互方式。在本场音乐会中，笔者自行设计TouchOSC的界面，构建了一套自定义的OSC映射体系，成功地与MIDI系统连通，用无线控制的方法将OSC信息转化为MIDI信息与设备产生交互，将MIDI和OSC信息映射为灯光或影像事件，大大拓展了表演方式。演职人员提前将团队编写的TouchOSC控制程序发送给作为演出志愿参与者的观众，让他们按照设计要求在音乐会进行过程中参与到作品表演中来，使观众成为作品互动表演的一部分，打破观众与表演者之间的界限，强化表演者与观众的直接交流。

本场基于网络音频传输系统实现的音乐会，受到许多观众的好评与认可，在同行业参与者中留下很深的印象。许多观众表示这是一次耳目一新的体验，使用了很多未曾想到过的新方法，对基于网络技术的音乐表演有了新的认识，期待新作品的创作和表演。

结 语

在本次的音乐会实践中，笔者通过研究网络音频传输、虚拟音乐会的相关技术，找到了诸多可以实现网络音频传输的方案，既包括有成熟的商业声音传输系统，又有开源低成本的通信技术，可以满足不同人群的应用需求。

本团队对虚拟音乐会技术的实践找到了有效的低成本通信手段，实现了在不同网段间的实时通信，建立了由多种软件构成的音频传输系统。对于那些无法获得足够经济支持和技术支持的创作者而言，本次音乐会提供了一个良好的解决方案。这些低成本的通信技术在保证通讯质量的同时，还可以最大限度发挥用户的自主开发能力，根据用户知识背景和应用需求，以上的通讯技术还可在其它创作中加以应用。

对虚拟音乐会技术的研究还推动了笔者团队基于网络通信的实时互动音乐作品的创作，拓展了网络音频传输系统在音乐创作中的应用前景，探索到更多实时表演的可能性。希望相关的艺术家能够借此文获得新的灵感与思考。■