在2024年的G.A.N.G（游戏音频网络协会） 颁奖仪式中，我们的SIDE蒙特利尔团队凭借近日与《寄梦远方》的合作获得了 最佳独立游戏音频设计 的殊荣。该游戏由我们的朋友Scavengers Studio开发和发行。

SIDE团队的工作被评价为一项颇具意义的技术成就，其成果是一种真正独一无二的沉浸式音频体验。因此，在本文中，我们将很高兴能带您深入了解他们为游戏开发音频系统的过程。本文最初发表在 Audiokinetic blog上，将包含大量的音频与视频片段，还有一些有趣的小知识。

戴上您的耳机，让我们开始这场音频之旅吧！

关于《寄梦远方》

《寄梦远方》是一场充满灵魂探索、沉思和反思机制的氛围之旅。在《寄梦远方》中，你将扮演艾斯黛尔，一位初次离开她的家乡的年轻女孩。她骑着单车，踏上探索世界的旅程，并在神秘的大灾难毁灭一切之前，在一本特别的日记上记录下沿途所见的点点滴滴。

在游戏中，你需要尽力探索周围神秘的世界，并在为时已晚之前追寻一切事物的本质。

游戏以一种独特的方式体现你的行为的分量：你并不需要四处寻找散落的音频记录，而是被鼓励多拍照片，记下你与该世界居民的相遇，并录制游戏声景中极其详尽的各类声音元素。而这一切都是为了填满主角的日记，并向玩家展现这个正逐渐分崩离析的世界背后的故事。

场地录音机

作为处理音频的专家，这款游戏的性质几乎是为我们最爱的工作量身定做：即， 收集有趣的声音。 这项特色首次出现在2020年的Game Awards预告片中：

该视频在游戏社区引起了强烈的反响，并促使Scavengers Studio更加重视这项特色，赋予其在叙事与游戏设计中更大的主导作用。

在SIDE蒙特利尔音频团队和Scavengers Studio的设计、编程和叙事团队成员的协作努力之下，最终的设计形态得以成型。通过使用虚幻引擎中的一系列不同的“gyms”，我们测试了许多不同的想法，以了解该概念的实现方式，以及它要如何与日记系统机制相结合，进而在叙事本身的展开中发挥作用。我们最后选择了或许是最有野心的方案：不仅是使用引擎内的音频捕捉，还让录音可以触发日记条目，而这些条目会根据录制的内容揭示和深化故事的情节。这个想法本质上是将“照相模式”的概念用于引擎内摄影，并将其应用于音频。

我们希望游戏尽可能达到“真实”效果，让玩家可以在任何地点进行录制，并将这些记录存储在他们的日记中。于是，当播放日记中的文件时，你确实可以听到你亲手录下的真实声音，而非一段经过润色的“预制”版本。

仅是这一项特色，就极大地影响了音频的设计和实现方式——它需要我们的团队为其开发定制技术。

正在运行的录音机：

在日记中回放的录制音频：

创建声景

正如前文所点出的，设计游戏声景的最大挑战之一，是每个地点和物体都需要以和谐与统一的方式与录音机相配合，保证音频录制过程能够顺畅进行。

通常而言，一个游戏的氛围体现依赖于三种不同技巧的组合：

1. 与地点相关的2D音效；

2. 与（在虚幻引擎蓝图上的）对象相关的3D音效；

3. 手动配置于环境中的3D音效。

由于3D音效相对于2D环境背景音增加了随机性和独特性，我们对前者通常更为重视。经过一番研究， 我们决定手动将音效添加到景观的几乎每个元素上。每棵树、每丛灌木都将拥有自己的声源。 那可真是成千上万的数量！

我们没有使用蓝图，而是选择了这种方式，以便能够自由地对各个位置的音效进行微调。这种做法十分费时费力，但带来的回报让努力有了价值。同样地，我们用这种方法模拟河流或悬崖的连续性，并沿着其路径放置声源。

然而，这个系统也并非十全十美。我们必须使用大量随机化方法来避免同时发生的声音在相位上出现问题，同时还要基于距离使用一套相当复杂的优先级系统，以控制声音的数量和表现。

实现原理是怎样的？

录音机本身采用自定义插件的形式，使用Wwise API直接在Unreal中使用C++编码。Wwise的主输出被记录为应用程序保存数据中的音频文件。当从日记触发时，该音频文件将使用Wwise音频输入插件发送回中间件，从而可以在实际游戏中播放。这些录音也可以被带回故事的叙述世界中，因为你可以向一些NPC播放这些音频，让他们来诠释这些音频在声景和交织的叙事中具有何种含义。

在游戏中录制音频是一种什么样的感觉？

当你戴上耳机，并尝试录制音频时，你的听觉视角会发生巨大的变化。我们常说，人类会倾听声音，而麦克风只会接收声音。通过监听麦克风的声音，你会突然听到那些通常被耳朵过滤掉的所有细节，并感受到我们对声音的感知存在多少偏差。我们想要重现这种精妙的差别。

我们与多个部门合作，研究了多种不同的方法来尝试“集中”倾听。在讨论过程中有一项参考被提起，即Hildegard Westerkamp的声音艺术作品“Kits Beach Soundwalk”。该作品描绘了她在温哥华湾录音期间所注意到的，基斯兰奴海滩上藤壶所发出的“轻微”嘶嘶声，并使用工作室的后期制作技术重现了近距离聆听的心理体验。

我们希望能实现这种在近距离或是“深度”聆听单个声音对象的感觉，但我们也不想抹去背景音，因为这样会让录音在播放时显得太过刻意而不自然。另一方面，音频所处的环境背景，将会对听者感受声音的具体位置和环境起到重要作用。我们同样希望玩家能够记录那些更普遍和常见的环境氛围音，而不仅仅是那些在叙事和故事推进上具有重要意义的声音。 与相机一样，在录制音频方面，我们必须给予玩家尽可能多的使用自由。

为实现这一点，在使用录音机时，三种不同的状态会影响实时游戏中的混音和声音焦点。

1. 关闭录音机：正常游戏状态

2. 手中持有录音机：监听状态

3. 手中持有录音机：录制音频状态

第一种状态：正常游戏状态

在这种状态下，来自声景的3D元素的焦点将相当狭窄，这意味着你主要听到的是眼前物品或地点的声音（除了下面将要描述的纪念音频）。这种状态下不会使用其他的混音修改器。

第二种状态：监听状态

当角色拿出录音机时，背景音乐和旁白都会被静音。3D元素的焦点将更加显著。2D的环境音会降低6dB。此外，“纪念音频”（见下文）增加了5dB，以增强存在感。最后，整体混音会增加压缩、均衡（EQ）和轻微的失真效果。这是在模拟通过连接到老式录音机的耳机聆听声音的效果。为了游戏的需要，麦克风会被视为立体声。

第三种状态：录制音频状态

第三种状态与第二种非常接近，只不过为了获得清晰纯净的录音文件，频率均衡(EQ) 和失真的变化会被移除。压缩器的设置也会略有不同。

PS5耳机混音使用索尼的Tempest系统实现3D音频，当你切换到立体声录音机时，所有这些混音变化会变得更加明显和更容易感知，因为声音的空间位置将被大幅强调，且具有方向性。

纪念音频

“纪念音频”，或“收藏音频”，是我们希望玩家记录的突出的3D元素。在许多情况下，它们首先由我们的SIDE蒙特利尔团队设计，然后提交给游戏的编剧和设计师，然后他们会将它们纳入故事和关卡设计中。这是音频影响关卡设计的宝贵时刻之一！

例如，我们很怀念某个角色打鼾的场景，而由于它非常具有标志性，他们便决定将其加入到纪念音频中。它或许就是SIDE蒙特利尔团队的成员之一在现实中的打鼾声，也或许不是，没人知道真相！

纪念音频有两种不同的状态：录制前和录制后。

录制前

未经录制的纪念音频发出的声音更大，且会被更频繁地听到。它们会通过侧链（降低其他环境声音的音量）来吸引注意力。它们还会拥有独有的，更长的衰减曲线，以便我们可以从远处听到它们的声音。最后，它们的焦点将更加广泛，因此即使玩家将目光移开，也可以听到它们的声音。

录制后

已被录制的纪念音频就不必那么引人注目了。它们出现的频率会降低；例如，蝉发出独特声音的次数会减少。声音也会变得更柔和，并且其侧链将被禁用。它们还会切换到与其他常规3D元素相同的衰减曲线和焦点设置。

此外，成功录制纪念音频会提示特定的对话，对话中将提供一些关于游戏故事的见解，进一步鼓励玩家录制他们遇到的所有收藏音频。

记忆之花

记忆之花是一种特殊的纪念音频，与其他纪念音频不同，它会根据录音机的状态发出不同的声音。在正常模式下，你会听到奇幻的空灵之音，还会有一丝令人困惑的反向和嘈杂的声音（这些声音通过颗粒合成被切割成预制的片段，并放置在可以随机排列的容器中）。当手持录音机时，处理过的声音将变得突出，带有一丝迷幻的气氛。最后，当它被录制完成时，你可以听到并理解花朵中保留的声音记忆。不过，这些声音的声音线条仍然进行过一些细微的声码处理，因此带有一种“空灵”的迷幻效果。音频总监兼作曲家Spencer Doran 与游戏的叙事和创意总监Kevin Sullivan共同设计了这些不同的阶段，并在他的数字音频工作站（DAW）中制作了几个不同的原型，以解释设计思路。

触觉反馈

纪念音频

每当你的手里拿着录音机时，附近的纪念音频就会引起控制器振动。离纪念音频越近，震动就越强烈。这种效果在PS5上的体现尤为特殊，其中，控制器的振动还会根据声源位置在控制器的两个握把之间平移声音，以提示声音的方向。因此，触觉反馈被用作引导玩家实现目标的另一种方式。有多种方法可以在针对聋哑或听力障碍玩家的游戏设置中增加效果强度。

此外，由于音效是录制过程中的核心元素，我们希望所有玩家都能以某种方式体验到这一过程，因此控制器的触觉反馈也可以作为将声音传输（或转化）为触觉感受的一种方式。我们设计了一个系统，将收藏音频的声源也发送到触觉总线（因为DualSense使用左/右音频输入来控制振动，包括亚低音频率范围的低频），并根据需要将其调整到触觉振动范围内（在DualSense上，该数值为低于500Hz），这样它不仅能成为听觉感知，也会成为物理感知，因此录音的“感觉”将变得多感官化。

不过，不是所有音效的触觉反馈效果都相同。有些纪念音效自然而然传达出了有趣的振动效果。而其他的则需要在Wwise中使用各种效果（如EQ或失真）进行处理，然后发送到 Wwise Motion总线，振动才能有效且可读。以及，还有些声音完全不会引起振动，这实际上是被Wwise Motion源取代了。因此声音必须始终使控制器以一种有趣的方式振动。

单车骑行

触觉反馈也被用于增强骑行体验。最初踩踏板的几次动作会向控制器发送强烈的信号。而在骑行时，每个地表都会产生由其自己的Wwise Motion源创建的特定的触觉，并根据自行车的方向和速度调节。因此，我们需要制作一些效果触觉“纹理”，来匹配关卡设计中的不同类型的地表，进而与音效设计相匹配。

总结

每个音效设计师的梦想或许都是为像《寄梦远方》一样的作品创作，尤其是那些有关录音机的独特机制。游戏的声景让沉浸感真实而自然，而游戏的玩法则拔高了声音设计的水平。这由SIDE蒙特利尔团队精心制作，并结合Spencer Doran的工作和愿景的特色，使其完全成为该游戏的焦点。这一举措正表明，真正革新和富有创意的音效设计并不总是意味着通过近乎无限的层叠产生的华丽声音，有时，简单而平静的风声或是山谷中簌簌的流水声可能才是真正的追求。

本文与SIDE蒙特利尔的所有作品一样，都是多学科团队努力合作的成果。Nikola Viel和Manuel Silva撰写了文本的大纲，但Dylan Escalona也做出了显著贡献，他是该项目的首席音频师，并担任在Wwise中设计系统的职责；Alexandre Choinière是音频程序员，他编写了有关录音机的插件；Félix Leblanc是协助编辑；FX Dupas凭借他的见解和投入，让所有这一切都更上了一层楼。我们同时还要感谢Spencer Doran鼓舞人心的音乐和音频指导，以及他对本文所做出的贡献。

*额外内容*

SIDE蒙特利尔 (前身为Vibe Avenue) 团队与Audiokinetic音频总监兼作曲家Spencer Doran一同参加了Wwise Up On Air的特别节目。他们在其中进一步讨论了《寄梦远方》富有野心且经过深思熟虑打造的音乐系统，游戏中的双耳场地录音机、触觉反馈以及更多内容。欲知更多信息，您可观看下面的直播回放！