Lors de la remise de prix des Game Audio Network Guild (G.A.N.G.) Awards 2024, notre équipe de SIDE Montréal a remporté le prestigieux prix Meilleure conception audio pour un jeu indépendant pour sa récente collaboration sur SEASON: Une lettre pour l'avenir, développé et publié par nos ami⸱e⸱s de Scavengers Studio.

Le travail de l'équipe est considéré comme une prouesse technique et le résultat est une expérience audio immersive unique en son genre. C'est pourquoi nous avons hâte de vous donner un aperçu approfondi du processus de développement du système sonore du jeu, dans cet article rempli d'extraits audiovisuels et de faits amusants, tel qu'il a été publié à l'origine sur le blog Audiokinetic.

À vos écouteurs, et plongez dans l'aventure!

À propos de SEASON: Une lettre pour l'avenir

SEASON: Une lettre pour l'avenir est un voyage atmosphérique autour de la recherche existentielle, de la contemplation et de mécanismes de réflexion. Dans Season, vous incarnez Estelle, une jeune femme qui quitte son village natal pour la première fois. Elle se lance dans un voyage à vélo pour explorer le monde, documentant et consignant ses souvenirs dans un journal spécial, avant qu'un mystérieux cataclysme ne vienne tout balayer.

Dans le jeu, vous vous efforcez de saisir le monde énigmatique qui vous entoure et d'en capturer l'essence avant qu'il ne soit trop tard.

Le jeu a une façon très particulière de donner du poids à vos actions : au lieu de chercher des enregistrements audio qui traînent, vous êtes encouragé à prendre des photos, à documenter vos rencontres avec les habitants du monde et à enregistrer divers éléments des paysages sonores extrêmement détaillés de Season. Tout cela pour remplir le journal de la protagoniste et révéler l'histoire de ce monde en voie de disparition.

L'enregistreur de terrain

En tant que spécialistes du son, nous avons trouvé que ce jeu correspondait bien à l'une de nos pratiques les plus appréciées : la collecte de sons intéressants. Cette fonctionnalité est apparue pour la première fois dans la bande-annonce présentée aux Game Awards 2020 :

La vidéo a beaucoup fait parler d'elle dans la communauté des joueurs et joueuses, et a conduit Scavengers Studio à donner à la fonctionnalité un rôle encore plus important dans l'histoire et la conception du jeu.

La conception finale est le fruit d'une collaboration étroite entre l'équipe audio de SIDE Montréal et les membres des équipes de conception, de programmation et de narration de Scavengers Studio. En utilisant une série de « gyms » dans Unreal, nous avons testé un certain nombre d'idées différentes sur la façon dont le concept pouvait être abordé, et comment il fonctionnerait à son tour dans les mécanismes du système de journal (et, à son tour, dans le déroulement de la narration elle-même). Nous avons opté pour ce qui était probablement la plus ambitieuse des approches possibles, en utilisant non seulement la capture audio dans le moteur, mais en faisant en sorte que les enregistrements déclenchent des entrées de journal qui révèleraient et approfondiraient l'histoire en fonction de ce qui était enregistré. L'idée était essentiellement de reprendre le concept du « mode photo » pour la photographie en jeu et de l'appliquer à l'audio.

Nous voulions que ce soit aussi « réaliste » que possible, en permettant aux joueurs et joueuses d'enregistrer n'importe quel lieu et de stocker ces enregistrements dans le journal. Lorsque vous lisez le fichier depuis votre journal, vous entendez bien votre enregistrement, et pas seulement une version « préfabriquée » de ce que vous avez essayé d'enregistrer.

La simple présence de cette fonctionnalité a considérablement influencé la façon dont l'audio a été conçu et mis en œuvre : elle a nécessité le développement de certaines technologies sur mesure par notre équipe.

L’enregistreur en action :

Lecture des enregistrements dans votre journal :

Création de l'environnement sonore

Comme indiqué dans le paragraphe précédent, l'un des plus grands défis de la conception des paysages sonores du jeu était que chaque lieu et objet devait être « compatible avec l’enregistreur », de manière harmonieuse et homogène.

En général, les ambiances d'un jeu sont une combinaison de trois techniques différentes :

1. Sons 2D liés à des emplacements ;

2. Sons 3D liés à des objets (sur Unreal Engine Blueprints) ;

3. Des sons 3D placés manuellement dans les environnements.

Comme les sons en 3D ajoutent un aspect aléatoire et unique, contrairement aux sons ambiants en 2D, nous avons beaucoup utilisé les premiers. Après quelques recherches, nous avons décidé de placer des sons manuellement sur presque tous les éléments du paysage. Chaque arbre, chaque buisson a sa propre source sonore. Il y en a des milliers!

Nous avons choisi cette solution plutôt que d'utiliser Blueprints pour avoir la liberté d'affiner les emplacements individuels, ce qui a pris du temps, mais en valait la peine. Nous avons utilisé le même procédé pour simuler la continuité d'une rivière ou d'une falaise, en plaçant des sources sonores tout au long du parcours.

Ce système n'était cependant pas sans inconvénient. Nous avons dû recourir à beaucoup de randomisation pour éviter les problèmes de phase sur les sons se produisant simultanément, ainsi qu'à un système de priorité assez lourd basé sur la proximité pour garder le nombre de voix et les performances sous contrôle.

Comment cela fonctionne-t-il?

L’enregistreur lui-même prend la forme d'un plugiciel personnalisé codé directement dans Unreal en C++ à l'aide de l'API Wwise. La sortie principale de Wwise est enregistrée comme fichier audio dans les données de sauvegarde de l'application. Une fois déclenché par le journal, ce fichier audio est renvoyé dans le logiciel médiateur à l'aide du plugiciel d'entrée audio de Wwise, ce qui lui permet d'être joué directement dans le jeu. Ces enregistrements peuvent également être rejoués à certains PNJ au cours de l'histoire, afin qu'ils précisent leur signification au sein du paysage sonore et de sa narration entrelacée.

Comment se passe l'enregistrement des sons dans le jeu?

Il y a d'énormes changements dans la perspective sonore une fois que l'on met le casque et que l'on essaie d'enregistrer quelque chose. On dit que les humains écoutent, mais qu'un microphone ne fait qu'entendre. En écoutant le son d'un microphone, vous entendez soudain tous les détails que vos oreilles filtrent habituellement et vous vous rendez compte à quel point notre perception des sons est faussée. Nous avons voulu recréer cette sensation précise.

En collaboration avec plusieurs services, nous avons mis au point un certain nombre de méthodes différentes pour tenter de « cibler » l'écoute. Une des références mentionnées était l'œuvre d'art sonore « Kits Beach Soundwalk » (Balade sonore sur la plage de Kits) de Hildegard Westerkamp , dans laquelle elle raconte qu'elle se concentre sur le « minuscule » bruit que font les pouces-pieds sur la plage de Kitsilano lors d'une session d'enregistrement dans la baie de Vancouver et recrée l'expérience psychologique d'une écoute attentive en utilisant des techniques de postproduction en studio.

Nous voulions retrouver cette sensation d'écoute rapprochée, ou « profonde », pour chaque objet sonore, mais nous ne voulions pas perdre les environnements sonores de fond, car cela aurait donné l'impression que l'enregistrement était trop mis en scène et artificiel lors de la lecture (et le contexte environnemental de chaque son était en grande partie ce qui évoquait le sentiment qu'il était rattaché à un lieu). Nous voulions également que les joueurs et joueuses aient la possibilité d'enregistrer l'ambiance générale de l'environnement, et pas seulement les sons importants d'un point de vue narratif. Comme pour l'appareil photo, il était essentiel que son utilisation laisse aux joueurs et joueuses le plus de liberté possible.

Pour ce faire, trois états différents influencent le mixage et l'orientation du jeu en temps réel, en fonction de l'utilisation de l’enregistreur.

1. Enregistreur désactivé : jeu normal

2. Enregistreur en main : à l'écoute

3. Enregistreur en main : enregistrement en cours

État 1 : Jeu normal

Dans cet état, l'attention portée aux éléments 3D du paysage sonore est assez étroite, ce qui signifie que vous entendez principalement ce qui se trouve devant vous (à l'exception des souvenirs, qui sont décrits ci-dessous). Aucun autre modificateur de mixage n'est utilisé.

État 2 : Enregistreur en main, à l'écoute

Lorsque l'on sort l’enregistreur, la musique et les doublages sont mis en sourdine. L'accent mis sur les éléments 3D est beaucoup plus prononcé. Les ambiances 2D sont réduites de 6 dB. De plus, les « souvenirs » (voir ci-dessous) sont renforcés de 5 dB pour les rendre plus présents. Enfin, la compression, les changements dans la prévalence des fréquences (EQ) et une légère distorsion sont ajoutés au mixage global. L'écoute est simulée au moyen d'un casque relié à un enregistreur d'époque. Pour les besoins du jeu, le microphone est considéré comme étant stéréo.

État 3 : Enregistrement en cours

L'état 3 est assez proche de l'état 2, sauf que les changements dans la prévalence des fréquences (EQ) et la distorsion sont contournés/supprimés afin d'obtenir un fichier d'enregistrement propre. Le compresseur a également des réglages légèrement différents.

Le mixage du casque de la PS5 utilise le système Tempest de Sony pour l'audio 3D, ce qui rend toutes ces variations de mixage encore plus évidentes et perceptibles lorsque vous passez à l’enregistreur stéréo, car le placement spatial des sons est plus accentué et plus directionnel.

Souvenirs

Les « souvenirs », ou « sons à collectionner », sont des éléments 3D spéciaux que les joueurs et joueuses doivent enregistrer et documenter. Dans de nombreux cas, ils ont d'abord été conçus par notre équipe de SIDE Montréal, avant d'être soumis aux scénaristes et concepteur·rice·s du jeu et inclus dans l'histoire et la conception des niveaux. C'est l'une de ces rares occasions où l'audio influence la conception des niveaux!

Nous nous souvenons avec émotion d'un certain personnage ronflant qui était tellement emblématique en matière d'audio qu'il a été décidé de l'ajouter aux souvenirs. C'était peut-être un membre de l'équipe de SIDE Montréal qui ronflait pour de vrai… ou non!

Les souvenirs ont deux états différents : avant et après leur enregistrement.

Avant l'enregistrement

Les souvenirs non enregistrés sont plus bruyants et entendus plus souvent. Pour attirer l'attention, ils réduisent le volume d'autres sons de l'environnement (chaîne latérale). Ils ont également leurs propres courbes d'atténuation, plus longues, de sorte que nous les entendons de loin. Enfin, ils ont une portée beaucoup plus large, de sorte qu'ils peuvent être entendus même lorsque le personnage joueur regarde ailleurs.

Après l'enregistrement

Les souvenirs enregistrés n'ont plus besoin de se démarquer autant. Leur fréquence d'apparition diminue ; par exemple, les cigales émettent moins souvent leur bruit caractéristique. Les sons sont également plus doux et leur chaîne latérale est désactivée. Ils utilisent également les mêmes courbes d'atténuation et les mêmes réglages de mise au point que les autres éléments 3D ordinaires.

En outre, l'enregistrement réussi d'un souvenir déclenche des lignes de dialogue spécifiques qui donnent un aperçu de l'histoire du jeu, ce qui encourage les joueurs et joueuses à enregistrer tous les sons à collectionner qu'ils ou elles rencontrent.

Fleurs de souvenirs

Les fleurs sont des souvenirs spéciaux qui, contrairement aux autres, produisent un son différent selon l'état de l’enregistreur. En mode normal, vous entendez des sons magiques avec une touche de voix inversées et brouillées inintelligibles (qui ont été séparées en bribes à l'aide de la synthèse granulaire et placées dans des conteneurs aléatoires). Avec l’enregistreur en main, ces voix traitées deviennent proéminentes, avec un petit air magique. Enfin, lors de l'enregistrement, on peut entendre et comprendre le souvenir vocal conservé dans la fleur, même s'il conserve un effet « éthéré », grâce à un codage subtil des lignes vocales. Le directeur audio et compositeur Spencer Doran a conçu ces différentes étapes avec Kevin Sullivan, le directeur narratif et créatif du jeu, et a maquetté différents prototypes dans sa station de travail audionumérique pour expliquer la direction prise.

Retour haptique

Souvenirs

Lorsque vous tenez l’enregistreur dans votre main, les souvenirs qui se trouvent à proximité font vibrer la manette. Plus on est proche, plus les vibrations sont fortes. L'effet est particulièrement sophistiqué sur la PS5, où les vibrations de la manette indiquent également la direction du son en l'orientant entre les deux poignées de la manette en fonction de son emplacement. Le retour haptique est donc utilisé comme un autre moyen de guider les joueurs et joueuses vers leurs objectifs, et il existe plusieurs façons d'augmenter l'intensité de l'effet dans les réglages pour les personnes sourdes ou malentendantes.

Par ailleurs, le son étant un élément central du processus d'enregistrement, nous voulions que tous les joueurs et joueuses en fassent l'expérience d'une manière ou d'une autre, c'est pourquoi les haptiques de la manette servent également à transférer (ou à traduire) le son au sens du toucher. Nous avons créé un système dans lequel l'audio des sources sonores à collectionner est également acheminé vers le dispositif haptique (car la manette DualSense utilise un flux audio gauche/droite pour contrôler les vibrations avec les basses fréquences de la gamme des sous-basses) et placé dans la gamme des vibrations haptiques si nécessaire (sur la manette DualSense, c'est en dessous de 500 Hz), de sorte que cela devienne une sensation physique en plus d'une sensation auditive, et que la « sensation » de l'enregistrement devienne multisensorielle.

Cependant, tous les sons ne sont pas égaux dans le monde de l'haptique. Certains souvenirs sonores ont naturellement créé des vibrations intéressantes. D'autres ont dû être traités dans Wwise avec divers effets (comme des égaliseurs ou de la distorsion) avant d'être envoyés au dispositif Wwise Motion pour être efficaces et lisibles. En outre, d'autres sons ne fonctionnaient pas du tout et ont été remplacés par une source de Wwise Motion. Le son devait toujours faire vibrer la manette de manière intéressante.

Faire du vélo

Le retour haptique a également été utilisé pour améliorer l'expérience du vélo. Les premiers coups de pédale envoient un signal fort à la manette. Une fois à vélo, chaque surface a une sensation haptique spécifique, créée par sa propre source Wwise Motion et modulée en fonction de la direction et de la vitesse du vélo. Nous avons donc dû créer un certain nombre de « textures » haptiques pour correspondre aux différents types de surfaces dans la conception du niveau qui, à son tour, devait aussi correspondre à la conception du son.

Conclusion

Travailler sur SEASON: Une lettre pour l'avenir, et en particulier sur le mécanisme unique de l’enregistreur, était le rêve de tout concepteur ou conceptrice sonore. L'ambiance sonore du jeu rend l'immersion authentique et organique, et le mécanisme de jeu met en valeur la conception sonore, créée avec soin par l'équipe de SIDE Montréal, ainsi que le travail et la vision de Spencer Doran, et lui donne une place centrale. Cela prouve qu'une conception sonore vraiment innovante et créative ne signifie pas toujours des sons tapageurs nés d'une superposition quasi infinie, et que parfois le simple et paisible bruissement du vent ou de l'eau qui coule dans la vallée peut être tout ce dont vous avez vraiment besoin.

Cet article, comme tout ce qui est produit par SIDE Montréal, est le résultat de la collaboration d'une équipe multidisciplinaire. Nikola Viel et Manuel Silva ont écrit l'essentiel du texte, mais des contributions notables ont été apportées par Dylan Escalona, qui est intervenu en tant que Chef de projet audio sur le projet et a conçu des systèmes dans Wwise ; Alexandre Choinière, programmeur audio qui a mis au point le plugiciel du magnétophone ; Félix Leblanc, qui a aidé à l'édition ; et FX Dupas, qui a encore plus amélioré l’ensemble grâce à ses idées et ses contributions. Merci également à Spencer Doran pour sa musique inspirante et sa direction audio, ainsi que pour son aide dans la rédaction de cet article.

*Contenu bonus*

L'équipe de SIDE Montréal (anciennement Vibe Avenue) s'est jointe à Audiokinetic avec le directeur audio et compositeur Spencer Doran pour un épisode spécial de Wwise Up On Air, afin de discuter plus en détail des systèmes musicaux ambitieux et réfléchis de SEASON: Une lettre pour l'avenir, le magnétophone binaural en jeu, le retour haptique, et plus encore. Regardez la retransmission ci-dessous!