Game Audio Network Guild(G.A.N.G.) Awards 2024에서 SIDE 몬트리올 팀이 Scavengers Studio와의 합작인 SEASON: A letter to the future로 로 Best Sound Design for an Indie Game(최우수 인디게임 사운드 디자인) 상을 받았습니다.

이 타이틀은 기술적으로 심혈을 기울여 작업했기에 특별하고도 몰입감 넘치는 오디오를 경험할 수 있는데요. 그래서 오디오 비주얼 발췌 영상과 재밌는 비하인드 스토리로 가득한 Audiokinetic blog 원문 게시물을 정리한 본 기사를 통해 게임 사운드 시스템 개발 과정에 대해 자세히 설명하고자 합니다.

기사를 본격적으로 읽기 전에 헤드폰을 꼭 준비해 주세요!

SEASON: A letter to the future 소개

SEASON: A letter to the future는 깊은 사고와 반응 메커니즘으로 가득한 분위기 있는 여행을 즐길 수 있는 타이틀입니다. 플레이어는 처음으로 고향을 떠나는 젊은 여성인 에스텔을 플레이하게 됩니다. 모든 것을 없애버릴 미지의 재앙이 시작되기 전에 에스텔은 자전거 여행을 떠나 특별한 일기장에 세상을 둘러보며 얻은 추억을 기록합니다.

모든 것이 너무 늦어버리기 전에 신비한 세계를 이해하기 위해 고군분투하는 캐릭터를 플레이할 수 있습니다.

게임에서 플레이어의 행동이 가져오는 결과는 독특합니다. 단순히 오디오 기록을 채취하기만 하는 것이 아니라, 사진을 촬영하고, 만나는 사람들에 대한 기록을 남기며 여러 디테일 높은 배경 사운드를 녹음하게 유도하죠. 이 모든 과정은 주인공의 일기장을 채워 허물어져 가는 세상의 이야기를 알아내기 위해서입니다.

필드 레코더

이 게임에서는 음향 전문가가 좋아하는 행동을 마음껏 할 수 있습니다. 바로 흥미로운 소리 수집이죠. 다음은 해당 기능이 처음 공개된 2020 Game Awards 트레일러 영상입니다.

영상은 공개된 당시에 게임 커뮤니티에서 화제가 되었고, 이에 따라 Scavengers Studio는 스토리 및 게임 디자인 측면에서 레코딩 기능을 확대했습니다.

최종 디자인은 SIDE 몬트리올 오디오 팀과 Scavengers Studio 디자인, 프로그래밍, 내러티브 팀의 끊임없는 의견 교환을 거쳐 만들어졌습니다. 언리얼의 여러 Gyms 시리즈를 사용하여 여러 컨셉 아이디어를 시험해 보고, 이를 일기장 시스템 안에 어떤 메커니즘으로 적용하며 어떻게 내러티브를 풀어낼지에 대해서 고민했죠. 그 고민 끝에 제작진은 가능한 접근 방식 중 가장 대담한 방법을 택했습니다. 인엔진 오디오 캡처뿐만이 아니라 무엇을 녹음하냐에 따라 일기장 항목이 트리거되어 스토리를 진행하고 진화하도록 말이죠. 그 근간은 인엔진 사진 기능을 포토 모드로 변화시켜 오디오에 적용하자는 아이디어였습니다.

최대한 사실적으로 만들기 위해 플레이어가 어느 장소에서든 녹음하여 일기장에 저장하는 일이 가능하게 했습니다. 일기장에서 파일을 재생하면 미리 녹음된 사운드가 아니라 진짜 자신이 녹음한 소리를 듣게 되죠.

해당 기능으로 오디오 디자인과 사용이 크게 변화해 맞춤형 기술을 개발해야 했습니다.

레코더 사용 예:

일기장에서 레코딩 재생:

음향적 환경 창조

위에서 잠깐 언급한 것처럼 게임 음향적 환경 창조에서 가장 큰 문제는 모든 장소와 오브젝트가 일관적이면서 전체적으로 녹음 친화적이어야 한다는 것이었습니다.

보통 게임의 배경 음향은 아래 3가지 기술이 합쳐진 결과입니다.

1. 장소의 2D 음향

2. 오브젝트와 연결된 3D 음향(언리얼 엔진 블루프린트)

3. 환경에 직접 배치한 3D 음향

2D의 주변 음향과 반대되는 3D 음향은 무작위성과 독창성을 더하기 때문에 이것에 집중했습니다.약간의 연구를 거친 후, 배경의 거의 모든 요소에 음향을 직접 배치하기로 했고,그렇게 모든 나무와 수풀에는 고유의 음향이 생겼습니다. 수천 가지의 음향이 존재하는 것이죠!

블루프린트를 사용하면서 각 장소를 세밀히 조정할 수 있기 때문에 많은 시간과 노력이 소요되는 단점을 감수하고 이 방법을 선택했습니다. 그리고 같은 방법을 활용하여 강과 절벽이 이어지는 곳에 음향 소스를 배치하여 연속성을 조작했죠.

그러나 이 시스템에는 큰 단점이 있었습니다. 연속적으로 발생하는 음향의 페이즈 이슈를 피하고자 무작위화 작업을 아주 많이 거쳐야 했습니다. 거리에 따라 음성과 행위를 조절하는 무거운 순위 시스템이 기반인 점도 문제였죠.

어떻게 해결했을까요?

레코더 자체는 C++과 Wwise API를 사용해 직접 개발한 플러그인으로 언리얼에서 직접 사용하는 형태였습니다. Wwise 마스터 아웃풋은 앱의 저장 데이터에 오디오 파일로 녹음되고, 일기장에서 재생하면 해당 오디오 파일은 Wwise 오디오 인풋 플러그인을 사용하는 미들웨어로 보내져 실제 게임 플레이 시 재생되죠. 해당 녹음 기록은 음성 배경과 그 내러티브를 일부 NPC가 설명하는 경우, 그 스토리의 배경 세계로 불러올 수 있습니다.

게임에서 녹음하는 느낌은 어떨까요?

헤드폰을 쓰고 뭔가를 녹음하려고 하면 음향적 관점에서 여러 가지가 변화합니다. 인간은 의식적으로 듣고, 기계는 단순히 녹음한다는 것이 통념이죠. 하지만 녹음된 소리를 모니터링하면 그냥 들었을 때는 의식하지 않았던 모든 소리가 들리며, 이로써 인간의 청각이 얼마나 제한적인지에 대해 생각해 보게 되는데,이러한 정밀한 감각을 재창조하고자 했습니다.

이러한 듣는 행위에 "집중"하는 방법에 대해서는 여러 부서와 함께 토론했는데,참고 대상으로써 Hildegard Westerkamp가 밴쿠버 킷실라노 해변에 있는 따개비의 숨소리를 포스트 프로덕션 기법을 통해 심리학적 경험으로 재창작한 Kits Beach Soundwalk를 기용했습니다.

한 음향적 오브제를 바로 옆에서 "주의를 기울여" 듣는 기분이 들도록, 그러면서 주변 환경 소리 또한 살리는 것에 집중했습니다. 공간의 감각은 환경적 맥락에 큰 영향을 받기 때문에 나중에 다시 들을 때 소리가 너무 작위적이거나 인공적으로 들리지 않게 말이죠. 또한 플레이어가 스토리 상 중요한 소리가 아니라 일반적 환경 앰비언스를 녹음할 수 있기를 원했습니다. 마찬가지로 카메라 또한 플레이어가 자유롭게 다룰 수 있도록 했고요.

이를 위해서 레코더 사용 시 실시간 게임 믹스와 포커스에 세 가지 상태를 산정했습니다.

1. 레코더 끔: 보통 게임 플레이

2. 레코더를 손에 듦: 모니터링

3. 레코더를 손에 듦: 레코딩 진행 중

상태 1: 보통 게임 플레이

이 상태에선 음향적 환경에서 나오는 3D 요소가 상당히 적은데 이는 앞에 있는 것을 주로 듣는다는 의미입니다(이하 설명하는 Keepsakes 제외). 다른 믹스 모디파이어는 사용되지 않습니다.

상태 2: 레코더를 손에 듦: 모니터링

레코더를 꺼내면 음악과 보이스오버는 음소거되고 3D 요소 포커스가 더욱 확실해집니다. 2D 앰비언스는 6dB로 낮아지며, 또한 "Keepsakes"(이하 참조)는 더욱 돋보이기 위해 5dB 높아집니다. 마지막으로 전체 믹스에 컴프레션, 즉 주파수 대역(EQ) 변화와 약간의 디스토션을 더합니다. 이로써 헤드폰으로 빈티지 레코더를 연결해 듣는 느낌이 살아납니다. 게임의 목적상 마이크는 스테레오로 취급합니다.

상태 3: 레코더를 손에 듦: 레코딩 진행 중

상태 3은 상태 2와 꽤 비슷하지만, 깨끗한 레코딩 파일을 얻기 위해 주파수 대역(EQ) 변화와 디스토션은 건너뛰거나 제거하고 컴프레서 또한 약간 다르게 설정합니다.

PS5 헤드폰 믹스는 Sony의 Tempest 3D 오디오 시스템을 사용하는데, 스테레오 레코더를 사용할 때 소리의 공간적 배치를 강조하고 방향화시켜 여러 강화된 믹싱 특성을 느낄 수 있습니다.

Keepsakes

Keepsakes, 즉 수집품은 플레이어가 녹음하고 기록하도록 유도하는 독립적 3D 요소로,SIDE 몬트리올 팀이 많은 부분을 디자인했으며, 게임 각본가와 디자이너가 이를 스토리와 레벨 디자인에 포함했습니다. .즉, 음향이 레벨 디자인에 영향을 미치는 귀중한 순간인 셈이죠!

어떤 캐릭터의 코 고는 소리가 매우 독특해서 keepsakes에 포함했던 기억도 나네요. (SIDE 몬트리올 팀의 진짜 코 고는 소리일지도 모릅니다!)

Keepsakes는 녹음 전과 후 2가지 상태가 있습니다.

녹음 전

녹음하지 않은 Keepsakes는 크고 더욱 자주 들립니다. 다른 환경 음향의 소리를 줄여(사이드체인) 주의를 집중시키고,또한 긴 어테뉴에이션 커브를 적용해 멀리서도 들을 수 있습니다. 마지막으로 포커스를 넓게 설정해 플레이어가 다른 곳을 보고 있을 때도 들리게 합니다.

녹음 후

기록한 Keepsakes는 그렇게 눈에 띄지 않습니다. 예를 들어 매미 울음소리를 녹음했다면 매미가 그렇게 자주 울지 않게 발생 빈도가 감소합니다. 소리 또한 부드러워지고 사이드체인도 비활성화되죠. 어테뉴이션 커브와 포커스 설정도 다른 일단 3D 요소처럼 바뀝니다.

추가로 keepsake 녹음에 성공하면 게임 스토리를 알 수 있는 특정 대화가 재생되어 플레이어에게 수집 욕구를 부여합니다.

기억의 꽃

꽃은 특별한 keepsakes로 레코더 상태에 따라 다른 요소와 대비되는 특별한 소리를 가집니다. 보통 모드에서는 알아들을 수 없는 목소리(granular synthesis를 무작위로 배치하고 자른 프리베이크 조각) 같은 신비한 소리를 들을 수 있습니다. 레코더를 손에 들면 처리한 목소리가 커져 마법 같은 느낌이 들죠. 마지막으로 녹음하면 꽃에 담겨 있는 음성 기억을 듣고 이해할 수 있습니다. 물론 약간의 보코딩을 사용했기 때문에 여전히 신비한 느낌이 들 테고요. 오디오 감독 겸 작곡가 Spencer Doran 이 게임 내러티브 및 크리에이티브 감독 Kevin Sullivan과 함께 DAW를 사용하여 이러한 특별한 상태의 예가 될 프로토타입을 만들어 보았습니다.

햅틱 피드백

Keepsakes

테이프 레코더를 손에 들면 가까운 Keepsakes 때문에 컨트롤러가 진동하는데, 가까이 다가갈수록 진동이 강해집니다. 이 효과는 특히 PlayStation®5에서 정교하게 적용되어서 컨트롤러 손잡이의 진동이 소리가 나는 방향을 알려주기도 합니다. 햅틱 피드백은 플레이어가 목표를 향해 나아가는 것을 도우며 청각 장애인의 경우 설정에서 강도를 높일 수 있습니다.

또한 소리는 레코딩 과정의 중심 요소로 모든 플레이어가 경험할 수 있도록 컨트롤러 햅틱으로 소리가 촉감으로 전달(또는 번역)되게 했습니다. 수집한 소리가 햅틱 버스에 연결되도록 필요할 때는 햅틱 진동 정도를 도입하는 시스템도 구축했습니다(DualSense®는 좌우 음향 피드를 사용하며, 낮은 주파수의 베이스 이하 영역은 진동을 사용. 기준점은 DualSense®의 경우 500Hz 이하). 이는 음향뿐만이 아니라 물리적 감각도 자극하여 레코딩하는 느낌이 다중감각화되죠.

그렇지만 햅틱 세계의 모든 것이 동등하지는 않습니다. 어떤 keepsake 소리는 자연스럽게 흥미로운 진동을 창조하죠. 어떤 것은 Wwise Motion 버스로 전송 전 Wwise에서 EQ나 디스토션 같은 다양한 효과를 주어 효과적이고 읽기 가능하게 조작해야 하며,또 어떤 소리는 조작이 불가능해 Wwise Motion 소스로 대신해야 하는 경우도 있습니다. 어쨌든 모든 소리는 재밌는 방식으로 컨트롤러를 진동시킵니다.

자전거 타기

햅틱 피드백은 자전거 관련 경험도 향상합니다. 자전거를 타기 시작할 때 페달을 밟으면 컨트롤러에 강한 신호를 보내는데, 자전거로 이동하면 각 표면은 Wwise Motion 소스가 창조한 독특한 햅틱 피드백을 주며, 자전거 방향과 속도에 따라 변화합니다. 그래서 레벨 디자인 시 사운드 디자인과 일치하도록 몇 가지 햅틱 "텍스쳐" 효과를 만들어 여러 표면을 표현하도록 만들었습니다.

마무리

SEASON: A letter to the future는 테이프 레코더 메커니즘을 사용한 아주 독특한 작업으로 사운드 디자이너가 꿈꾸던 타이틀입니다. 게임의 음향적 환경은 사실적이고 유기적으로 몰입하게 도와주며, 게임 플레이가 그 사운드 디자인을 더욱 도드라지게 합니다. SIDE 몬트리올 팀의 정성과 Spencer Doran의 작업물과 비전을 바탕으로 제작진은 사운드가 중심이 되는 게임을 창조해 냈습니다. 그들은 혁신적이고 창조적인 사운드 디자인이 꼭 엄청 복잡하고 화려한 사운드를 의미하지 않는다는 것과, 때로는 단순하고 평화로운 바람 소리나 계곡의 물소리만으로 충분하다는 점을 증명했습니다.

본 기사는 SIDE 몬트리올의 제작물과 같이, 여러 팀의 협력을 통해 제작되었습니다. Nikola Viel, Manuel Silva가 주요 텍스트를 작성했으며, 프로젝트 리드 오디오 담당이자 Wwise에서 시스템을 구축한 Dylan Escalona, 레코더 플러그인을 작성한 오디오 프로그래머 Alexandre Choinière, 편집 담당자 Félix Leblanc, 통찰력과 조언을 준 FX Dupas가 도움을 주었습니다. 영감 넘치는 음악과 음향적 조언을 제공한 Spencer Doran에게 다시 한번 감사 인사를 전합니다.

*보너스 콘텐츠*

SIDE 몬트리올(전 Vibe Avenue) 팀이 오디오 감독 겸 작곡사 Spencer Doran과 함께 Audiokinetic의 특별 방송 Wwise Up On Air에 출연하여 SEASON: A letter to the future의 음악 시스템, 스테레오 인게임 필드 레코더, 햅틱 피드백 등에 대한 대화를 나눴습니다. 아래 링크에서 라이브 재방송을 시청하세요!