고객사는 혁신적인 타이틀 출시로 명성이 높은 기업입니다. 많은 상을 받았으며 전 세계적으로 좋은 평가를 받았습니다. VR 게임의 선구자인 고객사는 신규 VR 하드웨어 출시에 맞춰 VR 타이틀을 출시하고자 했습니다.

고객사는 기능 QA의 중요성을 강조했습니다. 신규 타이틀의 성공을 위해서 고객사는 다음과 같은 항목의 테스트를 요구했습니다.

• 그래픽, 충돌, 오디오, VFX, 메카닉, 전반적 플레이성 등 게임 내 기능의 모든 측면
• 게임 환경
• 새로운 기능
• 메뉴 기능성
• 네트워크 매치메이킹
• 비주얼, 헤드 트래킹, 프레임 수와 같은 통합 VR의 모든 측면

해당 VR 테스트 프로젝트는 PTW 기능 테스트 팀에게 다음과 같은 흥미로운 문제를 던져 주었습니다.

• 하드웨어의 요구 사항 충족 확인
• 구형 개발자 키트의 VR 헤드 마운트 디스플레이를 사용하면 극대화되는 사이버 멀미, 목과 허리 통증 체험 및 극복
• 테스트 중 자주 휴식 시간 갖기
• 미완성 타이틀을 테스트하면서 발생하는 이슈에 대한 픽스 지연 문제
• 기기 스케줄 및 기능에 따라 결정되는 팀 자원 배치

고객과 긴밀히 협력한 PTW는 고객이 요구한 VR QA 서비스를 제공할 수 있었습니다. 기능 테스트 팀은 고객사 내부 QA 팀과 협력하며 이슈를 고객사 내부의 QA팀에 직접 보고했습니다.

다음과 같이 목표를 설정하고 집중하여 프로젝트를 성공시켰습니다.

• 교육
  셀프 러닝과 교육 프로그램을 통해 팀 멤버 모두가 제품과 하드웨어를 철저히 이해하였습니다. VR 테스트에 몰입하여 장기간 VR 테스트를 숙달하고 최적화된 휴식 시간을 산출해냈습니다.
  
  
• 위험 관리
  인력 배정 전에 편두통, 뇌전증, 목 또는 허리 통증, 눈 건강 상태 등과 같은 병력이 있는지 위험 요소를 확인했습니다. 그 외 기타 의학적 또는 상황적 요인도 고려했습니다.
  
  
• 테스트 환경
  움직일 수 있는 큰 공간, 직사광선을 막는 블라인드, 기기와 케이블이 잘 정리된 특별한 VR 테스트 환경을 마련했습니다.
  
  
• 테스트 디자인 및 실행
  프로젝트 초기, 팀은 조사를 위한 테스트 방식을 도입했습니다. 타이틀 사양에 추가하기에 앞서 각 기능을 테스트했으며 멀티플레이어 게임이 가능할 때는 안정성과 연결 문제에 집중했습니다.
  
  게임이 변화하면서 철저한 테스트를 위해 게임을 여러 부분으로 나누어야 했습니다.
  프로젝트 막바지에 게임의 다양한 기능을 테스트 케이스별로 분류하여 테스트를 구체화할 수 있었습니다. PTW는 고객과 협력하여 테스트 케이스를 제작하였습니다. 또 고객사는 외부 인력과 협력하는 프로젝트의 경우 이전에 활용하지 않았던 테스트 방식 등을 개발하였습니다. 비주얼 스튜디오(Visual Studio)를 이용하여 크래시 덤프를 확인하고 분석하여 개발팀이 그 원인을 확인하도록 지원하는 것 등이 그 예입니다. 버그를 수정한 후에는 리그레션 테스트를 통해 수정 중 다른 문제가 발생하지는 않았는지를 확인했습니다.
  
  
• 고객사 평가 및 피드백
  테스트 프로그램이 올바른 방향으로 진행되는지, 고객사가 PTW의 업무에 만족하고 있는지를 평가하기 위해 고객사로부터 정기적으로 피드백을 받았습니다.
  
  PTW 팀은 고객사의 내부 QA팀에 직접 보고하여 언제나 완벽한 파트너십을 이뤘습니다.

성과

테스트 절차를 철저히 준수하고 개선을 거듭하고 꼼꼼히 테스트를 진행하여 아주 높은 품질의 테스트를 완료했습니다.

기능 테스트 팀은 고객사 내부 팀이 발견한 것 외에도 2,000여개의 버그를 발견했습니다.

다음은 PTW가 활용한 도구의 일부 목록입니다.

• Selenium
• Java
• C#
• Appium Studio
• Jira
• SharePoint
• J-Meter

성공적인 프로젝트 결과는 수치로도 증명되었습니다.

• 높은 투자 수익률(ROI)의 효과적 해결책을 제시했습니다.
• 테스트 자동화로 수동 테스트에 소요되는 인력과 시간을 80% 감소시켰습니다.
• 모든 지원 환경에서 같은 수준의 규정을 준수했습니다.
• 고객이 목표한 소비자 시장에 자신 있게 릴리즈할 수 있도록 고품질의 넓은 테스트 범위를 제공했습니다.
• 성능 테스트와 앱 성능을 최적화하기 위한 고객의 분석을 지원했습니다.

아웃소싱 QA로 고객의 인력 간접 비용을 감소시켰으며 로테이션 근무를 통해 업무 흐름과 스케줄의 병목 현상을 방지했습니다. 또 고객사 내부 팀이 프로젝트상 중요 업무에 직원을 배정할 수 있게 내부 업무량 효율성을 향상시키도록 지원하였습니다.