NC

<TECH TRACK> 시리즈는 엔씨에서 개발 중인 게임의 개발자들을 조명합니다. 게임 개발에 필요한 다양한 직무와 하는 일, 그리고 분야의 전문가가 되기 위해 쌓아온 커리어패스를 살펴보세요.

첫 번째 주인공은 <Project M>에서 디지털 휴먼을 제작하고 있는 신중목 님입니다.

<Project M>에서 정의한 디지털 휴먼은 실존하는 배우나 모델을 게임의 세계관과 설정에 맞게 재현한 것을 말한다. <Project M>은 AAA 콘솔 게임 퀄리티를 목표로 하는 만큼, 캐릭터의 얼굴과 표정, 피부 표현부터 헤어나 체형, 의복같이 까다로운 디테일까지도 최대한 사실적으로 제작하고자 한다.

우리가 추구하는 ‘사실적인 비주얼’은 피부의 모공이나 블랙헤드까지 세밀하게 재현된 결과물을 말하는 게 아니다. <Project M>만의 디지털 휴먼을 찾기 위해 사실적이면서도 매력적인 캐릭터로 보일 수 있는 수준의 표현과 디테일은 무엇인지, 게임에 몰입할 수 있는 비주얼은 무엇인지 많은 고민과 시도를 이어간다. 우리 팀은 이를 바탕으로 여러 R&D를 병행하면서 제작 노하우를 쌓아가고 있다.

6년간의 전체 커리어의 대부분인 5년 동안 디지털 휴먼을 제작했다. 현재는 <Project M>을 개발하는 부서에서 디지털 휴먼 캐릭터를 구현하고 관련 애셋을 제작한다. 디지털 휴먼을 구성하는 다양한 요소 중 사실적 외형을 담당한다고 보면 된다.

특히 캐릭터의 움직임에 따라 예민하게 반응하는 헤어를 이질감 없이 구현하는 데 집중하고 있다. 언리얼 그룸 플러그인을 통해 인게임에서도 스트랜드 헤어를 일부 활용하면서, 실제로 스타일링된 헤어 사진들을 분석하여 게임에 맞게 최적화할 수 있게 되었다. 나아가 애니메이션을 적용하면서 헤어 시뮬레이션의 피직스 값을 제어하며 최종 스타일과 룩을 완성한다.

신체의 모양과 움직임 또한 게임에 자연스럽게 녹아들 수 있는 지점을 찾아 제작한다. 한국을 배경으로 하는 세계관에 따라 몸도 한국인의 체형을 고려해 제작하고, 상상만으론 표현하기 힘든 디테일한 범위를 스캔 기술로 구현한다. 몸뿐만 아니라 얼굴, 표정, 의상, 소품 등의 사실적 외형을 표현하기 위해 스캔 기술을 광범위하게 쓴다.

게임의 배경이 현대이기 때문에 일상적 의복이나 아이템이 다수 등장한다. 이런 경우에는 캐릭터팀이 자체적으로 코디네이션을 기획하고 필요한 애셋을 스캔하거나 시뮬레이션 의상 제작 기법으로 모델링을 진행한다.

디지털 휴먼을 제작하기 위해서는 먼저 3D 캐릭터의 레퍼런스가 될 배우를 캐스팅하는 과정이 필요하다. 이를 토대로 캐릭터를 제작하기 때문에 캐릭터팀이 섭외와 오디션에 참여하기도 한다. 해당 배우를 3D로 구현할 때 자연스럽게 표현할 수 있을지, FACS¹ 페이셜 리그(Facial Rig)² 의 재료가 되는 표정의 형태와 조합이 자연스럽고 안정적인지, 양악에 부정교합이 있는지 등을 영상과 오디션을 통해 확인하고 캐스팅한다.

배우를 오디션하다 보면 다양한 에피소드가 생긴다. 한번은 중년 배우를 섭외해야 했는데, 한참을 알아봐도 섭외가 쉽지 않았다. 그러다 마침 팀장님이 연기 경력이 있다는 사실을 알게 됐다. 디지털 휴먼의 리얼한 표정에 중요한 요소 중 하나는 레퍼런스가 되는 배우의 연기력이다. 결국 팀장님이 직접 프로젝트에 얼굴을 영구 기증하고, 게임 속 NPC로 제작됐다. 캐릭터를 개발하다가 팀장님이 진짜 캐릭터가 되어버렸다. 게임에서 그 캐릭터를 볼 때마다 웃음이 난다.

첫 번째 회사는 배틀로얄 게임을 제작하는 작은 스타트업이었다. 빠른 시간 안에 많은 애셋을 만들어야 하는 환경에서 모델러로서의 기본 소양을 배웠다.

디지털 휴먼 제작은 두 번째 회사에서 시작했다. 규모는 작았지만 디지털 휴먼 제작 환경을 갖춘 회사였고 제작 노하우도 있었다. 그곳에서 캐릭터 제작 파이프라인 전반에 대해 배웠다. BlendShape Build 페이셜 리그 제작을 경험하고 Analysing, Retargeting³ 을 통해 딥러닝의 인풋과 아웃풋 개념을 배울 수 있었다. 또 디지털 휴먼에 사용되는 실사 느낌의 카드, 그룸 헤어들과 복식 제작에 대한 고도화 과정을 경험했다.

디지털 휴먼을 제작하는 데 필요한 스킬은 기본적으로 캐릭터 모델러로서 요구되는 것과 유사하다. 프로젝트에 필요한 모델링, 헤어 등을 제작하기 위해 Maya나 3ds Max 같은 DCC 툴을 활용하는 기초적인 능력이 필요하다. 리얼타임과 언리얼 엔진에 대한 이해도뿐 아니라 이를 바탕으로 최적화한 리소스와 PBR 텍스처를 제작하는 능력이 요구된다. Wrap 3d를 활용해서 스캔 데이터를 가공하거나 Topology를 편집하고, BlendShape로 표정이나 형태를 조형하는 테크닉도 필요한데, 이것은 실무 과정에서 습득할 수 있는 부분이 크다.

그러나 여러 실무 스킬에 앞서 중요한 역량은 마지막까지 물고 늘어지며 디테일에 디테일을 더할 수 있는 세심함과 끈기이다. 캐릭터를 만드는 특성상 ‘완성’이라는 객관적인 기준이 없다. 때문에 정답이 없는 완벽에 가까워지기 위해 다양한 시도와 수정을 반복하고자 하는 자세가 기본 바탕이 돼야 한다.

AAA 게임을 접하는 플레이어의 눈높이가 매우 높아졌다. 정교한 세계관과 내러티브는 기본이고, 여기에 플레이어가 몰입할 수 있는 자연스런 표정과 대사 표현이 가능한 매력적인 캐릭터가 필수이다. <Project M>에서도 캐릭터가 플레이어와 밀착하여 상호작용하며 게임의 중심 역할을 한다.

이미 해외에선 디지털 휴먼을 활용한 게임을 많이 제작하고 있다. 특히 해외 AAA 게임들은 디지털 휴먼 활용이 대세로 자리 잡았다. <라스트 오브 어스 파트 2>, ,<언차티드 4>, <갓 오브 워 시리즈>, <헬 블레이드>, <호라이즌 제로던 시리즈> 등 많은 게임이 디지털 휴먼을 캐릭터로 활용하고 있다. 덕분에 스캐닝 기술과 AI 기술이 빠르게 발전하고 있어서 더욱 사실적인 캐릭터 제작과 발전된 상호작용 구현이 가능해졌다. 엔씨 또한 뛰어난 포토 스캔 시스템과 AI 기술을 바탕으로 디지털 휴먼 활용에 적극 가담하고 있다.

캐릭터팀은 개발 과정에서 디지털 휴먼을 제작하는 파이프라인 전반을 고도화하는 R&D에도 집중한다. 가장 인상적인 결과물은 표정 조합(Combination System)이 내재된 FACS 리그 구동에 대한 솔루션이다. 두 가지 이상의 표정을 조합하는 과정에서 중간 표정을 리그에서 자연스럽게 연출하기 위한 R&D이다. 비슷한 영역을 공유하는 표정들과 서로 다른 방향으로 움직이는 표정 조합의 경우, 일정 값 이상으로 올라가면 더블 트랜스폼⁴이 과하게 생긴다. 이를 방지하기 위해 콤비네이션과 코렉티브⁵로 보정하여 안정적인 표정 조합을 재현하고자 했다. 이것이 가능한 자체 리그 툴을 만들기 위해 리깅팀과 협업하여 스캔 베이스로 제작된 표정 조합을 내재화할 수 있는 FACS 리그 툴을 제작하는 성과를 냈다.

또 하나의 유의미한 결과물은 Analyze & Retargeting R&D다. 모든 캐릭터의 리그를 제작하기에는 작업량이 너무 많기 때문에 가장 스탠더드한 리그 하나를 설정해 범용적 NPC 캐릭터 리그로 사용하고자 했다. 이에 NPC Seed 리깅을 제작하기 위해 배우를 선별하고 R&D를 진행했다. 그 과정에서 딥러닝의 인풋이 되는 표정을 사실적으로 재현하는 것이 1차 애니메이션의 품질에 얼마나 큰 영향을 미치는지를 확인할 수 있었다. 이후 딥러닝의 인풋인 주요 표정들의 프로파일을 제작해서 애니메이션팀을 지원할 계획도 세웠다.

앞으로도 <Project M>은 게임 개발에 그치지 않고 지속적인 R&D를 통해 업계 디지털 휴먼의 스탠더드로부터 한 발 더 도약하는 것을 목표로 나아가고자 한다.

오롯이 제작에만 신경 쓸 수 있는 환경은 아마도 모든 개발자가 꿈꾸는 개발 환경일 것이다. 엔씨에는 개발에 필요한 애셋이나 시스템을 전문적으로 제작하는 조직들이 있다. 특히 리얼타임 디지털 휴먼 제작 기술(AI, Scan, Motion Capture, Digital Double)에 지속적인 관심이 있는 만큼 관련 인프라와 기술을 전문 조직에서 활발하게 개발하고 있다. 캐릭터팀은 이 기술적 인프라와 기반 기술을 적극 활용해서 R&D를 고도화하고 있다.

또 다른 대표적인 예는 스캔 스튜디오다. FACS 리그와 애니메이션을 위한 사전 작업은 스캔팀으로부터 많은 지원을 받고 있다. 양질의 스캔 데이터를 외부를 거치지 않고 내부적으로 처리함으로써, 리소스 관리에 대한 부담을 줄이고 제작 업무에 더욱 집중할 수 있다. 엔씨 수준의 기술과 인력을 갖춘 스캔 스튜디오를 내부적으로 갖춘 회사는 흔치 않다.

상상 속의 대상을 그래픽으로 재현하다 보면 표현의 한계를 느낄 때가 있다. 그때는 좋은 스캔 소스와 신규 인프라를 확보할 필요가 있다. 이 부분에서 특히 캐릭터팀이 3D 스캔 장비인 라이트 케이지를 통해 질 좋은 얼굴 스캔을 하고, 전신 스캔 부스를 통해 의상, 바디 등을 스캔해 고품질 결과물을 제작할 수 있도록 지원받고 있다.

우리 캐릭터팀은 매 순간 작업에 진심이다. 특히 퀄리티 부분에서는 한 치의 타협도 없다. 게임이 발전하기를 바라는 마음만큼은 진심이다. 가끔은 팀원들이 서로를 힘들게 할 정도로 퀄리티에 대한 집착이 강해질 때도 있다. 1~2mm를 두고 치열한 논쟁을 벌이기도 한다. 이 같은 집착이 개개인을 더욱 성장시키고 팀이 만들어내는 작업물에도 긍정적인 영향을 미친다고 생각한다. 각자 자신이 좋아하는 분야의 게임을 개발한다는 열정이 있기에 짧은 시간 동안 많은 성과를 이루었다고 생각한다.

디지털 휴먼 분야가 아직은 신생 직무이다 보니 업무 영역이나 정의가 확고하지 않다. 프로젝트를 진행하고 업무를 고도화하는 과정에서 이러한 부분들을 성립해가고 있다. 새로운 영역을 개척해야 하는 만큼 <Project M>의 캐릭터팀이 변화의 중심에 있다는 것을 피부로 느낀다. 앞으로도 퀄리티에 대한 집요함을 바탕으로 계속해서 성장해갈 것이라 기대한다.