NC

대학교 재학 시절 선배의 영향을 받아 첫 컴퓨터로 애플 매킨토시를 구입했다. 당시 맥(Mac) 유저 모임에서 포토샵과 일러스트레이터 등 그래픽 앱을 접하게 됐다. 정적인 예술학보다 다이내믹하고 새로운 기술이 쏟아져 나오는 컴퓨터 그래픽스에 흥미를 느꼈다. 이러한 관심이 자연스럽게 CG 분야에서 커리어를 시작하는 계기로 이어진 것 같다.

영화업계에서 첫 경력을 텍스처 아티스트로 시작했고, 텍스처 쪽으로 꾸준히 경력을 쌓다가 디즈니에서 룩 디벨롭먼트로 업무 영역을 넓혔다. 이후 웨타에서 텍스처뿐 아니라 라이팅 아티스트로도 커리어를 쌓았다. VFX(Visual Effects)에서는 텍스처와 룩 디벨롭먼트 그리고 라이팅이 밀접하게 연결되는데, 나는 세 분야를 모두 수행할 수 있었기에 다른 사람들보다 좋은 결과를 낼 수 있었다고 생각한다.

룩 디벨롭먼트는 아트 디렉터나 콘셉트 디자이너가 만든 2D 콘셉트를 3D로 구현하는 일이다. 영상을 제작할 때 비주얼적으로 보이는 최종 이미지를 만들어가는 과정으로 정의할 수 있다. 룩 디벨롭먼트는 보이는 최종 결과물에서 만들어낸다는 점이 매력적이다.

영화 <리얼스틸>의 룩 디벨롭먼트/라이팅 작업이다. 당시 비주얼 아티스트로서 10년 정도 커리어를 쌓고 VFX 프로세스를 두루 경험한 이후였기에 어떻게 하면 최종 결과물이 잘 나올 수 있는지를 확신하며 프로젝트에 임할 수 있었다.

비주얼 R&D는 프로덕션의 필요에 따라 진행된다. 크게 프로덕션 전반의 효율을 높이기 위한 장기 R&D와 개별 프로젝트를 위한 단기 R&D로 나뉜다. 일례로 픽사에서 에셋을 쉽고 효율적으로 관리하기 위해 개발한 ‘USD(Universal Scene Description)’ 포맷은 장기적인 R&D의 일환이라고 할 수 있다.

개별 프로젝트를 위한 단기 R&D는 프리 프로덕션에 참여한 <라푼젤>을 예로 설명해보겠다. <라푼젤>은 20미터에 달하는 헤어를 구현하고, 여러 겹으로 이루어진 중세 옷을 시뮬레이션해야 하는 등 해결할 기술적 과제가 많았지만 당시 존재하던 툴로는 시각적 구현이 불가능했다. 이에 X-gen 등 여러 툴에 프로덕션에 필요한 기능을 추가하여 과제들을 해결했다.

VFX 업계의 경우 비주얼 R&D로 불가능한 기술을 구현하면 시장에서 독점적 위치를 차지할 수 있었다. 10년에서 15년 전만 하더라도 물과 불 효과, 헤어와 스킨을 사실적으로 구현하기가 쉽지 않았고, 이를 구현한 ILM이나 웨타 등 스튜디오가 독점적 지위를 누렸다.

하지만 어느 정도 시장이 커지면서 자체적 커스텀 툴을 개발하는 것보다 상용화된 툴을 쓰는 것이 개발 측면에서 효율적이고 인력 운용 차원에서 더 유리해지기도 한다. 여력이 없어 규모가 작은 R&D를 진행한다면 이처럼 상용화된 툴을 잘 선별해 필요한 기술과 사용 방법에 대한 프로세스를 확립하는 것도 좋은 방법이라고 생각한다.

엔씨에서 구상하고 있는 디지털 액터의 로드맵에 공감했다. 내가 꿈꾸는 비전을 실현할 수 있는 인력과 자원을 갖춘 회사라고 생각해 합류를 결정했다.

영화 VFX에서 ^*디지털 더블을 만들었을 때 최고로 손꼽히는 아티스트들과 수개월에서 1년이 넘는 기간 동안 제작에 참여했지만, 겨우 어색하지 않은 수준의 가상 인간을 만드는 데 그쳤다. 사람과 구별되지 않는 정교하면서 사실적인 가상 인간을 구현하는 일은 그만큼 어렵다. 하지만 아티스트라면 도전해보고 싶은 분야라고 생각했다.

^{*디지털 더블: 실제 사람의 얼굴을 3D 모델링을 통해 분석한 후 얼굴 위에 가상 인물의 얼굴을 덧입히는 기술}

현재 AI 센터, 비주얼 센터, 아트랩을 비롯한 여러 사내 부서와 협업하며 3D 환경에서 구현할 수 있는 디지털 액터를 제작하고 있다. 우리 실의 목표는 단순하다. ‘누구보다 디지털 액터를 자연스럽고 멋지게 잘 만드는 것.’

엔씨는 재능 있는 개발자와 아티스트들이 많다. 그리고 3D 스캔과 모션 캡처 장비와 사실적이고 정교한 디지털 액터를 구현하기 위한 비주얼 R&D 역량을 갖추고 있다. 제작한 디지털 액터를 다양한 게임 및 AI 센터의 연구 결과와 접목해 활용할 수 있다는 점 또한 큰 강점이다. 엔씨의 기술과 게임은 디지털 액터의 무대가 될 것이다.

구현하기가 가장 어려운 것은 자연스러운 ‘페이셜 애니메이션(Facial Animation)’이다. 실제 사람의 얼굴은 많은 ‘데이터’를 담고 있다. 누군가의 얼굴을 보면 그 사람의 기분은 어떻고 나에게 호감이 있는지, 거짓말하고 있는지 등을 알 수 있다. 우리는 어릴 때부터 다른 사람의 얼굴과 표정을 읽는 훈련을 거듭해왔기 때문에 몸의 움직임보다 얼굴의 부자연스러운 움직임을 금방 알아챌 수 있다. 실제로 가상 인간을 보고 사람이 아니라고 느끼게 되는 것도 부자연스러운 페이셜 애니메이션에서 기인하는 경우가 많다.

양질의 모션 캡처 데이터를 얻기 위해 표정 연기가 좋은 배우를 섭외하거나 페이셜 애니메이션의 뼈대가 되는 ^*리깅을 정교하게 개선하려고 한다. 또 최종 아웃풋의 5~60% 정도 수준까지 페이셜 캡처를 자동화하기 위해 딥 러닝 같은 AI 기술을 접목하는 등 전방위적으로 진행할 예정이다.

^{*리깅(Rigging): 3D 컴퓨터 애니메이션에서 캐릭터의 움직임을 구현하기 위해 뼈대를 심는 일}

이제희 CRO 님과 같이 AI 기술을 접목해 사람과 자연스럽게 대화하고 상호 작용할 수 있는 디지털 액터를 구현하는 것이 최종 목표이기는 하다. 그러나 이는 모든 글로벌 테크 기업들의 목표이기도 하고 이미 조금씩 성과를 내는 곳도 있다.

엔씨는 이제 막 첫 발을 뗐기 때문에 현 시점에서 구현할 수 있는 디지털 휴먼을 시작으로 진정한 의미의 인터랙션이 가능한 디지털 액터 제작을 목표로 꾸준히 나아가려 한다.

현재 단계에서는 기존에 등장한 버추얼 인플루언서들의 단점을 보완한 엔씨의 인플루언서를 론칭할 계획이다. 그 이후에는 본격적으로 엔씨의 게임들에 디지털 액터 기술을 활용하고자 한다. 디지털 액터가 직접적으로 게임의 주∙조연으로 등장할 수도 있고, 디지털 액터를 제작하며 축적한 기술을 게임 개발에 활용할 수도 있을 것이다. 이는 자체 IP를 보유하고 있는 엔씨의 장점이다.

^{*참고: 이제희 CRO 인터뷰 기사 (링크)}

게임에서는 결국 몰입의 경험이 중요하다. 디지털 액터 기술을 기반으로 보다 사실적인 게임 캐릭터를 구현할 수 있게 되면서, 플레이어들이 게임에서 느끼는 몰입감과 즐거움이 커질 것이다.

좋은 프로젝트와 재능 있는 인력이 모이는 환경을 조성하는 것이다. 아티스트로서 걸어온 길을 돌이켜보면 주어진 시간과 기술로 구현이 불가능한 일이라 생각되는 힘든 프로젝트를 마쳤을 때 가장 크게 성장했다. 또 재능 있는 동료들과 우수한 슈퍼바이저, 아트디렉터가 있는 조직에서도 크게 성장할 수 있었다. 엔씨는 뛰어난 아티스트들이 많다는 점에서 성장 여건이 충분하다. 회사 차원에서 제공되는 교육도 세계 탑 수준의 스튜디오와 비교해 오히려 좋은 편이다.

먼저 구성원들에게 정확한 디렉션 및 레퍼런스를 전달하고, 각자의 역량을 최대한 발휘할 수 있는 방향으로 일을 배분하는 것이다. 또 한정된 자원 안에서 플랜을 잘 짜야 한다. 영화나 게임처럼 장기적인 호흡으로 결과물을 제작하는 경우 프리프로덕션 단계에서 최종적으로 구현하려 하는 이상적인 룩이나 비주얼 에셋을 1~2개 정도 제작한다. 이후 그 과정을 최적화, 단순화하여 대규모로 프로덕션에 적용하는 것이 시간과 예산을 가장 절약할 수 있는 방법이다.

리더는 결코 패닉에 빠져서는 안 된다고 생각한다. 리더가 평정심을 잃어버리면 조직원들에게도 영향을 미치기 때문에 리더는 어떤 어려운 상황을 마주하더라도 침착함을 유지하고 문제를 해결해가야 한다.

그리고 응원과 격려의 힘을 믿는다. 조직원들이 잘하고 있는 점을 칭찬했을 때 좋은 결과가 나오는 경우를 많이 보았다. 엔씨에서도 응원과 격려를 아끼지 않는 리더가 되려 한다.

지금까지 영화와 애니메이션 그리고 광고 등 영상 분야에서 오랜 기간 최종 아웃풋을 도출하는 일을 수행해왔다. 이제는 엔씨의 재능 있는 인재들과 함께 게임과 차세대 플랫폼에서 최고의 아웃풋을 냄으로써 업계를 선도하는 사람이 되고 싶다.