NC

게임 AI에 대한 R&D 연구를 선도해오고 있는 엔씨.

엔씨는 AI센터 내에 비전(Vision) AI랩을 설립, 컴퓨터 비전 기술과 게임 개발 과정의 접점을 찾기 위해 다양한 연구 개발을 진행하고 있습니다.

게임과 AI’ 9편에서는 AI 기술을 이용해 특정 이미지를 만들거나 변환하는 이미지 생성 기술(Image Generation)의 개념을 알아보며, 이러한 기술이 게임 제작 과정에서 어떻게 활용될 수 있는지 살펴보겠습니다.

이미지 생성 기술은 GAN(Generative Adversarial Networks) 기술의 등장 이후 최근 들어 많은 컴퓨터 비전 연구자들에게 관심을 받고 있습니다.

영상 내의 정보를 인식하거나 객체를 검출하는 등 전통적인 문제를 해결하는 기술들에 비하여 성숙도는 낮지만, 그 발전 속도는 상당히 빠릅니다. 특히, GAN에 의해 생성된 사람의 얼굴 이미지는 실제 얼굴 이미지와 구별이 어려울 정도로 날로 개선되고 있습니다. (관련 링크)

또한 Image-to-Image Translation 기술도 다양한 분야에서 그 활용 가치가 높아지고 있습니다.

이는 특정 사진을 고흐나 모네와 같은 특정 작가 스타일의 그림으로 바꿔주거나, 흑백 사진을 컬러 사진으로, 낮 영상을 밤 영상으로 변환하는 등 입력된 이미지를 전혀 다른 도메인의 이미지로 변환하는 기술입니다. (관련 링크 1, 관련 링크 2)

하지만 이미지 생성 및 변환 기술의 결과가 아티스트의 최종 창작물의 수준에는 미치지 못합니다.

실사 이미지에 비하여 게임 아트나 그래픽 리소스와 관련한 양질의 데이터베이스가 부족해 딥러닝 기술을 충분히 활용하기 어렵기 때문입니다. PC나 콘솔 게임에 사용되는 리소스들이 매우 높은 화질의 이미지라는 점도 생성 결과를 바로 사용하기 어렵게 만드는 요인 중 하나입니다.

결국 게임 개발 과정에서 아티스트의 역할을 대신하는 것이 아니라, 아티스트의 작업을 보조하거나 단순 반복 작업을 줄여주는 방향으로 AI 기술이 활용되고 있습니다.

그 예로, 입력된 이미지를 다른 아트 스타일로 쉽게 변환할 수 있는 기술이 어도비(Adobe)의 포토샵에 적용됐습니다. 최근에는 사람의 스케치를 실제 풍경 사진처럼 바꿔주고 이를 인터랙티브하게 수정할 수 있는 기술도 공개됐습니다. (관련 링크 1, 관련 링크 2)

최신 하이엔드 MMORPG나 콘솔 게임에서 캐릭터의 얼굴 표현력은 실사 얼굴과 견줄 수 있을 만큼 높은 품질을 보여주고 있습니다.

게임 제작 과정에서 그러한 고품질의 캐릭터를 만드는 데에는 당연히 많은 시간과 노력이 필요할 것입니다. 또한 캐릭터 커스터마이징의 자유도가 높아짐에 따라, 동시에 게임 유저가 원하는 모습의 캐릭터를 만드는 과정도 함께 복잡해지고 있습니다.

캐릭터 변환 프로젝트는 연예인이나 유저의 사진을 게임 캐릭터 3D 모델로 변환하여 특정 인물과 유사한 NPC를 제작하거나, 유저가 원하는 외형을 반영하는 캐릭터를 쉽게 생성하는 것을 목표로 하고 있습니다.

프로젝트의 최종 결과물이 2D 이미지가 아닌 게임 클라이언트에서 사용되는 3D 모델의 파라미터라는 점이 아이콘 변환 프로젝트와의 차이점이라 할 수 있습니다.

사용자의 다양한 입력에 대응하기 위하여, 얼굴 영역을 검출(Face Detection)하거나 정면화(Face Frontalization)하는 기술도 함께 연구하고 있습니다.

이미지 변환 기술이 실제로 게임 제작에 활용되기 위해서는 결과물에 대한 아티스트의 정확한 피드백이나 게임 아트 리소스 공유와 같은 개발 부서와의 긴밀한 협업이 필수적입니다.

캐릭터 변환 프로젝트의 경우, 개발 부서에서 제공한 자동화 툴을 사용하여 효과적인 데이터 수집을 할 수 있었습니다.

또한 아이콘 변환 프로젝트의 경우에는 정기적인 회의를 통하여 기술의 한계와 아티스트의 요구 사항을 공유함으로써, 연구의 결과가 단순한 프로토타이핑에 그치지 않고 활용 가치가 높은 AI Assistant 툴의 형태로 구현할 수 있었습니다.

만약 AI가 기획자나 게임 유저들의 머릿속에 있는 느낌과 분위기를 반영하는 캐릭터를 자동으로 생성해 준다면 어떨까요?

마음에 드는 사진을 게임 캐릭터로 변환하는 것도 좋겠지만, 그 실사 사진을 검색하는 것도 꽤나 많은 시간과 노력이 필요한 과정입니다. 또한 게임 속 스토리에서 중요한 역할을 하는 메인 캐릭터가 아닌 마을 주민이나 상인과 같이 일반적인 NPC의 대량 제작은 보다 빠른 제작 프로세스가 요구됩니다.

추상적 키워드 기반의 캐릭터 생성 프로젝트는 성격이나 분위기를 나타내는 키워드로부터 캐릭터의 얼굴 이미지를 생성하는 것을 목표로 하고 있습니다.

입력값이 실사 이미지가 아니라 자연어로 된 형용사 키워드라는 점과 키워드를 labeling하는 과정에 주관적인 판단이 반영되어 학습용 데이터베이스를 구축하기 힘들다는 점에서, 앞서 소개한 이미지 변환 프로젝트들보다 조금 더 난이도가 높다고 할 수 있습니다.

최근에 발표된 딥러닝 기반의 실사 얼굴 생성 기술들은 대량의 고화질 얼굴 이미지를 활용하고 있고, 학습에 사용된 데이터베이스를 함께 공개하고 있습니다. 하지만 현재까지 공개된 데이터베이스들은 성별이나 연령대, 피부나 머리카락의 색과 같은 얼굴의 외형적인 특징 정보들 외에, 인물의 성격이나 분위기와 같은 추상적인 특징은 제공하지 않습니다.

엔씨의 Vision AI Lab Generation팀에서는 사람의 얼굴 외형과 추상적인 키워드의 연관성을 찾고 주관적인 키워드를 자동으로 labeling하여 양질의 데이터베이스를 구축하는 초기 단계의 연구를 진행하고 있습니다. 또 구축된 데이터베이스를 활용하여 키워드 기반으로 다양한 게임 캐릭터를 생성하는 모델을 개발하는 것을 목표로 연구 범위를 확장할 계획입니다.

이미지 생성 기술은 딥러닝 기술의 발전에 힘입어 창작 기술로서의 무한한 활용 가능성을 지니고 있습니다.
최근 생성 결과의 품질이 개선되면서, AI가 그린 미술품에 가치를 매기는 사례(OBVIOUS)가 있는가 하면, 사람과 AI가 함께 작업하여 새로운 콘텐츠를 제작하기도 합니다. (관련 링크)

또한 유수 대학과 글로벌 기업들은 아티스트에게 영감을 주는 도구로서 이미지 생성 기술을 활용하는 연구를 활발히 진행하고 있습니다. (예: Microsoft, MIT, Metropolitan Museum of Art의 공동 연구) (관련 링크)

게임과 디지털 아트 분야에서 이미지 생성 및 변환 기술의 활용은 이제 2D를 넘어서 3D 콘텐츠 제작으로 확장되고 있습니다.

AI 기술을 이용하여 한 장의 사진으로부터 자동으로 3D 콘텐츠를 생성하고, 빛에 대한 효과를 손쉽게 제거(Delighter)하는 기능이 최근 아티스트의 작업 툴에 적용되었습니다. 한편 언리얼(Unreal)이나 유니티(Unity)와 같은 게임 개발 플랫폼에서도 창작 도구로서의 AI 기술로 더 멋진 게임 속 가상 공간을 만들기 위해 적극적인 연구와 투자를 진행하고 있습니다.

다음 편에는 엔씨에서 진행하고 있는 이미지 인식 관련 프로젝트에 대해서 소개해드리도록 하겠습니다.