NC

카이스트 전산학부에 소속되어 있습니다. 2010년부터 영국 임페리얼 칼리지 런던에서 교수 생활을 시작했고, 2020년 카이스트로 옮겨 지금은 완전히 자리를 잡았습니다. 캠브리지 대학교에서 박사학위를 받았으니 영국에서 오랜 시간을 보낸 셈이죠. 15년 이상 컴퓨터 비전과 머신러닝 분야를 연구해 왔고, 요즘은 생성 AI, 그중에서도 유저가 원하는 비주얼 미디어를 자동으로 생성하는 연구에 집중하고 있습니다.

기존 생성 AI 모델들은 방대한 양의 학습 데이터를 기반으로 픽셀 정보를 처리하는 방식입니다. 그런데 이 방식으로 만들어진 영상이나 이미지를 보면 어색한 경우가 많아요. 사람이 걸을 때 발이 바닥에서 떠다니거나, 팔이 몸통을 뚫고 들어오거나, 물체가 갑자기 공중에 떠 있거나 하는 식으로요. 우리가 현실에서 당연하게 여기는 중력, 마찰, 충돌 같은 물리 법칙을 AI가 제대로 이해하지 못하기 때문입니다.

저희 팀이 집중하고 있는 건, 이런 물리적 상식을 AI 모델 안에 직접 심는 겁니다. 그렇게 되면 AI가 영상을 만들 때 '이렇게 되면 물리적으로 말이 안 된다'는 걸 스스로 알고 더 자연스러운 결과물을 만들어낼 수 있습니다. 학습 데이터를 무작정 늘리는 것보다 훨씬 효율적이고, 결과물의 사실성도 크게 높아집니다.

게임이야말로 이 기술이 가장 필요한 공간입니다. 게임 속 캐릭터가 달리고, 점프하고, 싸우는 모든 움직임이 자연스러워야 유저가 몰입할 수 있거든요. 개연성이 있어야 한다는 거죠. 하늘을 나는 캐릭터라도, 바람이 불 때 옷자락이 어떻게 펄럭이는지, 날개를 어떻게 움직여야 하는지가 사실적으로 표현돼야 유저가 그 세계를 믿고 들어올 수 있습니다.

지금까지는 이런 걸 디자이너가 프레임 하나하나를 손으로 작업하거나 모션 캡처를 통해 만들어야 했어요. AI가 물리 법칙을 이해하게 되면, 이런 작업을 자동화하고 품질도 훨씬 높일 수 있습니다.

핵심 주제는 멀티모달 AI 모델입니다. 텍스트와 이미지에만 머물던 기존 AI를 넘어 오디오, 비디오, 3D까지 다양한 모달리티를 하나의 모델로 통합하는 거예요. 저희 팀은 그중 비디오 생성 모델을 담당하고 있습니다.

특히 저희가 추구하는 건 바르코(VARCO)의 3D 생성 기술과 연계한 비디오 생성입니다. 3D로 만들어진 오브젝트를 바탕으로 물리 모델을 적용해 모션을 만들고, 카메라를 움직이고, 사실적인 랜더링까지 연결하는 방식이죠. 단순히 픽셀의 시퀀스를 이어붙이는 것이 아니라, 3차원 공간에 대한 이해를 바탕으로 비디오를 생성하는 게 목표입니다.

여러 모달리티가 함께 학습하면 서로 영향을 주고받습니다. 3D 공간에 대한 이해가 언어 모델에도 전달되고, 물리적 상식이 이미지 생성 모델에도 스며드는 거예요. 결과적으로 각각의 모델이 단독으로 학습했을 때보다 전반적인 이해도와 생성 품질이 높아집니다. 이게 다른 프로젝트와 차별화되는 핵심이라고 생각합니다.

바르코의 3D 생성 기술은 이미 상당한 수준에 올라와 있습니다. 현재는 이를 더욱 고도화하기 위해 IITP(정보통신기획평가원) 선도 인재 양성 과제의 일환으로 파트별 메시 생성 기술과 오토 리깅 기술을 연구하고 있습니다.

우선 집중하고 있는 분야는 파츠 메시 생성 기술입니다. 3D 데이터를 생성할 때 사물을 부위별로 자동으로 나눌 수 있도록 하는 것이 첫 번째 목표입니다. 기존 바르코 3D는 3D 데이터를 한 덩어리로 생성하는 방식이었는데, 몸통, 팔, 다리, 의상 등을 나눠 생성한 뒤 재조립하는 방식으로 발전시키고 있습니다. 생성 퀄리티가 높아질 뿐 아니라, 실제로 데이터를 활용하는 아티스트 입장에서도 훨씬 다루기 편해집니다.

여러 기업과 협력해 왔는데, NC AI는 조금 다르게 느껴졌습니다. 수평적인 문화가 인상적이었어요. 연구원부터 대표까지 아이디어를 자유롭게 주고받는 분위기였고, 협력하는 저희에게도 그 문화가 그대로 전달됐습니다. 함께 일하는 게 불편하거나 딱딱하지 않고, 오히려 유쾌하고 재미있었어요.

규모 측면에서도 흥미롭습니다. 대기업처럼 시스템이 굳어있지 않고 유동적으로 빠르게 움직이는데, 그렇다고 스타트업처럼 리소스가 부족하지도 않아요. 200명 이상의 연구원이 십수 년간 쌓아온 경험과 역량을 갖추고 있으니까요. 그 균형이 협력하기에 좋은 환경을 만들어준다고 생각합니다.

게임 회사라는 특성이 사실 엄청난 강점입니다. 3D, 오디오, 캐릭터 모션, 물리 시뮬레이션, 방대한 게임 데이터까지 멀티모달 AI 연구에 필요한 것들을 이미 갖추고 있어요. 어떻게 보면 게임이야말로 AI를 연구하고 적용하기에 가장 종합적인 플랫폼입니다. 일반 기술 대기업이 갖지 못한 영역을 엔씨는 본업으로 하고 있으니까요.

가장 직접적으로는 콘텐츠 제작 시간과 비용을 줄이는 데 기여할 수 있습니다. 지금은 디자이너가 캐릭터 모션 하나를 만들기 위해 엄청난 수작업을 해야 하는데, AI가 물리적으로 자연스러운 모션을 자동으로 생성해줄 수 있다면 개발 효율이 크게 달라집니다. 텍스처, 3D 오브젝트, 배경 등 게임을 채우는 수많은 에셋들도 마찬가지고요.

더 나아가면, 유저가 게임 세계 안에서 훨씬 사실적인 몰입감을 느낄 수 있게 됩니다. 캐릭터가 움직이고 상호작용하는 모든 순간이 물리적으로 말이 되는 세계, 그게 AI 기술이 게임에 가져다줄 수 있는 가장 큰 변화라고 생각합니다.

NC AI와 카이스트가 생성 AI 공동 강좌를 운영하고 있습니다. 내년에는 학생들이 NC AI의 게임 데이터와 바르코를 직접 활용해 3D 오브젝트를 만들고 모션을 적용해보는 프로젝트를 진행할 예정입니다. 게임 데이터는 3D 공간, 캐릭터 움직임, 물리 시뮬레이션 등 AI 연구에 필요한 요소들을 고루 갖추고 있어, 다른 산업 데이터로는 하기 어려운 다양한 실험이 가능합니다.

더 나아가 NC AI가 개발 중인 게임 시뮬레이터는 궁극적으로 월드 모델과 연결됩니다. 지금까지 게임 시뮬레이터는 디자이너가 수동으로 하나하나 만들어야 했습니다. 하지만 현실 세계를 카메라로 촬영하기만 해도 그 비디오로부터 물리 특성이 담긴 3차원 시뮬레이터를 자동으로 생성하는 기술, Real2Sim이 이를 바꿔놓습니다. 현실의 다양한 공간과 환경을 그대로 게임 시뮬레이터로 만들어낼 수 있게 되는 것입니다. 촬영할 수 있는 현실 세계가 무한한 만큼, 게임 시뮬레이터도 무한히 확장될 수 있습니다.

AI 선도 인재 양성 사업도 함께하고 있습니다. NC AI가 주관하고 카이스트, 유니스트, 서강대가 참여하는 사업인데요. 요즘은 AX라 해서 AI의 산업화를 상당히 강조하고 있습니다. 학생들이 NC에서 인턴 경험을 쌓고, NC 연구원들이 학교에서 공동 강의를 하기도 합니다. 학생들이 프로젝트를 할 때 바르코 모델을 직접 활용하고 데이터도 제공받아요. 논문만 쓰는 연구가 아니라 실제 산업 현장에 적용 가능한 AI 인재를 키우자는 취지입니다.

게임과 가상 세계의 경계가 점점 흐려질 것 같습니다. 지금은 조이스틱이나 키보드로 캐릭터를 조종하지만, 앞으로는 실제 내 몸의 움직임이 그대로 가상 세계로 전달되는 방식이 가능해질 거예요. VR 장비를 통해 실제 사람을 촬영해 가상 환경에 투영하는 연구를 메타와 함께 하고 있는데, 그 방향이 결국 게임으로도 이어진다고 생각합니다.

게임 안에서 퀘스트만 하는 게 아니라 일상적인 일들도 할 수 있는 세계, 오프라인과 온라인의 경계가 병합되는 세계가 올 수도 있다고 봐요. 게임이라는 도메인은 사실 무한히 확장 가능하거든요.

게임 데이터는 3D 공간, 물리 시뮬레이션, 캐릭터 모션 등 현실 세계를 가장 입체적으로 담아낸 데이터입니다. 게임을 만들면서 쌓아온 이 데이터들은 단순히 게임 개발에만 쓰이지 않습니다. NC AI는 이미 이 강점을 바탕으로 게임을 넘어 제조, 로보틱스 등 현실 세계와 상호작용하는 Physical AI 영역으로 확장해 나가고 있습니다. 게임에서 쌓아온 기술 역량이 훨씬 넓은 영역으로 뻗어나가는 것이죠.