NC

‘다양체’는 인터랙티브 미디어아트 작업이다. 사용자의 손 움직임을 이용해 딥 뉴럴 네트워크가 생성한 이미지의 공간을 탐험할 수 있다. 이 네트워크는 약 5만 장의 게임 플레이 이미지로 학습되었으며, 생성된 볼륨은 볼륨 렌더링 기술을 통해 시각화된다.

어려서부터 게임을 좋아했다. 유치원에 들어가기도 전에, 아버지께서 컴퓨터 한 대를 사 오셨는데 MS-DOS가 설치된 컴퓨터였다. 당시 가장 유명한 파일 관리 셸 프로그램인 Mdir가 설치되어 있었고, 이 프로그램에서 실행파일은 초록색으로 표시되었기 때문에 나에게 게임은 곧 ‘초록색’을 떠올리게 했다. 유년기부터 지금까지 게임은 좋은 동반자가 되어 주고 있다. 이에 평소에 게임 전시에 관심이 있던 차에 자연스럽게 이번 전시에 즐겁게 참여하게 되었다.

게임만의 매력은 무엇인지, 무엇이 게임을 게임으로 만드는지에 대한 질문에 답하기 전에 게임에 대한 정의가 선행되어야 한다고 생각한다. 게임은 비트겐슈타인(Wittgenstein)이 말한 ‘가족 유사성’에 의해 성립된다고 생각한다. 가족 유사성은 개별 구성원의 공통된 특징이 존재하지 않더라도 일부 공유된 특성으로 이 구성원이 ‘가족’으로 묶일 수 있다는 개념이다.

이러한 개방성 때문에 게임은 무궁무진한 가능성을 가진다. 무한한 가능성, 상호작용성 그리고 유희의 속성이 게임의 매력이라고 생각한다. 엄밀히 말해 이것들이 게임’만’이 가지고 있는 매력이라고 할 수는 없을지 모르지만 말이다.

공학이야말로 예술만큼이나 창의성이 요구되는 분야 중 하나이다. 딥 러닝 분야를 예로 들면, 현재 널리 쓰이고 있는 GAN과 같은 기술은 두 네트워크를 경쟁시킨다는 놀라운 아이디어에서 출발했다. 따라서 예술과 공학, 둘 사이의 간극은 거의 없다고 생각한다. 세계에서 가장 큰 그래픽스 학회인 SIGGRAPH에서 매년 나오는 트레일러를 보면 ‘이건 예술 아니야?’ 하는 감탄이 절로 나온다. 영어에는 SOTA라는 표현이 있다. State of the Art, 즉 예술의 경지라는 의미인데, 공학 논문에서는 현존하는 가장 발달한 기술을 SOTA라고 한다. 가장 발달한 기술은 예술과 구별하기가 어렵다.

게임은 이미 예술이고, 게임에서 지금 당장 사용되고 있는 기술은 가슴을 뛰게 한다. 그리고 그 기술들이 언제든 예술 작품에서 사용될 수 있다고 생각한다. 직업병인지는 모르겠지만 그래픽이 돋보이는 게임을 할 때면 컴퓨터 그래픽스와 관련된 기술들을 떠올려 본다. 반사 재질을 표현하기 위한 ‘쉐이더’나 얼굴 표정을 만들어내기 위한 ‘블렌드쉐입’이 얼마나 정교하게 움직이는지, 애니메이션 컨트롤러의 반응 속도는 얼마나 빠르고 표현력이 있는지 말이다. 마음에 드는 부분이 있으면 이런 기술이 어떻게 작동하는지 찾아보고 실제로 구현해 보기도 한다. ‘다양체’ 작업 또한 그런 호기심에서 출발했다.

본 작업에서는 뉴럴 네트워크가 생성한 볼륨을 시각화하기 위해 실제 게임에서 사용되는 볼륨 렌더링 기술을 많이 참고했다. 특히, 앤드루 슈나이더(Andrew Schneider)가 2015년에 SIGGRAPH에 발표한 내용에서 많은 영감을 얻었다. 이 기술은 여러 최신 게임에서도 유사하게 활용되는 기술인 것으로 알고 있다.

영어 단어 매니폴드(Manifold)를 번역하면 다양체가 된다. 딥 러닝에서 매니폴드는 상호 간의 유사성을 지닌 데이터의 작은 집합이라고 할 수 있다. 상호 유사성은 고차원 공간에서는 찾기 어려운 경우가 많기에 딥 러닝 연구자들은 뉴럴 네트워크를 이용해 이를 잠재 공간(Latent space)으로 매핑하는 방법을 사용하곤 한다.

즉, 뉴럴 네트워크가 학습하는 것은 데이터를 잘 표현할 수 있는 잠재 공간을 학습하는 것이다. 이와 같은 방법을 작업에 이용했기에 다양체라는 제목을 붙였다.

‘잠재 공간’이 뜻하는 바는 딥 뉴럴 네트워크가 학습한 잠재 공간이다. 딥 러닝에서는 학습할 데이터의 차원이 너무 클 경우, ‘차원의 저주’와 같은 문제가 일어난다. 차원의 저주는 어떤 데이터를 표현하기 위한 차원이 늘어남과 동시에 쓸모 없는 영역도 함께 늘어나는 것을 가리키는 표현이다. 그래서 학습 데이터의 차원을 축소하기 위해 여러 방법을 사용하는데, 잠재 공간에 데이터를 매핑하는 방법도 그중 하나이다.

네트워크가 학습에 사용된 게임 플레이 시퀀스의 시간과 관계없이 뒤섞인 이미지를 내놓는다는 점에서 무시간성이 내포되어 있다. 또한 관객은 512차원의 잠재 공간을 손과 손가락을 이용해 탐험하게 된다. 512차원은 추상적이며 3차원에 존재하는 인간이 시각적으로 상상하기 어려운 공간이므로 무공간성이 구현되었다고 할 수 있다.

화면에 나타나는 이미지는 공학자의 눈으로 보았을 때 아티팩트(Artifact, 의도하지 않은 에러)로 여겨질 만한 부분이다. 실제로 GAN을 사용하다 보면 의도치 않게 이미지가 일그러지거나 유기적인 형태의 패턴이 나타나는 경우가 많다. 이런 표현 방법은 딥 러닝을 사용하지 않으면 사실상 거의 불가능하다고 할 수 있는데, 아티팩트를 역으로 이용함으로써 디자인적 측면을 드러낸다고 생각한다.

음악을 트는 것과 음악을 실시간으로 생성하는 것은 하늘과 땅의 차이이다. 후자는 사용자가 입력한 내용을 컴퓨터가 계산하고 소리로 변환해서 출력하는 과정을 포함한다. 사전에 녹화된 영상과 음악을 틀자는 제안도 있었지만, 실시간 상호작용의 가능성을 포기할 수 없었다. 모래에서 추출한 실리콘으로 구성된 반도체가 인간의 영역으로 여겨온 지적 연산을 초당 수백만 회 수행해 바로 결과를 내놓는 이 과정은 상상만 해도 짜릿하다.

‘다양체’로서 생성되는 이미지의 아름다움을 느낄 수 있으면 좋겠다. 또한 딥 러닝을 비롯한 기술을 활용한 아트의 가능성에 대해서도 관심을 가져 주기를 바라는 마음이다

처음 컴퓨터 비전 수업을 수강했을 때, 이미지를 함수로 바라볼 수 있다는 이야기를 듣고 머리를 한 대 맞은 듯했다. 사고가 확장되는 순간을 마주했기 때문이다. 어떤 함수를 미분하면 그 기울기를 획득할 수 있는데, 이미지에서 기울기란 무엇을 의미할까. 기울기 값이 급격하게 변하는 픽셀은 이미지에서 밝기가 급격히 증가하거나 감소하는 지점, 예를 들면 외곽선 성분일 가능성이 높다. 이것이 가장 간단한 외곽선 검출 방법의 예시이다.

이 방법은 디자이너가 흔히 사용하는 포토샵과 같은 도구에서도 찾아볼 수 있다. 공학 차원의 생각이 디자인적 문제를 해결한 것이다. 이 발견은 내게 매우 흥미로운 고민거리를 제공했고, 같은 문제를 해결하는 다양한 시선에 대해 생각해 보는 계기가 되었다.

재미있어 보이는 기술을 발견하면 잘 기억해 두었다가 시간이 날 때마다 새로 구현해 본다. 또한 이를 소셜미디어에 공유하기도 한다. 이 과정에서 작업에 대한 아이디어를 얻는 편이다.

순간순간의 목표를 이뤄 나가는 것에 집중하는 편이다. 그러다 뒤를 돌아보면 내가 쌓아온 선택지에서 하나의 큰 줄기가 보이기 시작한다. 나의 가장 큰 목표는 기술을 잘 알지 못하는 사람들에게 그 가치를 알리는 것이다.

이번 작품에서 중요하게 생각한 점은 상호작용이었다. 작품에 녹화된 영상을 틀기보다는 관객이 실시간으로 상호작용할 수 있는 경험을 만드는 것에 무게를 실었다.

연구자로서 새로운 패러다임을 제시할 정도로 좋은 연구를 하는 것이 꿈이다.

구상하고 있는 프로젝트가 하나 있다. 뉴럴 네트워크의 추론 과정을 시각화하는 간단한 프로젝트를 진행한 적이 있는데, 이를 물리적 공간으로 구현해 보는 것이다. 일반인이 인공지능에 대해 가지고 있는 오해, 공포감 혹은 신비감을 해소해 줄 수 있는 기회가 될 것이라 생각한다.

게임과 예술: 환상의 전조(Game & Art: Auguries of Fantasy)
2021년 6월 8일 ∼ 9월 5일
대전시립미술관 창작센터
관람비 무료
엔씨소프트, 카이스트 문화기술대학원, 대전시립미술관 공동 개최