Frontier in dataset

메타버스와 인공지능

한상기 대표(테크프론티어)

‘메타버스(Metaverse)’가 1992년 닐 스티븐슨의 소설 ‘스노우 크래시’에 등장한 용어라는 사실은 이미 널리 알려진 얘기다. 이후 2003년 린든 랩이 개발한 인터넷 기반의 가상 세계인 ‘세컨드 라이프’를 통해 메타버스에 대한 경험을 얻었고, 2006년 로블록스, 2017년 포트나이트, 2018년 제페토 등의 게임형 서비스가 등장했다. 하드웨어의 경우 2012년 소비자용 오큘러스, 2016년 전문가용 홀로렌즈 같은 새로운 세대의 하드웨어가 등장하면서 이를 활용하기 위한 여러 서비스와 애플리케이션이 메타버스로 가는 과정을 개척하고 있다.

그림 1. 메타버스 열풍에 재출간한 닐 스티븐슨의 ‘스노우 크래시’ 그림 1. 메타버스 열풍에 재출간한 닐 스티븐슨의 ‘스노우 크래시’

메타버스를 추구하는 여러 패러다임은 다양한 이름으로 불리고 있다. 가상 세계, 가상 공간, 거울 세계, 라이프로깅(Lifelogging), 사이버스, AR 클라우드, 공간 인터넷 등이 대표적이다. 하지만 이런 명칭들은 메타버스를 구현한 모습을 말하는 것이 아니라, 우리가 추구하는 디지털 공간의 또 다른 이름일 뿐이다.

사실 메타버스 사례로 가장 인정받는 서비스인 ‘포트나이트1)’를 개발한 에픽게임즈의 창업자 팀 스위니(Tim Sweeney)도 여러 인터뷰를 통해 “아직 누구도 메타버스가 미래에 어떤 모습이 될 것인지 알지 못한다”고 말해 왔다. 팀 스위니가 강조하는 메타버스의 가장 중요한 특징은 첫째, 실시간 3차원 소셜 미디어 플랫폼이라는 것이라는 것과 둘째, 메타버스에서 발생하는 경험은 단절되지 않고 현실과 연결된 소셜 경험이라는 것이다. 에픽게임즈는 이 같은 특징의 메타버스를 개발하기 위해 얼마 전 10억 달러를 투자받기도 했다.2) 에픽게임즈의 이 같은 시도는 새로운 개념의 차세대 인터넷을 만드는 수준의 도전이라 할 수 있다.

이렇듯 메타버스가 새로운 공간을 창조하거나 기존 세계와 디지털 세계를 결합하고, 또 그 안에서 연결된 소셜 경험을 갖게 하며 새로운 창작물을 통한 가상 경제를 만들기 위해서는 근본적으로 인공지능 기술을 활용할 수밖에 없다.

현실을 가상 환경에 투영

에픽게임즈가 만드는 메타버스의 가장 중요한 특징 중 하나인 ‘실시간 3차원 소셜 미디어’ 구현을 위해 인공지능 데이터를 연계한 여러 사례가 존재한다. 첫 번째로 가상 공간에 현실에서 존재하는 도시나 지형을 복제하고자 한다면 이는 지리 공간을 실시간으로 매핑하는 기술이 필요하다. 이를 ‘지오 스페이셜(Geospatial) 통합’이라고 한다. 이와 관련해 주목할 기술은 지구 규모의 증강현실 플랫폼을 만들겠다는 나이앤틱(Niantic)이나 세시움(Cesium), 데카르트 랩스, 그리고 에픽게임즈에서 제공하는 트윈모션 등이다. 이들은 선명한 사진 그래픽을 실시간으로 렌더링해 이를 기존 플랫폼과 연계하는 방향의 기술이다. 세시움의 경우 실시간으로 렌더링한 3차원 데이터를 에픽게임즈의 언리얼 엔진과 연계한다.3)

그림 2. 세시움의 3차원 데이터를 언리얼 엔진과 연계 [출처: 세시움]’ 그림 2. 세시움의 3차원 데이터를 언리얼 엔진과 연계 [출처: 세시움]

이러한 사례로 미루어 볼 때, AI 허브에 구축된 3D 데이터 중 ‘한국 도시 3D 영상 AI 데이터’가 메타버스에서의 인공지능 학습용 데이터 활용에 대한 가능성을 보여준다. 향후 도시 외에도 공장 등에 대한 디지털 트윈4)을 메타버스에 구현하기 위해 디지털 트윈과 메타버스 두 분야의 통합이 이루어질 것이다.

두 번째로는 세상에 존재하는 수많은 객체를 가상 공간이나 혼합 현실 공간에서 좀 더 빠르고 자연스러운 모습으로 구현하기 위한 인공지능 학습용 데이터가 필요하다. 이는 현재 구축하는 객체 3D 데이터(2021년 인공지능 학습용 데이터 구축사업의 과제)가 의미 있게 사용될 수 있는 영역이다. 하지만 단지 객체를 표현하는 수준을 넘어 객체가 갖고 있는 물리적 특징에 대한 데이터가 필요하다. 예를 들어 유리컵과 종이컵이 떨어지거나 구르는 모습은 같은 컵이라도 부피나 무게 등의 차이로 인해 다를 수밖에 없기 때문이다.

이러한 데이터는 오큘러스5)(Oculus)와 같은 VR 하드웨어를 사용할 때 여러 객체를 카메라에 바로 인식한 후 그에 맞는 3차원 모델에서 데이터를 생성하고, 가상 공간에 3차원 객체를 재현하는 데 매우 중요한 역할을 할 것이다. 이미 가상 공간에서 회의를 하거나 사람들이 어울리는 모습을 구현하는 데 이러한 자동화 객체 생성 기술이 사용되기 시작했다.

한 예시로 스페이셜(Spatial.io)사의 3.0 버전에서는 회의 환경을 자신이 원하는 객체나 공간으로 설정할 수 있으며, 라이더 스캔으로 3차원 객체를 쉽게 가상 회의 공간에 삽입하도록 하고 있다.

그림 3. 스페이셜 3.0에서 제공하는 커스텀 환경 생성 기능 [출처: 스페이셜] 그림 3. 스페이셜 3.0에서 제공하는 커스텀 환경 생성 기능 [출처: 스페이셜]

메타버스 공간 안에서 아바타의 움직임은 사람들의 자세와 움직임에 대한 데이터를 필요로 하므로, 다양한 사람 동작 3차원 데이터 또한 메타버스에서 중요한 의미를 가진다. 특히 메타 휴먼이나 공연 등에 활용되는 아바타의 자연스러운 움직임을 위해선 스테레오 기반 볼륨메트릭과 고품질의 외형 데이터가 필요하다.

최근 국내 기업인 알체라가 스노우와 합작 법인 플레이스에이를 설립해 신체의 움직임을 실시간으로 인식해 가상 환경에 복제하는 기술을 개발하고, 이를 제페토 월드에 탑재했다는 뉴스가 바로 이런 필요에 의한 움직임 중 하나다.6)

그림 4. 포트나이트 파티 로열에서 공연하는 트래비스 스콧의 모습. [출처: 에픽게임즈] 그림 4. 포트나이트 파티 로열에서 공연하는 트래비스 스콧의 모습. [출처: 에픽게임즈]

현실과 가상을 넘나드는 소셜 경험

팀 스위니가 강조한 메타버스의 두 번째 특징인 ‘연결된 사회적 경험’의 예를 들면, 서로 다른 배경의 사람들이 메타버스에서 만나 대화를 하거나 함께 활동하고, 거래도 할 수 있다. 더 나아가 메타버스에서 만나는 존재가 반드시 실제 사람일 이유가 없을 수 있다. 이를 실현하기 위해서는 메타 휴먼 기술처럼 자연스러운 동작과 표정을 갖는 인공지능 휴먼을 만드는 것 외에도 이들과 자연스럽게 대화하기 위해 소통과 관련된 자동 번역이나 통역 데이터, 음성∙자연어 학습용 데이터 기반의 서비스가 중요한 역할을 할 것이다.

모드박스(Modbox)는 스팀VR 지원을 받는 멀티플레이어 게임으로, 2020년 말 공식 론칭했다. 이 서비스는 최근 인공지능 기술을 기반으로 새로운 기능을 제시했다. 이는 윈도우의 음성 인식, 오픈AI의 GPT-3 언어 모델이자 리플리카(Replica)의 자연 음성 합성을 기반으로 소위 NPC라는 게임 속 캐릭터들이 사용자와 자연스럽게 대화하는 기능이다.

그림 5. 게임 NPC와 인공지능의 결합 [출처: 모드박스] 그림 5. 게임 NPC와 인공지능의 결합 [출처: 모드박스]

이 기능은 나아가 가상 캐릭터 간 대화가 가능하며, 사람과 인공지능 휴먼이 함께 문제를 풀고 액션을 하며 새로운 경험을 만들어내는 일 역시 가능하게 한다.

이러한 응용 기능은 현재 하이퍼스케일7)(Hyperscale) 인공지능 기술을 개발하는 여러 기업이 자신의 플랫폼을 활용한 새로운 애플리케이션을 개발하는 데 매우 중요한 영역을 차지할 것이다. 하이퍼 클로바를 출시한 네이버의 경우 이를 이용해 제페토 서비스에서 흥미로운 애플리케이션을 만들어내는 스타트업에 큰 관심을 가질 것이다.

다시 한번 말하지만 아직 메타버스는 우리에게 명확하게 보이는 기술이 아니다. 주요 투자자인 매튜 볼은 그의 글에서 앞으로 메타버스가 갖춰야 하는 특성을 다음과 같이 기술하고 있다.8)

  • - 지속성을 가져야 한다.
  • - 동시성을 갖고 라이브로 실행할 수 있어야 한다.
  • - 동시 참여자 수에 제약이 있으면 안 된다.
  • - 완전히 작동하는 경제 시스템을 갖춰야 한다.
  • - 경험은 디지털/실제 세상, 프라이빗/퍼블릭 네트워크 어디서나, 개방한 플랫폼/폐쇄적 플랫폼 어디서나 이루어져야 한다.
  • - 데이터, 디지털 아이템/자산, 콘텐트에 대해 이전에는 경험하지 못한 상호 운영성을 가져야 한다.
  • - 매우 다양한 범주의 사람들에 의해 창출되거나 운영되는 콘텐트나 경험이 풍부해야 한다.

메타버스를 위해 앞으로 해결해야 할 수많은 기술적 난제가 있다. 어떻게 여러 개의 공간이 공존하면서 서로 연결되고 수백만, 수천만의 사람이 나누어진 서버가 아니라 하나의 가상 공간에 들어올 수 있게 만들 것인가에 대한 난제가 존재하는 것이다. 더불어 사이버네틱스9)(Cybernetics)로 불리는 새로운 인터페이스나 상호 작용을 하게 만들 수 있을 것인가 하는 문제도 해결해야 한다.

이러한 많은 난제 속에서 인공지능은 인간의 움직임을 더욱 자연스럽게 하고, 언어와 상관없이 대화를 나누고, 원하는 객체를 수시로 도입하거나 만들 수 있게 하며, 나아가 사람이 아닌 캐릭터와 전혀 문제없이 상호 작용할 수 있게 만들 것이다. 이에 메타버스의 여러 난제 해결을 위한 인공지능 학습용 데이터의 구축과 고급화하는 작업은 지속적으로 필요할 것이다.

Reference
  • 1) 포트나이트(FORTNITE)는 에픽게임즈가 개발 및 유통하고 있는 배틀로얄식 온라인 비디오 서바이벌 슈팅 게임이다.
  • 2) Virtual Humans, “Epic Games to Pour $1Billion to Metaverse Development, Crushing Traditional Social Networks,” Apr 20, 2021
  • 3) VentureBeat, “Epic Games teams up with Cesium to bring 3D geospatial data to Unreal,” Mar 30, 2021
  • 4) 디지털 트윈(Digital Twin)은 컴퓨터에 현실 속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다.
  • 5) 오큘러스(Oculus)는 VR 관련 기기를 개발 및 제조하는 미국 기업이다.
  • 6) 아시아경제, “알체라, ‘제페토’에 전신 인식 기술 제공…메타버스로 몰리는 자금,” 2021년 7월 20일
  • 7) 하이퍼스케일(Hyperscale)은 분산된 컴퓨팅 환경을 최대 수천 개의 서버로 확장할 수 있는 완전한 하드웨어 및 시설의 조합이다.
  • 8) Mattew Ball, “The Metaverse: What It Is, Where to Find it, Who Will Build It, and Fortnite,” Jan. 13, 2020
  • 9) 사이버네틱스(Cybernetics)는 일반적으로 생명체, 기계, 조직과 또 이들의 조합을 통해 통신과 제어를 연구하는 학문이다.

지난 웹진 보기

이전호 더보기