사용자가 키보드와 마우스를 조작하는 대로 실시간 변화하며, 마치 실제 게임을 하듯 탐험할 수 있는 3차원(3D) 가상 세계 생성 기술이 등장했다. 단순한 영상 제작을 넘어 사용자와 상호작용하는 ‘인터랙티브 게임 월드’ 구축의 새로운 지평을 열었다는 평가다.

어도비와 KAIST 연구진은 최근 비디오 확산 트랜스포머 기술을 기반으로 사용자의 입력에 반응해 지속적으로 변화하는 3D 환경 생성 모델 ‘월드캠(WorldCam)’을 공개했다.

월드캠의 핵심은 사용자의 키보드나 마우스 입력을 단순한 신호가 아닌 ‘카메라 포즈(Camera Pose)’로 해석한다는 점이다. AI가 사용자의 조작을 실제 3D 공간 내에서의 물리적인 이동 경로로 계산하고, 이를 영상 생성 과정에 실시간으로 반영한다.

기존 AI 기반 영상 생성 기술은 시간이 지날수록 공간 구조가 뒤틀리거나 시각적 품질이 저하되는 한계가 있었다. 월드캠은 ‘점진적 자기회귀 방식’과 과거 장면을 기억하는 기능을 도입해, 사용자가 탐험 중 같은 장소로 돌아와도 이전의 환경이 그대로 유지되는 뛰어난 3D 공간 일관성을 확보했다.

연구팀은 모델의 완성도를 높이기 위해 실제 사람이 플레이한 게임 영상 약 3,000분을 수집한 ‘월드캠-50h’ 데이터셋을 구축했다. 여기에는 정밀한 카메라 이동 경로와 장면 설명이 포함되어 있어, 복잡한 지형 탐험이나 빠른 시점 전환 등 실제 게임 환경에서 발생하는 다양한 상황을 학습할 수 있게 했다.

성능 평가 결과, 월드캠은 기존 인터랙티브 모델 대비 행동 제어 정확도, 장기 시각 품질, 공간 일관성 등 모든 지표에서 우수한 성적을 기록했다. 특히 수백 프레임 이상의 장기 생성에서도 화면 깨짐 없이 안정적인 품질을 유지해 인간 평가단으로부터 가장 높은 점수를 받았다.

연구진은 “이번 연구는 단순한 콘텐츠 생성을 넘어 실시간 인터랙티브 시스템으로서 AI의 발전 가능성을 보여준 것”이라며 “향후 게임뿐만 아니라 시뮬레이션, 로봇 학습, 메타버스 등 다양한 산업 분야에 혁신적인 변화를 몰고 올 것”이라고 강조했다.

이번 기술 공개로 사용자의 행동에 따라 세계가 실시간으로 창조되는 ‘완전 생성형 게임’ 구현이 한층 가까워졌다는 분석이 나오고 있다.