메타(Meta)가 인간의 형태와 움직임을 정밀하게 이해하는 차세대 비전 인공지능(AI) 모델 ‘사피언스2(Sapiens2)’를 공개했다. 인간 중심 시각 인식 분야에서 기술적 한계를 넘어선 모델로, 증강현실(AR)과 가상현실(VR) 등 차세대 산업에서 활용 가능성이 주목된다.

메타 연구진은 27일 온라인 아카이브를 통해 사피언스2를 발표하고, 모델 가중치와 코드를 공개했다. 사피언스2는 사람의 손가락 움직임이나 복잡한 신체 구조, 얼굴 세부 요소 등 기존 컴퓨터 비전 모델이 정확히 인식하기 어려웠던 영역을 개선하는 데 초점을 맞췄다.

이 모델은 약 10억 장의 고품질 인간 이미지 데이터를 기반으로 학습된 고해상도 트랜스포머 구조로 설계됐다. 초기 40억 장의 원천 데이터에서 인물 검출과 자세 추정, 미적 품질 평가, 중복 제거 등의 과정을 거쳐 정제된 데이터셋을 구축했으며, 다양한 인종과 조명, 의상, 포즈를 균형 있게 반영해 일반화 성능을 높였다.

모델 크기는 0.4B(4억)부터 5B(50억) 매개변수까지 다양하게 구성되며, 기본 1K 해상도를 지원하고 최대 4K 해상도까지 확장 가능한 계층적 구조를 갖췄다. 대규모 학습에 맞춰 RMSNorm, 그룹드 쿼리 어텐션(GQA), QK 정규화 등 최신 기술을 적용해 안정성과 효율성을 동시에 확보했다.

사피언스2의 핵심은 학습 방식 개선이다. 기존 비전 모델들이 주로 ‘마스크드 오토인코더(MAE)’ 방식에 의존한 것과 달리, 사피언스2는 여기에 대조 학습(Contrastive Learning)을 결합해 저 수준 이미지 디테일과 고수준 의미 정보를 동시에 학습할 수 있도록 했다. 이를 통해 피부 톤이나 조명과 같은 중요한 시각 정보를 보다 정확하게 유지할 수 있다.

성능도 크게 향상됐다. 전신 포즈 추정에서는 82.3 mAP를 기록해 기존 대비 4포인트 상승했으며, 신체 부위 분할에서는 최대 24.3 mIoU 개선을 달성했다. 표면 법선 추정 등 다양한 작업에서도 기존 최고 수준 모델을 능가하는 결과를 보였다.

특히 인간 특화 모델임에도 불구하고, 더 큰 규모의 범용 비전 모델보다 뛰어난 성능을 나타낸 점이 주목된다. 이는 특정 도메인에 최적화된 대규모 학습 전략이 효과적임을 입증한 사례로 평가된다.

메타는 사피언스2가 향후 AR·VR, 디지털 휴먼, 메타버스, 의료 및 피트니스 분석, 콘텐츠 제작 등 다양한 산업 분야에서 활용될 것으로 기대하고 있다.

모델 가중치와 코드는 Hugging Face와 GitHub를 통해 공개됐다.