글로벌 빅테크 기업 구글(Google)과 동영상 플랫폼 유튜브(YouTube) 연구진이 대규모 추천 시스템의 속도를 획기적으로 개선하는 새로운 인공지능 기술을 공개했다.

양사 연구팀은 최근 대형언어모델(LLM) 기반 추천 시스템에서 제약 조건을 빠르게 처리할 수 있는 프레임워크 ‘STATIC(스태틱·Sparse Transition Matrix-Accelerated Trie Index for Constrained Decoding)’을 개발했다고 밝혔다. 연구 결과는 온라인 논문 저장소인 arXiv에 공개됐다.

연구진에 따르면 스태틱 기술은 기존 추천 시스템 대비 최대 1000배 이상 빠른 처리 속도를 구현하며, 실제 서비스 환경에서도 추천 품질과 효율성을 크게 높일 수 있는 것으로 나타났다.

최근 글로벌 플랫폼의 추천 시스템은 기존 검색 기반 방식에서 벗어나 LLM이 직접 결과를 생성하는 ‘생성 추천(Generative Retrieval)’ 방식으로 빠르게 전환되고 있다. 이 방식은 콘텐츠나 상품을 ‘시맨틱 ID(Semantic ID)’라는 토큰 묶음으로 표현한 뒤 이를 순차적으로 생성해 최종 추천 결과를 만드는 구조다.

하지만 실제 서비스에서는 단순히 적절한 콘텐츠를 추천하는 것뿐 아니라 다양한 비즈니스 규칙을 동시에 충족해야 하는 문제가 존재한다. 예를 들어 최신 콘텐츠만 노출하거나 특정 카테고리 안에서만 추천하는 등 플랫폼 정책을 엄격하게 준수해야 한다.

기존 시스템에서는 이러한 제약 조건을 처리하기 위해 ‘트라이(Trie)’라는 접두사 트리 구조를 활용해 허용된 토큰만 남기고 나머지를 제거하는 방식이 사용됐다. 그러나 트리는 구조가 동적으로 변하기 때문에 컴파일 최적화가 어렵고, 대규모 데이터 환경에서는 처리 속도가 느려지는 문제가 있었다.

구글과 유튜브 연구진이 개발한 스태틱은 이러한 병목을 해결하기 위해 트리 구조를 CSR(Compressed Sparse Row) 형태의 희소 행렬로 변환했다. 이를 통해 복잡한 탐색 과정을 벡터화된 행렬 연산으로 처리할 수 있어 GPU나 TPU 환경에서 훨씬 빠르게 동작하도록 설계됐다.

성능 테스트 결과도 눈에 띈다. 연구진이 30억 파라미터 규모 모델을 활용해 TPU v6e 환경에서 실험한 결과, 기존 CPU 기반 트라이 방식보다 948배 빠른 속도를 기록했으며, 하드웨어 가속 이진 탐색 방식과 비교해도 최대 1033배 성능 향상을 보였다.

추가 지연 시간은 단계당 0.033밀리초(ms) 수준으로 전체 추론 시간의 0.25%에 불과해 실제 서비스 환경에서도 부담이 거의 없는 것으로 나타났다.

추천 성능에서도 긍정적인 결과가 확인됐다. 연구진이 ‘최근 7일 내 업로드된 영상만 추천’하도록 제한하는 실험을 진행한 결과, 온라인 A/B 테스트에서 7일 내 신규 영상 조회수는 5.1%, 3일 내 신규 영상 조회수는 2.9% 증가했다. 클릭률(CTR) 역시 0.15% 상승했으며 설정한 추천 조건도 100% 정확하게 준수한 것으로 나타났다.

연구진은 스태틱 기술이 이미 대규모 산업용 비디오 추천 플랫폼에 적용돼 효과를 입증했다고 밝혔다. 구글과 유튜브는 현재 수십억 명의 사용자가 이용하는 글로벌 플랫폼인 만큼, 추천 알고리즘의 작은 효율 개선도 서비스 품질에 큰 영향을 미친다는 평가다.

연구팀은 “스태틱은 대규모 산업 환경에서 하드웨어 가속기의 효율성을 극대화해 추천 시스템의 성능을 크게 높일 수 있다”며 “LLM 기반 생성 추천의 실용화를 가속하는 기술이 될 것”이라고 설명했다.

스태틱 관련 코드는 깃허브(GitHub)를 통해 공개돼 개발자들이 자유롭게 활용할 수 있다.