Google과 Stanford University 연구진이 연구 전 과정을 자율적으로 수행하는 AI 에이전트 ‘마스(MARS, Modular Agent with Reflective Search)’를 공개했다. 단순히 논문을 읽고 코드를 작성하는 수준을 넘어, 연구 설계와 실험 전략을 스스로 수정하는 단계에 진입했다는 평가다.

연구진은 4일(현지시간) 해당 내용을 온라인 아카이브(arXiv)에 게재했다.

AI 연구 자동화는 일반 소프트웨어 개발보다 훨씬 까다로운 영역으로 꼽힌다. 모델 하나를 학습하는 데 수 시간에서 수일이 걸리고, 성능 변화의 원인이 데이터 전처리인지, 하이퍼파라미터 조정 때문인지 가려내기도 쉽지 않다. 기존 대형언어모델(LLM) 기반 에이전트는 실행 비용을 충분히 고려하지 못하거나, 효과가 불확실한 실험을 반복해 계산 자원을 낭비하는 한계를 드러내 왔다.

마스는 이를 해결하기 위해 연구 과정을 ‘최적의 소프트웨어 저장소를 찾는 탐색 문제’로 재정의했다. 핵심은 세 가지다.

첫째는 ‘예산 인식 계획(Budget-Aware Planning)’이다. 알파고에 활용된 몬테카를로 트리 탐색(MCTS)을 적용해 정확도뿐 아니라 계산 비용까지 함께 고려한다. 성능이 좋아도 실행 시간이 과도하게 긴 실험은 사전에 배제하고, 비슷한 성능이라면 더 효율적인 방식을 선택한다. 그 결과 기존 방식보다 약 19.5% 높은 확률로 유효한 해법을 찾아냈다고 연구진은 밝혔다.

둘째는 모듈식 구성이다. 연구 코드를 ‘설계-분해-구현(Design-Decompose-Implement)’ 단계로 나누어 데이터 로딩, 모델 정의, 학습 과정 등을 독립 블록으로 제작한다. 문제가 발생하면 전체 코드를 다시 작성하는 대신 해당 부분만 수정할 수 있어 유지·보수가 한층 수월해졌다.

셋째는 ‘비교 성찰적 메모리(Comparative Reflective Memory)’다. 마스는 매 실험 결과를 이전 최적 결과와 비교 분석해 성능 변화의 원인을 ‘교훈(Lesson)’ 형태로 저장한다. 예컨대 특정 모델 구조 변경이 정확도 향상에 기여했다면 이를 기록해 다음 실험에 반영한다. 실제로 전체 교훈의 63%가 다른 실험 경로에 전이 적용된 것으로 나타났다.

성능도 눈에 띈다. 캐글 경진대회 문제로 구성된 ‘MLE-벤치’ 평가에서 마스는 오픈소스 AI 연구 에이전트 가운데 최고 성적을 기록했다. 금메달 획득률은 31.1%에 달했으며, 확장 버전 ‘마스+’는 GPU 두 개만으로 59.6%의 메달 획득률을 기록했다. 코드 표절 검사에서도 공개 노트북과의 유사도가 대부분 60% 미만으로 나타나 단순 복제가 아닌 새로운 해법을 생성한 것으로 분석됐다.

연구진은 마스의 가장 큰 의의로 ‘재귀적 자기 개선(recursive self-improvement)’을 꼽았다. 에이전트가 실패 원인을 분석하고, 이를 다음 시도에 반영하는 지속 학습 루프를 구현했다는 설명이다. 이는 AI가 단순 도구를 넘어 경험을 축적하며 성장하는 ‘연구 주체’로 진화하고 있음을 보여준다는 평가다.

다만 이번 성과는 정해진 벤치마크 환경에서의 결과로, 완전히 새로운 이론을 창출하는 창의적 연구 단계까지는 추가 검증이 필요하다는 점도 함께 지적됐다.

업계는 이번 발표를 계기로 AI 경쟁의 중심이 단순 질의응답을 넘어 ‘스스로 배우고 전략을 고치는 능력’으로 이동하고 있다고 보고 있다.