천재 반도체 엔지니어로 불리는 짐 켈러(Jim Keller)가 이끄는 AI 반도체 기업 텐스토렌트(Tenstorrent)가 RISC-V 기반 데스크톱 인공지능(AI) 워크스테이션 ‘TT-QuietBox 2’를 공개했다.

회사는 12일 발표를 통해 데스크탑 환경에서 최대 1200억(120B) 파라미터 규모의 대형언어모델(LLM)을 로컬에서 실행할 수 있는 시스템을 선보였다고 밝혔다. 이 제품은 액체 냉각 방식을 적용한 저소음 시스템으로, 연구실이나 사무실 환경에서도 고성능 AI 연산을 수행할 수 있도록 설계됐다. 제품 가격은 9,999달러부터 시작하며 글로벌 출시는 올해 2분기로 예정됐다.

텐스토렌트는 최근 AI 산업에서 모델 학습(training)보다 추론(inference) 워크로드가 빠르게 증가하고 있다고 설명했다. 회사에 따르면 현재 클라우드 AI 인프라 지출의 55% 이상이 추론 작업에 사용되고 있으며 관련 시장 규모는 약 375억 달러로 추산된다. 그러나 기업과 개발자들은 AI 추론 환경 구축 시 사용량이 늘수록 비용이 증가하는 클라우드 기반 토큰 과금 모델과 내부 구조를 확인할 수 없는 폐쇄형 하드웨어 플랫폼 사이에서 선택해야 하는 문제가 있었다.

텐스토렌트는 이러한 문제를 해결하기 위해 하드웨어부터 소프트웨어까지 모든 계층을 개방형 구조로 제공하는 AI 시스템을 개발했다고 밝혔다. ‘TT-QuietBox 2’는 다양한 AI 워크로드를 데스크톱 환경에서 직접 실행할 수 있도록 설계됐다. 대표적으로 ▲120B 파라미터 GPT-OSS 모델 로컬 실행 ▲Llama 3.1 70B 모델 초당 약 476.5 토큰 처리 ▲Qwen 3‑32B 기반 코딩 에이전트 구축 등이 가능하다.

또한 이미지 생성 모델 Flux와 영상 생성 모델 Wan 2.2 등을 활용한 콘텐츠 생성 작업도 로컬 환경에서 실행할 수 있어 데이터를 외부 서버에 업로드하지 않고도 AI 콘텐츠 제작이 가능하다.

과학 연구 분야에서도 활용 가능성이 제시됐다. 생체분자 머신러닝 모델 Boltz-2를 사용하면 686개 아미노산 단백질 구조를 약 49초 만에 예측할 수 있다. 이는 일반 CPU 환경에서 약 45분이 걸리는 작업을 크게 단축한 수준이다.

TT-QuietBox 2는 텐스토렌트가 자체 개발한 ‘Blackhole’ AI 프로세서를 기반으로 한다. 시스템 내부에는▲4개의 Blackhole ASIC 프로세서▲480개의 Tensix 코어 ▲2654 TFLOPS 연산 성능이 탑재됐다.

또한 128GB GDDR6 메모리, 256GB DDR5 시스템 메모리의 구성을 통해 대형 AI 모델 처리 능력을 확보했다. 회사 측은 칩 내부에 고밀도 SRAM을 통합해 데이터 흐름 기반 처리 구조를 구현했으며, 이를 통해 기존 GPU 환경에서 발생하는 DRAM 병목 문제를 줄일 수 있다고 설명했다.

이 시스템의 또 다른 특징은 전체 소프트웨어 스택을 오픈소스로 제공한다는 점이다. 대표적으로 ▲TT-Forge AI 컴파일러 ▲TT-Metalium 저수준 SDK ▲TT-LLK 커널 소프트웨어 등이 공개된다. 또한 ▲PyTorch, TensorFlow, ONNX, JAX, PaddlePaddle 등 주요 AI 프레임워크와도 호환된다.

TT-QuietBox 2는 온프레미스 AI 환경 구축을 목표로 설계됐다. 시스템에는Ubuntu 24.04 운영체제, 전체 AI 소프트웨어 스택이 사전 설치된 상태로 제공되며 일반 120V 전원 콘센트에 연결하면 바로 사용할 수 있다.

또한 서버 랙이나 데이터센터 수준의 냉각 장비 없이 사용할 수 있어 연구소, 스타트업, 중소기업 등에서도 자체 AI 인프라 구축이 가능하다는 것이 회사 측 설명이다.

짐 켈러 CEO는 “AI 소프트웨어를 오픈소스로 개발하는 데 많은 노력을 기울이고 있다”며 “연구실이나 사무실에서도 사용할 수 있는 빠르고 조용한 테라플롭급 AI 개발 시스템을 만들고자 했다”고 말했다.