[이슈] 초당 3,400개 토큰 쏟아낸다… 엔비디아, 에이전틱 AI 가속기 ‘그록 3 LPX’ 전격 양산

7

2026년 08월 31일

엔비디아는 베라 루빈 NVL72 플랫폼과 결합하는 그록 3 LPX 가속기의 랙 스케일 모듈화를 통해 초당 3,400토큰의 디코딩 성능과 NV링크 퓨전 기반의 하이퍼스케일 AI 팩토리 아키텍처를 상용화하고 있다.

베라 루빈 NVL72 기반 초고속 추론 구현… 네비우스·스페이스XAI 도입으로 AI 팩토리 생태계 대변혁

[이슈] 초당 3,400개 토큰 쏟아낸다… 엔비디아, 에이전틱 AI 가속기 ‘그록 3 LPX’ 전격 양산 — NVIDIA Groq 3 LPX (이미지. 엔비디아)

인공지능(AI, Artificial Intelligence) 기술의 중심축이 대규모 모델 학습에서 스스로 판단하고 행동하는 ‘에이전틱 AI(Agentic AI)’ 추론 영역으로 가파르게 이동하고 있다. 엔비디아(NVIDIA)가 미국 팔로알토에서 열린 ‘핫칩스(Hot Chips) 2026’ 콘퍼런스에서 인터랙티브 AI 추론 가속기인 ‘엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)’의 본격적인 대량 양산에 돌입했다고 발표했다. 이번 가속기는 엔비디아의 차세대 베라 루빈(Vera Rubin) 플랫폼을 확장하는 핵심 장비로, 반응성이 뛰어난 에이전틱 AI 시스템을 위한 초고속 토큰(Token) 생성을 전폭적으로 지원한다.

에이전틱 AI의 핵심, 초고속 토큰 생성과 베라 루빈의 결합

에이전틱 AI 시스템은 사람이 복잡한 명령을 내렸을 때 스스로 파일을 검토하고 코드를 작성하거나 도구를 호출하는 등 수백, 수천 단계의 연속적인 추론 과정을 거친다. 이 과정에서 AI가 생성하는 데이터 단위를 ‘토큰’이라고 부른다. 에이전트가 각 작업 단계를 즉각 완료하기 위해서는 이 토큰을 한 번에 얼마나 빠르게 만들어내느냐가 시스템 전체의 성능을 결정짓는 핵심 요소가 된다.

그록 3 LPX는 차세대 랙 스케일 시스템인 ‘베라 루빈 NVL72’와 함께 작동하도록 정밀하게 정합 설계되었다. 오픈소스 에이전틱 모델인 ‘젬마 4 31B(Gemma 4 31B)’를 대상으로 한 10만 토큰 장문 컨텍스트 벤치마크 테스트에서 그록 3 LPX는 초당 3,400개의 출력 토큰을 달성하는 기록적인 성능을 보여주었다. 이는 유사한 대체 플랫폼 대비 에이전트 작업 처리 시 응답 속도를 4배 이상 빠르게 단축해 준다. 대규모 컨텍스트 처리는 루빈 GPU가 맡고, 지연 시간(Latency)에 민감한 토큰 디코딩 가속은 그록 3 LPX가 전담하면서 두 가속기가 물리적 한계를 함께 극복하고 있다.

엔비디아 루빈 GPU는 대규모 컨텍스트 처리를 담당하고, LPX는 레이턴시에 민감한 디코딩 워크로드를 가속한다. 이를 통해 더 빠르고 예측 가능한 토큰 생성을 구현하며, AI 팩토리가 반응성 높은 추론과 원활한 에이전트 상호작용, 향상된 인프라 효율성을 제공할 수 있도록 한다. (이미지. 엔비디아)

극한의 공동 설계와 NV링크 퓨전으로 여는 AI 팩토리 시대

엔비디아는 반도체 칩 단품에만 집중하는 것이 아니라 칩, 네트워킹, 스토리지, 시스템 소프트웨어 전체를 하나로 묶어 설계하는 ‘극한의 공동 설계(Extreme Codesign)’ 방식을 적용하고 있다. 베라 루빈 NVL72 시스템에는 그록 3 LPX 가속기를 비롯해 엔비디아 베라 CPU, 블루필드-4 DPU(Data Processing Unit), 스펙트럼-6 SPX 이더넷 스위치 등이 하나의 통합된 AI 팩토리 형태 구축을 완성한다.

또한 새로 공개된 ‘엔비디아 NV링크 퓨전(NVIDIA NVLink Fusion)’ 기술은 고객 맞춤형 특화 반도체(XPU)나 CPU를 엔비디아의 초고속 NV링크 아키텍처에 직접 연결할 수 있도록 개방성을 제공한다. 글로벌 AI 클라우드 기업인 네비우스(Nebius)는 ‘네비우스 토큰 팩토리’ 플랫폼에 그록 3 LPX를 세계 최초로 전격 도입한다. 아울러 우주 항공 기업 스페이스XAI(SpaceXAI) 역시 우주 위성 및 지상 데이터센터의 에이전틱 AI 오케스트레이션 수행을 위해 엔비디아 베라 CPU 인프라를 채택하여 차세대 AI 팩토리를 확장하고 있다.

용어해설

에이전틱 AI (Agentic AI): 사람의 개입을 최소화하고 스스로 목표를 설정하여 정보 탐색, 코드 작성, 도구 활용 등 다단계 복잡한 작업을 자율 수행하는 인공지능 시스템이다.
토큰 (Token): AI 언어 모델이 글자나 문장을 처리하고 생성할 때 사용하는 가장 작은 문자 덩어리 단위를 뜻한다.
추론 (Inference): 이미 학습을 마친 AI 모델이 새로운 입력 데이터에 대해 결과를 예측하거나 토큰을 생성하여 답변을 출력하는 실행 과정을 의미한다.
지연 시간 (Latency): 입력 신호가 전달되어 AI 시스템이 첫 번째 토큰을 생성하거나 전체 응답을 완료할 때까지 걸리는 대기 시간을 말한다.
NV링크 퓨전 (NVLink Fusion): 엔비디아의 독자적인 고대역폭 초고속 칩간 연결 기술을 제3자의 커스텀 프로세서(XPU/CPU)까지 확장 연결할 수 있도록 지원하는 네트워크 인터페이스 기술이다.