엔비디아, 메가와트당 토큰 생산성 극대화로 AI 데이터센터 투자수익률(ROI) 가속화

풀스택 엔지니어링과 쿠다 기반 소프트웨어 최적화로 메가와트당 토큰 생산량 및 인프라 수명 대폭 증대

인공지능(AI) 컴퓨팅 기술 분야를 선도하는 엔비디아(NVIDIA)가 높은 생산성, 내구성, 범용성을 바탕으로 AI 팩토리의 투자수익률(ROI)을 극대화하는 플랫폼 강점을 밝혔다.

AI 팩토리는 메가와트(MW)나 기가와트(GW) 단위의 대규모 전력을 소비하는 초대형 인프라다. 메가와트급 AI 팩토리 하나를 구축하는 데 약 6,000만 달러가 소요된다. 이에 따라 AI 팩토리 운영 기업은 명확한 ROI 전망을 확보해야 대규모 자본 투자를 결정할 수 있다. 엔비디아는 AI 팩토리의 수익성을 결정하는 핵심 요소로 수익 창출 능력, 유효 수명, 토큰(Token) 수요 등 세 가지를 제시했다.

메가와트당 처리량 극대화와 소프트웨어 호환성으로 장기적 가치 창출

엔비디아 AI 팩토리는 세 가지 수익성 요소를 동시에 극대화하도록 설계됐다. 전력 제약이 심한 AI 데이터센터 환경에서 메가와트당 초당 토큰 처리량은 수익성을 좌우하는 핵심 지표다. 동일한 전력 범위에서 더 많은 토큰을 생성할수록 수익 창출 능력이 높아지며, 토큰당 생산 비용은 낮아진다.

시장 조사 기관 세미애널리시스(SemiAnalysis)의 데이터에 따르면, 엔비디아 베라 루빈(Vera Rubin) NVL72 시스템은 엔비디아 GB300 NVL72 대비 메가와트당 처리량이 30배 이상 높다. 또한 딥시크 V4 프로(DeepSeek V4 Pro) 모델 기준 100만 토큰당 비용을 최대 45분의 1 수준으로 인하한다. 이러한 성능 향상은 모델, 소프트웨어, 컴퓨팅, 네트워킹, 메모리를 하나의 시스템으로 함께 최적화하는 ‘극한의 공동 설계(Extreme Codesign)’를 통해 달성됐다.

신제품 출시에 따른 기존 하드웨어의 가치 보존 문제도 소프트웨어 플랫폼을 통해 해결했다. 엔비디아의 프로그래밍 플랫폼인 쿠다(CUDA)는 여러 세대의 아키텍처와 호환된다. 지속적인 소프트웨어 및 커널(Kernel) 최적화를 통해 기존에 설치된 하드웨어의 연산 성능을 계속 향상시킨다. 2020년 출범한 A100 GPU는 6년이 지난 현재까지 상용 서비스에 활용되고 있으며, 코어위브(CoreWeave) 등의 기업은 A100 GPU의 주문 및 운용 기간을 2029년까지 연장했다.

단일 인프라에서 AI 및 고성능 가속 컴퓨팅 워크로드 전반 지원

엔비디아 AI 팩토리는 특정 AI 모델에 국한되지 않고 다양한 워크로드를 상호 운용할 수 있는 범용성을 갖췄다. 단일 워크로드 전용 시스템과 달리, 언어, 비전, 생물학, 물리학, 로보틱스 등 다양한 분야의 오픈 모델 및 독점 모델을 모두 실행할 수 있다.

동일한 인프라에서 데이터 처리, 사전 학습, 추론 등 AI 단계별 작업뿐만 아니라 과학 컴퓨팅, 그래픽, 디지털 트윈(Digital Twin) 시뮬레이션까지 동시 지원한다. 수천 개의 코어를 갖춘 GPU 아키텍처와 1,000개 이상의 사전 구축된 쿠다-X(CUDA-X) 라이브러리를 통해 단일 칩 세트에서 전문성과 유연성을 제공한다.

이러한 범용성은 주요 글로벌 기업 및 연구 기관의 운영 환경에서도 입증되고 있다. 릴리(Lilly)는 단백질 및 유전체학 모델 구축에 활용하고 있으며, 핀터레스트(Pinterest)는 비전 언어 모델 배포에 적용 중이다. 또한 다쏘 시스템(Dassault Systèmes) 및 유니레버(Unilever)는 버추얼 트윈 시뮬레이션과 제품 이미지 제작에 활용하여 생산성과 비용 효율성을 높였다.