클라우드 접속 없이 내 PC에서 AI 코딩을? 엔비디아, RTX GPU 기반 ‘큐원3.8-27B’ 로컬 에이전트 지원-아이씨엔매거진

클라우드 의존 없는 강력한 보안과 고성능 추론… 지포스 RTX 5090 등 다양한 폼팩터에서 빠른 코딩 생태계 구축

인공지능(AI) 컴퓨팅 분야의 글로벌 선두주자인 엔비디아(NVIDIA)가 엔비디아 RTX GPU에서 최신 오픈소스 모델인 ‘큐원3.8-27B(Qwen3.8-27B)’를 공식 지원한다고 밝혔다. 이번 발표는 개발자가 클라우드 서버에 의존하지 않고 자신의 개인용 컴퓨터(PC)나 워크스테이션에서 직접 최고 수준의 AI 코딩 에이전트를 가동할 수 있게 되었다는 점에서 큰 의미를 가진다.

민감한 데이터 유출 걱정 없는 강력한 ‘로컬 AI 에이전트’의 등장

큐원3.8-27B는 큐원3.8-맥스(Qwen3.8-Max)의 로컬 동반 모델로 개발되었으며, 총 270억 개의 파라미터(매개변수)를 갖춘 거대언어모델이다. 단일 GPU 환경에서도 원활하게 구동되도록 설계되어 개인 개발자나 기업의 내부 엔지니어가 손쉽게 접근할 수 있다.

특히 개발자는 외부 네트워크나 클라우드 서버로 데이터를 송신할 필요 없이, 자신의 로컬 시스템 안에서 프로젝트 문맥과 코드를 안전하게 분석할 수 있다. 이는 기업의 독점 자산이나 민감한 소스코드 유출에 대한 우려를 근본적으로 해소해 준다. 보안성을 확보함과 동시에 빠른 반응성을 갖춘 로컬 코딩 워크플로우를 완성할 수 있는 기반이 마련된 셈이다.

초당 131토큰의 압도적 속도와 광범위한 생태계 호환성

이번 기술 지원의 핵심은 강력한 추론 속도에 있다. 엔비디아 지포스(GeForce) RTX 5090과 엔비디아 RTX PRO GPU 등 최신 인프라에서 이 모델이 가동된다. 여기에 다중 토큰 예측(Multi-Token Prediction, MTP) 기술이 적용되어, 단일 지포스 RTX 5090 시스템 기준으로 초당 131개의 토큰을 처리하는 고성능을 발휘한다.

이러한 높은 연산 속도는 복잡한 도구 사용이나 장시간 이어지는 코딩 작업에서 대기 시간을 대폭 줄여준다. 또한, 개발자들에게 친숙한 라마.cpp(llama.cpp), 올라마(Ollama), 언슬로스(Unsloth), LM 스튜디오 바이오닉(LM Studio Bionic) 등 대표적인 오픈소스 도구들과 즉시 연동된다.

아울러 이 모델은 개인용 디바이스인 DGX 스파크(DGX Spark)와 DGX 스테이션(DGX Station)은 물론, 산업 현장의 엣지 디바이스인 엔비디아 젯슨(Jetson) 모듈까지 지원 범위를 확장한다. 이로써 엔비디아는 PC부터 산업용 엣지 장비에 이르기까지 전방위적인 로컬 AI 에이전트 생태계를 구축하게 되었다.

용어해설

파라미터 (Parameter): AI 모델이 학습을 통해 데이터의 패턴을 기억하고 판단하는 데 사용하는 ‘매개변수’이다. 숫자가 많을수록 복잡하고 정밀한 연산이 가능하다.
다중 토큰 예측 (Multi-Token Prediction, MTP): AI가 단어를 생성할 때 한 번에 하나의 토큰(단어 조각)만 예측하는 것이 아니라, 여러 개의 토큰을 동시에 예측하여 처리 속도를 대폭 향상시키는 기술이다.
로컬 AI 에이전트 (Local AI Agent): 인터넷이나 외부 클라우드 서버에 연결하지 않고, 사용자의 기기(PC, 워크스테이션) 내부 자원만 활용하여 스스로 작업을 수행하는 인공지능 프로그램이다.
엣지 컴퓨팅 (Edge Computing): 중앙 데이터센터나 클라우드가 아닌, 데이터가 발생되는 현장 주변의 단말 디바이스(엣지 장비)에서 직접 데이터를 처리하고 연산하는 방식이다.