엔비디아와 오픈AI, 로컬 PC에서 구동하는 오픈소스 AI 모델 최적화 협력

새로운 gpt-oss 모델,
엔비디아 RTX GPU 기반 AI PC 및 워크스테이션에서 가속화

[아이씨엔 오승모 기자] 엔비디아가 오픈AI(OpenAI)와 협력하여 새로운 오픈소스 AI 모델을 로컬 하드웨어에서 가속화한다고 발표했다. 이번 협력은 오픈AI의 신규 오픈소스 모델인 ‘gpt-oss’를 엔비디아 GPU에 최적화하여, 클라우드부터 개인용 PC에 이르기까지 빠르고 스마트한 추론 환경을 구축하는 것을 목표로 한다. 새로운 추론 모델은 웹 검색, 코딩 지원, 심층 연구 등 다양한 에이전틱 AI 애플리케이션을 지원하도록 설계되었다.

오픈AI는 gpt-oss-20b와 gpt-oss-120b 두 가지 모델을 오픈 웨이트(open-weight) 방식으로 출시했다. 이로써 개발자들과 AI 애호가들은 올라마(Ollama), 라마.cpp(llama.cpp) 등 널리 사용되는 도구를 통해 엔비디아 RTX AI PC 및 워크스테이션에서 직접 최적화된 모델을 사용할 수 있게 되었다.

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “오픈AI는 엔비디아 AI를 기반으로 무엇을 구축할 수 있는지 세상에 보여줬으며, 이제 오픈소스 소프트웨어 분야에서의 혁신을 이끌고 있다”며, “gpt-oss 모델은 전 세계 개발자들이 최첨단 오픈소스 기반 위에 구축할 수 있도록 지원하고, 세계 최대 규모의 AI 컴퓨팅 인프라를 기반으로 미국의 AI 기술 리더십을 강화할 것”이라고 말했다.

대용량 문서 처리와 효율성을 갖춘 gpt-oss 모델

이번에 공개된 gpt-oss 모델은 기술적으로 여러 특징을 갖추고 있다. ‘전문가 혼합(MoE)’ 아키텍처를 활용해 추론 강도를 유연하게 조절할 수 있으며, 복잡한 문제 해결을 위한 ‘사고 사슬(chain-of-thought)’ 기능을 갖추고 있다. 이 모델들은 엔비디아 H100 GPU에서 훈련되었다.

특히 주목할 점은 로컬 추론 환경에서 긴 수준인 최대 131,072 토큰의 컨텍스트 길이를 지원한다는 것이다. 이는 사용자가 대용량 문서를 기반으로 질문하거나 여러 단계에 걸친 복잡한 작업을 지시하는 등 컨텍스트 기반의 추론 능력을 요구하는 웹 검색, 코딩 지원, 문서 이해 등의 작업에 유용하다.

또한, 이 모델들은 엔비디아 RTX에서 지원되는 첫 MXFP4 모델이다. MXFP4는 높은 모델 품질은 유지하면서 다른 정밀도 유형에 비해 적은 시스템 리소스를 사용하여 빠르고 효율적인 성능을 제공하는 데이터 형식이다.

다양한 도구로 손쉬워진 로컬 AI 모델 실행

개발자와 사용자는 다양한 도구를 활용해 자신의 RTX AI PC에서 gpt-oss 모델을 경험할 수 있다.

가장 쉬운 방법 중 하나는 새로운 ‘올라마(Ollama)’ 앱을 사용하는 것이다. 24GB 이상의 VRAM을 갖춘 GPU가 탑재된 RTX AI PC에서 사용 가능하며, 별도의 설정 없이 드롭다운 메뉴에서 모델을 선택하는 것만으로 간편하게 대화를 시작할 수 있다. 올라마의 신규 앱은 PDF나 텍스트 파일을 채팅에 바로 지원하는 기능, 이미지 프롬프트를 사용하는 멀티모달 지원 등의 기능을 포함한다.

이 외에도 최소 16GB VRAM이 장착된 GPU 사용자들은 라마.cpp(llama.cpp) 프레임워크를 통해 모델을 사용해 볼 수 있다. 윈도우 개발자들은 현재 공개 프리뷰로 제공되는 ‘마이크로소프트 AI 파운드리 로컬’을 통해서도 새 모델에 접근할 수 있다. 파운드리 로컬을 설치한 후 터미널에 “Foundry model run gpt-oss-20b”를 입력하는 간단한 명령어로 모델 실행이 가능하다.

이번 오픈소스 모델 출시는 AI 가속 윈도우 애플리케이션에 추론 기능을 직접 통합하려는 개발자 및 AI 애호가들의 혁신을 가속화할 것으로 전망된다.