노타, 업스테이지 솔라 LLM 메모리 사용량 72% 절감 성공

MoE 구조 최적화 양자화 기술로 초대형 언어모델의 온디바이스 AI 상용화 가속

AI 경량화 및 최적화 기술 전문 기업인 노타가 업스테이지의 고성능 대형언어모델(LLM)인 솔라(Solar)의 모델 크기를 획기적으로 압축하는 데 성공했다. 이번 개발은 과학기술정보통신부가 주관하는 독자 AI 파운데이션 모델 프로젝트의 성과로, 1,000억 개의 파라미터를 가진 초대형 모델 솔라 오픈 100B에 노타의 독자적인 경량화 기술을 적용하여 메모리 효율을 극대화한 결과다. 이를 통해 초대형 모델의 추론 비용을 낮추고 처리 속도를 높이면서도 성능을 유지할 수 있는 기술적 토대가 마련되었다.

MoE 구조에 최적화된 독자 양자화 알고리즘 개발

노타가 이번 프로젝트에서 핵심적으로 다룬 기술은 최근 대세로 자리 잡은 전문가 혼합 구조(Mixture of Experts, MoE) LLM에 특화된 양자화 기법이다. 기존의 양자화 방식은 전문가 모델별로 다른 특성을 고려하지 않고 전체 모델을 일괄적으로 압축하여 성능 저하가 발생하는 한계가 있었다. 노타는 이러한 문제를 해결하기 위해 MoE 구조에서 발생하는 추론 왜곡을 최소화하는 노타 MoE 양자화(Nota MoE Quantization) 방법론을 독자적으로 개발했다.

해당 기술은 모든 연산을 동일한 비율로 줄이는 대신, 모델 내에서 정밀도가 중요한 부분은 유지하고 상대적으로 덜 중요한 부분만 집중적으로 압축하는 방식을 취한다. 이러한 차별화된 접근 방식 덕분에 경량화 과정에서 필연적으로 발생하는 성능 손실을 최소화할 수 있었다. 노타는 이 기술에 대한 특허 출원을 완료하여 글로벌 시장에서의 기술 경쟁력을 한층 강화했다.

메모리 점유율 72.8% 감축과 성능 유지의 동시 달성

노타의 경량화 기술을 솔라 100B 모델에 적용한 결과, 기존 191.2GB에 달했던 메모리 사용량이 51.9GB 수준으로 급격히 줄어들었다. 이는 원본 대비 약 72.8%에 달하는 메모리 절감 수치로, 초대형 모델을 운용하는 데 필요한 하드웨어 장벽을 획기적으로 낮춘 성과다. 성능 지표인 언어 모델의 당혹도(Perplexity, PPL) 역시 원본 모델의 6.06과 유사한 6.81을 기록하며 높은 정확도를 증명했다.

일반적인 범용 양자화 기법을 적용했을 때 성능이 5배 이상 저하되는 것과 비교하면, 노타의 기술은 성능 손실을 최소화하면서도 압도적인 압축률을 보여준다. 이는 적은 수의 GPU 인프라만으로도 더 많은 사용자에게 신속한 AI 서비스를 제공할 수 있음을 의미하며, 기업들의 운영 비용 절감에 직접적인 기여를 할 수 있는 실질적인 지표다.

로봇 및 모빌리티 등 피지컬 AI 환경으로의 확장

이번 연구 성과는 고사양 GPU 확보에 어려움을 겪는 기업들이 기존 하드웨어로도 고성능 AI 서비스를 구현할 수 있는 길을 열어주었다는 점에서 의미가 크다. 특히 로봇이나 자동차와 같이 제한된 연산 자원을 가진 온디바이스 AI 환경에서 100B 규모의 초대형 모델을 안정적으로 구동할 수 있는 기반을 마련했다. 노타는 이번 기술을 통해 모빌리티와 로보틱스 등 피지컬 AI 분야에서 한국형 파운데이션 모델의 활용도를 넓혀갈 계획이다.

노타의 채명수 대표는 “대규모 모델을 디바이스에 직접 구현해야 하는 수요가 증가함에 따라 자사의 경량화 및 최적화 기술이 핵심적인 역할을 할 것”이라고 밝혔다. 노타는 앞으로도 고성능 AI 실현을 위한 기술 고도화에 매진하며, 기업들이 자사 기기에 대용량 LLM을 손쉽게 탑재할 수 있도록 지원하는 지능형 자동화 생태계를 선도할 방침이다.