KT, 엔비디아 DGX 슈퍼POD 플랫폼 및 네모 메가트론 프레임워크로 훈련된 초거대 언어 모델 MI:DEUM 구축
엔비디아(CEO 젠슨 황)가 KT의 스마트 스피커와 고객 콜센터 훈련에 엔비디아 AI를 지원했다고 밝혔다
800만 명의 사용자를 가진 국내 인기 AI 음성비서인 KT 기가지니는 한발 더 나아가 아마존 알렉사(Alexa)와의 호환성 통합을 거쳐 사용자와 영어로 대화할 수 있게 됐다.
KT의 AI 기반 스피커는 TV를 제어하고, 실시간 교통 정보를 제공하고 기타 집안에서의 다양한 업무를 수행한다. 대형의 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측 및 생성할 수 있는 머신러닝 알고리즘인 초거대언어 모델 덕분에 매우 복잡한 한국어 대화 기술을 숙달중이다.
KT의 모델은 엔비디아 DGX 슈퍼(Super)POD 데이터센터 인프라 플랫폼과 네모 메가트론(NeMo Megatron) 프레임워크 위에서 KT 독자 기술인 초거대 언어모델 MI:DEUM을 개발했다.
KT의 Large AI 개발팀 류휘정 팀장은 “트랜스포머 기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 AI 컨택센터(AICC)의 품질이 크게 향상됐다”라고 말했다.
KT에 따르면 대규모 딥 러닝 모델을 여러 장치에 분할하는 분산 학습 방법인 3D 병렬 처리 기술을 통해 모델을 보다 효과적으로 훈련했다. 네모 메가트론을 통해 팀은 가장 높은 처리량으로 작업을 쉽게 수행할 수 있었다.
KT는 네모 메가트론의 하이퍼파라미터 최적화 도구를 사용해 다른 프레임워크보다 모델을 두배 더 빠르게 훈련했다. 이러한 도구를 통해 사용자는 훈련 및 추론을 위한 최상의 구성을 자동으로 찾아 개발 및 배포 과정을 쉽고 빠르게 할 수 있다.
이러한 과정을 통해 KT는 오는 11월 개발자를 대상으로 20여종의 자연어 이해와 자연어 생성 API를 출시한다. 애플리케이션 프로그래밍 인터페이스는 문서 요약 및 분류, 감정 인식 및 잠재적으로 부적절한 내용의 필터링을 포함한 작업에 사용할 수 있다.
