SK하이닉스가 11월 17일부터 22일까지(미국시간) 미국 조지아주 조지아 월드 콩그레스 센터(Georgia World Congress Center)에서 열린 ‘슈퍼컴퓨팅 2024(Super Computing 2024, 이하 SC 2024)’에 참가해 HPC와 AI를 위한 최첨단 솔루션을 선보였다.
‘MEMORY, THE POWER OF AI’를 주제로 전시에 참여한 SK하이닉스는 HPC·AI 제품 시연과 함께 첨단 메모리와 스토리지 기술에 대한 발표를 진행했다.
SK하이닉스는 글로벌 AI 메모리 시장에서의 기술 리더십을 보여주는 다양한 제품을 전시했다. 데이터센터 솔루션 섹션에서는 최근 양산에 들어간 세계 최초 12단 적층의 HBM3E D램을 비롯해, DDR5 Server DIMM, Enterprise SSD 등 회사의 핵심 제품을 선보였다.
데이터 처리 성능이 향상된 차세대 메모리 HBM3E는 현존하는 HBM(High Bandwidth Memory) 제품 중 최대 용량인 36GB를 구현한 신제품이다. AI 반도체 제조사들이 점점 더 방대한 데이터를 빠르게 처리할 수 있는 고용량 HBM이 필요함에 따라, SK하이닉스는 지난 9월 업계 최초로 12단 적층 D램 양산을 시작하며 반도체 시장 변화에 빠르게 대응하고 있다.
DDR5 RDIMM(1cnm)은 차세대 미세화 공정이 적용된 D램이다. 전력 효율이 높아져 데이터센터 전력 비용 절감에 기여할 것으로 기대된다. 이와 함께 고성능 서버용으로 설계된 다양한 DDR5 모듈의 DDR5 MCRDIMM과 DDR5 3DS RDIMM 등의 제품군도 소개했다. MCRDIMM(Multiplexer Combined Ranks Dual In-line Memory Module)은 여러 개의 D램이 기판에 결합된 모듈 제품으로 모듈의 기본 정보처리 동작 단위인 랭크(Rank) 2개가 동시 작동되어 속도가 향상된 제품이다.
SK하이닉스는 기존 출시한 초고성능 PCIe 5세대 제품 PS1010과 더불어, 데이터센터용 PCIe 5세대 eSSD(Enterprise SSD) 신제품 PEB110을 공개했다. PCIe 5세대 기술은 이전 세대보다 대역폭이 두 배로 넓어져 더 빠른 데이터 전송 속도를 제공하며, PEB110은 이를 통해 전력 효율과 성능이 크게 개선됐다.
HPC·AI 솔루션 분야에서도 주목되는 제품들을 선보였다.
이번 행사에서 차세대 메모리 기술인 CXL(Compute Express Link)을 적용한 CMM-DDR5를 선보였다. CXL 메모리는 여러 컴퓨팅 장치가 메모리를 공유하여 데이터 전송 속도와 자원 활용도를 높이는 기술로, HPC와 AI 응용에 필요한 메모리 용량 확장을 지원한다. 이러한 CXL 메모리 기술이 적용된 CMM-DDR5 데모에서는 Intel® Xeon® 6 프로세서가 장착된 서버 플랫폼을 사용해 AI 데이터 처리 작업을 더 빠르게 수행하는 사례를 소개해 큰 호응을 얻었다.
SK하이닉스는 PIM기술을 활용한 AiMX를 통해 최신 언어 모델인 LLaMA-3 70B의 실시간 처리 성능도 시연했다.
회사측은 “데이터센터의 언어 모델 서비스는 여러 사용자의 요청을 동시에 처리하는 방식으로 GPU 효율을 개선하고 있으나, 동시에 처리할 요청이 많아짐에 따라 이 과정에서 발생하는 결과물인 생성 토큰의 길이가 증가하여 GPU 효율이 낮은 Attention Layer의 연산량이 커지는 문제가 있다.”고 밝히고, 이번에 공개된 SK하이닉스의 AiMX는 연산을 가속해 데이터 처리 속도를 높이고 전력 소모를 줄임으로써, 대량 데이터를 효율적으로 처리할 수 있는 고성능·저전력 솔루션으로서의 강점을 제공한다고 설명했다.
Attention Layer는 입력 데이터의 각 부분에 가중치를 부여하여 관련 정보에 더 집중하게 하는 메커니즘으로 언어모델에서 사용되는 핵심 알고리즘을 말한다.
나이아가라(Niagara) 2.0 데모에서는 CXL Pooled Memory 솔루션을 활용해 거대언어모델(LLM) 추론 서비스에서 발생하는 LLM 모델 스위칭 오버헤드를 개선하는 방안을 선보였다. 이 솔루션은 GPU 메모리 부족으로 인해 불가피하게 발생하는 LLM 모델 스위칭 오버헤드를 줄여 추론 시간을 단축할 수 있음을 보여줬다.
또한 SK하이닉스는 미국 로스앨러모스 국립연구소(Los Alamos National Laboratory; LANL)와 협업하여 개발한 객체 기반 연산 스토리지(Object-based Computational Storage, OCS) 기술을 활용해 필요한 데이터만 분석 서버로 전송함으로써 HPC 환경의 데이터 병목 현상을 개선하는 데모를 선보였다. 또한, 대규모 데이터 처리에서 성능을 크게 향상시킬 수 있는 HBM 기반 NMP(Near-Memory Processing) 기술도 함께 소개했다.
