More

    인텔, 기업용 생성형 AI 위한 인텔 가우디 3 가속기 발표

    “엔비디아 H100 대비 평균 50% 더 뛰어난 추론성능, 평균 40% 더 우수한 전력 효율성” 제공

    인텔 가우디 3 AI 가속기
    인텔 가우디 3 AI 가속기는 공통 표준을 따르는 이더넷을 통해 최대 수만 개의 가속기를 연결해 AI 시스템을 구동한다.

    [아이씨엔매거진] 인텔의 연례 고객 및 파트너 컨퍼런스인 인텔 비전 2024(Intel Vision 2024)에서 인텔은 기업용 생성형 AI(GenAI)를 위한 성능, 개방성 및 선택권을 제공할 인텔 가우디 3(Intel Gaudi 3) 가속기를 발표했다.

    이번 발표에서 인텔은 “엔비디아 H100 대비 평균 50% 더 뛰어난 추론성능과 평균 40% 더 우수한 전력 효율성 및 더 뛰어난 가성비를 제공”한다고 강조했다.

    오늘날 금융, 제조, 의료 등 주요 부문의 기업들은 AI에 대한 접근성을 확대하고 실험 단계에서 본격적인 구현으로 전환하는 생성형 AI(GenAI) 프로젝트를 빠르게 모색하고 있다. 이러한 전환을 관리하고 혁신을 촉진하며 매출 성장 목표를 실현하기 위해 기업은 투자 수익률(ROI) 및 운영 효율성 요구를 충족하는 개방적이고 비용 효율적이며 에너지 효율적인 솔루션과 제품을 필요로 한다.

    인텔 DCAI(데이터센터 및 AI) 그룹 총괄 저스틴 호타드(Justin Hotard) 수석 부사장은 “끊임없이 진화하는 AI 시장 환경 속에서 현재 제공되는 제품에는 상당한 격차가 존재한다. 고객과 시장의 피드백에 의하면 선택의 폭이 확대되길 바라는 요구가 있다”라며 “기업은 가용성, 확장성, 성능, 비용, 에너지 효율성 등을 비중있게 고려한다. 인텔 가우디 3는 가격 대비 성능, 시스템 확장성, 가용성 등 모든 측면에서 이점을 갖춘 매력적인 생성형 AI 대안으로 주목받고 있다”고 밝혔다.

    효율적인 대규모 AI 컴퓨팅을 위해 설계된 인텔 가우디 3 가속기는 5나노미터(nm) 공정으로 제조되며 이전 제품보다 크게 향상된 성능을 제공한다.

    MME(Matrix Multiplication Engine), 텐서 프로세서 코어(TPC), 네트워킹 인터페이스 카드(NIC) 등 모든 엔진을 병렬로 활성화할 수 있도록 설계되어 빠르고 효율적인 딥러닝 연산 및 확장에 필요한 가속화를 지원한다. 주요 기능은 다음과 같다.

    · AI 전용 컴퓨팅 엔진: 인텔 가우디 3 가속기는 고성능, 고효율 생성형 AI 컴퓨팅을 위해 설계되었다. 각 가속기는 64개의 AI 맞춤형 및 프로그래밍 가능한 TPC와 8개의 MME로 구성된 이종 컴퓨팅 엔진을 갖추고 있다. 각 인텔 가우디 3 MME는 6만 4천개의 병렬 연산을 수행할 수 있어 높은 수준의 연산 효율성을 제공하며, 딥 러닝 알고리즘의 기본 연산 유형인 복잡한 행렬 연산을 능숙하게 처리할 수 있다. 가우디 3만의 설계는 병렬 AI 작업의 속도와 효율성을 가속화하고 FP8 및 BF16을 비롯한 여러 데이터 유형을 지원한다.

    · LLM 용량 요구사항을 위한 메모리 가속: 128 GB의 HBMe2 메모리 용량, 3.7 TB의 메모리 대역폭, 96 MB의 SRAM(온보드 정적 기억 장치)으로 더 적은 수의 인텔 가우디 3에서 대규모 생성형 AI 데이터세트를 처리할 수 있는 충분한 메모리를 제공하며, 특히 대규모 언어 및 멀티모달 모델을 제공하는 데 유용하여 워크로드 성능과 데이터센터 비용 효율성이 향상된다.

    · 기업용 생성형 AI를 위한 효율적인 시스템 확장: 24개의 200 Gb 이더넷 포트가 모든 인텔 가우디 3 가속기에 통합되어 있어 유연한 개방형 표준 네트워킹을 제공한다. 이를 통해 효율적인 확장이 가능해 대규모 컴퓨팅 클러스터를 지원하고 독점 네트워킹 패브릭이 한 벤더에 종속될 필요가 없다. 인텔 가우디 3 가속기는 단일 노드에서 수천 개까지 효율적으로 스케일업 및 스케일아웃할 수 있도록 설계되어 생성형 AI 모델의 광범위한 요구 사항을 충족한다.

    · 개발자의 생산성을 위한 개방형 산업 소프트웨어: 인텔 가우디 소프트웨어는 파이토치(PyTorch) 프레임워크를 통합하며 오늘날 생성형 AI 개발자에게 가장 널리 사용되는 AI 프레임워크인 허깅 페이스(Hugging Face) 커뮤니티 기반 최적화 모델을 제공한다. 이를 통해 생성형 AI 개발자는 높은 추상화 수준에서 작업하여 사용 편의성과 생산성을 높이고 하드웨어 유형 간에 모델을 쉽게 이식할 수 있다.

    · 가우디 3 PCle: 가우디 3 PCle 부속(add-in) 카드가 제품군에 새로 추가되었다. 저전력으로 높은 효율성을 제공하도록 맞춤 설계된 새로운 폼팩터는 미세 조정, 추론 및 RAG(retrieval-augmented generation)와 같은 워크로드에 이상적이다. 600와트의 풀 하이트 폼 팩터로, 128GB의 HBM2e 메모리 용량과 초당 3.7TB의 대역폭을 제공한다.

    ASI
    오승모 기자
    오승모 기자http://icnweb.kr
    기술로 이야기를 만드는 "테크 스토리텔러". 아이씨엔 미래기술센터 수석연구위원이며, 아이씨엔매거진 편집장을 맡고 있습니다. 디지털 전환을 위한 데이터에 기반한 혁신 기술들을 국내 엔지니어들에게 쉽게 전파하는데 노력하는 중입니다.
    K-BATTERY Show
    • hilscher
    ASI

    Join our Newsletter

    Get the latest newsletters on industry innovations.

    FASTECH
    K-BATTERY SHOW 2024

    Related articles

    인텔 100% 재생에너지 사용 달성.. 미국, 유럽, 말레이시아, 베트남, 중국 사업장

    인텔의 반도체 사업장들이 속속 100% 재생에너지 사용을 달성하고 있는 것으로 나타났다

    매스웍스, “실시간 AI 컴퓨팅 소프트웨어 플랫폼인 엔비디아 홀로스캔에서 매트랩(MATLAB) 사용 가능”

    매스웍스는 의료기기 구축을 위한 실시간 AI 플랫폼인 엔비디아 홀로스캔(NVIDIA Holoscan)에서 매트랩(MATLAB)을 사용할 수 있다고 밝혔다

    [#HM24] HARTING 테크놀로지 그룹, 기후 중립적 미래를 위한 혁신안 소개

    HARTING이 하노버메세 2024에서 중점을 둔 제품은 탄소중립 생산, 산업용 에너지, 그리고 AI(인공지능)를 위한 커넥티비티 솔루션이다

    기자의 추가 기사

    IIoT

    FASTECH
    K-BATTERY SHOW 2024

    추천 기사

    mobility