Arm CPU에서 Meta의 새로운 Llama 3.2 버전 실행 시 클라우드에서 엣지까지의 성능 대폭 향상
Arm이 메타(Meta)가 새롭게 발표한 버전의 라마(Llama) 3.2 LLM 통해 모든 곳에서 AI 추론을 가속화하고 확장하고 있는 것으로 나타났다.
Arm의 머신러닝 기술 부사장 겸 펠로우 이안 브랫(Ian Bratt)은 최근 Arm 블로그 글(링크)을 통해 Arm CPU에서 Meta의 새로운 Llama 3.2 버전 실행 시 클라우드에서 엣지까지의 성능 대폭 향상되었으며, Meta와 Arm간의 협업으로 개인화된 온디바이스 추천이나 일상 작업 자동화 등의 사용 사례에서 더 빠른 혁신이 가능했다고 밝혔다.
그는 “AI가 지속적으로 빠르게 진화함에 따라 새로운 버전의 대규모 언어 모델(LLM)이 정기적으로 등장하고 있다. AI의 잠재력과 기회를 최대한 활용하기 위해서는 클라우드부터 엣지에 이르기까지의 모든 곳에서 실행되는 LLM이 필요하지만, 이로 인해 상당한 컴퓨팅 및 에너지 수요가 발생하고 있다.”고 설명했다.
그리고, 오픈 소스 LLM에 대해 다음과 같이 분석했다.
“에코시스템은 이 문제를 해결하기 위해 힘을 모으고 있으며, 광범위한 AI 추론 워크로드를 대규모로 지원하고 사용자에게 새롭고 가속화된 AI 경험을 더 빠르게 제공하기 위해 보다 새롭고 효율적인 오픈 소스 LLM을 출시하고 있다.”
Arm은 Meta와의 협력을 통해 Arm CPU에서 최신 Llama 3.2 LLM을 지원하여 이러한 과제를 해결하기 위한 오픈 소스 혁신과 Arm 컴퓨팅 플랫폼의 강력한 조합을 보여주고 있다며 메타(Meta)와의 협력에 대한 성과를 강조했다.
이어서 그는 “Arm의 지속적인 투자와 이와 같은 새로운 LLM과의 협력은 에코시스템이 Arm CPU에서 AI를 실행하는 이점을 자동으로 확인할 수 있음을 의미하며, 이를 통해 개발자들이 AI 추론 워크로드를 타깃할 때 선택할 수 있는 플랫폼이 되었다”고 밝혔다.
그에 따르면, Llama 3.2 1B 및 3B와 같이 기본적인 텍스트 기반 생성형 AI 워크로드를 지원하는 소규모의 LLM의 가용성은 대규모 AI 추론을 구현하는데 매우 중요하다.
Arm CPU에 최적화된 커널을 통해 Arm 기반의 모바일 디바이스에서 최신 Llama 3.2 3B LLM을 실행하면 처리 속도가 5배, 토큰 생성 속도가 3배 향상되어 생성 단계에서 초당 19.92개의 토큰을 처리할 수 있다. 이는 디바이스에서 AI 워크로드를 처리할 때 지연 시간이 줄어들고 전반적인 사용자 경험이 훨씬 빨라진다는 것을 의미한다.
또한, 엣지에서 더 많은 AI를 처리할수록 클라우드를 오가는 데이터의 전력이 절약되어 에너지 및 비용 절감으로 이어진다.
특히 그는 오픈 소스를 통한 혁신과 협업의 성과를 강조했다.
Llama 3.2와 같은 최신 LLM을 공개적으로 사용할 수 있도록 하는 것은 매우 중요하다고 강조했다.
그는 “오픈 소스 혁신은 놀라울 정도로 빠르게 진행되고 있다.”며, 이전 버전에서 오픈 소스 커뮤니티는 24시간 이내에 최신 LLM을 Arm에서 실행할 수 있었다고 설명했다.
Arm은 Arm Kleidi를 통해 소프트웨어 커뮤니티를 더욱 강화하고 있으며, 전체 AI 기술 스택이 이 최적화된 CPU 성능을 활용할 수 있도록 지원한다. Kleidi는 애플리케이션 개발자가 별도의 통합 없이 모든 AI 프레임워크에서 Arm Cortex 및 Neoverse CPU의 AI 기능 및 성능을 활용할 수 있도록 지원한다.
또한 “최근 Kleidi와 PyTorch의 통합과 현재 진행 중인 ExecuTorch와의 통합으로, Arm은 클라우드에서 엣지에 이르기까지 개발자가 Arm CPU에서 원활한 AI 성능 이점을 누릴 수 있도록 지원하고 있다”고 설명했다. Kleidi와 PyTorch의 통합으로 Llama 3 LLM을 실행할 때 Arm 기반 AWS Graviton 프로세서에서 첫 토큰 생성 시간이 2.5배 향상되었다고도 밝혔다.
Arm은 새로운 LLM과 오픈 소스 커뮤니티 및 Arm의 컴퓨팅 플랫폼을 통해 2025년까지 1,000억 개 이상의 Arm 기반 디바이스가 AI를 지원할 수 있도록 AI의 미래를 구축하고 있는 것이다.
