[기고] RISC-V가 어떻게 에지 ML을 가속화하는가?-아이씨엔매거진

전력 효율적인 RISC-V 프로세서를 사용해서 에지에서 ML 워크로드 처리

Mouser image — 머신러닝과 에지 컴퓨팅을 융합함으로써 자율적으로 의사결정을 하고 실시간으로 적응이 가능한 스마트 디바이스를 실현할 수 있다.(이미지: ipopba/Stock.adobe.com)

글: 브랜든 루이스(Brandon Lewis)
제공: 마우저 일렉트로닉스(Mouser Electronics)

머신러닝(ML) 분야에서 막 경력을 시작하는 이들은 클라우드에 데이터를 저장하고 처리하기 위해서 비용이 얼마나 비싼지 금방 깨닫는다. 많은 기업이나 기관들이 이 비용을 제한하고자 자체적인 온-프레미스 인프라를 구축하고 ML 워크로드를 호스트하려고 시도해 왔다. 그런데 일정한 규모 이상일 때 이러한 로컬 데이터 센터는 전력 소모 증가라는 대가가 따른다. 이것은 전력 요금을 증가시키고, 장비로 열 관리 문제를 야기하고, 지속가능성 노력에 영향을 미치는 것으로 이어진다.

클라우드나 온-프레미스나 비용은 중앙 허브로 수집되는 데이터 양과 직결된다. 이에 대한 해결책은 에지(Edge) 컴퓨팅 시스템을 사용해서 데이터 포착 지점에서 되도록 가까운 곳에서 입력을 분석함으로써 전송에 앞서 되도록 많은 데이터를 여과하는 것이다.

그러기 위해서는 이러한 에지 컴퓨팅 시스템 자체가 전력 효율적이어야 한다. 바로 이러한 요구를 충족하는 것으로서 새로운 세대의 RISC-V 프로세서는 여타의 명령어 셋 아키텍처(ISA)에 기반한 디바이스들과 비교해서 성능 단위당 3배의 전력 효율을 제공한다.

에지 ML 용으로 RISC-V: 더 적은 명령어, 더 적은 전력 소모

ML과 에지 컴퓨팅을 융합함으로써 자율적으로 의사결정을 하고 실시간으로 적응이 가능한 스마트 디바이스를 실현할 수 있다. 이러한 유형의 데이터 프로세싱 계층이 요구되는 것과 때를 맞춰서 RISC-V 프로세서 기술이 진보하고 있다. 이 기술은 다음과 같은 커넥티드 에지 애플리케이션들에 이미 도입되고 있다:

웨어러블: RISC-V 프로세서를 채택한 피트니스 트래커는 자체 디바이스 상에서 활동 추적과 건강 모니터링이 가능하다. 그럼으로써 실시간으로 개인화된 통찰과 사용자 피드백을 제공할 수 있다.
스마트 빌딩: RISC-V 프로세서는 실시간 물체 인식, 이상 감지, 지능적 자동화, 보안을 수행하는 빌딩 자동화 디바이스에 사용하기에 적합하다.
로보틱스: RISC-V 프로세서를 채택한 산업용 로봇은 실시간 이미지 프로세싱 및 물체 감지를 처리할 수 있다. 그러므로 역동적인 환경에 따라서 적응하고 복잡한 작업을 자율적으로 수행할 수 있다.

RISC-V는 이러한 다양한 활용 사례들을 혁신적으로 변화시키도록 중요한 역할을 할 것이다. 이것은 부분적으로 RISC-V의 공개적이고 표준화된 ISA와 컴퓨팅 차원의 효율 덕분이다. 그럼으로써 에지 디바이스로 복잡한 AI 알고리즘 구현을 간소화한다. 이러한 효율은 RISC-V 아키텍처의 가장 기본적인 빌딩 블록으로부터 비롯되는 것이다. 바로 명령어 셋이다.

RISC-V는 간소화된 ISA를 기반으로 한다. 여기에는 기본 정수 명령어 셋(RV32I 또는 RV64I)과 프로세서 설계자가 다양한 활용 사례에 따라서 추가할 수 있는 선택적인 확장들을 포함한다. 다음의 두 가지 중요한 확장이 RISC-V 프로세서로 ML 연산을 크게 향상시킨다:

벡터 확장(V): 이 확장은 많은 ML 알고리즘으로 효율적인 행렬 곱셈과 기본 연산을 위해서 필요한 벡터 연산을 지원한다. 벡터 확장은 프로세서가 다중의 데이터 요소에 대해서 다중의 연산을 동시적으로 실행할 수 있도록 함으로써 성능을 크게 향상시킨다.
압축 확장(C): 이 확장은 압축 명령어들을 도입함으로써 인코딩을 위해서 더 적은 비트를 필요로 한다. 그러므로 코드 크기를 작게 하고 메모리 풋프린트를 줄일 수 있다. 이것은 메모리 자원이 제한적인 에지 디바이스에 특히 유용하다.

이러한 확장들을 결합함으로써 RISC-V 프로세서가 ML 워크로드를 실행하면서 높은 성능과 높은 효율을 달성할 수 있다. RISC-V 프로세서 IP 회사인 SiFive는 벡터 확장과 여타의 마이크로아키텍처 혁신을 통해서 경쟁사 솔루션들과 비교해서 30~40퍼센트 더 우수한 전력 효율을 실현하고 있다.^[1]

실제로 RISC-V 디바이스는 명령어당 사이클(cycles per instruction: CPI)에 있어서 대부분의 기존 명령어 셋 아키텍처보다 꾸준히 더 우수한 성능을 나타내고 있다. CPI는 한 명령어를 실행하기 위해서 필요한 평균 클록 사이클 수를 말한다.^[2] 이러한 테스트 결과는 RISC-V 디바이스가 복잡한 ML 작업을 더 긴 지속시간 동안 실행하면서 열 효율은 그대로 유지할 수 있다는 것을 보여준다.

에지 ML 용으로 RISC-V 에코시스템과 툴

RISC-V의 모듈러 ISA는 컴팩트하면서 에너지 효율적인 프로세서 구현을 개발할 때 특히 유리하다. 명령어 셋이 단순하면 단순할수록 최적화된 디자인을 달성하고, 칩 설계 및 검증 시간을 단축하고, 비용을 낮추고, 그리고 당연히 전력 소모를 낮출 수 있다.

최종 시스템으로 이러한 모든 이점들을 실현하는 것은 궁극적으로 개발자의 몫이다. 그리고 에지 컴퓨팅 환경으로 RISC-V 기술의 도입이 빨라지고 있는 데에는 공개 표준 기반 프로세서 하드웨어를 중심으로 소프트웨어 및 툴 에코시스템이 동반 성장하고 있는 것도 기여를 하고 있다.

이제는 LLVM과 GCC 같이 널리 사용되는 컴파일러들이 RISC-V를 지원한다. 그러므로 ISA 확장을 사용하지 않더라도, 생성되는 코드를 목표 프로세서에 대해서 최적화할 수 있다. 한편으로 TensorFlow와 PyTorch 같은 주요 프레임워크들이 RISC-V로 이식되고 있으며, 임베디드 소프트웨어 회사들이 자신들의 ML 라이브러리, 프레임워크, 미들웨어를 제공하고 있다.

일례로 Antmicro와 Google Research가 손을 잡고 RISC-V 기반 에지 ML 애플리케이션 용으로 빠르게 프로토타입을 개발하고 실리콘이 없이도 개발 작업을 할 수 있는 솔루션을 제공한다. 이 솔루션은 Antmicro의 Renode 시뮬레이션 프레임워크와 Google Research의 Kenning 베어 메탈 런타임으로 이루어졌다(그림 1). 이 공동 솔루션은 시뮬레이션으로 이루어진 RISC-V 하드웨어로 ML 모델을 실행할 수 있도록 함으로써 개발자들이 엔지니어링 일정을 단축할 수 있도록 한다. 비용이 많이 드는 실리콘 제작에 앞서서 전체적인 기술 스택을 평가하고 최적화할 수 있기 때문이다.

그림 1. 이 RISC-V 시뮬레이션 프레임워크는 Antmicro와 Google Research가 협력한 결과로서, 하드웨어/소프트웨어 동시 설계 플로우를 제공함으로써 ML 개발 일정을 단축하도록 한다. (출처: 저자)

물론 RISC-V와 ML 개발 툴 모두 더 향상되어야 할 여지들이 남아 있다. 이러한 에코시스템이 진보하기 위해서는 다음과 같은 과제들을 극복해야 할 것이다:

성숙도: RISC-V 에코시스템은 기존 아키텍처들에 비해서 상대적으로 시작 단계에 있다. 그러므로 숙련된 개발자 커뮤니티가 작고 툴과 라이브러리의 포괄성이 떨어진다.
표준화 문제: RISC-V International이 업체간 협력과 혁신을 위한 토대를 마련하고 있으나, 공개 에코시스템으로 구현이 다양한 양상을 보일 것으로 예상된다. 그러므로 아키텍처 분열과 호환성 문제가 불거질 가능성이 있다. 매끄럽고 통일된 개발 프로세스를 유지하기 위해서는 지속적인 표준화 노력이 필요하다.
하드웨어 접근성: ML 작업 용으로 상업적으로 출시된 RISC-V 프로세서는 여전히 제한적이다. 하지만 수요가 증가함에 따라서 하드웨어 시장이 규모도 커지고 종류도 많아질 것이다.

이러한 과제들을 해결하기 위해서는 기업들, 연구 기관, 오픈 소스 커뮤니티로부터 협력과 투자가 필요하다. 업계나 오픈 소스 및 오픈 표준 커뮤니티가 RISC-V 에코시스템에 투자하는 것을 멈추지는 않을 것이기 때문에, RISC-V 기술이 에너지 효율을 중요하게 요구하는 에지 애플리케이션으로 기반을 넓혀 갈 것이라고 믿지 않을 이유는 없다.

RISC-V가 에지 ML의 미래를 이끌다

구현 상의 관점에서 RISC(reduced instruction set computer)와 CISC(complex instruction set computer) 사이의 논란은 구시대적인 것이 되었다. 이제 CPU의 효율과 성능은 주로 마이크로아키텍처에 따라서 좌우되며, 이것을 실현하는 것은 ISA와 물리적 칩을 제조하기 위해서 사용되는 프로세스 노드이다.

RISC-V와 에지 ML 시장이 성장함에 따라서 하드웨어 혁신은 계속되고 좀더 전문적인 RISC-V 프로세서들이 등장할 것이다. 이러한 프로세서는 전용적인 가속화기, 최적화된 메모리 아키텍처, ML 워크로드를 실행하면서 전반적인 성능과 효율을 향상시키는 여타 기능들을 포함할 것이다.

이러한 부가적 기능들이 RISC-V를 기반으로 한 에지 디바이스의 애플리케이션 영역을 계속해서 확장할 것이다. 그럼으로써 스마트 홈과 헬스케어 디바이스부터 산업 자동화 시스템과 자율 자동차에 이르기까지 모든 것으로 RISC-V를 도입하도록 하는 길을 놓을 것이다. 이때가 되면 RISC-V 기반 프로세서 기술이 스마트 커넥티드 에지 ML 시스템으로 필수적인 빌딩 블록으로서 자리를 잡을 것이다. 실제로 다양한 분야의 애플리케이션들로 그러고 있다.

RISC-V 에코시스템이 계속해서 성숙해지고 개발자들이 이 아키텍처에 점점 더 친숙해짐으로써 더 많은 혁신적인 애플리케이션들이 등장하고 가능성의 한계를 끌어올릴 것이다. 지능적이며, 연결되고, 효율적인 디바이스들이 미래를 이끌어갈 것이다.

출처
[1] SiFive website, n.d., accessed February 16, 2024, https://www.sifive.com/.
[2] Wajid Ali. “Exploring Instruction Set Architectural Variations: x86, ARM, and RISC-V in Compute-Intensive Applications,” Engineering: Open Access 1, no. 3, (2023):157–162.

저자 소개

브랜든 루이스(Brandon Lewis)는 10년 넘게 소프트웨어 스타트업과 세계적인 반도체 회사와 그 사이의 모든 회사들을 위해서 딥 테크 저널리스트, 스토리텔러, 테크니컬 라이터로 활동하고 있다. 주로 다루는 영역은 전자 시스템 통합, IoT/인더스트리 4.0 구축, 에지 AI 활용 사례와 관련한 임베디드 프로세서, 하드웨어, 소프트웨어, 툴이다. 인정받는 팟캐스터, 유투버, 행사 사회자, 컨퍼런스 진행자이기도 하며, 다수의 전자 엔지니어링 전문 잡지에서 편집장과 테크놀로지 편집자를 역임했다. B2B 테크 독자들에게 영감을 불어넣는 일을 하지 않을 때는 TV를 통해서 피닉스 지역의 스포츠 프랜차이즈들을 코칭하는 일을 하고 있다.

제공: 마우저일렉트로닉스