CEVA, AI/ML 추론 워크로드를 위한 프로세서 아키텍처 뉴프로-M 발표

무선 커넥티비티 및 스마트 센싱 기술의 선두적인 라이선스 기업 CEVA가 인공지능 및 머신러닝(AI/ML) 추론 워크로드를 위한 최신 프로세서 아키텍처 NeuPro-M(뉴프로-M)을 발표했다.

CEVA NeuPro-M은 광범위한 엣지 AI(Edge AI)와 엣지 컴퓨팅(Edge Compute) 시장을 대상으로 하는 독립적인 이종 아키텍처이다. 심층 신경망의 다양한 워크로드를 동시에 원활하게 처리하는 다중의 특화 코프로세서(co-processor)이자, 설정 변경이 가능한 하드웨어 가속기로 이전 모델 대비 하드웨어의 성능을 5-15배 향상시킨다.

여기에 업계 최초로 시스템온칩(SoC)과 이종 시스템온칩(HSoC)의 확장성을 모두 높이고 최대 1,200TOPS(초당 10조회의 연산 속도)에 달하는 성능을 발휘토록 했다. 또한 강력한 보안 부팅 및 엔드 투 엔드(end-to-end) 데이터 개인 정보 보호 옵션을 제공한다.

NeuPro-M은 기존의 모든 신경망 아키텍처를 처리한다. 변압기, 3D 콘볼루션(convolution), 셀프 어텐션(Self-attention) 및 모든 유형의 순환 신경망(recurrent neural networks, RNN)과 같은 차세대 네트워크에 대해 준비가 되어 있으며, 250개 이상의 신경망과 450개 이상의 AI 커널 및 50개 이상의 알고리즘을 처리하는데 최적화되었다.

또한 내장형 벡터 프로세싱 유닛(VPU)은 새로운 신경망 토폴로지와 AI 워크로드의 발전에 대해 미래에 사용 가능한(future proof) 소프트웨어 기반의 지원을 보장한다. 특히 CDNN(CEVA Deep Neural Network) 오프라인 압축 툴은 정확도에 미치는 영향을 최소화하면서 일반적인 벤치마크에 대해 NeuPro-M의 FPS/와트를 5-10배까지 높인다.

점점 더 많은 데이터가 생성되고 센서 기반 소프트웨어 워크로드가 성능과 효율성을 향상시키고자 신경망으로 이동함에 따라, 엣지 AI와 엣지 컴퓨팅에 대한 AL/ML 프로세싱 수요가 빠르게 증가하고 있다. 따라서 우리는 기기에 대한 전력 소모를 증가시키지 않고 점점 더 정교해지는 시스템에서 엣지 AI를 활용할 수 있는 새로운 방법을 찾아야 한다.

CEVA 비전 비즈니스 유닛 부문 부사장이자 제너럴 매니저인 랜 스니르(Ran Snir)는 “NeuPro-M은 드론에서 보안 카메라, 스마트폰, 오토모티브 시스템에 이르는 수백만 대의 기기에 AI 프로세서와 가속기를 탑재한 자사의 경험을 바탕으로 설계되었다. 혁신적인 분산형 아키텍처와 공유 메모리 시스템 컨트롤러는 대역폭과 지연 시간을 최소화하고 전체 사용률과 전력 효율성을 극대화한다.”고 밝히고, “시스템온칩과 칩렛(Chiplet)에서 다수의 NeuPro-M 컴플라이언트 코어를 연결해 가장 까다로운 AI 워크로드를 해결할 수 있으므로, 고객은 스마트 엣지 프로세서 설계를 한 단계 더 업그레이드할 수 있게 되었다”라고 말했다.

NeuPro-M 프로세서는 사전 구성된(pre-configured) 코어가 우선 릴리즈될 계획이다.

1. NPM11 – 1.25GHz에서 최대 20TOPS에 달하는 단일 NeuPro-M 엔진

2. NPM18 – 1.25GHz에서 최대 160TOPS에 달하는 8개의 NeuPro-M 엔진

최첨단 성능을 지닌 단일 NPM11 코어는 ResNet50 신경망(convolutional neural network, CNN)을 처리할 때, 이전 모델에 비해 성능은 5배 향상시키고 메모리 대역폭은 1/6로 감소시켜 와트당 최대 24TOPS의 탁월한 전력 효율을 제공한다.

NeuPro-M은 CEVA의 신경망 컴파일러인 CDNN과 강력한 소프트웨어 개발 환경과 함께, 고객이 AI 성능을 극대화할 수 있도록 완전하게 프로그래밍할 수 있는 하드웨어/소프트웨어 AI 개발 환경을 제공해 준다. CDNN에는 고객의 NeuPro-M 맞춤형 하드웨어를 충분히 활용해 전력과 성능, 대역폭을 최적화할 수 있는 혁신적인 소프트웨어가 포함되어 있다. 메모리 감소와 최적의 부하 균형 기법을 위한 메모리 매니저를 포함하며, ONNX(Open Neural Network Exchange), Caffe, 텐서플로우(TensorFlow), 텐서플로우 라이트(TensorFlow Lite), 파이토치(Pytorch) 등을 포함한 다양한 네트워크 포맷을 광범위하게 지원한다. 또한 Glow, tvm, Halide, 텐서플로우 등 일반적인 오픈소스 프레임워크와 호환되며, 정밀 보존 방법을 사용하면서 ‘레이어 퓨전(layer fusion)’과 ‘후 트레이닝 양자화(post training quantization)’와 같은 모델 최적화 기능을 모두 포함한다.

NeuPro-M은 현재 선두업체 대상으로 라이선스 사용이 가능하며, 오는 2022년 2분기에는 일반 기업도 라이선스 사용이 가능할 예정이다. NeuPro-M를 이용하는 고객은 CEVA의 HSoC 설계 서비스를 통해 시스템 설계와 칩렛 개발을 통합하고 지원하는 데에 도움을 받을 수 있다. 보다 자세한 내용은 https://www.ceva-dsp.com/product/ceva-neupro-m에서 확인할 수 있다.