시각은 인간의 오감 중 가장 진화한 감각이다. 2백만여개의 신경 섬유가 망막에서 뇌로 전달되는 인간 고유의 시각 처리 기능을 가진다. 지금의 디지털 세계는 이러한 인간의 시각적 처리를 따라잡기 위하여 수십년간의 노력을 꾸준히 이어오고 있으며, 이와 같은 주변 환경을 보다 실제에 가깝게 볼 수 있도록 하는 초고화질의 디지털 이미지(digital eyes) 구현은 1조개의 커넥티드 디바이스 실현을 목표로하는 Arm이 해결해야 할 여러 과제 중 하나이다.
Arm에 따르면, 임베디드 시각 기능을 갖춘 IoT 디바이스는 높은 수요를 보이는 커넥티드 디바이스이다. 보안(감시) 및 IP 카메라 시장은 2021년까지 20% 연 성장률을 유지하며 출하량 5억대를 돌파할 것이라는 분석이다. 개인용 로봇은 75%라는 놀라운 연 성장률을 기록하고 있으며, 2021년 출하량은 2백만 대에 이를 것으로 전망된다. 스마트 홈 시장 또한 긍정적이다. 매년 14% 성장하며 2021년 8천 8백만 달러에 이를 전망이며, 드론, 증강 현실(AR), 혼합 현실(MR) 장비와 액션 카메라 등의 다른 디바이스는 시장 카테고리에서 신흥 기술을 벗어나 범용 기술로 전환하는 추세이다.
이들 디바이스가 필요로 하는 한층 진보된 초고화질 및 실시간 이미지 수요에 대응하기 위해, Arm은 새로운 세대의 이미지 신호 프로세서(ISP)인 Arm Mali-C52와 Mali-C32 ISP를 발표했다. 이번 ISP 기술은 이미지 센서에서 데이터를 가져와 각 픽셀을 처리할 때, 특히 머신러닝과 관련된 경우 가장 정확하고 높은 이미지 품질을 제공하는 핵심 기능을 수행한다.
Arm은 “1조개 디바이스 구현이라는 Arm의 비전은 시각으로 뒷받침 되어야 한다.”고 강조했다. 특히, 1조개 커넥티드 디바이스 세상을 실현한다는 Arm의 비전을 달성하려면, 이들 디바이스가 기계와 인간 모두가 신뢰할 수 있는 정보원 역할을 수행해야 하며, 이를 위해서는 주변 환경을 있는 그대로 보고 파악할 수 있는 한층 날카로운 디지털 시각(눈)이 필요하다. “그 시작은 Arm이 새롭게 선보이는 Arm Mali ISP가 가진 최상의 이미지 품질에 있다.”고 밝혔다.
시각적 인식을 픽셀로 전환
이번 신규 출시한 디바이스에 사용된 이미지 기술 가운데 핵심이 되는 부분은 이들 디바이스에 내장된 ISP 기술이다. 제약이 따르는 이들 디바이스에서 ISP는 이미지 센서에서 데이터를 가져와 각 픽셀을 처리할 때, 특히 머신 러닝과 관련된 경우 가장 정확하고 높은 이미지 품질을 제공하는 핵심 기능을 수행한다. 새로운 Arm Mali-C52와 Mali-C32는 각 픽셀 처리 시 25단계 이상의 다양한 기능을 적용하는데, 그 중에는 이미지 출력 품질에 핵심적 차별화를 제공하는 세 가지, 즉 HDR(high-dynamic range)과 노이즈 감소, 색상 관리도 이들과 함께 포함된다. 시장을 선도하는 Arm의 Iridix 기술을 비롯하여 노이즈 및 색상 관리에 사용되는 첨단 알고리즘을 모두 통합한 Mali-C52와 C32 ISP는 위에서 언급한 세 가지 단계를 실시간 및 초고해상도로 제공한다 (예: 60fps로 4K 해상도 제공).
HDR로 무엇 하나 놓치는 것 없이
HDR의 필요성을 부각시키는 가장 좋은 방법으로는 빛 노출이 과다한 부분과 짙은 음영이 혼재된 장면이 주를 이루는 밝은 실외 환경에 설치된 커넥티드 보안 카메라 이미지에 적용하는 방법이 있다. 인간의 눈은 이러한 환경에서도 자연스럽게 대비를 인식할 수 있지만, 디지털 센서가 이러한 장면을 포착하려면 여러 번의 노출이 필요하다. 이러한 HDR 장면을 충실하게 표현하려면, 이미지 처리를 위해 최소 픽셀당 20 비트 또는 24비트 구성을 필요로 하는데, 디지털 시스템 디스플레이는 일반적으로 8 비트나 10비트인 경우가 많아 이를 처리할 수 있는 데이터 양이 제한적이다. 이 말은 ISP에 배치된 컴퓨터 비전 엔진도 8비트나 10비트 처리에 국한된다는 뜻이기도 하다. 이러한 상황에서 ISP는 (더 높은 비트 심도로) HDR 데이터를 처리한 후 압축 및 추가적인 활용이 필요하기때문에, 결과적으로 동적 범위(dynamic range)가 제대로 관리되지 않으면 음영 내 세부적 부분은 손실될 수 밖에 없다.
제품 출시 앞당기는 완벽하고 유연한 솔루션
Mali-C52는 이미지 품질 최적화나 영역 최적화를 수행하도록 구성할 수 있다. 이와 같은 유연성을 활용해 Arm 실리콘 파트너들은 여러 제품에 걸쳐 동일한 IP와 소프트웨어를 지속적으로 사용할 수 있다. Mali-C32는 특히 초급 액세스 제어나 취미용 드론과 같이 전력 소모가 적고 비용에 민감한 임베디드 비전 디바이스용으로 최적화된 제품이다.
해당 두가지 ISP는 모두 자동 노출(auto-exposure), 자동 화이트 밸런스(auto-white balance), 자동 포커스(auto-focus), 즉 3A 라이브러리를 포함한 완성도 높은 드라이버 및 이미지 보정 소프트웨어를 하드웨어 IP와 함께 제공하고 있다.
[Arm Mali-C52와 Mali-C32 ISP]
1) ISP 이미지 품질 향상. Iridix 기술은 인간의 눈의 망막이 가지는 정밀 모델을 그대로 제공하여 마치 카메라가 인간의 눈처럼 볼 수 있는 기능을 가능하도록 설계되었다.
2) 초당 600 메가픽셀을 처리할 수 있는 성능을 가지며, 이는 고급 스마트폰의 프레임 레이트에 준하는 수준으로 DSLR 카메라와 같은 전문적인 사진 품질을 제공한다.
3) ISP, 센서, 자동 화이트 밸런스, 자동 포커스, 자동 노출을 제어할 수 있는 완벽한 소프트웨어 패키지. 베어 메탈과 리눅스 (Video4Linux 프레임워크 – v4L2) 소프트웨어를 모두 제공한다.
4) 유연한 조정. 완벽한 이미지 보정 소프트웨어를 통하여 객관적 혹은 주관적 보정이 모두 가능하며, 일반적이지 않은 특수 보정이 필요한 특정 분야 및 센서에도 활용 가능하다.
오승모 기자 oseam@icnweb.co.kr
