엔비디아, 2D 사진을 3D 장면으로 전환하는 뉴럴 렌더링 모델 ‘인스턴트 NeRF’ 공개

엔비디아(CEO 젠슨 황)가 2D 사진을 3D 장면으로 빠르게 전환하는 뉴럴 렌더링 모델인 인스턴트(instant) NeRF를 공개했다. 엔비디아의 AI 기술을 활용한 인스턴트 NeRF는 2D 장면의 이미지를 수 밀리초 안에 빠르게 렌더링해 준다. 75년 전 폴라로이드 카메라로 즉석 사진을 최초로 촬영할 당시, 3D 세계를 사실적인 2D 이미지로 빠르게 포착하는 것은 획기적인 일이었다. 오늘날 AI 연구진은 이와 정반대의 연구를 하고 있다. 즉, 정지된 이미지 모음을 몇 초 만에 디지털 3D 장면으로 바꾸고 있다.

인버스 렌더링(inverse rendering)으로 알려진 이 과정은 AI를 사용하여 실제 세계에서 빛이 어떻게 작용하는지 대략적으로 파악해 연구자가 다양한 각도에서 촬영한 소수의 2D 이미지로 3D 장면을 재구성한다. 엔비디아 리서치(NVIDIA Research) 팀은 이 작업을 거의 즉시 수행하는 접근 방식을 개발했으며, 이는 초고속 뉴럴 네트워크 트레이닝과 고속 렌더링을 결합한 최초의 모델 중 하나가 됐다.

엔비디아는 이 방식을 인기 있는 신기술인 NeRF(Neural radiance Fields, 뉴럴 래디언스 필드)에 적용했다. 그 결과물인 인스턴트 NeRF는 현재까지 가장 빠른 NeRF 기술로, 경우에 따라 1,000배 이상으로 속도를 향상시킨다. 이 모델은 수십 장의 사진과 더불어 촬영한 카메라 각도의 데이터를 단 몇 초 만에 학습하고, 그 결과 생성된 3D 장면을 수십 밀리초 안에 렌더링할 수 있다.

엔비디아의 그래픽 연구 부사장 데이비드 룹커(David Luebke)는 “다각형 메쉬(polygonal meshes)와 같은 기존 3D 표현이 벡터 이미지와 유사하다면, NeRF는 비트맵 이미지와 같다. 물체나 장면에서 빛이 방사(radiate)되는 방식을 조밀하게 포착한다. 그런 의미에서 인스턴트 NeRF는 2D 사진에서 디지털 카메라와 JPEG 압축이 3D 캡처 및 공유의 속도, 용이성 및 도달 범위를 크게 향상시킨 것처럼 3D에 중요한 기술”이라고 설명했다.

엔비디아 GTC 세션에서 소개된 인스턴트 NeRF는 가상세계의 아바타 또는 장면을 만들거나 화상회의 참가자와 환경을 3D로 캡처하고, 3D 디지털 맵의 장면을 재구성하는 데 사용할 수 있다.

이와 더불어 엔비디아 리서치는 폴라로이드 이미지의 초창기를 기리기 위해, 인스턴트 NeRF를 사용해 즉석 사진을 찍는 앤디 워홀의 상징적인 이미지를 3D 장면으로 재창조했다.

NeRF란

NeRF는 신경 네트워크를 사용해 입력된 2D 이미지 컬렉션을 기반으로 사실적인 3D 장면을 표현하고 렌더링한다. NeRF에 공급할 데이터를 수집하는 것은 마치 레드 카펫 사진작가가 모든 각도에서 유명인의 의상을 캡처하는 것과 비슷하다. 신경 네트워크에는 장면 주변의 여러 위치에서 촬영한 수십 개의 이미지와 각각의 카메라 위치가 필요하기 때문이다.

사람이나 기타 동적인 요소가 포함된 장면들은 빨리 캡처될수록 좋다. 2D 이미지 캡처 과정에서 움직임이 너무 많으면 AI가 생성한 3D 장면이 흐려진다.

NeRF는 공백을 채우고 3D 공간의 모든 지점에서 전 방향으로 방출되는 빛의 색상을 예측해 장면을 재구성하도록 작은 신경망을 훈련한다. 이 기술은 일부 이미지에서 보이는 물체가 다른 이미지에서 기둥과 같은 장애물에 의해 차단되는 경우에도 해결책으로 사용할 수 있다.

인스턴트 NeRF로 1000배 가속

부분적인 시각에 근거해 사물의 깊이와 외관을 파악하는 것은 인간에게는 자연스러운 작업이지만, AI에게는 어려운 일이다. 기존 방법으로 3D 장면을 생성하려면 시각화의 복잡성 및 해상도에 따라 몇 시간 이상 소요되지만, AI를 도입하면 작업의 속도가 빨라진다. 초기 NeRF 모델은 아티팩트 없이 선명한 장면을 몇 분 안에 표현했지만, 훈련에는 수 시간이 걸렸다.

그러나 인스턴트 NeRF는 렌더링 시간을 몇 배나 단축하며, 엔비디아 GPU에서 효율적으로 실행되도록 최적화된 멀티-해상도 해시 그리드 인코딩(multi-resolution hash grid encoding)이라 불리는 엔비디아의 기술을 사용한다. 새로운 입력 부호화 방법을 사용하면 연구자들은 빠르게 작동하는 작은 신경망을 통해 고품질의 결과를 얻을 수 있다.

이 모델은 엔비디아 CUDA 툴킷(CUDA Toolkit) 및 초소형 CUDA 뉴럴 네트워크(Tiny CUDA Neural Networks) 라이브러리를 사용해 개발됐다. 경량 뉴럴 네트워크이므로 엔비디아 텐서 코어(Tensor Core)를 탑재한 카드에서 가장 빠르게 동작하는 엔비디아 GPU 1개만으로 훈련 및 실행할 수 있다.

이 기술은 로봇과 자율주행 자동차가 2D 이미지와 동영상을 캡처하면서 실제 물체의 크기와 모양을 이해하도록 훈련하는데 사용할 수 있다. 또한 건축 및 엔터테인먼트 분야에서도 제작자가 수정하고 구축할 수 있는 실제 환경의 디지털 표현을 신속하게 생성한다.

NeRF 외에도 엔비디아의 리서치 팀은 이 입력 인코딩 기술을 사용해 강화 학습, 언어 번역 및 범용 딥 러닝 알고리즘을 포함한 여러 AI 과제를 가속화하는 방법을 모색하고 있다.