AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(CEO 젠슨 황)가 세계 최대 컴퓨터 그래픽 컨퍼런스인 시그라프(SIGGRAPH)서 최신 AI 기술에 기반한 실시간 패스 트레이싱(path tracing)과 콘텐츠 제작을 위한 다양한 그래픽 기술을 선보인다.
엔비디아 연구팀은 크리에이터들이 실시간 렌더링을 활용해 영화의 한 장면과 같이 생생한 3D 이미지를 구현하도록 돕고, 그래픽 작업과 관련된 난제를 해결하는 다양한 기능을 소개한다. 이러한 기능들은 크리에이터가 렌더링된 빛이 털이나 안개 등 까다로운 소재를 통과할 때의 사실성을 높이고, 실물과 유사한 모델 및 장면을 손쉽게 구현할 수 있도록 한다.
해당 기능들은 최근 개최된 고성능 그래픽 2021(High-Performance Graphics 2021)과 EGSR 2021에서 이미 공개가 됐다. 이러한 연구성과는 엔비디아 RTX GPU가 어떻게 포토리얼리스틱 실시간 그래픽의 한계를 넓히고 있는지 보여주고 있다.
포토리얼리스틱 이미지를 실시간으로 렌더링하려면 정확한 빛 시뮬레이션과 더불어 실제 세계에서 작용하는 빛의 법칙과 동일한 모델링이 필요하다. 오늘날 포토리얼리스틱 이미지 제작에 가장 효과적인 방법으로 알려진 패스 트레이싱은 방대한 컴퓨팅 리소스를 요구하는 만큼 사실적인 이미지를 구현하는 기술이다.
AI 모델의 효율적 평가를 위한 전용 레이 트레이싱 하드웨어와 고성능 텐서 코어(Tensor Cores)를 탑재한 엔비디아 RTX 플랫폼은 패스 트레이싱 작업에 이상적이다. 하지만, 충실도가 높은 렌더링된 이미지를 생성하는 것은 여전히 쉽지 않은 작업이다.
실시간 패스 트레이싱으로 표현되는 빛
보다 사실적인 장면을 표현하려면 리플렉션, 그림자, 안개 등 복잡한 빛의 효과를 렌더링해야 한다.
예를 들어, 숲을 표현한 장면에서는 햇빛이 나뭇잎을 투과하거나 안개 속 물 분자 틈에서 흐릿하게 변하기도 한다. 그동안 구름이나 먼지 덮인 표면, 물안개 등의 사실적 이미지를 실시간으로 렌더링하는 작업은 불가능한 것으로 여겨졌다. 그러나 엔비디아 연구팀은 이와 같은 시각 효과를 약 10배 더 효율적으로 컴퓨팅하는 기법들을 개발했다.
숲 속 호랑이의 색깔 또한 햇빛을 받아 환해지거나 나무 그늘에 가려 어두워질 수 있다. 호랑이가 숲을 지날 때 아래쪽 연못에 반사된 모습이 보이기도 한다. 이렇듯 풍부한 시각효과를 구성하는 빛을 직 · 간접적 리플렉션을 활용해 구현하려면 장면 속 픽셀 일체에 대해 수천 개의 패스(path)를 계산해야 한다.
해당 작업은 많은 리소스를 요구하기 때문에 실시간으로 처리하기 어렵다. 엔비디아 연구팀은 이를 극복하기 위해 최종 이미지에 가장 큰 영향을 주는 빛 패스(light path)와 리플렉션을 선별하는 패스 샘플링 알고리즘을 개발했다. 새로운 알고리즘은 기존 대비 약 100배 이상 빠른 이미지 렌더링을 제공한다.
강력한 성능의 뉴럴 래디언스 캐싱(neural radiance caching)
엔비디아의 또 다른 연구성과인 뉴럴 래디언스 캐싱은 글로벌 일루미네이션(global illumination)을 혁신하는 새로운 기법이다. 뉴럴 래디언스 캐싱은 레이 트레이싱을 위한 엔비디아 RT 코어와 AI 가속화를 위한 텐서 코어를 모두 활용해 극소형 신경망(tiny neural network)을 실시간으로 훈련하여 역동적인 장면을 렌더링한다.
극소형 신경망은 빛이 장면 전체에 분산되는 방식을 학습한다. 엔비디아 지포스(GeForce) RTX 3090 GPU에서 구동 시 초당 10억 개가 넘는 글로벌 일루미네이션 쿼리를 평가하여 기존의 인터랙티브 방식 프레임 속도로는 얻을 수 없었던 풍부하고 섬세한 빛을 생성한다. 이는 호랑이의 빽빽한 털 등을 묘사할 때 활용될 수 있다.
질감을 매끄럽게 구현하는 엔비디아의 그래픽 기술
렌더링 알고리즘이 더욱 복잡하고 풍부한 그래픽을 표현하게 되면서, 크리에이터 또한 이에 부응하는 3D 콘텐츠를 제공할 수 있어야 한다.
엔비디아 연구팀은 풍부하고 현실적인 3D 환경을 모델링하는 다양한 기술을 개발해 콘텐츠 크리에이터를 지원하고 있다. 특히, 기존 기법으로 시뮬레이션 하기 어려운 세밀하고 복잡한 질감의 소재를 보다 사실적으로 구현하는 기술에 주력한다.
예를 들어, 폴로셔츠의 짜임새, 카펫 및 풀잎의 질감 등은 피처(feature)가 픽셀의 크기보다 훨씬 작아 효율적으로 저장하고 렌더링하기 어려울 수 있다. 엔비디아 연구팀은 신경망을 활용해 까다로운 소재를 표현하고 빛에 반응하는 방식을 인코딩하는 너프 텍스(NeRF-Tex)를 통해 이러한 문제를 해결한다.
숲과 나무를 모두 구현하는 기술
복잡한 기하학적 오브젝트는 보는 거리에 따라 모습이 달라질 수 있다. 잎이 무성한 나무를 가까이서 보면 가지나 잎, 나무껍질 등의 디테일한 요소를 관찰할 수 있지만, 멀리서는 단순한 녹색 물체 정도로만 보일 수 있다.
멀리서 보이는 숲의 나무 한 그루를 껍질과 잎까지 상세히 렌더링하는 것은 다소 비효율적이지만, 카메라를 줌인해 클로즈업할 경우 모델이 최대한 사실적으로 보여야 한다.
이는 디테일 수준(level of detail)이라 불리는 컴퓨터 그래픽의 대표적인 난관이다. 아티스트들이 종종 해결해야 하는 난관인 디테일 수준은 효율적인 렌더링을 위해 3D 오브젝트를 여러 버전으로 일일이 모델링 해야 하는 부담을 초래한다.
엔비디아 연구팀은 인버스 렌더링(inverse rendering)에 기초해 단순화 모델을 자동으로 생성하는 새로운 기술을 개발했다. 이로써 생성된 단순화 모델은 최적화를 통해 원본과 거의 유사하게 보일 수 있으며, 기하학적 복잡성을 대폭 개선한다.
