강화 학습 훈련 로보틱스 시뮬레이터의 진화.. 엔비디아 아이작 짐(Issac Gym)

엔비디아, 디엑스트림 프로젝트 공개… 시뮬레이션 통해 로봇의 정교함 강화

엔비디아(NVIDIA)의 강화 학습 훈련 로보틱스 시뮬레이터인 아이작 짐(Issac Gym)을 사용해 로봇의 손이 큐브를 조작할 수 있도록 훈련하는 모습이 공개되 주목받고 있다.

디엑스트림(DeXtreme)으로 명명된 프로젝트를 통해 디엑스트림은 시뮬레이션 교육으로 로봇에게 복잡한 조작 기술을 훈련시킨다.

인간의 손은 수백만 년에 걸친 진화의 끝에 얻어낸 변화 중 가장 놀라운 결과이다. 모든 종류의 물체를 도구로 사용할 수 있는 능력은 현 인류 세계의 형성을 이끈 중요한 차별화 요소이다.

자연스러운 손가락 관절을 정밀하게 활용하는 것은 인간에게는 자연스러운 일상이지만, 로봇에게는 있어서는 엄청난 고난이 뒤따르는 프로그램이 필요한 영역이다. 손가락을 가진 손에는 많은 관절이 있으며, 주어진 임무의 수행을 위해 특정하게 조정된 방식으로 움직여야 하기 때문이다.

전통적인 로봇 제어 방법은 사전에 정확하게 프로그래밍된 통제와 동작방식의 형식을 입력해야만 했다. 그만큼 미세한 운동 제어가 어려웠다.

로봇 관절의 제어를 위해 신경망을 훈련시키는 심층 강화학습(RL) 기술의 적용은 이러한 문제에 대한 솔루션적인 접근방법 중 하나가 될 수 있다.

로봇은 심층 강화학습을 통해 시행착오 속에서 학습이 이루어지며, 할당된 작업을 성공적으로 완료할 경우 이에 대한 보상을 받는다. 하지만 불행히도 이 기술은 수백만 또는 심지어 수십억 개의 샘플을 학습해야만 가능하기에 실제 로봇에 직접 적용하는 것은 거의 불가능하다는 것이 업계의 평가였다.

시뮬레이션 적용하기

엔비디아 아이작(Isaac) 로보틱스 시뮬레이터를 사용하면 물리 법칙을 준수하면서도 실제보다 10,000배 이상 빠르게 달릴 수 있도록 구현된 우주 안에서 로봇을 훈련시킬 수 있다.

엔비디아의 디엑스트림 프로젝트 연구원들은 RL 훈련 로보틱스 시뮬레이터인 아이작 짐(Issac Gym)을 사용하여 로봇의 손이 목표의 위치화 방향, 자세에 일치하도록 큐브를 조작할 수 있는 방법을 가르쳤다. 신경망 두뇌는 실제 세계에서 로봇을 제어하도록 이식되기 이전에 시뮬레이션으로 완전히 이를 학습했다.

비슷한 연구가 과거 오픈AI(OpenAI)의 연구원들에 의해 한 차례 수행된 바 있다. 하지만 그들의 연구는 훨씬 정교하고 고가의 로봇 손, 정밀한 동작 제어 센서를 갖춘 큐브 등을 필요로 했는데, 그 중에서 무엇보다 중요한 것은 수백 대의 컴퓨터로 구성된 슈퍼컴퓨팅 클러스터를 사용해야 한다는 것이었다.

누구나 정교함을 누릴 수 있도록

디엑스트림 프로젝트는 전 세계의 연구자들이 연구 결과를 쉽게 복제할 수 있도록 가능한 간단하고 저렴한 하드웨어를 선택하여 사용했다. 로봇에는 알레그로 핸드(Allegro Hand)가 채택됐는데, 그 비용은 다른 대안들의 1/10에 불과하다. 또한 손가락은 5개가 아닌 4개이며 손목은 움직일 수 없다. 기성의 RGB 카메라를 사용하면 영상을 통해 큐브를 추적할 수 있다. 이를 통해 별도의 하드웨어 없이 필요에 따라 쉽게 위치를 변경할 수 있다. 큐브는 각 면에 부착된 스티커로 3D프린팅 된다.

디엑스트림은 강화 학습을 위한 엔드 투 엔드(end-to-end) GPU 가속 시뮬레이션 환경을 제공하는 아이작 짐(Issac Gym)을 통해 훈련된다. 엔비디아 피직스(PhysX)는 GPU에서 세계를 시뮬레이션 하며, 딥 러닝 제어 방침 네트워크를 훈련하는 동안 GPU 메모리에 그 결과가 남는다. 따라서 단일한 옴니버스(Omniverse) OVX 서버에서 훈련이 수행될 수 있다. 이러한 시스템을 통해 훌륭한 방침을 훈련하는 데는 약 32시간이 소요되며, 이를 실제 세계로 치환하면 로봇 한 대의 42년치 경험과 동일한 수치이다.

시뮬레이션에 별도의 CPU 클러스터가 필요하지 않다는 것은 곧 훈련에 사용되는 컴퓨팅 비용이 현재의 클라우드 대여료를 기준으로 10배 내지 200배 가까이 절감됨을 의미한다.

인식 및 합성 데이터

로봇이 들고 있는 큐브의 현재 위치와 방향을 알기 위해서는 인식 시스템이 필요하다. 디엑스트림은 3개의 기성 카메라와 큐브의 자세를 해석할 수 있는 또 다른 신경망을 사용한다. 이를 통해 낮은 비용을 유지하면서도 미래에 다른 객체를 조작할 수 있는 가능성을 열어 두고자 하는 것이다.

이 네트워크는 옴니버스 레플리케이터(Omniverse Replicator)를 사용하여 생성된 약 500만 프레임의 합성 데이터를 사용하여 훈련되며, 그 중에 실제 이미지는 하나도 존재하지 않는다. 네트워크는 실제 세계에서 어려운 상황 속에서도 작업을 수행할 수 있도록 하는 방법을 학습한다. 보다 제대로 된 훈련을 위해 ‘도메인 랜덤화(domain randomization)’라는 기술을 사용하는데, 이는 조명과 카메라의 위치를 변경하고, 데이터 확대를 통해 무작위로 크롭(crop)과 회전, 그리고 배경을 적용한다.

디엑스트림 자세 추정 시스템은 그 신뢰도가 매우 높은 편이다. 문제의 물체가 부분적으로 시야에서 가려지거나 이미지에 상당한 모션 블러(motion blur)가 나타나는 경우에도 정확한 자세를 감지할 수 있다.

여전히 많은 과제에 당면해 있는 실제 로봇

시뮬레이션을 사용하는 주요 이유 중 하나는 실제 세계에서 직접 로봇을 훈련할 때 다양한 문제들을 마주하게 되기 때문이다. 예를 들어, 로봇 하드웨어는 과도하게 사용할 경우 쉽게 파손되거나 실험의 반복 주기와 소요 시간이 느려진다.

실험을 하는 동안 느슨해진 나사를 조이고 리본 케이블을 교체하거나 10-15회의 테스트 후 휴식 시간을 가져 열을 식히는 등, 장시간의 사용 후에 로봇의 손을 수리하는 모습을 종종 볼 수 있었다. 시뮬레이션을 사용하면 마모되지 않는 로봇을 훈련하여 이와 같은 문제들을 피할 수 있으며, 어려운 작업을 학습하는데 필요한 다양한 데이터를 얻을 수 있다. 동시에 시뮬레이션이 실시간보다 훨씬 빠르게 실행되어 반복 주기에서 큰 개선을 얻을 수 있다.

시뮬레이션에서 훈련할 때 가장 중요한 것은 시뮬레이션과 실제 세계 사이의 격차를 해소하는 것이다. 이를 위해 디엑스트림은 시뮬레이터에 설정된 물체 속성의 도메인 랜덤화를 사용하여 10만 개 이상의 시뮬레이션 환경에 걸친 객체의 질량과 마찰 수준, 그 외의 기타 속성들을 한 번에 변경한다.

도메인 랜덤화의 흥미로운 결과 중 하나는, 모든 종류의 특이한 시나리오 조합으로 AI를 훈련할 경우 실제 세계에서 보다 강력하게 작업을 수행할 수 있다는 것이다. 예를 들어, 대부분의 실험은 회로 보드의 느슨한 연결로 인해 엄지 손가락에 오작동이 발생한 로봇으로 진행되었다. 그럼에도 불구하고 방침들이 시뮬레이션에서 현실 세계로 안정적으로 이전되는 등 긍정적인 결과를 확인할 수 있었다.

시뮬레이션의 현실화

로봇 조작의 미래 혁신은 전통적인 산업 용도를 넘어 로봇 응용 분야에서 새로운 물결을 일으킬 것이다.

디엑스트림 프로젝트가 전달하고자 하는 핵심 메시지는 로봇과 지속적으로 접촉하는 물체가 있는 환경을 처리하는 등 복잡한 로봇 시스템을 훈련할 때 시뮬레이션이 매우 효과적인 도구가 될 수 있다는 것이다. 엔비디아의 이번 디엑스트림 프로젝트는 비교적 저렴한 하드웨어를 사용해 시연을 수행했다. 이는 누구나 쉽게 해당 시뮬레이션 도구를 사용해 자신의 프로젝트를 쉽게 수행할 수 있다는 것을 보여준다.

디엑스트림 프로젝트에 관한 자세한 내용은 프로젝트 웹페이지(링크)에서 확인할 수 있다.