전 세계 로봇 산업이 AI 기반 휴머노이드 시대로 전환하는 가운데, NVIDIA는 Project GR00T를 통해 범용 휴머노이드 로봇을 위한 기초 모델 이니셔티브를 본격화했습니다. GR00T N 시리즈 AI 모델, Isaac 로보틱스 플랫폼, Jetson Thor 컴퓨팅 하드웨어, 그리고 GR00T-Dreams와 GR00T-Mimic 같은 합성 데이터 생성 파이프라인은 체화된 AI(embodied AI) 실현을 목표로 합니다. NVIDIA는 단순히 개별 기술을 제공하는 것을 넘어, GPU 훈련 분야의 지배력을 휴머노이드 로봇 생태계로 확장하려는 전략적 움직임을 보이고 있습니다. 이는 마치 CUDA가 GPU 프로그래밍의 필수 요소가 된 것처럼, NVIDIA 기술을 휴머노이드 개발의 중심축으로 만들려는 의도로 해석됩니다.
GR00T N 시리즈 기초모델의 핵심 아키텍처
NVIDIA GR00T N1은 휴머노이드 로봇 추론 및 기술 학습을 위한 세계 최초의 개방형 기초 모델로 소개되었습니다. 이 모델의 핵심은 시각-언어-행동(Vision-Language-Action, VLA) 아키텍처를 기반으로 한 이중 시스템 설계입니다. 시스템 2는 NVIDIA Eagle-2 VLM과 같은 사전 훈련된 시각-언어 모델로 구성되어 약 10Hz의 낮은 주파수로 작동하며, 로봇의 시각적 인식과 언어 지시를 처리합니다. 이는 환경을 해석하고 작업 목표를 이해하는 고차원 추론을 담당합니다.
반면 시스템 1은 행동 흐름 일치(action flow-matching) 방식으로 훈련된 확산 트랜스포머(Diffusion Transformer, DiT) 기반 정책으로, VLM 출력에 교차 어텐션을 수행하여 120Hz의 높은 주파수로 유연한 모터 행동을 생성합니다. 이 이중 구조는 카네만의 이중 과정 이론에서 영감을 받았으며, 인간의 인지 과정처럼 깊은 사고와 빠른 반응을 동시에 구현합니다. GR00T N1-2B 모델은 총 22억 개의 매개변수를 보유하며, VLM에만 13억 4천만 개가 할당되어 있습니다.
이 모델은 자연어 이해, 인간 행동 모방, 협응력 및 손재주 학습을 통해 현실 세계를 탐색하고 적응하며 상호작용할 수 있도록 설계되었습니다. 물체 잡기, 물체 옮기기, 팔 사이 물건 전달과 같은 일반적인 작업부터 다단계 복합 작업까지 수행 가능하며, 테이블 위 로봇 팔부터 민첩한 휴머노이드 로봇까지 다양한 로봇 형태를 지원하는 교차 로봇 형태(cross-embodiment) 기능을 제공합니다.
GR00T N1.5는 첫 번째 업데이트 모델로, GR00T-Dreams에서 생성된 합성 훈련 데이터를 활용하여 단 36시간 만에 개발되었습니다. 이는 수동 데이터 수집에 소요되는 약 3개월과 비교했을 때 획기적인 단축입니다. N1.5는 새로운 환경 및 작업 공간 구성에 대한 더 나은 적응력, 사용자 지시를 통한 향상된 객체 인식, 자재 취급 및 제조 작업에서의 성공률 대폭 향상을 보여줍니다.
| 특징 | GR00T N1 | GR00T N1.5 |
|---|---|---|
| 핵심 아키텍처 | VLA 모델, 이중 시스템 설계 | N1 아키텍처 기반 개선 |
| 개발 시간 | 초기 모델 | 36시간 (합성 데이터 활용) |
| 주요 개선점 | 범용 추론 및 기술 | 환경 적응력, 객체 인식, 제조 작업 성공률 향상 |
| 훈련 데이터 | 실제+인간+합성 데이터 혼합 | GR00T-Dreams 합성 데이터 중심 |
훈련 방법론 측면에서 GR00T N 모델은 실제 로봇 궤적, 대규모 인간 비디오, 그리고 합성으로 생성된 데이터셋의 이질적인 혼합물을 사용합니다. 데이터 피라미드 개념이 도입되어 대량의 웹/인간 비디오가 기반을 이루고, 합성 데이터가 중간 계층을, 실제 로봇 데이터가 상위 계층을 형성하는 구조입니다. 합성 데이터와 실제 데이터를 결합함으로써 GR00T N1의 성능이 40% 향상된 점은 합성 데이터 전략의 실질적 효과를 입증합니다.
합성데이터 생성 엔진: GR00T-Dreams와 Mimic
체화된 AI 모델은 방대한 양의 훈련 데이터를 필요로 하지만, 실제 데이터 생성은 비용과 시간이 많이 소요되는 근본적인 병목 현상입니다. NVIDIA는 이 문제를 해결하기 위해 물리적으로 정확한 시뮬레이션에서 생성된 합성 데이터를 활용하는 두 가지 핵심 블루프린트를 제공합니다.
GR00T-Mimic은 제한된 인간 시연을 확장하는 워크플로입니다. XR 또는 Apple Vision Pro를 사용한 원격 조작 시연을 수집한 후, 합성 모션 데이터를 생성하여 데이터셋을 대폭 확장합니다. 이는 알려진 행동을 개선하고 모방 학습을 가속화하는 데 유용합니다. Foxconn과 Foxlink는 GR00T-Mimic을 활용하여 조작 파이프라인을 개선하고 있으며, Omniverse와 Cosmos를 기반으로 구축된 합성 조작 모션 생성을 위한 Isaac GR00T 블루프린트가 제공됩니다.
GR00T-Dreams는 더욱 혁신적인 접근법을 제시합니다. 단일 이미지 입력만으로 Cosmos 세계 기초 모델(World Foundation Models, WFMs)을 사용하여 방대한 양의 완전히 새로운 합성 모션 데이터를 생성합니다. 로봇에게 새로운 행동과 변화하는 환경에 적응하는 방법을 가르치는 이 프로세스는 다음과 같이 진행됩니다. 먼저 Cosmos Predict WFM을 특정 로봇에 대해 사후 훈련하고, 단일 이미지를 입력하면 GR00T-Dreams가 새로운 작업과 환경의 비디오를 생성한 후, 훈련용 액션 토큰을 추출합니다.
Cosmos 플랫폼의 역할은 매우 중요합니다. Cosmos Predict는 로봇에 대해 사후 훈련되어 GR00T-Dreams에서 그럴듯한 시나리오를 생성하는 기본 세계 모델을 제공합니다. Cosmos Predict 2는 향상된 세계 생성과 환각 감소 기능을 제공하며 Hugging Face에서 곧 출시될 예정입니다. Cosmos Reason은 연쇄적 사고 추론(chain-of-thought reasoning)을 사용하여 고품질 합성 데이터를 큐레이션하는 새로운 WFM입니다. 이는 GR00T-Dreams의 "꿈"을 평가하고 필터링하며 자동으로 레이블을 지정하는 품질 관리 메커니즘 역할을 합니다.
GR00T-Dreams와 GR00T-Mimic의 구분은 로봇공학의 "데이터 문제"를 여러 각도에서 해결하려는 정교한 전략을 나타냅니다. Mimic은 제한된 인간 데이터를 활용하여 더 많은 데이터를 생성하는 데이터 증강 방식이며, Dreams는 최소한의 입력으로 완전히 새로운 시나리오를 생성하여 새로운 상황을 탐색하고 일반화 능력을 향상시키는 데 중요합니다. Cosmos Predict는 생성을 위한 기반을 제공하고, Cosmos Reason은 생성된 방대한 데이터가 훈련에 유용하고 정확하도록 보장합니다.
NVIDIA는 24,000개의 고품질 휴머노이드 로봇 모션 궤적을 포함하는 오픈 소스 물리 AI 데이터셋도 공개했습니다. 이는 커뮤니티를 활성화하고 GR00T 모델 채택을 장려하는 동시에, 간접적으로 더 다양한 피드백과 데이터를 수집할 수 있는 전략적 움직임입니다. 고품질 데이터셋을 제공하면 연구자와 소규모 기업의 진입 장벽을 낮추고, GR00T의 데이터 형식 및 방법론에 대한 표준화를 장려합니다.
NVIDIA 생태계전략과 플랫폼 지배력
NVIDIA의 Project GR00T는 본질적으로 자체 휴머노이드 로봇을 구축하는 대신, 다양한 휴머노이드 하드웨어 제조업체를 위한 "Intel Inside" 또는 "Android"가 되는 것을 목표로 하는 생태계 전략입니다. GR00T N 기초 모델, Isaac Sim/Lab 시뮬레이션 도구, Jetson Thor 특수 하드웨어, GR00T-Dreams/Mimic 데이터 생성 파이프라인 등 포괄적인 플랫폼을 제공함으로써, NVIDIA는 수많은 휴머노이드 로봇 기업과의 파트너십을 통해 생태계를 적극적으로 구축하고 있습니다.
Jetson Thor는 NVIDIA Blackwell 아키텍처 기반의 차세대 GPU를 특징으로 하는 휴머노이드 로봇용 신규 컴퓨터입니다. GR00T와 같은 다중 모드 생성형 AI 모델을 위한 800 TFLOPs의 8비트 부동 소수점 AI 성능을 제공하는 트랜스포머 엔진을 포함합니다. 또한 통합 기능 안전 프로세서, 고성능 CPU 클러스터, 100Gb 이더넷 대역폭을 갖추고 있어 복잡한 작업을 처리하고 로봇, 사람, 기계 간의 안전하고 자연스러운 상호작용을 용이하게 합니다. 2025년 후반 출시 예정인 Jetson Thor는 단순한 컴퓨팅 모듈이 아니라, 복잡한 다중 모드 GR00T 기초 모델을 로봇 자체에서 효율적으로 실행하도록 설계된 전략적 하드웨어 구성 요소입니다.
Isaac 로보틱스 플랫폼은 NVIDIA 전략의 핵심으로, 강력한 "sim-to-real" 파이프라인을 생성합니다. Isaac Sim은 Omniverse 플랫폼에서 물리 기반 가상 환경에서 휴머노이드를 구축, 시뮬레이션, 테스트하기 위한 참조 애플리케이션입니다. Isaac Lab은 Isaac Sim 위에 구축된 오픈 소스 통합 로봇 학습 프레임워크로, 강화 학습(RL) 및 모방 학습(IL)에 사용됩니다. Isaac Lab 2.2는 GR00T N 모델을 위한 새로운 평가 환경을 지원할 예정입니다.
| 파트너 회사 | 휴머노이드 로봇 | GR00T/Isaac 활용 분야 |
|---|---|---|
| Boston Dynamics | Atlas | Jetson Thor, Isaac Lab 이동/조작 학습 |
| Agility Robotics | Digit | Isaac Sim/Lab 시뮬레이션 및 훈련 |
| Figure AI | Figure 02, Helix | NVIDIA RTX GPU, Cosmos 채택 |
| Foxconn | 협업 간호 로봇 | GR00T-Mimic 조작 파이프라인 |
| AeiRobot | ALICE4 | GR00T N 자연어 이해, 산업 작업 |
GR00T 워크플로 제품군(GR00T-Gen, GR00T-Mimic, GR00T-Dexterity, GR00T-Mobility, GR00T-Control, GR00T-Perception)은 범용 휴머노이드 로봇공학이라는 복잡한 문제를 관리 가능하고 상호 연결된 하위 문제로 체계적으로 분해하려는 접근 방식을 보여줍니다. 각 워크플로는 환경 생성, 모션 생성, 물체 조작, 이동, 전신 제어, 세계 인식 등 특정 측면을 목표로 하며, 핵심 Isaac 플랫폼을 기반으로 통합됩니다.
NVIDIA는 GitHub 저장소(NVIDIA/Isaac-GR00T)를 통해 사전 훈련된 GR00T N1 활용, 사용자 정의 데이터셋 미세 조정, 모델 적응, 추론 배포를 위한 도구를 제공합니다. Isaac Lab과 같은 핵심 구성 요소의 오픈 소스 가용성과 Huggingface의 GR00T N1 일부, 그리고 미세 조정 스크립트가 포함된 상세한 GitHub 저장소는 개발자 커뮤니티를 육성하고 광범위한 채택을 장려하여 GR00T를 사실상의 표준으로 만들려는 전략입니다. 이는 CUDA가 GPU 프로그래밍에서 달성한 것과 유사한 생태계 고착화를 휴머노이드 로봇공학 분야에서 만들어낼 수 있습니다.
NVIDIA는 Google DeepMind 및 Disney Research와 협력하여 로봇 학습을 위한 오픈 소스 물리 엔진인 Newton을 개발하고 있습니다. NVIDIA Warp을 기반으로 구축되었으며 MuJoCo 및 Isaac Lab과 호환되는 Newton은 로봇이 복잡한 작업을 더 정밀하게 처리하는 방법을 학습할 수 있도록 하며, 2025년 후반에 사용 가능할 것으로 예상됩니다. 이는 보다 표준화되고 강력한 시뮬레이션 백본을 만들기 위한 전략적 움직임으로, NVIDIA의 시뮬레이션 기술을 더욱 확고히 할 수 있습니다.
범용 휴머노이드 로봇은 제조(자재 취급, 분류, 포장, 조립), 물류, 의료(전문가 지원, 환자 치료), 노인 돌봄, 소매, 가사 자동화 등 다양한 산업 분야에서 활용될 것으로 예상됩니다. Agility Robotics의 Digit과 같은 인간 중심 로봇은 5천만 명 이상으로 추정되는 전 세계 노동력 부족을 완화할 잠재력을 가지고 있으며, 젠슨 황 CEO는 "물리적 AI와 로봇공학이 다음 산업 혁명을 가져올 것"이라고 선언했습니다.
Project GR00T는 휴머노이드 로봇공학 발전을 위한 촉매제로서 중요한 의미를 지닙니다. NVIDIA는 기초 모델, 시뮬레이션, 하드웨어, 데이터 생성이라는 전체론적 접근 방식을 통해 이 분야를 선도하고 있으며, 단순히 더 나은 로봇을 만드는 것을 넘어 지능형 체화 시스템 개발을 위한 새로운 패러다임을 창조하는 데 중점을 둡니다. 이 패러다임에서는 AI 모델이 시뮬레이션된 세계에서 학습하고 그 지식을 다양한 물리적 형태로 이전하며, 이는 인공 일반 로봇공학(Artificial General Robotics, AGR)을 향한 길을 가속화할 수 있습니다. 다만 현재 기술 수준은 여전히 자재 취급 및 제조와 같은 보다 구조화된 작업에서의 성공률 향상에 중점을 두고 있으며, 진정한 개방형 세계, 인간 수준의 적응성은 장기적인 연구 목표로 남아 있습니다. GTC, Computex, CES에서의 연이은 발표와 N1에서 N1.5로의 빠른 모델 업데이트는 NVIDIA의 공격적인 개발 로드맵과 휴머노이드 AI 분야에서 신속하게 반복하고 리더십을 확립하려는 강력한 의지를 보여줍니다.
자주 묻는 질문 (FAQ)
Q. GR00T N1과 N1.5의 가장 큰 차이점은 무엇인가요?
A. GR00T N1.5는 GR00T-Dreams에서 생성된 합성 데이터를 활용하여 단 36시간 만에 개발되었으며, 새로운 환경 적응력, 객체 인식, 자재 취급 및 제조 작업에서의 성공률이 대폭 향상되었습니다. 이는 수동 데이터 수집에 약 3개월이 소요되는 것과 비교하면 획기적인 단축입니다.
Q. NVIDIA의 합성 데이터 전략이 중요한 이유는 무엇인가요?
A. 체화된 AI 모델은 방대한 양의 훈련 데이터를 필요로 하지만 실제 데이터 생성은 비용과 시간이 많이 소요됩니다. GR00T-Dreams와 GR00T-Mimic 같은 합성 데이터 생성 파이프라인은 이 병목 현상을 해결하며, 합성 데이터와 실제 데이터를 결합했을 때 GR00T N1의 성능이 40% 향상되었다는 점이 그 효과를 입증합니다.
Q. Jetson Thor는 어떤 역할을 하나요?
A. Jetson Thor는 Blackwell 아키텍처 기반 GPU와 트랜스포머 엔진을 탑재한 휴머노이드 로봇용 컴퓨터로, GR00T 같은 다중 모드 생성형 AI 모델을 위해 800 TFLOPs의 AI 성능을 제공합니다. 통합 기능 안전 프로세서와 100Gb 이더넷 대역폭을 갖춰 복잡한 작업 처리와 안전한 상호작용을 지원하며, 2025년 후반 출시 예정입니다.
Q. NVIDIA의 생태계 전략은 Tesla 같은 경쟁사와 어떻게 다른가요?
A. Tesla는 Optimus 하드웨어와 AI 스택을 주로 자체 개발하는 수직 통합 전략을 취하는 반면, NVIDIA는 다양한 휴머노이드 제조업체에게 기초 모델, 시뮬레이션 도구, 컴퓨팅 하드웨어를 제공하는 플랫폼 생태계 전략을 추구합니다. Boston Dynamics, Agility Robotics, Figure AI 등 많은 파트너사가 NVIDIA 기술을 채택하고 있습니다.
Q. Isaac 플랫폼의 주요 구성 요소는 무엇인가요?
A. Isaac 플랫폼은 Isaac Sim(Omniverse 기반 시뮬레이션), Isaac Lab(강화 학습 및 모방 학습 프레임워크), OSMO(컴퓨팅 오케스트레이션), Isaac Manipulator(로봇 팔 민첩성), Isaac Perceptor(AMR 비전) 등으로 구성됩니다. 이들은 통합된 도구 체인으로 휴머노이드 개발을 단순화하고 가속화합니다.
[출처]
벡트 AI테크블로그 - NVIDIA의 로보틱스 파운데이션 모델 심층 분석: https://blog.vect.co.kr/begteu-aitekeubeulrogeu-nvidiayi-robotigseu-paundeisyeon-model-simceung-bunseog/