운전 연습에서 가장 필요한 경험은 갑자기 아이가 뛰어나오거나 폭우로 앞이 보이지 않는 순간일 수 있다. 하지만 그런 위험을 일부러 만들어 연습할 수는 없다. 로봇도 마찬가지다. 사고를 배워야 안전해지지만 실제 사고를 반복할 수는 없다.
NVIDIA의 Cosmos 3는 로봇과 자율주행차를 위한 가상 세계 모델이다.
예쁜 영상보다 다음 행동을 만든다
일반 영상 생성 AI는 그럴듯한 장면을 만드는 데 집중한다. Cosmos 3는 기계가 움직일 때 세상이 어떻게 변하는지 예측하고, 로봇 관절 각도와 집게 위치, 이동 경로 같은 행동 데이터까지 생성하도록 설계됐다.
개발자는 로봇 충돌과 드문 도로 상황처럼 현실에서 모으기 어렵고 위험한 장면을 가상으로 만들어 반복 훈련할 수 있다. 높은 물리 정확도가 필요한 대형 모델과 빠르게 반응하는 소형 모델이 공개됐으며, 기기 안에서 실행하는 버전도 예고됐다.
로봇을 위한 꿈 연습
사람은 머릿속으로 “이렇게 잡으면 컵이 넘어지겠다”고 예상한다. 월드 모델도 행동하기 전에 가능한 결과를 가상으로 그려보는 역할을 한다. 공장 로봇이 부품을 잡거나 자율주행차가 장애물을 피할 때 매번 현실에서 부딪혀 배울 필요를 줄인다.
물론 가상 세계가 현실을 완벽하게 복제하지는 못한다. 시뮬레이션에 없던 바닥 재질이나 조명, 사람의 돌발 행동은 여전히 문제를 만들 수 있다. 마지막 검증은 실제 환경에서 안전하게 진행해야 한다.
몸을 가진 AI의 학습서
이전에 소개한 Patronus AI가 웹사이트에서 일하는 에이전트의 가상 시험장이라면, Cosmos 3는 몸을 가진 AI의 물리 연습장에 가깝다.
챗봇이 인터넷 글을 읽고 배웠다면 로봇은 움직임과 결과를 배워야 한다. NVIDIA는 미래 로봇이 현실에 나오기 전에 수없이 넘어지고 충돌해볼 수 있는 꿈의 공간을 만들고 있다.
참고한 자료: Axios NVIDIA Cosmos 3 소개 (https://www.axios.com/2026/06/01/nvidia-ai-push-cosmos-3-world-model)
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.