클라우드 없이 로봇에서 도는 4B, NVIDIA Cosmos 3 Edge 공개

AI 요약

• 무슨 일: NVIDIA가 4B 파라미터 오픈 world model Cosmos 3 Edge를 7월 20일 Hugging Face와 GitHub에 공개했습니다. 라이선스는 Linux Foundation OpenMDW-1.1.
• 성능: Jetson Thor에서 15Hz 실시간 제어, 추론 한 번에 32개 액션 생성. 클라우드에 다녀오지 않고 로봇 안에서 바로 계산합니다.
• 구조: 이해를 맡는 autoregressive 타워와 생성을 맡는 diffusion 타워 두 개가 attention을 공유합니다. 액션의 결과를 예측하고, 결과에서 액션을 역으로 추론합니다.
  • 로봇 종류가 달라도 하나의 형식으로 동작을 인코딩합니다. 단일팔 10D, 양팔 20D, 휴머노이드 29D, 자율주행차 9D.
• 누가: FANUC, Yaskawa, SoftBank, Sony, Honda 등 일본 로봇·제조 20여 곳이 Cosmos Coalition에 합류. 일본 정부는 국가 AI 인프라에 약 24억 달러를 배정했습니다.
• 주의: 벤치마크 1위(VANTAGE-Bench 4B급)는 NVIDIA 내부 측정입니다. 실제 로봇에서의 일반화는 별개로 확인해야 합니다.

NVIDIA가 로봇을 움직이는 모델을 로봇 안에 넣었습니다. 7월 20일 Hugging Face에 올라온 Cosmos 3 Edge는 4B 파라미터짜리 오픈 world model입니다. 카메라 화면을 보고, 다음에 무엇을 할지 판단하고, 로봇 팔이나 바퀴를 움직일 액션을 직접 만들어냅니다. 이 계산이 전부 Jetson 같은 소형 보드 위에서 돌아갑니다. 클라우드에 데이터를 보내고 답을 기다리는 왕복이 없습니다.

로봇에게 이 차이는 큽니다. 팔이 컵을 집으려는 순간에 인터넷이 끊기거나 응답이 0.3초 늦으면 동작이 무너집니다. 온디바이스로 돌리면 지연이 사라지고, 공장 카메라 영상이 외부로 나가지 않습니다. NVIDIA는 아이폰에 400B급 모델을 올리는 온디바이스 흐름과 같은 방향을, 이번에는 로봇 제어 쪽에서 밀고 있습니다.

Jetson 보드 위에서 초당 15번

Cosmos 3 Edge는 NVIDIA의 로봇 개발 보드 Jetson Thor에서 15Hz로 로봇을 제어합니다. 초당 15번, 카메라 화면을 새로 보고 다음 동작을 계산한다는 뜻입니다. 추론 한 번에 32개의 액션을 뽑아내고, 제어에 쓰는 화면 해상도는 640×360입니다.

Cosmos 3는 크기별로 세 종류입니다. Edge가 가장 작습니다.

작다고 데이터센터 장비가 필요 없다는 뜻은 아닙니다. 프로토타이핑은 GeForce RTX 3070 이상이면 시작할 수 있지만, 특정 로봇에 맞춰 파인튜닝하려면 소형 H100 클러스터나 DGX Station이 필요합니다. 대신 한번 맞추고 나면 특정 로봇과 센서 조합에 적응시키는 데 약 하루면 된다고 NVIDIA는 설명합니다. 배포 대상에는 Jetson Thor 외에 이번에 새로 나온 Jetson T2000·T3000 모듈, RTX PRO, GeForce RTX, DGX가 들어갑니다. 같은 Jetson 계열에는 JetPack 7.2로 에이전트를 한 줄로 배포하는 경로도 이미 열려 있습니다.

world model이 액션만 뱉는 모델과 다른 점

Cosmos 3 Edge가 화면을 보고 동작만 뱉는 기존 로봇 모델과 갈리는 지점은 "world model"이라는 이름에 있습니다. 화면을 보고 액션을 출력하는 데서 끝나지 않고, 그 액션을 하면 화면이 어떻게 바뀔지까지 예측합니다. 반대 방향도 됩니다. 화면이 이렇게 바뀌었다면 무슨 액션이 있었는지를 역으로 추론합니다. 이 양방향 덕분에 한 모델이 로봇 정책을 학습하는 것과 평가하는 것을 같이 할 수 있습니다.

내부는 두 개의 타워로 나뉩니다. 아래 도식에서 왼쪽 Reasoner는 vision과 text를 순차적으로 읽어 상황을 이해하는 autoregressive 타워이고, 오른쪽 Generator는 vision·audio·action을 함께 다뤄 다음 장면과 동작을 만드는 diffusion 타워입니다. 두 타워는 attention을 공유해 서로의 정보를 정렬합니다.

액션을 담는 방식도 특이합니다. Cosmos 3 Edge는 로봇 종류가 달라도 하나의 공통 형식으로 동작을 인코딩합니다. 단일팔 로봇은 10차원, 양팔은 20차원, 휴머노이드는 29차원, 자율주행차는 9차원으로, translation과 rotation과 손의 상태를 압축된 기하 벡터로 담습니다. 몸이 다른 로봇이 같은 형식으로 동작을 주고받습니다.

성능 지표로 NVIDIA는 4B급 모델 가운데 vision analytics 벤치마크 VANTAGE-Bench 1위, 로봇 정책 학습에서 최고 수준을 내세웁니다. 다만 이 수치는 NVIDIA가 자사 벤치마크로 측정한 내부 결과입니다. 실제 현장 로봇에서 얼마나 일반화되는지는 도입 기업들의 후속 검증을 기다려야 합니다.

일본 로봇 대기업 20여 곳이 먼저 붙었다

이번 공개의 상업적 무게는 일본에 쏠려 있습니다. NVIDIA Cosmos Coalition에는 20곳이 넘는 일본 기업이 붙었습니다. 산업 로봇 쪽에서는 FANUC, Yaskawa Electric, Kawasaki Heavy Industries가, 제조·기술 쪽에서는 Fujitsu, Hitachi, NEC, SoftBank, Sony, Honda, Preferred Networks가 이름을 올렸습니다. Fujitsu는 FANUC·Yaskawa·Kawasaki와 협조 제어 플랫폼을 만들고, SoftBank는 Cosmos와 Omniverse, Isaac Sim 위에 물리 AI 플랫폼을 올립니다.

배경에는 돈과 정책이 있습니다. 휴머노이드 로봇이 연 1만 대 단위로 출하되기 시작한 지금, 일본은 2040년까지 세계 AI 로봇 시장의 30%, 약 1330억 달러를 차지하겠다는 목표를 걸었습니다. 경제산업성은 국가 AI 인프라 사업 FRONTia에 약 24억 달러를 배정하고, NVIDIA Rubin GPU 27,500개와 Vera CPU 13,750개, 140MW 규모의 전력을 여기에 붙였습니다. Jensen Huang은 "AI의 다음 프론티어는 물리 세계에 있고, 이것은 일본에게 한 세대에 한 번 오는 기회"라고 말했습니다.

이번 발표에는 두 겹이 있습니다. 하나는 4B 모델을 오픈 라이선스로 풀어 누구나 로봇에 올릴 수 있게 한 기술적 개방이고, 다른 하나는 그 모델이 NVIDIA Jetson과 Rubin GPU 위에서 가장 잘 돌도록 설계됐다는 하드웨어 종속입니다. 로봇 두뇌는 열었지만, 그 두뇌가 앉을 자리는 여전히 NVIDIA 실리콘입니다.