SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

NVIDIA의 SimFoundry는 실제 비디오 하나에서 시뮬레이션 환경을 자동 생성하는 시스템이다. 로봇 정책 훈련과 평가 모두에 사용 가능하며, digital cousin 확장으로 zero-shot sim-to-real 전이를 달성한다.

SimFoundry는 단일 실제 비디오로부터 상호작용 가능한 시뮬레이션 환경을 자동 생성하는 모듈형 시스템이다. 디지털 트윈 복원, object/scene/task cousin 확장, 시뮬레이션 기반 정책 평가 및 훈련을 통합 제공한다. 7개 조작 과제와 5개 정책 아키텍처에서 시뮬레이션 평가가 실제 성능과 강한 상관관계(Pearson 0.911)를 보였으며, cousin 데이터로 훈련된 정책은 실제 환경에서 17~40% 성공률 향상을 달성했다. DROID와 YAM 로봇에 zero-shot 전이를 검증했다.

핵심 요약

• 단일 비디오 → sim-ready 디지털 트윈 자동 생성 (F1 0.81~0.92, 3분 튜닝 시 0.93~0.99)
• Object/Scene/Task cousin: affordance를 보존하면서 다양성을 확보하는 장면 변형
• 7 과제 × 5 정책에서 sim 평가-실제 성능 Pearson 상관 0.911 (이전 SOTA 대비 +0.59)
• Cousin 데이터 훈련 정책이 zero-shot sim-to-real 전이에서 17~40% 성공률 향상
• YAM(99% Pot on Stove) 및 DROID(100% Stack Dishware)에서 뛰어난 zero-shot 전이 성공
• 다단계 조작, 관절 객체 상호작용, 양손 협업 등 기존 대비 복잡한 과제 처리

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.