PRM-as-a-Judge 1.5: A Toolkit for Robot Process Assessment

로봇이 성공했는지만 세지 않고, 어디까지 갔고 언제 멈추거나 회복했는지를 실행 영상에서 읽어내는 평가 도구다.

이 논문은 한마디로 로봇의 최종 성공 여부뿐 아니라 작업 과정의 품질까지 평가하는 방법을 제안한다. PRM-as-a-Judge 1.5는 실행 영상을 시점별 진행 곡선으로 바꾸고, 실패 직전까지의 진척도와 후퇴 뒤 회복 정도, 성공 과정의 효율과 안정성을 계산한다. RoboDojo 실험에서는 단순 성공률과 과정 지표의 모델 순위가 서로 달랐고, 시뮬레이션과 실제 환경의 순위 상관도도 낮거나 중간 수준이었다. 다만 진행이 나빠지는 구간을 자동으로 찾는 능력은 아직 제한적이다.

핵심 요약

• 성공률만 보면 거의 성공한 실패와 시작부터 막힌 실패를 구분할 수 없고, 성공 과정의 망설임과 불필요한 동작도 놓친다.
• 실행 영상을 진행 곡선으로 바꾼 뒤 도달 수준, 진행 효율, 정체, 후퇴와 회복을 여러 지표로 계산한다.
• 새 지표인 FNS는 실패가 성공에 얼마나 가까웠는지, DRR은 큰 후퇴 뒤 얼마나 회복했는지, SQS는 성공 과정이 얼마나 안정적이었는지를 보여준다.
• RoboDojo에서 성공률과 과정 지표의 모델 순위가 달랐고, 시뮬레이션과 실제 환경의 순위 상관도는 0.18에서 0.58에 머물렀다.
• RoboPulse++는 700개 실행 궤적과 사람 주석 구간 2,244개로 평가 모델을 검사한다. 진행 감소 구간의 최고 F1 점수도 0.63이어서 결과를 절대값처럼 받아들이면 안 된다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.