ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

ESI-BENCH는 체화된 공간 지능을 평가하기 위한 벤치마크로, 에이전트가 인식-행동 루프를 닫음으로써 공간 질의를 해결하기 위해 3D 환경과 능동적으로 상호작용하도록 요구한다.

ESI-BENCH는 에이전트가 수동으로 화면만 보는 대신 이동과 조작을 선택해 필요한 공간 증거를 직접 모으도록 평가한다. OmniGibson 위에 핵심 공간 지식을 반영한 10개 과제 범주와 29개 하위 범주를 구성했다. 실험에서는 능동 탐색이 수동 관찰보다 좋았지만, 무작위로 시점을 많이 추가하면 이미지 수만 늘고 오히려 잡음이 생겼다. 주요 실패 원인은 시각 인식 자체보다 잘못된 행동이 나쁜 관찰을 만들고 이후 추론까지 무너뜨리는 행동 맹점이었다. 사람과 달리 모델은 반대 증거를 찾고 믿음을 고치기보다 이른 단계에 높은 확신으로 결론을 내리는 경향을 보여, 인식 개선만으로 해결되지 않는 자기 점검의 한계를 드러냈다.

핵심 요약

• 방향성 편향: AI 모델은 종종 확증 편향을 보이는데, 새로운 정보를 탐색하기보다 자신의 초기 인상을 확인하는 행동을 반복적으로 선택한다. 그 초기 인상은 틀렸을 수도 있다. 또한 증거가 충분한지 여부와 무관하게 과정 초반에 높은 확신을 가지고 답을 확정해 버리는 경우가 많다.
• 지능적 행동 계획: 공간적 불확실성을 해소하기 위해 특화된 궤적을 계획할 수 있는 에이전트를 개발한다.
• 불확실성 관리 및 보정: 자신에게 충분한 정보가 없을 때를 이해하고 그에 따라 확신도를 조정할 수 있는 모델을 만든다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.