BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories

이 논문은 자율주행 화학실험실의 두뇌 역할을 할 멀티모달 모델의 실행 능력을 전문가가 만든 문제 1,000개로 평가하는 벤치마크를 제안했다.

이 논문은 한마디로 자율주행 화학실험실(SDCL)에서 멀티모달 대규모 언어 모델이 실험 장면을 보고 어디서 어떻게 행동할지 판단하는 능력을 재는 벤치마크 BEAKER를 소개한다. 벤치마크는 행동가능성, 지식, 실험, 추론 네 역량을 11개 과제 유형으로 나눠 평가하며, 모든 문제와 정답은 AI 도움 없이 화학 전문가와 embodied AI 전문가가 직접 만들었다. 28개 모델을 평가한 결과 현재 모델들은 영상 속 실험 절차를 대략 따라가지만 조작 가능한 위치를 찾아내는 정밀한 능력이 가장 큰 약점으로 드러났다. 최고 성능 모델도 사람 전문가 점수 93.3에 크게 못 미치는 59.2에 그쳤다.

핵심 요약

• BEAKER는 자율주행 화학실험실의 두뇌 역할을 평가하는 전문가 제작 문제 1,000개와 11개 과제 유형으로 이루어진 벤치마크다.
• 모든 문제와 주석은 화학 전문가와 embodied AI 전문가가 AI 도움 없이 직접 만들고 검토했다.
• 28개 멀티모달 모델을 평가한 결과 행동가능성이 28개 모델 평균 22.2로 가장 큰 약점이었다.
• 최고 성능 모델 Claude Opus 4.7의 전체 점수는 59.2로 사람 전문가 93.3과 34.1점 차이가 났다.
• 전문가 캡션을 함께 주면 중간 길이 영상의 순서 추론 점수가 세 모델 모두 대략 두 배로 올라갔다.
• 화학 특화 모델과 과학 특화 모델은 범용 모델을 일관되게 앞서지 못했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.