Curie's Jarvis: Autonomous Robotic Chemistry Experiments from Printed Protocols

이 논문은 인쇄된 실험 지시서 사진과 손글씨 라벨만으로 사람용 벤치에서 로봇 팔이 화학 실험을 수행하게 만드는 문제를 풀었다.

이 논문은 한마디로 사람이 쓰도록 꾸린 벤치에서 인쇄된 지시서 사진만 읽고 로봇 팔이 화학 실험을 수행하는 시스템 Curie's Jarvis를 소개한다. 비전-언어 모델이 지시서 사진에서 단계를 뽑아 계획하고, 네 개 카메라에서 종이 라벨을 읽어 똑같이 생긴 용기를 구분하며, 매 단계 전에 대상을 다시 찾는다. Franka Panda 팔에서 한 프로토콜은 5회 중 5회, 다른 프로토콜은 5회 중 4회를 사람 개입 없이 성공했고, 160회 위치 찾기에서 모든 용기를 정확히 식별했다. 고정 위치나 마커 없이 사람 방식대로 벤치 화학을 하게 한 점이 핵심이다.

핵심 요약

• Curie's Jarvis는 인쇄된 실험 지시서 사진에서 단계를 읽어 로봇 팔이 화학 실험을 수행하게 하는 시스템이다.
• 네 개 카메라에서 종이 라벨을 읽어 똑같이 생긴 용기를 구분하고 카메라 간 투표로 확정한다.
• 고정 위치나 마커 없이 보통 벤치에서 작동하며 매 단계 전에 대상을 다시 찾는다.
• 한 프로토콜은 5회 중 5회, 다른 프로토콜은 5회 중 4회를 사람 개입 없이 완료했다.
• 160회 위치 찾기에서 인쇄 라벨과 세 사람의 손글씨 모두 모든 용기를 정확히 식별했다.
• 실험에 쓸 분량은 미리 계량해 두므로 로봇이 정확한 양을 옮기는 능력은 평가하지 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.