MineralExp: Benchmarking LLM Agents for Experimental Design in Real-World Mineral Exploration

발행일
출처
arXiv
논문 번호
1469
분야
Research Agents
arXiv 번호
2611.17931

이 논문은 LLM 에이전트가 광물 탐사에서 어떤 지구화학 실험을 할지 미리 설계하는 능력을 평가하는 첫 벤치마크를 만든 연구다.

이 논문은 한마디로 LLM 에이전트의 지구화학 실험 설계 능력을 객관적으로 채점하는 벤치마크 MineralExp 를 만들었다. 저자들은 열려 있는 실험 설계 과제를 19개 실험 유형의 다중 레이블 분류로 바꿔 자동 채점을 가능하게 했다. 공개 논문에서 뽑은 277개 사례와 1,572개 참조 실험 계획으로 4개 에이전트 하니스와 7개 LLM 을 시험했다. 그 결과 최신 에이전트들은 정답 실험을 대부분 찾아내지만 필요보다 많은 실험을 함께 제안하는 문제를 보였다.

핵심 요약

  • 저자들은 광물 탐사의 실험 설계를 Source, Transport, Deposition, Modification, Preservation 다섯 과정의 19개 실험 유형으로 정리해 다중 레이블 문제로 바꿨다.
  • 벤치마크는 공개 논문에서 277개 사례와 1,572개 참조 실험 계획을 뽑아 전문가 검증을 거쳐 만들었다.
  • 4개 에이전트 하니스와 7개 LLM 의 28가지 조합을 시험한 결과 전체 재현율은 70.76%에서 91.56%였지만 가장 높은 전체 F1 은 63.84%에 그쳤다.
  • 참조 사례의 실험 수가 평균 3.49개인데 비해 DeepSeek-V4.1-Flash 는 사례당 거의 10개를 제안해 정밀도가 약 32%로 떨어졌다.
  • LLM-as-a-Judge 평가에서 부분 커버리지는 83.59%에서 93.51%였지만 엄격 커버리지는 22.65%에서 36.83%에 머물렀다.
  • 한계로, 도메인용 하니스 Biomni 는 사례당 약 67k 입력 토큰을 써서 OpenCode 의 12배 이상 비용을 들였지만 성적은 더 낮았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)