Can Frontier Auto Researchers Reconstruct Human Research Decisions in AI?

이 논문은 자동 연구 에이전트가 같은 맥락을 줬을 때 사람 연구자의 결정을 얼마나 재현하는지 3단계로 나눠 측정했다.

이 논문은 한마디로 프론티어 자동 연구 에이전트가 사람 연구자의 연구 결정을 얼마나 되살리는지 재구성 관점에서 평가하는 AutoHRS 프레임워크를 소개한다. 연구를 아이디어 생성, 실험 설계, 논문 종합의 세 단계로 나누고, ICLR 2026 구두 발표 논문 152편에서 456개 연구 궤적을 만들어 체크리스트로 비교했다. 그 결과 아이디어 생성 0.29, 실험 설계 0.36, 논문 종합 0.65로 세 단계 모두 사람 연구와 큰 차이를 보였다. 특히 아이디어의 78.4%가 참고 논문 요소를 조합한 것에 그쳤고, 앞선 단계일수록 격차가 컸다.

핵심 요약

• AutoHRS는 자동 연구 에이전트의 출력을 아이디어 생성, 실험 설계, 논문 종합 세 단계로 나눠 사람 연구와 비교하는 평가 프레임워크다.
• ICLR 2026 구두 발표 논문 152편에서 456개 연구 궤적을 만들어 평가 말뭉치를 구축했다.
• 정규화 점수로 아이디어 생성 0.29, 실험 설계 0.36, 논문 종합 0.65를 기록해 세 단계 모두 사람 연구와 큰 차이를 보였다.
• 생성된 아이디어의 78.4%가 참고 논문에서 식별 가능한 요소들을 조합하는 방식으로 만들어졌다.
• 연구 방향을 더 세분화해서 주면 아이디어 재구성 점수가 0.29에서 0.54까지 일관되게 올라갔다.
• 연구 유형별로는 실증 분석 0.49, 방법론 0.32, 벤치마크 0.18로 벤치마크 연구 재구성이 가장 어려웠다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.