DataSense-Bench: The First Step Toward an AI Scientist

이 논문은 최신 AI 에이전트가 학습 데이터를 고르고 그 효과를 미리 맞히는 능력을 측정하는 벤치마크 DataSense-Bench를 제안하고, 그 능력이 아직 부족함을 보였다.

이 논문은 한마디로 CLI 에이전트가 학습 데이터 후보를 다섯 묶음으로 나누고 예상 성능 순으로 배열한 뒤, 실제 파인튜닝 결과와 맞히게 하는 벤치마크다. 에이전트는 데이터를 보고 분석 코드를 돌리며 순방향 추론만 할 수 있고, 학습이나 평가 과제 접근은 막혀 있다. 그 결과 무작위 선택보다 이득은 0.35에서 1.78 % 포인트에 그쳤고, 순위 예측도 과제마다 일관되지 않았다.

핵심 요약

• 에이전트는 후보 데이터를 다섯 개의 겹치지 않는 묶음으로 나누고 첫 묶음이 가장 강하도록 순위를 매겨 제출했다.
• 벤치마크는 에이전트가 예측한 첫 순위 묶음으로 학습한 Qwen3-4B의 성능을 표준화된 절차로 평가했다.
• BFCL에서 여섯 에이전트의 첫 묶음은 모두 무작위 선택보다 높았지만 이득은 0.35에서 1.78 % 포인트에 그쳤다.
• TBLite에서는 열 에이전트 중 둘이 무작위 선택보다 낮았고 가장 앞선 에이전트도 0.99 포인트만 앞섰다.
• 순위 예측 능력은 과제마다 일관되지 않았다. GPT-6 Astra는 BFCL 세 실행 모두에서 최고 묶음을 찾았지만 TBLite 세 실행 중 하나에서만 찾았다.
• 같은 에이전트의 독립 실행 세 번 사이에도 선택 규칙 자체가 바뀌는 등 선택 전략이 불안정했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.