The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory

이 논문은 올바른 사실을 기억했는지와 그 사실을 지금 결정에 쓸 수 있는지를 구분하는 문제를 실행형 벤치마크로 풀었다.

이 논문은 한마디로 정확히 기억한 사실도 쓰는 조건에 따라 과학적 결정에 쓸 수 없다는 점을 측정하는 벤치마크를 만들었다. SCIVALIDITYBENCH는 64 TaskSpecs로 다섯 타당성 모듈과 여섯 과학 분야를 다룬다. SCISTATEFORGE는 흩어진 실험 기록을 결정을 지배하는 상태로 컴파일한다. 네 모델 계열에서 컴파일된 상태가 Event Graph보다 올바른 결정을 9.2–18.8 percentage points만큼 늘렸다.

핵심 요약

• 같은 p = 0.03 값이라도 사전에 계획이 고정됐는지에 따라 증거 자격이 달라진다는 문제를 과학적 사용 타당성으로 정의했다.
• SCIVALIDITYBENCH라는 실행형 벤치마크 공장을 만들었고 64 TaskSpecs가 다섯 타당성 모듈과 여섯 과학 분야를 덮는다.
• SCISTATEFORGE 컴파일러–리더 파이프라인이 흩어져 있는 실험 기록을 결정을 지배하는 명시적 상태로 바꾼다.
• 네 모델 계열에서 컴파일된 과학 상태가 일반 Event Graph보다 올바른 결정을 9.2–18.8 percentage points만큼 끌어올렸다.
• BM25 검색만으로는 이 계열 공통 향상을 재현하지 못했다.
• 결정에 필요한 상태를 정확히 복구하면 무관한 복구보다 평균 18.6 validity points 더 회복되었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.