Can You Trust Your Finance Agent? Drift, Diagnosis and Auditable Intervention on One Shipped Financial Research Agent

발행일
출처
arXiv
논문 번호
1470
분야
Agents
arXiv 번호
2611.17939

이 논문은 출하된 금융 리서치 에이전트 하나를 대상으로 점수 드리프트, 실패 책임 분류, 감사 가능한 개선까지 묻는 사례 연구를 했다.

이 논문은 한마디로 리더보드 점수만으로 에이전트를 믿을 수 없음을 실측으로 보인 사례 연구다. Vals 금융 에이전트 벤치마크 v2 의 기본 에이전트를 그대로 두고 같은 설정으로 일곱 번 돌려 149개 채점 기준 중 105에서 123까지 흔들리는 것을 확인했다. 실패한 20개 궤적을 책임 계층으로 나눠 13개는 지시문, 3개는 도구, 4개는 모델 소속으로 분류했다. 진단 루프로 비용 목표에서는 비용을 0.34배로 줄였고 정확도 목표의 향상은 노이즈로 판정했다.

핵심 요약

  • 같은 설정의 에이전트를 18개 질문에 일곱 번 돌린 결과 149개 채점 기준 중 통과 수가 105에서 123까지 변했고 비용은 최대 17% 흔들렸다.
  • 실패한 20개 궤적을 미리 정한 분류로 나눈 결과 13개는 에이전트 지시문, 3개는 도구, 4개는 모델, 데이터는 0개였다.
  • 네 명의 눈가림 판독자는 80건 중 75건에서 분석기와 같은 결함을 지목해 진단의 신뢰성을 뒷받침했다.
  • 비용 목표의 최종 구성은 검증 질문에서 기준 대비 0.34배 비용을 기록하고 정확도는 노이즈 안에 유지됐다.
  • 정확도 목표는 개발 질문에서 14점을 얻었지만 검증 질문에서는 1.5점에 그치고 신뢰구간이 0을 지나 확산됐다.
  • 한계로, 이 결과는 한 에이전트와 9개 검증 질문에 대한 사례 연구이며 일반적인 결론이 아니다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)