RSI-PDEbench: A Benchmark for Self-Improving Agents in PDE Solving

발행일
출처
arXiv
논문 번호
1458
분야
Research Agents
arXiv 번호
2611.14949

이 논문은 미지의 편미분방정식을 찾아 푸는 에이전트의 자기개선을 재는 문제를 1,001 사례 벤치마크와 검증 관문 하니스로 풀었다.

이 논문은 한마디로 편미분방정식과 분수 편미분방정식을 희박한 관측에서 식별하고 푸는 에이전트 능력을 재는 RSI-PDEbench와 재귀적 자기개선 하니스 RSI-PDE다. 벤치마크는 42개 방정식 템플릿의 1,001 사례를 담고 무잡음, 잡음, 분포 이탈 세 설정으로 평가한다. 하니스는 잔차 손실로 후보 방정식을 좁히고 상대 L2 피드백으로 계수와 수치해석기를 다듬으며 관문을 통과해야 솔버와 정책, 메모리를 갱신한다. 네 개 프론티어 모델에서 단일 실행 대비 평균 통과율을 크게 올리고 모델 호출 수도 줄였다.

핵심 요약

  • 연구진은 희박한 관측에서 미지의 편미분방정식과 계수를 식별하고 수치해석기를 만드는 에이전트 과제를 위해 42개 템플릿 1,001 사례의 RSI-PDEbench를 공개했다.
  • 세 평가 설정은 무잡음 Full, 신호 실효값의 50% 잡음을 더하는 Noisy, 못 본 템플릿과 밀린 계수 범위를 시험하는 Hard-OOD다.
  • RSI-PDE 하니스는 잔차 손실로 후보 방정식 다섯 개를 추리고, 공개 상대 L2 피드백으로 방정식 선택과 계수, 수치해석기를 다듬는다.
  • 관문을 통과한 제안만 솔버와 정책, 메모리에 반영되고 기반 모델과 감독자는 고정된 채로 남는다.
  • 네 모델 평균 통과율이 세 설정에서 단일 실행 대비 106.5%에서 181.9% 올랐고 네이티브 하니스 대비로도 3.0%에서 19.6% 올랐다.
  • 12개 모델-설정 쌍에서 총 기록된 모델 호출 수는 46.9% 줄었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)