RSI-PDEbench: A Benchmark for Self-Improving Agents in PDE Solving
- 발행일
- 출처
- arXiv
- 논문 번호
- 1458
- 분야
- Research Agents
- arXiv 번호
- 2611.14949
이 논문은 미지의 편미분방정식을 찾아 푸는 에이전트의 자기개선을 재는 문제를 1,001 사례 벤치마크와 검증 관문 하니스로 풀었다.
이 논문은 한마디로 편미분방정식과 분수 편미분방정식을 희박한 관측에서 식별하고 푸는 에이전트 능력을 재는 RSI-PDEbench와 재귀적 자기개선 하니스 RSI-PDE다. 벤치마크는 42개 방정식 템플릿의 1,001 사례를 담고 무잡음, 잡음, 분포 이탈 세 설정으로 평가한다. 하니스는 잔차 손실로 후보 방정식을 좁히고 상대 L2 피드백으로 계수와 수치해석기를 다듬으며 관문을 통과해야 솔버와 정책, 메모리를 갱신한다. 네 개 프론티어 모델에서 단일 실행 대비 평균 통과율을 크게 올리고 모델 호출 수도 줄였다.
핵심 요약
- 연구진은 희박한 관측에서 미지의 편미분방정식과 계수를 식별하고 수치해석기를 만드는 에이전트 과제를 위해 42개 템플릿 1,001 사례의 RSI-PDEbench를 공개했다.
- 세 평가 설정은 무잡음 Full, 신호 실효값의 50% 잡음을 더하는 Noisy, 못 본 템플릿과 밀린 계수 범위를 시험하는 Hard-OOD다.
- RSI-PDE 하니스는 잔차 손실로 후보 방정식 다섯 개를 추리고, 공개 상대 L2 피드백으로 방정식 선택과 계수, 수치해석기를 다듬는다.
- 관문을 통과한 제안만 솔버와 정책, 메모리에 반영되고 기반 모델과 감독자는 고정된 채로 남는다.
- 네 모델 평균 통과율이 세 설정에서 단일 실행 대비 106.5%에서 181.9% 올랐고 네이티브 하니스 대비로도 3.0%에서 19.6% 올랐다.
- 12개 모델-설정 쌍에서 총 기록된 모델 호출 수는 46.9% 줄었다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.