Reward-Driven Collider Physics Challenges for Self-Improving Agentic AI via Reinforcement Learning
- 발행일
- 출처
- arXiv
- 논문 번호
- 1460
- 분야
- Reasoning / RL
- arXiv 번호
- 2611.15885
이 논문은 프론티어 모델도 어려워하는 충돌기 물리 과제를 연속 보상 환경으로 만들어 강화학습으로 작은 모델을 자기개선시키는 문제를 풀었다.
이 논문은 한마디로 입자 충돌기 물학의 여섯 분석 과제를 연속 자동 평가 보상의 강화학습 환경으로 바꾸고 작은 오픈 모델이 사람 개입 없이 개선되는지 시험한 연구다. 여섯 과제 중 확립된 과제에서는 모델들이 인간 수준에 수렴했지만 최신 과제에서는 성능 차이가 컸다. 새로 설계한 쌍광자 공명 탐색 과제에서 유전 진화와 GRPO 강화학습으로 27B 모델을 학습해 기본 모델보다 크게 향상시켰다. 보상 기반 선택이 배경 추정 전략 같은 물리적으로 건전한 방법을 사람 안내 없이 유도했다.
핵심 요약
- 연구진은 충돌기 물학 과제 여섯 개를 연속 값 보상으로 자동 채점되는 개방형 최적화 환경 형식으로 정식화했다.
- 확립된 과제에서는 평가한 모델 모두 부스팅 트리나 OmniFold 같은 접근으로 인간 수준에 수렴했다.
- 새로 설계한 쌍광자 공명 탐색 과제에서는 최종 보상이 0.487에서 0.782로 넓게 갈리고 기준 프로그램 0.689를 넘은 모델은 하나였다.
- 유전 진화 20세대 동안 27B 모델의 숨은 데이터 집합 평균 보상이 0.382에서 0.626까지 올라갔다.
- GRPO 강화학습 30스텝 후 27B 모델의 단일 실행 평균 보상이 기본 0.116에서 0.457로 올라갔다.
- 보상 기반 선택이 개발 배경을 템플릿으로 쓰는 비율을 세대 2부터 사라지게 하고 모수적 배경 적합을 1.00까지 끌어올리는 등 물리적으로 건전한 전략을 사람 안내 없이 유도했다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.