From Execution to Capability: Scientific Experience Consolidation via Procedural Knowledge Synthesis

실행 경험을 검증하고 절차로 뽑아 약한 모델에까지 심는 자기개선 파이프라인.

과학 계산에서 한 문제의 실행 피드백이 다음 문제의 능력으로 잘 이어지지 않는다. SciConsolidate는 성공과 실패를 대조해 과제를 넘나드는 절차를 뽑고, 검증 관문으로 거른다. 약한 모델이 못 쓰는 추상 절차는 강한 모델이 실행 코드로 바꿔 지도학습 데이터로 만든다. 그 결과 9B 학생 모델이 추론 때 절차 없이도 크게 좋아졌다.

핵심 요약

• 검증된 실행 경험을 재사용 절차 지식과 영구 모델 능력으로 바꾸는 문제를 정의했다.
• 성공과 실패를 대조해 절차를 뽑고 개발 검증 관문으로 유효한 것만 남긴다.
• 정답 없이 실패 기반으로 새 문제를 합성해 학습 데이터를 늘린다.
• 추상 절차를 약한 모델이 못 쓰는 추상과 실행 간극을 실증했다.
• 강한 모델이 절차를 실행 코드로 구체화해 표준 지도학습 데이터를 만든다.
• 9B 학생이 절차 없이도 원본 대비 서브스텝 5.62점, 본문제 11.25점 향상됐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.