RSIV-Harness: A Recursive Self-Improvement Harness Framework for Open-Domain Conversational Text-to-Visualization

이 논문은 고정된 에이전트 하니스가 같은 실패를 반복하는 문제를, 모델 가중치를 얼어두고 하니스 자체를 실패 기록에서 반복 개정하는 재귀적 자기개선으로 푼 연구다.

이 논문은 한마디로 언어 모델을 감싼 하니스(에이전트 껍데기)를 실패 흔적에서 배워 스스로 고치게 만든 연구다. 저자들은 먼저 열린 도메인 대화형 텍스트-시각화 벤치마크 ODAC-Vis를 만들었다. 그리고 모델 가중치를 고정한 채 하니스만 개정하는 RSIV-Harness 방법을 제안했다. 하니스 개정은 앵커 검사와 메모리 검사를 통과할 때만 받아들여서 이전 능력이 퇴보하지 않게 지킨다. 실험에서 자기개선 한 번만으로 여섯 평가 지표가 모두 올랐다.

핵심 요약

• 사용자가 어떤 데이터베이스에 자료가 있는지 모르고 요청하면, 에이전트는 자료를 찾고 모호하면 되묻고, 앞서 정한 조건을 지키며 차트를 고쳐야 하는데, 기존 하니스는 한 번 만들어진 뒤 바뀌지 않아 같은 실패가 반복된다고 문제를 정의했다.
• ODAC-Vis 벤치마크는 640개 대화 과제로, 열린 도메인 자료 탐색, 모호함 해소, 여러 차례에 걸친 차트 다듬기를 함께 평가한다.
• RSIV-Harness는 모델 가중치를 고정하고, 안쪽 돌기가 과제를 풀고, 바깥쪽 돌기가 실패 흔적을 읽어 하니스 개정안을 제안하며, 앵커 검사와 메모리 검사를 통과한 개정만 채택한다.
• 자기개선 한 번으로 여섯 지표가 모두 올랐고, 실행 가능성은 28.02점, 차트 구조는 34.01점 크게 개선되었다.
• 안정 규칙을 빼고 진화시키면 여섯 지표가 모두 나빠져서, 실행 가능성이 9.73점 떨어졌다.
• DeepSeek으로 진화시킨 하니스를 GPT-6 Luna에 그대로 옮겨도 여섯 지표 가운데 다섯이 정적 하니스보다 나아져서, 하니스 개선이 모델을 바꿔도 옮겨간다고 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.