KARMA: Training-Free Knowledge-Atomic Harness Evolution for Industrial Advertising Agents

이 논문은 산업 광고 에이전트의 여섯 개 지식 모듈을 학습 없이 원자적 수정으로 진화시키고 검증 문턱을 넘을 때만 남기는 문제를 풀었다.

이 논문은 한마디로 모델 가중치와 실행 코드를 얼어붙인 채 외부 지식만 원자적으로 고쳐 나가는 산업 광고 에이전트 적응 틀 KARMA를 제안한다. 결정적 검증기가 오류를 후보 지식 모듈로 연결하고, 비평가가 성공과 실패 궤적을 비교해 수정안을 내면, 진화자가 작은 지식 패치를 만든다. 검증 세트에서 얻은 점수가 문턱을 넘을 때만 패치를 남기고 아니면 이전 지식으로 되돌린다. 여섯 도메인과 세 모델 계열에서 평균 홀드아웃 점수를 30.19에서 39.15로 올렸다.

핵심 요약

• 지식을 역할, 도메인, 경험, 제약, 출력 규약, 행동 설명의 여섯 개 모듈로 나누고 한 주기에 최대 세 개의 원자적 수정만 허용했다.
• 결정적 검증기가 실패를 오류 계급과 규약 코드로 나눠 후보 모듈을 정하고, 비평가가 실패와 성공 궤적을 함께 비교해 수정안을 냈다.
• 검증 세트에서 얻은 점수가 θ = 0.01 문턱에 못 미치면 수정 전 지식 전체를 복원해 회귀를 막았다.
• 18개 도메인 모델 설정에서 평균 홀드아웃 점수를 30.19에서 39.15로 8.96 포인트, 즉 29.7% 올렸다.
• 성공 궤적이나 실패 궤적 중 하나만 쓰면 평균 홀드아웃 향상이 절반 이하로 떨어졌다.
• 한 도메인에서 진화한 지식을 다른 도메인에 그대로 옮겨 쓰면 30개 조합에서 평균 8.54 포인트를 얻었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.