Self-Improving Language Models with Bidirectional Evolutionary Search

하버드와 MIT의 연구진은 진화 연산자를 목표 분해를 위한 후방 탐색과 통합하는 프레임워크인 Bidirectional Evolutionary Search(BES)를 개발하여, 언어 모델과 에이전트 시스템이 더 높은 품질의 해를 발견할 수 있게 한다.

BES는 언어 모델의 후보 답을 앞에서 이어 쓰는 탐색과 목표를 뒤에서 세부 과제로 나누는 탐색을 결합한다. 전방 탐색에서는 여러 부분 궤적을 재조합·삭제·교체하는 진화 연산으로 한 번의 자기회귀 생성에서 나오기 어려운 후보를 만든다. 후방 탐색은 원래 문제를 확인 가능한 하위 목표로 재귀적으로 분해해 희소한 최종 채점 대신 촘촘한 중간 피드백을 제공한다. 이론 분석은 진화 연산이 확장 전용 탐색의 좁은 후보 영역을 벗어나고 후방 분해가 정답을 찾는 표본 수를 지수적으로 줄일 수 있음을 보였으며, 실험에서도 후처리 학습과 세 개의 열린 문제 해결 벤치마크에서 기존 공개 프레임워크를 앞섰다. 다만 후처리 실험은 계산 자원 제약으로 최대 80억 매개변수 모델까지만 수행돼 더 큰 모델에서의 효과는 확인되지 않았다.

핵심 요약

• 결합: 이 연산자는 동일한 시작점을 공유하는 서로 다른 두 추론 경로를 취해 각자의 고유한 접미부를 병합한다. 이를 통해 모델은 여러 시도에서 나온 성공적인 구성 요소들을 종합할 수 있다.
• 삭제: 궤적에서 단일 내부 단계를 제거한다. 이는 추론을 간소화하거나 모델을 잘못된 방향으로 이끌 수 있는 중복된 '채움' 단계를 제거하는 데 도움이 된다.
• 전위: 한 궤적의 한 단계가 다른 궤적의 단계로 교체된다. 이는 동일한 맥락에서 다른 접근이 더 잘 맞는지 확인하기 위해 논리의 한 조각을 '교체'하는 것과 유사하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.