Agentic Knowledgeable Self-awareness

LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다.

LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다. 이는 ALFWorld 및 WebShop 데이터셋에서 기존 베이스라인을 일관되게 능가하면서도 훨씬 낮은 지식 사용률을 유지하며, GPT-4o 같은 더 큰 모델에 필적하거나 이를 능가하는 성능을 달성한다.

핵심 요약

• 현재의 LLM 에이전트는 '상황적 자기 인식'이 부족하여 성찰이나 외부 지식 같은 인지 자원을 무분별하고 비효율적으로 사용한다.
• 기존 에이전트 학습 방법은 예상치 못한 신호에 취약하고 '패턴 붕괴'에 빠지기 쉬우며, 획일적인 접근 방식 때문에 높은 추론 비용을 초래한다.
• 에이전트는 복잡하고 동적인 환경에서 자신의 능력을 동적으로 평가하는 데 어려움을 겪어 차선의 의사 결정에 이른다.
• KnowSelf는 에이전트의 실시간 인지 자원 필요를 판단하기 위해 3단계 상황 분류(Fast, Slow, Knowledgeable Thinking)를 도입한다.
• 경량 오프라인 지식 시스템을 구축하고, 에이전트가 탐색한 궤적에 필요한 사고 유형을 나타내는 특수 토큰을 덧붙여 자기 인식 데이터셋을 생성한다.
• 2단계 미세 조정 과정(SFT 및 RPO)으로 에이전트가 상황 단서를 적절한 인지 반응과 연결하도록 학습시켜, 추론 중에 성찰이나 외부 지식을 동적으로 활성화할 수 있게 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.