LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph

Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

핵심 요약

• 기존 KG 강화 LLM 접근법은 크고 계산 비용이 높은 모델과 복잡한 KG 순회 전략에 의존한다.
• 현재 방법은 지식 그래프 내 구조적 정보를 효과적으로 활용하지 못해 정보 중복과 부정확한 추론을 초래한다.
• 추론 그래프 검색, 소형 Transformer 어댑터를 통한 지식 임베딩, 혼합 프롬프트 추론을 결합한 3-모듈 프레임워크다.
• LLM 파라미터는 동결한 채 Knowledge Adapter만 조정하는 파라미터 효율적 학습 방식이다.
• 텍스트 내용과 그래프 구조를 모두 임베딩으로 변환하여 소프트 프롬프트로 사용함으로써 지식 통합을 개선한다.
• LLM 기반 점수화를 적용한 제약된 너비 우선 탐색이 지식 그래프에서 관련 추론 경로를 검색하는 데 도움을 준다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.