Grounding LLM Agents in Business Processes: Process-Aware Knowledge Graphs for Reliable Multi-Step Service Invocation

이 논문은 기업 API 호출 에이전트가 업무 순서와 스키마 제약을 그래프로 검색하게 만들어 잘못된 호출을 크게 줄였다.

이 논문은 한마디로 LLM 에이전트가 기업 API를 여러 단계로 부를 때 순서와 값 제약을 지키게 하는 지식그래프 기반 검색 방법을 제안한 연구다. 저자들은 OData 메타데이터와 BPMN 업무 프로세스를 하나의 타입 속성 그래프에 담고, 밀도 검색으로 씨앗을 찾은 뒤 프로세스 연결선을 따라 다음 엔드포인트를 검색한다. 42개 기업 서비스 벤치마크 OData-Proc에서 프로세스 연쇄 질의의 Recall@3을 5.7점 올렸다. 타입 문맥을 준 에이전트는 고정값 코드를 만들어내지 않았고 잘못된 호출을 3%로 줄였다.

핵심 요약

• 저자들은 OData 메타데이터와 BPMN 업무 프로세스를 하나의 타입 속성 그래프에 통합해 서비스 검색에 순서와 스키마 제약을 담았다.
• 하이브리드 검색기는 밀도 임베딩으로 후보 엔드포인트를 찾은 뒤 프로세스 연결선을 따라 이어지는 엔드포인트를 함께 검색했다.
• 질의와 하류 개체의 겹치는 단어가 적은 경우 이 방법은 Recall@3을 5.7점 올렸고(대상 74건), 임베딩 모델과 상위 k를 바꿔도 이득의 방향은 유지되었다.
• 다단계 질의 81개에 대한 에이전트 평가에서 이 방법은 과제의 38.7%를 완수해 청크 기반 기준선의 10.3%보다 높았다.
• 값 목록을 텍스트로만 주면 만든 코드는 사라지지만 46%의 쓰기 실행에 무효 키가 남았고, 온전한 타입 문맥은 무효 호출을 3%(101 실행 중 3건)로 줄이고 만든 코드도 없앴다.
• 한계로 저자들은 평가가 부분적으로 순환적이라고 적었다. 모의 검증기와 그래프가 같은 메타데이터를 공유해, 결과가 독립적인 실제 백엔드에서 재현되어야 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.