In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR

이 논문은 많은 AI 모델이 명시적인 중간 추론 없이 바로 답을 내는 문제를, 답하기 전에 knowledge graph와 기호 패턴을 먼저 생성하도록 3B 모델을 학습시키는 방법으로 풀었다.

이 논문은 한마디로 LLM이 thinking 구간에서 knowledge graph와 abstract pattern을 먼저 생성한 뒤 답하도록 학습시킨 Graph-PReFLexOR(Graph-based Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning) 방법이다. Llama-3.2-3B-Instruct를 생체 소재와 생체 모방 소재 논문 약 1,000편에서 학습 도중 만든 graph 추론 데이터로 ORPO(Odds Ratio Preference Optimization)와 EXO(Efficient Exact Optimization) 차례로 학습했다. 사례로는 음악과 소재를 잇는 과제에서 한 번에 답하는 예시를, 눈송이와 개미 행동을 합친 단백질 소재 과제에서 critic agent와의 반복 개선을, 노래 과제와 생체 모방 소재, collagen과 elastin 단백질 설계 과제에서 graph를 계속 키우는 knowledge garden을 보였다. 눈송이와 개미 과제 하나를 GPT-4o로 채점한 비교에서 평균 점수는 Graph-PReFLexOR 9.7, fine-tuning 없는 reference model 6.4였다.

핵심 요약

• 문제: 저자는 지금의 AI 발전 다수가 과학자의 사고 같은 명시적 중간 추론 과정 없이 바로 답을 내는 모델에 기대고, LLM은 흔히 유창하고 pattern 인식에 강하지만 대개 구조화된 추론 능력이 부족하다고 보았다. 이 논문의 목표는 모델이 정보를 찾아 오는 데서 더 나아가 개념 사이 관계와 추상 패턴을 배워 새 분야로 일반화하는 것이다.
• 입력과 출력: 이 논문은 학습 방법과 그 방법으로 학습한 3B 모델을 제시한 method 논문이다. 모델은 질문이나 과제를 받으면 thinking token(<|thinking|>)으로 감싼 구간에 knowledge graph(개념 node와 IS-A, RELATES-TO, INFLUENCES 같은 관계 edge), 기호로 적은 abstract pattern, reasoning step과 가설을 생성한 뒤 최종 답을 낸다.
• 방법: 학습 데이터는 학습 도중에 만들며, corpus 원문에서 무작위로 뽑은 문단으로 질문을 만들고 RAG(검색 증강 생성)로 corpus 전체의 관련 내용을 붙인 뒤 knowledge graph가 든 정답과 rejected answer를 만든다. recursive reasoning에서는 critic agent가 Graph-PReFLexOR의 thinking 구간을 비평하면 그 비평으로 thinking 구간을 고쳐 다시 답하고, 이를 N번 되풀이한 뒤 마지막 답을 고르거나 모든 답을 합친다. knowledge garden은 사람이나 다른 LLM agent가 이전 graph의 node를 바탕으로 만든 다음 질문에 Graph-PReFLexOR가 답해 새 graph를 만들고, 이 graph들을 하나로 이어 키우는 방식이다.
• 구현: 기반 모델 meta-llama/Llama-3.2-3B-Instruct를 생체 소재와 생체 모방 소재 논문 약 1,000편의 원문에서 만든 데이터로 PReFLexOR와 같은 차례, 곧 ORPO 다음에 DPO(Direct Preference Optimization) 계열 EXO로 학습했고, recursive reasoning 구현의 critic은 fine-tuning 없는 Llama-3.2-3B-Instruct다. 논문은 code와 model weight를 Hugging Face의 lamm-mit와 GitHub 저장소 lamm-mit/PRefLexOR에 공개했다고 적고, 모델 이름을 lamm-mit/Graph-Preflexor_01062025로 밝혔다. GitHub README는 PRefLexOR 학습 package와 ORPO, EXO 단계 trainer 예제, Colab 추론 notebook을 설명하고 model weight는 Hugging Face에서 받는다고 적었으며, 맨 위 파일 목록에 Graph-PRefLexOR 학습 notebook(Graph-PRefLexOR_train_Phase-I-and-II.ipynb)이 있다.
• 결과: 눈송이와 개미 행동을 합쳐 질긴 단백질 소재를 설계하는 과제 하나에서, judge 역할의 GPT-4o는 Graph-PReFLexOR 첫 iteration 응답에 평균 9.7점, reference model 응답에 6.4점을 주었다. 일곱 평가 항목 가운데 Clarity and Organization만 reference model이 9/10으로 Graph-PReFLexOR의 8/10보다 높았다. 생체 모방 소재 자율 확장 실험은 사람이 준 첫 prompt 하나 뒤의 prompt를 모두 LLM이 만들어 12번 iteration으로 graph를 키웠고, degree(node에 이어진 edge 수)가 가장 높은 node는 Sustainable Materials, Self-healing and Adaptable Materials, Ecosystems였다.
• 한계: baseline 모델과의 비교는 Table 1의 과제 하나를 GPT-4o 한 모델이 채점한 결과이고, 나머지 결과는 graph와 답변을 보여 주는 사례다. 저자는 노래 과제에서 모델이 음악 구성에 필요한 시간 흐름과 감정의 미묘한 차이를 담는 데 한계가 있을 수 있다고 밝혔다. 더 큰 데이터와 더 복잡한 모델로의 확장, 깊게 얽힌 graph의 해석을 앞으로의 과제로 들었고, critic에 사실 확인이나 simulation 실행을 넣을 수 있다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.