PiFlow: Principle-Aware Scientific Discovery with Multi-Agent Collaboration

이 논문은 LLM multi-agent 시스템이 흔히 방향이 모호한 가설을 내고 가설과 실험 결과의 연결을 놓치던 문제를, 쌓인 원리와 결과 기록에서 다음에 다듬거나 검증하거나 새로 탐색할 원리를 고르는 Min-Max 최적화 plug-in으로 풀었다.

이 논문은 한마디로 가설을 내고 실험하는 multi-agent 시스템 위에 붙여, 과학 원리 단위로 다음 탐색 방향을 정해 주는 PiFlow 방법을 낸 논문이다. PiFlow는 원리와 실험 결과의 쌍을 모아, 높은 결과를 낸 원리일수록 커지는 exploitation 점수와 이미 시험한 원리와 의미가 멀수록 커지는 exploration 점수를 섞고, 그 점수로 Planner agent에게 refine, validate, explore 가운데 하나를 지시한다. 나노 나선(nanohelix), 분자 생체 활성, 초전도체를 surrogate model로 다룬 세 과제의 평균 AUC(탐색 단계별 결과 곡선 아래 넓이를 가능한 최대 넓이로 나눈 값) 49.86%와 SQ(찾은 최고값을 이론 최대값이나 reference 값으로 나눈 비율) 65.41%는 비교한 baseline 다섯 개 각각의 평균보다 높았다. 나노 나선 과제의 실행 시간 측정에서는 비슷한 SQ에 닿는 시간이 Vanilla agent보다 5.6배 빨랐다.

핵심 요약

• 문제: LLM 기반 multi-agent 시스템(MAS)은 정해진 workflow 안의 실험 실행은 잘하지만, 흔히 방향이 모호한 가설을 내고 가설과 그것을 지지하거나 반박하는 증거 사이의 연결을 세우기 어려워 탐색이 비효율적이다. 또 많은 시스템이 특정 task에 맞춰져 있고 흔히 domain 지식을 많이 넣은 prompt engineering에 기대어, 새 과학 분야에 옮기려면 대개 크게 고쳐야 한다.
• 입력과 출력: 기존 MAS에 끼워 쓰는 plug-and-play 모듈과 그 이론을 낸 방법 논문이다. MAS 안에서 Hypothesis Agent는 iteration마다 고른 원리에 근거해 대전제와 소전제를 갖춘 시험 가능한 가설 하나를 내고, Experiment Agent는 실험 tool(이 논문에서는 surrogate model)을 불러 물성값 같은 정량 결과를 받는다. PiFlow는 그때까지 쌓인 원리와 결과의 쌍을 입력으로 받아, 잠재력이 가장 높은 원리와 함께 다듬기(refine), 검증하기(validate), 대안 탐색(explore) 가운데 하나를 고른 지시문을 Planner agent에게 낸다.
• 방법: 원리 선택을 누적 regret(최적값과 얻은 값의 차이를 더한 것)을 줄이는 exploitation과 가설 결과에서 얻는 mutual information을 키우는 exploration을 함께 다루는 Min-Max 최적화로 세우고, entropy가 유한하고 평가 함수가 유계인 조건에서 누적 regret의 상한이 단계 수 T의 제곱근 차수로 sublinear하게 늘어난다는 증명을 부록에 실었다. 실제 계산에서는 각 원리의 관측 결과를 0에서 1로 정규화한 exploitation 점수와, 이미 시험한 원리와의 sentence embedding cosine 거리로 만든 exploration 점수를 λ로 섞어 최고 원리를 고른다. 기본 threshold에서는 그 원리의 exploitation 점수가 0.7을 넘으면 refine, 0.4를 넘으면 validate, 그 밖에는 explore를 지시하고, 기록이 3개보다 적으면 탐색할 원리 하나를 먼저 만들게 한다.
• 구현: 주 비교 실험에서 모든 agent는 QwenMax를 기반 LLM으로 쓰고 외부 검색 tool은 막았으며(모델 ablation에서는 Hypothesis Agent와 Planner의 LLM을 GPT-4.1-mini, Qwen3-32B 같은 모델로 바꿨다), 실제 실험 대신 local surrogate model을 주된 평가 tool로 썼다. 과제는 DFT(밀도범함수 이론) 시뮬레이션 자료 6300건 가운데 80%로 학습하고(5겹 교차 검증) 나머지 20%로 시험한 LightGBM(결정계수 r2 0.98)으로 chirality 지표 g-factor를 예측하는 나노 나선 최적화(NHO), ChEMBL35(생체 활성 화합물 database)에서 무작위로 뽑은 분자 50,000개를 80%는 학습, 20%는 시험에 쓴 GNN(graph neural network, 시험 세트 r2 0.91)으로 pChEMBL(활성 세기를 몰 농도의 음의 로그로 나타낸 값)을 예측하는 분자 생체 활성 최적화(MBO), 초전도 물질 기록 26,321건을 학습 21,056건과 시험 5,265건으로 나눈 MLP(multi-layer perceptron, 시험 세트 r2 0.91)로 임계 온도를 예측하는 초전도체 최적화(SPO)이고, 모두 24단계 예산 안에서 목표 값을 최대로 하는 후보를 찾는다. README 기준으로 공식 저장소에는 conda 환경 파일, 나노 나선 demo task를 돌리는 inference.py, task별 config, 직접 만든 실험 tool을 등록하는 tools 폴더, Colab tutorial이 있고, 실행에는 OpenAI 호환 API key가 필요하다.
• 결과: 세 과제 평균에서 PiFlow는 AUC 49.86%와 SQ 65.41%로, 평균 AUC가 가장 높은 baseline인 The AI Scientist v2(38.01%)와 평균 SQ가 가장 높은 baseline인 AI Researcher(58.16%)보다 높았다. 과제별로는 MBO의 SQ에서 AI Researcher(95.66%)가 PiFlow(84.55%)보다, SPO의 AUC에서 The AI Scientist v2(28.43%)가 PiFlow(21.51%)보다 높았다. NHO에서 Vanilla agent는 SQ 50%에 2416초가 걸렸고 PiFlow는 SQ 52%에 427초가 걸려 5.6배 빨랐으며, QwenMax로 24 iteration씩 돌린 비용 분석에서 Vanilla 대비 token 사용량은 NHO 26.7%, SPO 13.7% 줄었고 MBO에서는 7.7% 늘었다.
• 한계: 실제 실험실 검증 대신 local surrogate model을 주된 평가 tool로 썼고, 저자들은 이 방식을 새 분야에 쓰려면 믿을 만한 simulator나 예측 모델을 먼저 만들어야 한다고 밝혔다. NHO에서 QwenMax로 λ를 바꿔 본 결과 저자들은 탐색 효율이 λ 선택에 민감하다고 보았고 최적값은 task마다 다르다고 했으며, exploration 점수는 과거 원리를 모두 짝지어 비교해 iteration마다 계산량이 기록 수의 제곱과 embedding 차원에 비례하므로 아주 긴 과정에서는 병목이 될 수 있다고 인정했다(NHO 24 iteration에서는 PiFlow 부분이 PiFlow-MAS 전체 실행 시간의 9.4%였다). MBO에서 PiFlow SQ의 표준편차는 29.63으로 컸고, search space를 사람이 미리 정한 Bayesian optimization은 24 iteration 비교에서 NHO의 AUC 68.86%와 SQ 78.76%, SPO의 AUC 31.61%로 PiFlow보다 높았으며, ablation 대부분은 NHO 한 과제에서 했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.