CausaLab: A Scalable Environment for Interactive Causal Discovery Toward AI Scientists

이 논문은 LLM 인과 추론 평가 대부분이 외운 지식으로도 맞힐 수 있는 정적 질문 형식이던 문제를, 숨은 인과 모형을 episode마다 새로 뽑고 agent가 개입 실험으로 메커니즘을 찾아 다른 crystal의 값을 예측하게 하는 benchmark 환경 CausaLab으로 풀었다.

이 논문은 한마디로 LLM agent가 실험실 같은 환경에서 개입 실험으로 숨은 인과 구조를 찾는지 재는 benchmark 환경 CausaLab을 낸 논문이다. episode마다 무작위 SCM(structural causal model, 인과 graph와 구조 방정식)을 뽑아 agent가 manipulator crystal에 개입한 결과로 다른 reactor crystal의 주파수를 예측하게 하고, 매 단계 내는 DSL(domain-specific language) 가설로 graph와 방정식 복원을 따로 채점한다. 예측은 맞혀도 메커니즘 복원은 낮은 경우가 많아, GPT-5.2-high는 node 6개 graph에서 개입 없이 관찰 20개를 쓸 때 정확도 92%에 all-edge F1 0.471이었다. node 4개와 5개 실험에서는 성공한 run과 실패한 run 모두 개입 예산의 약 절반을 남긴 채 답을 확정했고, 답 전 검증 단계 하나로 GPT-5-mini의 node 4개 정확도가 48%에서 60%로 올랐다.

핵심 요약

• 문제: 기존 LLM 인과 추론 benchmark는 대개 인과 graph, dataset, 이야기를 질의응답이나 분류 문제로 바꾸고 변수, 증거, graph, 질문을 처음부터 주어서, model이 외운 인과 지식이나 말의 단서로 맞힐 수 있다는 'causal parrot' 우려가 남는다. 상호작용형 benchmark인 Auto-Bench도 주로 agent가 숨은 DAG(directed acyclic graph, 방향 비순환 graph)를 찾는지를 보는데, 저자들은 찾은 메커니즘이 새 사례로 옮겨지는지까지 재는 평가가 필요하다고 보았다.
• 입력과 출력: LLM agent의 상호작용형 인과 발견을 평가하는 benchmark 환경이다. agent는 episode마다 무작위로 뽑은 숨은 SCM에서 나온 이전 측정 기록을 받고, manipulator crystal의 조절 가능한 속성 하나씩에 정해진 예산 안에서 개입해 결과를 본 뒤, 같은 SCM을 따르는 다른 reactor crystal의 공명 주파수를 예측한다. 매 단계 memory, thought, 지금까지의 data, hypothesis, 다음 실험 계획의 다섯 field로 된 DSL 기록을 내고, 그 hypothesis가 graph, 주파수 방정식, 계수로 parsing되어 채점된다.
• 방법: 관찰 가능한 속성과 주파수 위에 DAG를 뽑아 root node는 외생 source 값으로, 나머지 변수는 위상 순서대로 선형 또는 2차 구조 방정식으로 계산하고, graph, 방정식, 계수는 기록, manipulator crystal, reactor crystal이 함께 쓰며 조절 가능한 속성의 기본값은 서로 다르다. 개입은 hard do(X=v) 대신 그 변수의 기본항을 v로 바꾸고 부모 변수의 영향은 그대로 두는 shift 방식이고, 일부 graph family에는 개입마다 다시 뽑혀 일부 변수에 더해지는 숨은 교란 H를 넣었다. 채점은 reactor 주파수 정확도와 따로 graph precision, recall, F1, SHD(structural Hamming distance, 빠지거나 더해지거나 뒤집힌 edge 수), 주파수 계수 F1, root node 식별을 매긴다.
• 구현: 2D 게임 형태의 DiscoveryWorld 환경 위에 SCM generator, 개입과 reactor 동작, DSL 기록, 채점 코드를 새로 만들었고, DSL 기록이 schema 검사에 걸리면 parser 오류를 붙여 최대 두 번까지 다시 묻는다. 주 실험은 GPT-5-mini, GPT-5.2-high, Qwen3.5-Thinking, Qwen3.5-Non-thinking 네 model을 node 3개에서 7개인 graph에서 (graph 크기, model) 조합마다 최대 50개 topology로 task마다 한 번씩 돌렸고, temperature는 0.1, node k개 graph의 예산은 관찰 2개와 개입 4(k-1)개로 고정했다. 관찰과 개입 예산을 바꾸는 실험은 GPT-5-mini와 GPT-5.2-high로 node 4개와 6개 graph에서 했고, 그 밖의 추가 분석은 주로 GPT-5-mini로 했다.
• 결과: node 4개 topology 50개를 고정하고 선형 방정식을 어려운 2차(hard-quadratic) 방정식으로 바꾸면 GPT-5-mini의 정확도는 48%에서 24%로, 주파수 계수 F1은 0.589에서 0.251로 떨어졌지만 root node F1은 0.559에서 0.829로 올랐다. GPT-5.2-high의 node 6개 graph에서 개입 없이 관찰 20개를 쓰면 정확도 92%, all-edge F1 0.471이었고 관찰 5개와 개입 20개를 섞으면 80%, 0.799였으며, 같은 data를 설명하는 graph 후보 집합(Markov equivalence class)을 작게 남기는 Golden 개입 기록을 주면 GPT-5-mini의 node 4개 정확도는 48%에서 90%로 오르지만 all-edge F1은 0.793에서 0.728로 내려갔다. 네 model 가운데 GPT-5.2-high가 모든 graph 크기에서 정확도가 가장 높고 SHD가 가장 낮았지만 node 7개에서는 정확도 64%, SHD 4.761이었고, 답 전 검증 단계 하나를 넣으면 GPT-5-mini의 node 4개 정확도가 48%에서 60%로 올랐다.
• 한계: 저자들은 CausaLab을 통제된 합성 benchmark로 보며, node 3개에서 7개인 SCM과 대부분 선형인 방정식(어려운 2차 확장 하나)이라 실제 과학 분야의 인과 구조, 함수 꼴, 잠재 변수, 측정 과정 가운데 일부를 다룬다고 밝혔다. 실험은 정해진 LLM agent, prompt, 상호작용 예산 범위에서 했고 다른 model, tool interface, decoding 방식, 더 긴 탐색 예산에서는 성능이 다를 수 있으며, 주 분석은 최종 예측과 최종 가설에 집중했다. 개입은 완전한 hard do 대신 shift 방식이고, 주 실험은 task마다 한 번씩 돌렸으며, 저자들은 합성 SCM 과제의 성공을 실제 과학, 의료, 정책 현장으로 넓혀 읽는 것을 주된 위험으로 꼽았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.