HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery

이 논문은 경제학 실증 연구 자동화에서 데이터로 답할 수 없는 가설이 나오는 문제를, 데이터 감사와 프로파일링 결과를 조건으로 질문을 만들고 사람이 질문 선택과 발표 승인을 맡는 다중 agent pipeline으로 풀었다.

이 논문은 한마디로 사람이 핵심 결정을 맡는 경제학 실증 연구용 다중 agent pipeline HLER(Human-in-the-Loop Economic Research)다. 데이터 감사와 프로파일링 결과를 받아 질문을 만들고, 계량 분석과 논문 작성, 자동 검토와 수정을 거쳐 초안을 낸다. 세 데이터셋 14번 실행에서 데이터 기반 질문의 87%가 실현 가능했고(데이터 정보 없이 만든 질문은 41%), 실행당 평균 API 비용은 0.8에서 1.5달러였다. 시스템 코드는 공개 저장소에 없고, 저장소에는 이 시스템으로 만든 working paper가 올라 있다.

핵심 요약

• 문제: 기존 AI scientist 계열 시스템은 주로 ML 연구에서 사람 개입을 최소로 줄인 완전 자동화를 목표로 한다. 경제학 실증 연구는 질문이 실제 데이터셋의 변수로 답할 수 있어야 하고, 식별 전략(인과 효과를 가려내는 연구 설계)을 신중히 짜야 하며, 경제적 의미를 판단하는 데 사람의 판단이 필요하다. 저자들은 데이터 정보 없이 아이디어를 내면 실현 불가능하거나 지어낸 가설이 자주 나온다고 지적한다.
• 입력과 출력: 이 논문은 구현과 실험을 갖춘 다중 agent 시스템 논문이다. 입력은 시스템이 지원하는 로컬 데이터셋인 종단 조사 자료 CHNS(China Health and Nutrition Survey), 역사 인구 기록 CMGPD-Liaoning(China Multi-Generational Panel Dataset), 사회경제 변수를 담은 대규모 생의학 자료 UK Biobank 가운데 하나와, World Bank, FRED(미국 연준 경제 데이터), OpenAlex 같은 공개 데이터 API, 그리고 연구자가 정한 연구 영역 제약(예: 노동경제학)이다. 출력은 회귀표, 그림, 결과 요약, 재현 파일과 함께 Markdown에서 Pandoc(문서 변환 도구)과 LaTeX로 만든 PDF 논문 초안이고, 사람은 연구 질문 선택과 발표 승인의 두 결정 지점에서 개입한다.
• 방법: 중앙 orchestrator가 공유 상태 객체(RunState)를 두고 데이터 감사, 데이터 프로파일링, 질문 생성, 데이터 수집, 분석, 작성, 자기 비평, 검토 순서로 일곱 agent에 일을 넘긴다. 질문 생성은 변수 목록, 결측 패턴, 분포, 상관 같은 데이터 진단을 조건으로 받아 후보를 만들고, 실현 가능성을 걸러 사람이 고르는 question quality loop를 거친다. 초안이 나오면 Reviewer Agent가 1에서 10점으로 채점하고 robustness check 같은 추가 분석을 요청해, 재분석과 수정을 반복하는 research revision loop를 거친다.
• 구현: Python으로 구현했고 모든 LLM 추론은 Anthropic API의 Claude Sonnet 4.6이 맡으며, 계량 추정은 Python 통계 라이브러리 statsmodels와 linearmodels로 OLS(최소제곱 회귀), 고정효과 패널, 이중차분, event-study(사건 전후 비교) 모형을 추정한다. 공식 저장소 maxwell2732/hler-working-papers에는 HLER로 만든 번호 붙은 working paper(Markdown과 PDF), R_script 폴더, 그림 폴더가 있고, README는 이 저장소가 working paper만 담는다고 밝힌다.
• 결과: 세 데이터셋에서 14번 실행한 결과, 데이터 정보를 받은 질문 생성은 79개 중 69개(87%)가 실현 가능했고, 데이터셋 이름과 영역 설명만 준 경우는 82개 중 34개(41%)였다. 14번 중 12번(86%)이 두 결정 지점 밖의 사람 개입 없이 끝까지 완료됐고, 이 12번의 Reviewer Agent 평균 점수는 초안 4.8에서 첫 수정 뒤 5.9, 최종 6.3으로 올랐다. 한 번 실행에는 보통 약 20에서 25분이 걸렸고 평균 API 비용은 0.8에서 1.5달러였다.
• 한계: 저자들은 데이터 기반 생성이 실현 불가능한 질문을 줄여도 가설의 이론적 의미와 새로움은 따로 확인해야 하고, 계량 분석은 OLS, 고정효과, 이중차분, event-study로 한정되어 도구변수, 회귀 불연속, 구조 모형은 다음 과제로 남겼다고 밝혔다. Reviewer Agent 점수는 원고를 쓴 것과 같은 LLM이 매겨 평가가 순환될 수 있고, 평가 규모는 세 데이터셋에서 14번 실행이다. 많은 가설을 빠르게 검정할 수 있어 다중 검정과 선택적 보고 위험이 커지며, 저자들은 이 문제는 HLER이 해결하는 범위 밖이라 연구자가 보정과 전체 보고를 해야 한다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.