Dolphin: Moving Towards Closed-loop Auto-research through Thinking, Practice, and Feedback

이 논문은 AI가 낸 연구 아이디어의 효과를 실험 없이 판단하기 어려운 문제를, 아이디어 생성, code 실험, 결과 feedback을 잇는 closed-loop framework(DOLPHIN)로 풀었다.

이 논문은 한마디로 아이디어를 내고, code로 실험하고, 결과를 다음 아이디어에 되돌려 주는 closed-loop 자동 연구 framework DOLPHIN이다. 관련 논문을 task attribute로 걸러 아이디어를 만들고, traceback에서 뽑은 local code structure로 실행 오류를 고친다. 과제마다 아이디어 40개를 실험해 가장 좋은 아이디어가 3D 물체 분류 dataset ModelNet40의 전체 정확도를 91.0%에서 93.9%로 올렸고, 이는 사람이 설계한 GPSFormer의 93.8%와 비슷하다. 이미지 분류 CIFAR-100과 문장 감성 분류 SST-2에서도 baseline보다 높은 아이디어를 찾았지만, 저자들은 project 수준 code 같은 복잡한 과제는 아직 검증하지 못한다고 밝혔다.

핵심 요약

• 문제: 자동 연구에서 AI가 만든 아이디어의 효과를 제대로 평가하기 어렵다. 기존 연구 대부분은 사람이나 LLM이 아이디어 품질을 매기는 데 그쳤고, AI-Scientist는 실험을 하더라도 직접 만든 단순한 dataset을 써서 같은 분야의 기존 방법과 비교하기 어려웠다. 아이디어 생성을 다룬 기존 연구에는 실험 결과를 다음 아이디어 생성에 되돌려 주는 feedback 장치도 없었다.
• 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. DOLPHIN은 연구 주제(예: 3D classification)와 reference code를 받아 관련 논문의 제목과 초록을 읽고 아이디어를 낸 뒤, 실험 계획에 맞게 code를 고쳐 실험하고, 성능을 올린 아이디어를 다음 loop의 아이디어 생성 prompt에 넣는다.
• 방법: LLM이 주제의 task attribute(모델 입력, 출력 등)를 뽑고 논문 검색 서비스 Semantic Scholar에서 찾은 논문을 1점에서 10점으로 매겨 관련 논문만 남긴다. 아이디어는 idea bank와의 최대 cosine similarity가 0.8 threshold를 넘으면 중복으로 버리고 LLM novelty check를 거치며, 실행 오류가 나면 traceback에서 직접 쓴 code의 함수 이름, 줄, code를 뽑아 local code structure를 만든 뒤 고친다. 실험 결과는 reference code 대비 개선, 유지, 하락으로 나누고, 성능을 올리지 못한 아이디어와 비슷한 아이디어는 다음 loop에서 걸러 낸다.
• 구현: 아이디어 생성과 결과 분석에는 gpt-4o-2024-08-06, code 수정과 debugging에는 ollama로 실행한 deepseek-v2.5를 썼고, LLM 호출에는 aider를 썼다. 검색하는 논문 수는 총 50편, 아이디어는 loop마다 20개, debugging은 최대 5번이다. README와 파일 목록 기준으로 GitHub 저장소(InternScience/Dolphin)에는 launch_dolphin 실행 script, dolphin_utils, 예제와 문서가 있고, 세 분류 과제의 data는 Google Drive 링크로 받는다.
• 결과: 과제마다 두 loop(아이디어 40개)를 실험한 결과, 가장 좋은 아이디어는 ModelNet40의 OA(overall accuracy, 전체 정확도)를 저자들이 직접 구현한 baseline PointNet의 91.0%에서 93.9%로, CIFAR-100 정확도를 81.2%에서 82.0%로, SST-2 정확도를 91.0%에서 92.5%로 올렸고, ModelNet40 결과는 사람이 설계한 GPSFormer의 93.8%와 비슷했다. Kaggle 대회로 만든 MLE-bench의 insult detection 과제에서는 AIDE(code 생성 framework)가 만든 code를 81.0에서 84.7로 높였다. loop별 분석에서는 성공적으로 실행된 아이디어 가운데 성능을 올린 비율이 Loop 1의 2/7에서 Loop 3의 4/8로 올랐다.
• 한계: 저자들은 LLM이 학습 data에서 얻은 지식 때문에 아이디어 생성에서 knowledge leakage가 생길 수 있고, 아이디어 생성에 제목과 초록만 써서 논문의 기술 세부를 놓칠 수 있다고 밝혔다. 지금 LLM의 code 능력으로는 project 수준 code를 다루기 어려워 복잡한 과제는 아직 검증하지 못한다. 3D 비교는 pre-training과 voting을 뺀 조건이고, 실험은 point cloud, 이미지, 문장의 세 분류 과제와 MLE-bench의 세 과제에 걸쳐 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.