Dr. Claw: An AI Scientist Workspace for Vibe Research

이 논문은 명령줄 coding agent로 하는 연구가 여러 도구로 나뉘고 결정 과정이 사라지는 문제를, 기존 agent를 감싸 Task Graph, Decision Log, Execution Trace 같은 연구 과정 기록과 skill library를 더한 연구 workspace로 풀었다.

이 논문은 한마디로 Claude Code나 Codex 같은 명령줄 coding agent 위에 연구 과정 기록과 사람의 통제 지점을 더한 연구 workspace다. 연구자가 목표와 제약을 주면 Dr. Claw가 task graph를 만들고 skill을 붙여 기존 coding agent(executor)에 일을 맡기며, 모든 결과물과 결정, 실행 과정을 파일로 남긴다. 같은 executor(gpt-5.4)를 Dr. Claw 없이 쓴 bare agent와 의료 과제 3개에서 비교하면 연구 모범 관행 21가지의 pooled 포함 비율이 bare agent 0.873, Dr. Claw 0.952였다. 그러나 과제마다 한 번씩 돌린 탐색적 pilot이라 차이의 95% 신뢰구간이 0을 포함했다.

핵심 요약

• 문제: 명령줄(CLI) coding agent인 Claude Code나 Gemini CLI는 파일을 읽고 쓰며 긴 세션을 이어 가지만, 연구 전체는 여전히 chat 도구, IDE(통합 개발 환경), terminal, 글쓰기 환경으로 나뉘어 진행된다. 이런 agent는 실행에 맞춰져 있어 연구 과정을 검토하게 해 주는 계획, 중간 결정, 결과물이 여기저기 남거나 사라지고, 사람이 중간에 넘겨받을 지점도 적다.
• 입력과 출력: 연구자가 자연어로 목표, 제약, 합격 기준을 주면 시스템이 구조화된 연구 brief와 의존관계를 따진 task 계획을 만들고, 실행 결과물은 Artifact Store에, task 상태는 Task Graph에, 사람의 개입은 Decision Log와 Execution Trace에 남긴다. 논문 종류는 시스템 논문이며, 기존 명령줄 coding agent를 executor로 그대로 두고 그 위에 상태, 통제, 감사 기능을 더한 workspace다. 저자들은 사람이 연구 방향, 평가 기준, 최종 승인을 맡고 AI가 검색, 코딩, 실행, 요약, 초안 작성을 맡는 방식을 Vibe Research라고 부른다.
• 방법: Task Graph, Artifact Store, Decision Log, Execution Trace 네 상태 객체가 workflow 상태를 이루고, 한 번의 상호작용은 현재 상태, 행동, 관찰로 다음 상태를 만드는 상태 전이로 정식화된다. 시스템은 Interaction, Orchestration, Execution 세 층으로 나뉘어 executor를 바꿔도 workflow 의미와 감사 기록이 유지되고, 각 task는 Plan, Execute, Verify, Write-back 단계를 거친다. skill은 task의 단계와 종류로 고르는 stage-skill map, 사용자 지시의 keyword 감지, 수동 호출로 task에 붙고, 모든 행동은 현재 권한 정책이 허용한 행동 집합 안에서만 실행된다.
• 구현: 배포된 skill catalogue에는 171개가 있고, 이 가운데 58개가 다섯 연구 단계(survey, ideation, experiment, publication, promotion)에 연결된다. 새 분야로 옮길 때는 코드 대신 JSON map 하나를 고치고, backend는 Claude와 Codex SDK(software development kit) adapter로 붙으며, pipeline 변경은 영구 상태(persistent state)에 먼저 기록한 뒤 WebSocket으로 화면에 알린다. 공식 저장소 README 기준으로 React와 Vite 화면, Node.js와 Express 서버, Claude Code, Gemini CLI, Codex, OpenRouter executor 연결, Chat에서 skill로 연구 brief와 task 목록을 만들고 Research Lab에서 검토하는 흐름, task를 한 번에 차례로 실행하는 Auto Research가 공개됐다.
• 결과: 같은 executor(codex provider, gpt-5.4)를 그대로 쓴 bare agent와 의료 과제 3개(Derm7pt의 melanoma, nevus 분류와 임상 기록 위험 baseline)에서 비교하자, 연구 모범 관행 21가지가 결과 파일에 들어간 비율인 completeness의 pooled 값이 bare agent 0.873, Dr. Claw 0.952였고(2개 승, 1개 동률), 차이는 전부 research hygiene 항목(한계 절, subgroup 분석, 실제 문헌 인용처럼 연구 보고가 갖출 기본 요소)에서 나와 pooled 통과율이 각각 0.33에서 1.00, 0.33에서 1.00, 0.00에서 0.67로 올랐다. Derm7pt 미니 프로젝트 하나에 잘못된 경로 오류를 일부러 넣은 시연에서는 기존 파일 5개를 지킨 채 정확도 0.892의 결과로 복구했다. AI 박사과정 연구자 7명의 회고 연구에서 Dr. Claw는 AI 없이 일할 때, 일반 웹과 데스크톱 AI 비서를 쓸 때와 비교해 작업 시간 구간이 짧고 결과 품질 점수가 세 조건 가운데 가장 높은 것과 연관됐으며, 사용 경험 점수 차이는 모든 쌍 비교에서 유의했다.
• 한계: 저자들은 평가가 과제와 참가자가 적은 탐색적 pilot이라고 밝혔고, 과제마다 한 번씩 돌린 completeness 차이 +0.079의 95% bootstrap 신뢰구간 [-0.00, +0.14]가 0을 포함하며, 사람 연구도 비교 조건을 회고 보고로 모은 hybrid 설계다. executor를 고정한 비교는 task graph, 상태 객체, skill library를 한꺼번에 더한 것이라 구성요소별 효과를 가를 수 없고, 비교 대상도 최신 orchestration framework 대신 Dr. Claw가 감싼 bare executor이며, completeness는 21개 항목의 포함 여부를 세는 범위 지표라 정답성은 따로 검토해야 한다. 과제는 의료 한 분야뿐이고, Dr. Claw는 bare agent보다 느렸으며, skill 호출은 task prompt에 제안하는 단계까지 보장돼 임상 기록 과제에서는 참고문헌 점검 skill이 빠졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.