Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills

이 논문은 ML 연구 agent에 필요한 실무 지식이 사람이 읽도록 쓴 저장소와 논문 속에 있는 문제를, 그 자료를 검증된 skill로 바꿔 agent가 필요한 부분만 불러 쓰게 하는 방법으로 풀었다.

이 논문은 한마디로 GitHub 저장소와 논문을 agent용 skill로 바꾸는 agent DisCo와, 그렇게 만든 skill library AREX-Skill을 제시한 시스템 논문이다. DisCo는 저장소 1,000개에서 skill 5,353개를 만들어 분야 20개와 capability family 178개로 정리했고, 연구 task를 풀 때는 router를 따라 필요한 skill만 불러온다. Codex harness, GPT-5.5 backbone, 실행 예산을 고정하고 skill 유무만 바꾼 비교에서 MLE-bench(ML 엔지니어링 대회 benchmark)의 Any Medal 점수는 31.11%에서 72.89%로, PaperBench(논문 재현 benchmark) 평균 재현 점수는 29.45에서 39.59로 올랐다. 저자들은 PaperBench 2편에서 점수가 내려간 일을 skill retrieval precision(불러온 skill 가운데 task에 맞는 비율) 문제일 수 있다고 보았다.

핵심 요약

• 문제: ML 연구 agent는 모델과 harness(orchestration, memory, 검증, 반복 개선을 맡는 부분)로 이뤄지지만, 어떤 방법과 도구를 언제 어떻게 쓸지에 관한 operational knowledge(방법을 아는 것과 실제로 돌아가게 하는 것을 가르는 실무 지식)는 agent 밖에 남아 있다. 이 지식은 저장소와 논문에 많지만 사람이 읽도록 쓰였고, task 도중에 불러오기에는 너무 크다. 지금은 전문가가 이 지식을 손으로 skill과 도구로 옮기기 때문에 비용이 전문가 노동에 따라 늘어난다.
• 입력과 출력: creator mode의 DisCo는 저장소나 논문 같은 source, 또는 구체적 task 하나를 anchor(skill 만들기를 시작하는 대상)로 받아 검증된 skill graph(한 source에서 나온 skill들과 그 사이의 routing, 의존, 조합 연결)와 construction record(쓴 근거, 한 검사, 남은 빈틈의 기록)를 낸다. researcher mode에서는 문제, 데이터, 환경(tool과 예산), 목표로 이뤄진 연구 task를 받아 code, 모델, 실험 결과, 보고서 같은 산출물을 낸다. 논문 종류는 agent DisCo와 skill library를 만들고 benchmark 4개로 실험한 시스템 논문이다.
• 방법: skill은 처음에 읽는 SKILL.md(목표, 핵심 개념, tool 사용법, 알려진 실패 유형), 필요할 때만 여는 references/(API 문서, 알고리즘 세부, parameter 설정), 정해진 입력과 출력을 가진 실행 wrapper인 scripts/의 세 층으로 이뤄진다. skill distillation(사람이 읽는 source 지식을 agent가 쓰는 skill로 바꾸는 과정)은 anchor가 source든 task든 다룰 capability 정하기, 근거 모으기, 후보 skill graph 만들기, 검사하고 가능하면 고치기의 네 단계를 거친다. 연구 task를 풀 때는 router가 요청을 분야, family, 저장소 skill graph 순으로 좁히고, agent는 graph의 entry skill에서 시작해 필요한 branch만 불러온다.
• 구현: 저장소 1,000개의 skill graph는 GPT-5.5와 GPT-5.6-sol(reasoning effort xhigh)로 저장소당 평균 약 40달러의 예산을 배정해 만들었고, snapshot에는 skill 5,353개가 분야 20개와 capability family 178개로 정리돼 있다. 실험용으로는 PaperBench 목표 논문 20편의 선행 논문 153편에서 skill 636개를 만들었고, MLE-bench는 대회마다 graph 하나를, FrontierCS(최적해를 모르는 열린 컴퓨터 과학 문제 benchmark)와 PassNet(graph compiler pass 생성 benchmark)은 benchmark마다 graph 하나를 만들었다. README에 따르면 GitHub 저장소에는 skill library(skills 폴더), npm package로 배포되는 DisCo CLI(명령줄 도구, cli 폴더), 설치와 workflow 문서, 예시 session 기록이 있다.
• 결과: Codex harness, GPT-5.5 backbone, 실행 예산을 같게 두고 skill 유무만 바꾼 비교에서 MLE-bench 대회 75개의 Any Medal 점수는 31.11%에서 72.89%로 올랐고(상대 향상 134.3%), 표 1에 공식 MLE-bench leaderboard에서 옮겨 온 공개 baseline 가운데 가장 높은 64.44%보다도 높았다. PaperBench 논문 20편의 평균 재현 점수는 29.45에서 39.59로 올랐고, 20편 가운데 18편에서 점수가 높아졌다. FrontierCS Agent Track task 188개의 점수는 70.63에서 77.14로, PassNet 표본 200개의 주 점수(AS Score)는 1.343에서 1.5313으로 올랐다.
• 한계: PaperBench 2편(sample-specific-masks는 57.11에서 52.04, stay-on-topic은 32.31에서 27.79)은 skill을 준 뒤 점수가 내려갔고, 저자들은 retrieval precision 문제일 가능성을 들며 불러온 skill이 가끔 agent가 스스로 찾았을 전략에서 주의를 돌릴 수 있다고 적었다. skill 유무 비교는 실행 예산을 맞춘 것이고, 한 번 드는 skill 제작 예산(MLE-bench는 task마다 최대 24 GPU-hours)은 따로 두어 두 조건 모두에서 뺐다. 저장소 1,000개는 open-source 생태계에서 얼마나 알려졌는지(open-source visibility)와 실제 쓰임을 보고(GitHub star도 신호의 하나로 썼다) 자주 쓰는 ML software 가운데 일부를 골라 낸 snapshot이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.