Measuring AI Ability to Complete Long Software Tasks

이 논문은 benchmark 점수가 현실에서 무엇을 뜻하는지 불분명한 문제를, AI agent가 50% 확률로 해내는 task를 사람이 푸는 데 걸리는 시간(time horizon)이라는 지표로 풀었다.

이 논문은 한마디로 AI agent의 능력을 사람이 같은 task에 쓰는 시간으로 바꿔 재는 지표와 그 추세를 제시한 실증 연구다. HCAST(Human-Calibrated Autonomy Software Tasks), RE-Bench(ML 연구 공학 task benchmark), 새로 만든 SWAA(Software Atomic Actions)를 합친 170개 task의 사람 풀이 시간을 재거나 추정하고, 2019년부터 2025년까지 나온 frontier 모델이 50% 확률로 해내는 task 길이를 logistic regression으로 구했다. 이 50% time horizon은 207일마다 두 배가 됐고 o3는 110분이었다. 저자들은 이 추세가 이어지고 현실 소프트웨어 task로 일반화된다면 1개월(167 작업시간) horizon에 이르는 중앙 추정 시점을 2029년 중반으로 보았다.

핵심 요약

• 문제: AI benchmark 점수는 빠르게 오르지만 그 점수가 현실에서 무엇을 뜻하는지 불분명하다. 개별 benchmark는 흔히 인위적인 task로 이뤄지거나 현재 모델이 약한 문제를 골라 만들어지고 점점 빠르게 포화되어, GPT-2와 Claude 3.7처럼 능력 차이가 큰 모델을 한 척도로 비교하기 어렵다.
• 입력과 출력: 이 논문은 새 평가 지표를 제안하고 모델 추세를 잰 실증 연구다. 입력은 task 170개, 곧 HCAST 97개(1분에서 30시간), RE-Bench 7개(각 8시간), 새로 만든 SWAA 66개(1초에서 30초짜리 단일 동작)에 붙인 사람 풀이 시간과 모델별 성공과 실패 기록이다. 출력은 모델이 50% 확률로 해내는 task의 사람 소요 시간인 50% time horizon과, 그 값이 모델 출시일에 따라 늘어나는 추세다.
• 방법: task 길이는 소프트웨어 공학, ML, 보안 분야 전문가의 사람 baseline 800건 이상(총 2,529시간) 가운데 성공한 풀이 시간의 기하평균으로 정하고, HCAST의 21개 task는 연구자 추정 시간을 쓴다. 모델마다 IRT(Item Response Theory, 문항 난이도와 응시자 능력을 추정하는 통계 방법)처럼 logistic regression을 맞추되 난이도로 task 길이의 로그를 써서, 성공률이 50%가 되는 길이를 구한다. 모델별 값의 로그를 출시일에 대해 회귀해 두 배가 되는 기간을 구하고, task family, task, 실행의 3단계 bootstrap으로 신뢰구간을 낸다.
• 구현: 2019년부터 2025년까지 나온 frontier 모델 12개는 대부분 Python과 Bash 명령을 주는 agent scaffold(모델에 명령 실행 tool과 loop를 붙인 프로그램) modular-public으로, agent와 task 조합마다 약 8번씩 실행했다. o1은 triframe, o1-preview는 duet scaffold를 썼고, SWAA task는 단순한 prompting scaffold로 실행했으며, context 길이가 짧은 GPT-2의 HCAST와 RE-Bench 점수는 0으로 채워 넣었다. METR(Model Evaluation & Threat Research)의 공식 GitHub 저장소 eval-analysis-public README에는 time horizon 분석 코드(logistic fit, bootstrap, plot)와 두 report(time-horizon-1-0, time-horizon-1-1)의 DVC(데이터 버전 관리 도구) pipeline과 실행 기록 runs.jsonl이 있고, 논문은 task 대부분의 내용을 비공개로 둔다.
• 결과: frontier 모델의 50% time horizon은 2019년부터 2025년까지 지수적으로 늘어 207일(95% 신뢰구간 166일에서 240일)마다 두 배가 됐다. GPT-2는 2초, o1은 약 39분, o3는 110분이었다. 80% time horizon도 204일마다 두 배가 됐지만 길이는 50% time horizon보다 4배에서 6배 짧았다.
• 한계: 저자들은 time horizon이 분야, task 분포, 사람 baseline의 숙련도와 context에 따라 달라지는 상대적인 값이라고 밝혔다. task는 모두 자동 채점되고, 다른 agent와 협력하거나 경쟁하는 일이 빠져 있고, 환경도 대개 정적이라 현실 업무와 체계적으로 다르며, 소프트웨어 공학과 ML 연구에 크게 치우쳐 있다. 내부 PR(pull request) 실험에서는 외부 계약자가 저장소 유지보수자보다 5배에서 18배 오래 걸려, 비교 대상인 사람 집단에 따라 horizon이 크게 달라질 수 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.