Late but Valuable: Why Deadlines Change the Measured Value of LLM Reasoning

이 논문은 자동 실험실처럼 마감시간이 고정돼 있을 때 답의 가치와 도착 시간을 함께 재야 한다는 것을 보인 평가 연구다.

이 논문은 한마디로 마감시간이 지난 LLM 답은 버려지고 안전한 기본 동작이 대신 실행되므로, 답 품질과 지연을 따로 보고하면 추론의 가치를 부풀려 잰다는 것을 보인 연구다. 저자들은 최적 답을 정확히 아는 합성 샘플 판정 과제에서 Claude Haiku 5.5의 빠른 모드와 사고 모드를 비교했다. 1,200건 재생 실험에서 마감을 넘긴 사고 답이 제시간 답보다 약 다섯 배 가치가 컸고, 분리 요약은 사고 모드 가치를 약 두 배로 과대 예측했다. 단일 GPU Qwen3-8B 실험에서는 동시 요청이 늘자 45 s 마감을 맞추는 사고 답 비중이 79.2%에서 1.4%로 떨어졌다.

핵심 요약

• 연구진은 실험실의 마감시간이 지나면 기본 동작이 대신 실행되는 상황에서, 답의 가치와 도착 시간을 따로 요약하면 실제 전달 가치를 과대 예측함을 보였다.
• 1,200건 판정 재생에서 마감을 넘긴 사고 모드 답은 제시간 답보다 약 다섯 배 가치가 컸다.
• 분리 요약은 사고 모드가 실제로 전달한 가치의 약 두 배를 예측했고, 빠른 모드 대비 우위를 0.0241만큼 과대 평가했다.
• 단일 GPU에서 Qwen3-8B의 동시 요청을 8에서 56으로 늘리자 45 s 마감을 맞추는 사고 답 비중이 79.2%에서 1.4%로 떨어졌다.
• 저자는 답 하나하나의 가치와 도착 시간을 짝지어 실제 실행된 동작에 점수를 매기는 평가를 권했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.