HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 094Search Agents / EfficiencyarXiv:2511.17006

    Budget-Aware Tool-Use Enables Effective Agent Scaling

    이 연구는 자원 제약 하에서 효율성과 성능을 개선하기 위해 도구로 보강된 대형 언어 모델 에이전트를 위한 예산 인지 전략을 도입한다.

    이 연구는 자원 제약 하에서 효율성과 성능을 개선하기 위해 도구로 보강된 대형 언어 모델 에이전트를 위한 예산 인지 전략을 도입한다. Budget Tracker와 BATS 프레임워크를 포함한 제안된 방법들은 에이전트가 외부 도구를 전략적으로 활용하고 기존 접근법에 비해 더 적은 자원으로 더 높은 정확도를 달성하도록 한다.

    • 표준적인 도구 보강 LLM 에이전트는 본질적인 '예산 인지'가 부족하여 자원을 비효율적으로 사용하고, 도구 호출 예산을 늘려도 금세 성능 한계에 부딪힌다.
    • 에이전트의 테스트 시점 확장에서 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 함께 평가하는 체계적 연구나 공식 비용 지표가 없었다.
    • 에이전트는 흔히 얕은 탐색을 수행하거나 추가로 사용 가능한 자원을 전략적으로 활용하지 않고 조기에 종료하여, 차선의 결과와 낭비된 연산을 초래한다.
    • 프롬프트 수준의 정책 지침과 상태 업데이트를 통해 에이전트에게 실시간의 연속적인 예산 인지를 제공하는 경량의 플러그 앤 플레이 모듈로 'Budget Tracker'를 개발했다.
    • 연속적 예산 인지를 활용해 에이전트의 계획(제약 분해, 구조화된 동적 계획)과 자기 검증 전략을 동적으로 조정하는 학습 불필요 프레임워크로 BATS(Budget Aware Test-time Scaling)를 도입했다.
    • 내부 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 모두 포괄적으로 반영하는 통합 비용 지표를 정식화하여, 확장 효율성을 투명하게 평가할 수 있게 했다.
    초록PDF
  2. 093Agents / TheoryarXiv:2512.10047

    Detailed balance in large language model-driven agents

    Peking University와 Beijing Computational Science Research Center의 연구진이 최소 작용 원리와 세부 균형을 포함한 통계역학 원리를 적용하여 대형 언어 모델 기반 에이전트의 거시적 생성 동역학을 분석했다.

    Peking University와 Beijing Computational Science Research Center의 연구진이 최소 작용 원리와 세부 균형을 포함한 통계역학 원리를 적용하여 대형 언어 모델 기반 에이전트의 거시적 생성 동역학을 분석했다. 이들의 연구 결과는 LLM이 상태 전이를 안내하는 잠재된 포텐셜 함수를 암묵적으로 학습하여 목표 지향적 행동과 더 강한 일반화를 가능하게 함을 시사한다.

    • 대형 언어 모델(LLM) 기반 에이전트의 창발적 행동은 그 거시적 동역학을 이해할 통합 이론 프레임워크가 부족하다.
    • LLM 에이전트의 복잡한 내부 엔지니어링은 흔히 '블랙박스' 행동을 초래하여, 그 동적 특성을 예측하거나 분석하기 어렵게 만든다.
    • 현재 LLM에 대한 이론적 이해는 주로 미시적 토큰 특성에 집중되어 있어, 창발적이고 목표 지향적인 에이전트 행동을 설명하지 못한다.
    • 에이전트 내 LLM의 생성 과정을 정의된 상태 공간에서의 마르코프 전이 과정으로 정식화한다.
    • LLM의 암묵적 '포텐셜 함수'(VT)를 가설로 세우고, 최소 작용 원리에 기반한 방법으로 이를 정량적으로 추정한다.
    • 실험적 검증은 LLM이 생성한 상태 간 전이 확률을 측정하여 다양한 과제와 모델에 걸쳐 세부 균형 조건을 통계적으로 확인하는 것을 포함한다.
    초록PDF
  3. 092Math Reasoning / BenchmarksarXiv:2511.01846

    Towards Robust Mathematical Reasoning

    Google DeepMind가 문제 해결, 증명 작성, 증명 채점 과제를 통해 대형 언어 모델의 고급 수학적 추론을 평가하도록 설계된 벤치마크 모음 IMO-Bench를 개발했다.

    Google DeepMind가 문제 해결, 증명 작성, 증명 채점 과제를 통해 대형 언어 모델의 고급 수학적 추론을 평가하도록 설계된 벤치마크 모음 IMO-Bench를 개발했다. Gemini Deep Think(IMO Gold) 모델은 강건화된 문제에서 80.0% 정확도를, 까다로운 증명 작성 과제에서 65.7%를 달성했다.

    • 기존 수학적 추론 벤치마크(예: GSM8K, MATH, AIME)는 포화 상태에 가까워지고 있어, 고급 모델 능력을 변별하는 데 유용성이 제한된다.
    • 현재의 많은 벤치마크는 주로 최종 답 일치에 의존하는데, 이는 모델이 견고한 다단계 추론을 보이지 않은 채 추측하거나 암기하도록 만들 수 있다.
    • 증명을 생성하고 엄밀하게 평가하는 능력처럼 더 깊은 수학적 이해를 평가하기 위한 포괄적인 평가 프레임워크가 부족하다.
    • 강건한 문제 해결을 위한 IMO-AnswerBench, 엄밀한 증명 작성을 위한 IMO-Proof Bench, 증명 평가를 위한 IMO-GradingBench의 세 가지 벤치마크로 구성된 포괄적 모음 IMO-Bench를 도입한다.
    • IMO-AnswerBench는 네 개 범주에 걸친 400개의 올림피아드 문제를 활용하며, 데이터 암기를 방지하기 위한 명시적 '강건화' 기법(패러프레이징, 수치 변경)을 적용한다.
    • IMO-Proof Bench는 기초 및 고급 세트로 나뉜 60개의 IMO 수준 증명 문제를 제공하며, 전통적인 IMO 채점을 본떠 인간 전문가가 0~7점 척도로 주로 평가한다.
    초록PDF
  4. 091Research AgentsarXiv:2510.17797

    Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics

    Salesforce AI Research가 인간 참여형 안내를 통해 이질적인 내부 데이터를 처리하는, 기업 분석용으로 설계된 조정 가능한 멀티 에이전트 시스템 Enterprise Deep Research(EDR)를 개발했다.

    Salesforce AI Research가 인간 참여형 안내를 통해 이질적인 내부 데이터를 처리하는, 기업 분석용으로 설계된 조정 가능한 멀티 에이전트 시스템 Enterprise Deep Research(EDR)를 개발했다. EDR은 딥 리서치 벤치마크에서 최첨단 성능을 달성하고 기업 활용 사례에서 인사이트 도출 시간을 50% 단축했으며, 투명하고 감사 가능한 연구 기능을 제공한다.

    • 현재의 자율 에이전트는 도메인 특화성과 매끄러운 통합이 부족하여, 기업이 기하급수적으로 증가하는 비정형 데이터를 실행 가능한 인사이트로 전환하는 데 어려움을 겪는다.
    • 기존 딥 리서치 시스템은 흔히 불투명한 '블랙박스'로, 투명성, 감사 가능성, 실시간 조정 가능성이 부족하여 동적인 기업 환경에 적합하지 않다.
    • 대부분의 현재 시스템은 개방형 도메인 웹 데이터를 위해 설계되어, 데이터베이스나 파일 같은 이질적이고 독점적인 내부 기업 데이터 소스를 적절히 처리하지 못한다.
    • 모듈식 멀티 에이전트 구조가 마스터 리서치 에이전트, 특화된 검색 에이전트(웹, 학술, GitHub, LinkedIn), 시각화 에이전트, 그리고 적응형 질의 분해 및 실행을 위한 성찰(Reflection) 메커니즘을 조율한다.
    • 인간이 해석 가능한 todo.md 파일을 유지하는 Research Todo Manager를 통해 '조정 가능한 컨텍스트 엔지니어링'을 도입하여, 실시간 자연어 인간 개입으로 에이전트 계획과 우선순위를 동적으로 조정할 수 있게 한다.
    • 확장 가능한 Model Context Protocol(MCP) 기반 도구 생태계를 활용하여 파일 분석이나 NL2SQL 에이전트 같은 도메인 특화 도구를 통합함으로써, 다양하고 독점적인 기업 데이터 소스에 대한 추론을 수행한다.
    초록PDF
  5. 090LLMs / ReasoningarXiv:2510.18855

    Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

    Inclusion AI의 Ling Team이 고급 추론이 가능한 최초의 오픈소스 1조 매개변수 Mixture-of-Experts(MoE) 모델 Ring-1T를 공개했으며, 이는 IMO-2025에서 은메달급 성적을 달성하고 경쟁 프로그래밍 및 복잡한 문제 해결에서 오픈소스 벤치마크를 선도한다.

    Inclusion AI의 Ling Team이 고급 추론이 가능한 최초의 오픈소스 1조 매개변수 Mixture-of-Experts(MoE) 모델 Ring-1T를 공개했으며, 이는 IMO-2025에서 은메달급 성적을 달성하고 경쟁 프로그래밍 및 복잡한 문제 해결에서 오픈소스 벤치마크를 선도한다.

    • 오픈소스 1조 매개변수 '사고 모델'의 부재로 인해 더 넓은 AI 연구 커뮤니티가 고급 추론 능력에 접근하기 어려웠다.
    • 강화학습(RL)을 1조 매개변수 Mixture-of-Experts(MoE) 모델로 확장하는 과정에서 학습-추론 불일치로 인한 상당한 불안정성에 직면했다.
    • 긴 추론 궤적을 처리하는 비효율성과 RL 인프라의 시스템적 병목이 전례 없는 규모에서 상당한 난제를 제기했다.
    • Long Chain-of-Thought 지도 미세조정과 대규모 강화학습을 포함한 다단계 파이프라인으로 학습된 1조 매개변수 MoE 모델 Ring-1T를 개발했다.
    • 확률 편차에 대한 양측 마스킹 보정을 통해 잡음이 있는 그래디언트 갱신을 억제함으로써 학습을 안정화하는 RL 알고리즘 변형 IcePop을 도입했다.
    • 동적이고 예산 통제된 분할을 사용해 효율적인 궤적 처리를 위한 C3PO++를 설계하고, 1조 매개변수 규모에 맞춘 고성능 분산 RL 인프라 ASystem을 구축했다.
    초록PDF
  6. 089Reasoning / InferencearXiv:2510.14901

    Reasoning with Sampling: Your Base Model is Smarter Than You Think

    Harvard University의 연구진이 Metropolis-Hastings 알고리즘을 활용해 기본 대형 언어 모델의 첨예화된 분포에서 샘플링하는 학습 불필요 방법인 파워 샘플링을 개발했다.

    Harvard University의 연구진이 Metropolis-Hastings 알고리즘을 활용해 기본 대형 언어 모델의 첨예화된 분포에서 샘플링하는 학습 불필요 방법인 파워 샘플링을 개발했다. 이 기법은 잠재된 추론 능력을 끌어내어, 다양한 과제에서 강화학습 사후 학습 방법에 필적하거나 이를 능가하는 단일 시도 성능을 달성하면서도 생성 다양성을 보존한다.

    • 강화학습(RL)이 LLM에 근본적으로 새로운 추론 능력을 가르치는지, 아니면 단지 기존의 잠재된 능력을 첨예화할 뿐인지가 불분명하다.
    • 현재 RL 기반 LLM 사후 학습 방법은 높은 연산 비용, 선별된 데이터셋에 대한 의존, 외부 검증기의 필요성을 내재한다.
    • RL로 사후 학습된 모델은 흔히 '다양성 붕괴'를 겪어, 단일 시도 성능 향상을 위해 다중 시도 추론 성능(pass@k)을 희생한다.
    • 기본 LLM의 '파워 분포', 즉 원분포를 지수 α(α≥1)로 거듭제곱한 분포에서 샘플링하며, 이는 원래 분포를 수학적으로 재가중하여 더 높은 우도의 시퀀스를 선호한다.
    • 마르코프 연쇄 몬테카를로(MCMC) 기법인 Metropolis-Hastings(MH) 알고리즘을 사용하여 정규화되지 않은 파워 분포에서의 근사 샘플링을 가능하게 한다.
    • 반복적이고 블록 단위의 자기회귀적 MCMC 접근법을 도입하여 시퀀스 구간을 점진적으로 정제함으로써, 복잡도를 관리하고 긴 시퀀스 생성의 믹싱 시간을 개선한다.
    초록PDF
  7. 088Continual LearningarXiv:2510.15103

    Continual Learning via Sparse Memory Finetuning

    희소 메모리 미세조정이라는 새로운 접근법은 대형 언어 모델이 새로운 지식을 순차적으로 습득하면서도 치명적 망각을 현저히 적게 겪도록 한다.

    희소 메모리 미세조정이라는 새로운 접근법은 대형 언어 모델이 새로운 지식을 순차적으로 습득하면서도 치명적 망각을 현저히 적게 겪도록 한다. FAIR at Meta와 UC Berkeley의 연구진이 개발한 이 방법은 메모리 계층 구조를 활용해 관련된 소수의 매개변수만 선택적으로 갱신함으로써, 일반 지식 과제에서의 망각을 전체 미세조정 시 89% 성능 하락에 비해 11% 하락으로 줄인다.

    • 대형 언어 모델(LLM)은 새로운 정보로 갱신할 때 이전에 습득한 지식을 잃어버리는 치명적 망각을 겪는다.
    • 재현 기반이나 정규화 기법 같은 현재의 LLM 지속 학습 방법은 흔히 연산 비용이 크거나, 데이터 효율이 낮거나, 새로운 학습과 기존 지식 유지 사이의 트레이드오프를 수반한다.
    • LLM은 일반적으로 배포 후 정적 모델로 동작하여, 실시간 정보, 사용자 피드백, 변화하는 세상 지식에 적응하는 능력이 제한된다.
    • 이 논문은 주어진 토큰마다 방대한 메모리 풀의 극히 일부만 본질적으로 접근하는 메모리 계층 구조를 사용하는 희소 메모리 미세조정을 제안한다.
    • 새로운 학습 배치에서 가장 지식 특이적인 메모리 인덱스를 식별하기 위해 TF-IDF 유사 순위 점수를 적용하여 일반 지식과의 간섭을 최소화한다.
    • 미세조정 중에는 TF-IDF 점수로 식별된 상위 t개 메모리 인덱스만 갱신하고, 그 외의 모든 메모리 매개변수와 기본 LLM 매개변수는 그래디언트 마스킹을 통해 고정된 상태로 유지한다.
    초록PDF
  8. 087Vision / CompressionarXiv:2510.18234

    DeepSeek-OCR: Contexts Optical Compression

    DeepSeek-OCR은 정보를 시각적으로 표현해 대형 언어 모델(LLM)이 긴 텍스트를 더 효율적으로 처리하게 하는 '컨텍스트 광학 압축'을 탐구한다.

    DeepSeek-OCR은 정보를 시각적으로 표현해 대형 언어 모델(LLM)이 긴 텍스트를 더 효율적으로 처리하게 하는 '컨텍스트 광학 압축'을 탐구한다. 이 모델은 9~10배의 비전-텍스트 압축률에서 약 97%의 텍스트 디코딩 정밀도를 달성하고, 훨씬 적은 비전 토큰으로 OCR 성능의 새로운 기준을 세우며, 구조화된 데이터에 대한 고급 심층 파싱 기능도 제공한다.

    • 대형 언어 모델(LLM)은 입력 시퀀스 길이가 늘어남에 따라 연산량이 이차적으로 증가하여 상당한 연산 및 메모리 문제에 직면하며, 이로 인해 긴 텍스트 컨텍스트를 처리하는 능력이 제한된다.
    • 비전-언어 모델(VLM)의 기존 비전 인코더는 복잡한 배포, 과도한 이미지 분할, 고해상도 문서에 대한 높은 활성화 메모리 소비 같은 한계를 겪는다.
    • 전통적인 OCR 모델은 LLM과 통합해 긴 컨텍스트를 이해할 때 최적의 비전-텍스트 압축률이나 정확한 텍스트 디코딩에 필요한 최소 비전 토큰 수를 명시적으로 다루지 못했다.
    • DeepSeek-OCR은 새로운 380M 매개변수 DeepEncoder와 DeepSeek3B-MoE 디코더로 구성된 종단 간 비전-언어 모델이다.
    • DeepEncoder는 SAM-base와 CLIP-large 모델을 핵심적인 16배 토큰 압축기(2계층 합성곱 신경망)와 결합하여 고해상도 이미지를 효율적으로 처리하고, 활성화 메모리를 줄이며, 최소한의 비전 토큰을 생성한다.
    • 이 모델은 타일링을 통해 초고해상도 입력을 처리하는 동적 'Gundam' 모드를 포함한 여러 해상도 모드를 지원하며, 전통적 OCR, 복잡한 인공 이미지(차트, 수식, 도형), 일반 비전 데이터를 아우르는 다양한 데이터셋으로 학습된다.
    초록PDF
  9. 086Benchmarks / AgentsarXiv:2508.15760

    LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries

    Duke University와 Zoom Video Communications의 연구진이 복잡하고 동적인 도구 사용 과제에 대해 AI 에이전트를 평가하는 벤치마크 LiveMCP-101을 발표했다.

    Duke University와 Zoom Video Communications의 연구진이 복잡하고 동적인 도구 사용 과제에 대해 AI 에이전트를 평가하는 벤치마크 LiveMCP-101을 발표했다. 이 연구는 최첨단 대형 언어 모델조차 과제 성공률이 60% 미만에 그치며, 그 원인이 흔히 의미론적 매개변수 오류와 현실적 환경에서 여러 도구를 조율하는 데 따르는 어려움에 있음을 보여준다.

    • AI 에이전트는 유망한 프로토타입 성능을 보이지만, 실제 동적 운영 환경에 배포되면 신뢰성과 견고성이 부족하다.
    • 도구로 보강된 LLM을 위한 기존 벤치마크는 단일 단계 도구 호출만 평가하거나, 합성 환경에서 동작하거나, 낮은 과제 복잡도에 집중하는 한계가 있어 실제 도구 상호작용의 복잡성을 포착하지 못한다.
    • 다양하고 시간에 따라 변화하는 외부 도구를 다루는 에이전트의 구체적인 실패 양상을 진단할 명확한 프레임워크가 없었다.
    • 다양한 MCP 지원 도구를 다단계로 조율해 사용해야 하는, 신중하게 선별된 101개의 실세계 질의로 벤치마크 LiveMCP-101을 구성했다.
    • 정답 실행 계획과 병렬 실시간 실행을 활용해 라이브 MCP 도구 응답의 동적이고 진화하는 특성을 반영하는 새로운 평가 방법론을 제안했다.
    • 인간 전문가가 검증한 LLM-as-a-judge 방식을 활용해 최종 출력과 에이전트의 실행 궤적 모두에 세밀한 점수를 제공했다.
    초록PDF
  10. 085Reasoning / RL / SurveyarXiv:2509.08827

    A Survey of Reinforcement Learning for Large Reasoning Models

    이 서베이 논문은 대규모 추론 모델(LRM)을 위한 강화학습(RL)의 발전을 체계적으로 종합하며, 인간 정렬을 넘어 검증 가능한 보상을 통해 내재적 추론 역량을 강화하는 데 초점을 맞춘다.

    이 서베이 논문은 대규모 추론 모델(LRM)을 위한 강화학습(RL)의 발전을 체계적으로 종합하며, 인간 정렬을 넘어 검증 가능한 보상을 통해 내재적 추론 역량을 강화하는 데 초점을 맞춘다. 인공 초지능(ASI)을 향한 RL 확장을 위한 핵심 구성요소, 과제, 향후 방향을 규명한다.

    • LLM을 LRM으로 변모시키는 RL의 급속한 성공은 계산 자원, 최적 알고리즘 설계, 확장 가능한 고품질 훈련 데이터와 관련된 상당한 난관에 직면해 있다.
    • LLM에 대한 기존 RL 응용은 주로 인간 정렬에 집중하여, 복잡한 추론 능력을 근본적으로 개선할 RL의 잠재력을 간과했다.
    • 추론 모델을 위한 RL의 복잡하고 빠르게 진화하는 지형을 이해하고 탐색할 통합 프레임워크의 부재가 체계적인 연구 개발을 저해한다.
    • 저자들은 포괄적인 문헌 검토를 수행하여, 이 분야를 보상 설계, 정책 최적화, 샘플링 전략이라는 기초 구성요소로 체계화한다.
    • 이 서베이는 객관적 피드백이 있는 과제에서 추론을 강화하기 위한 핵심 패러다임으로서 '검증 가능한 보상을 활용한 강화학습(RLVR)'을 도입하고 강조한다.
    • RL의 '샤프닝 대 발견' 역할과 RL과 지도 미세조정(SFT) 간의 상호작용 같은, 기초적 문제와 진행 중인 논쟁을 규명하고 논의한다.
    초록PDF
  11. 084Multi-Agent / DebatearXiv:2509.05396

    Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate

    Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다.

    Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다. 사회적 영향과 역효과를 내는 순차적 수정이 흔히 숙의의 이점을 압도한다는 사실을 발견했다.

    • 멀티 에이전트 토론이 복잡한 추론 과제에서 대규모 언어 모델(LLM) 성능을 보편적으로 향상시킨다는 통념이 있다.
    • 여러 LLM이 상호작용할 때, 특히 역량이 다양한 이질적 그룹에서 발생하는 구체적인 실패 양상에 대한 이해가 부족하다.
    • 멀티 에이전트 토론이 언제 그리고 왜 유익하기보다 해로울 수 있는지를 규명할 필요가 있다.
    • LLM이 여러 라운드에 걸쳐 동료의 입력을 바탕으로 응답을 반복적으로 수정하는 표준 멀티 에이전트 토론 프레임워크를 사용했다.
    • 세 개의 다양한 데이터셋(CommonSenseQA, MMLU, GSM8K)에서 세 LLM(GPT-4o-mini, LLaMA-3.1-8B-Instruct, Mistral-7B-Instruct-v0.2)으로 구성된 이질적 그룹을 사용해 경험적 연구를 수행했다.
    • 순차적 수정 추적, 사회적 영향 평가(동료 동의에 따른 답변 뒤집힘 확률), 그리고 아첨을 완화하기 위한 개입을 통해 실패 양상을 분석했다.
    초록PDF
  12. 083Agents / RLarXiv:2509.08755

    AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

    오픈소스 프레임워크 AgentGym-RL은 다중 턴 강화학습과 ScalingInter-RL이라 불리는 점진적 상호작용 스케일링 전략을 통해, 장기적 의사결정을 위한 대규모 언어 모델 에이전트의 훈련을 가능하게 한다.

    오픈소스 프레임워크 AgentGym-RL은 다중 턴 강화학습과 ScalingInter-RL이라 불리는 점진적 상호작용 스케일링 전략을 통해, 장기적 의사결정을 위한 대규모 언어 모델 에이전트의 훈련을 가능하게 한다. 이 접근법은 7B 파라미터 모델이 다양한 환경에서 더 큰 독점 모델에 견주거나 능가하는 평균 성공률을 달성하게 하여, RL 훈련이 에이전트 지능에 미치는 영향을 부각한다.

    • 복잡하고 다중 턴이며 장기적인 과제를 위해 LLM 에이전트를 처음부터 훈련할 수 있는 통합적이고 상호작용형인 강화학습(RL) 프레임워크가 없다.
    • 프롬프팅이나 지도 미세조정(SFT) 같은 기존 LLM 에이전트 개발 방법은 흔히 독점 모델이나 인간이 선별한 데이터에 의존하여, 확장성과 적응성, 내재적 자기 개선을 제한한다.
    • LLM에 대한 전통적 RL 응용은 대부분 단일 턴 과제에 국한되거나, 다중 턴 에이전트 의사결정으로 확장될 때 불안정성과 비효율성 문제에 직면한다.
    • 다양한 다중 턴 장기적 과제를 지원하기 위해 환경, 에이전트, 훈련 모듈을 분리한 모듈식 오픈소스 프레임워크인 AgentGym-RL을 도입한다.
    • RL 훈련 중 최대 턴 수를 적응적으로 늘려 탐색과 활용의 균형을 맞춤으로써 최적화 안정성과 효율성을 개선하는, 새로운 점진적 상호작용 스케일링 전략 ScalingInter-RL을 개발한다.
    • 주류 온라인 RL 알고리즘(예: PPO, GRPO)을 지원하고 다양한 현실적 환경 전반의 확장성과 신뢰성을 위한 엔지니어링 최적화를 포함하는 통합 RL 파이프라인을 통합한다.
    초록PDF
  13. 082Reasoning / ParallelismarXiv:2509.04475

    ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute

    ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다.

    ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다. 무시할 만한 추론 지연으로 수학 추론 벤치마크에서 상당한 성능 향상을 달성하며, 특히 소형 모델을 크게 강화한다.

    • 순차적 LLM 추론은 '터널 시야'를 보이는데, 이는 초기 오류가 계산량 증가에도 불구하고 수익 체감과 정체로 이어지는 현상이다.
    • 현재의 '깊이' 스케일링 접근법은 일정 지점을 넘어서면 비효율적이어서, 복잡한 추론 과제에서 추가적인 성능 향상을 끌어내지 못한다.
    • 기존 병렬 또는 탐색 기반 방법은 흔히 외부 검증자나 도메인 특화 구성요소에 의존하거나, 상당한 추가 계산 비용을 발생시킨다.
    • ParaThinker는 여러 독립적 사고 경로를 생성하는 병렬 추론과 이 경로들을 단일 최종 답변으로 통합하는 요약의 2단계 과정을 사용한다.
    • 특수 제어 토큰('think i', 'summary')을 사용하여 모델의 다양한 추론 경로 생성과 이후의 통합을 유도한다.
    • 사고 특화 위치 임베딩이 표준 RoPE를 보강하여 병렬 경로 간 위치 모호성을 해소함으로써, 구별된 처리와 효과적인 요약을 보장한다.
    초록PDF
  14. 081RL / WritingarXiv:2509.04903

    ACE-RL: Adaptive Constraint-Enhanced Reward for Long-form Generation Reinforcement Learning

    ACE-RL 프레임워크는 추상적인 지시를 검증 가능한 제약으로 변환하고 이를 강화학습을 위한 적응적이고 제약 강화된 보상에 반영함으로써, 대규모 언어 모델의 장문 콘텐츠 생성을 강화한다.

    ACE-RL 프레임워크는 추상적인 지시를 검증 가능한 제약으로 변환하고 이를 강화학습을 위한 적응적이고 제약 강화된 보상에 반영함으로써, 대규모 언어 모델의 장문 콘텐츠 생성을 강화한다. 이 방법은 모델이 복잡하고 지시 특화된 요구사항을 정밀하게 준수하는 출력을 생성하게 하여, 기존 베이스라인과 독점 LLM을 능가하는 우수한 성능을 입증한다.

    • 장문 생성을 위한 기존 지도 미세조정(SFT) 접근법은 희소하고 비용이 큰 고품질 데이터셋에 크게 의존한다.
    • 현재의 강화학습(RL) 방법은 거칠고 주관적인 평가 지표를 사용하여, 고품질 장문 작성에 핵심적인 미묘하고 지시 적응적인 요구를 포착하지 못한다.
    • LLM은 복잡한 장문 생성 과제에서 세밀하고 다면적이며 지시 특화된 요구사항을 일관되게 충족하는 데 어려움을 겪는다.
    • 강력한 LLM을 사용하는 자동화 파이프라인이 고수준 사용자 지시를 콘텐츠 완전성, 구조적 논리, 문체적 형식에 걸친 검증 가능한 제약 체크리스트로 분해한다.
    • 새로운 보상 메커니즘은 길이 보상과 세밀한 제약 보상을 결합하며, 더 작은 검증자 LLM이 각 제약의 충족 여부를 3단계 판정으로 평가한다.
    • 훈련에는 Group Relative Policy Optimization(GRPO) 알고리즘이 사용되며, 이 포괄적 보상을 통해 LLM이 길이와 지시 적응적 요구를 모두 충족하는 장문 응답을 생성하도록 유도한다.
    초록PDF
  15. 080RAG / EfficiencyarXiv:2509.01092

    REFRAG: Rethinking RAG based Decoding

    REFRAG는 RAG 컨텍스트 고유의 희소 어텐션 패턴을 활용하는, 검색 증강 생성(RAG)을 위한 효율적인 디코딩 프레임워크를 도입한다.

    REFRAG는 RAG 컨텍스트 고유의 희소 어텐션 패턴을 활용하는, 검색 증강 생성(RAG)을 위한 효율적인 디코딩 프레임워크를 도입한다. 컨텍스트 압축과 선택적 확장을 수반하는 이 접근법은 다양한 장문 컨텍스트 응용에서 perplexity와 정확도를 유지하거나 개선하면서, Time-To-First-Token을 30.85배 가속하고 유효 컨텍스트 윈도우를 16배 확장한다.

    • 대규모 언어 모델(LLM)을 사용하는 검색 증강 생성(RAG) 시스템은 길게 검색된 컨텍스트를 처리할 때 상당한 시스템 지연과 높은 메모리 소비에 직면한다.
    • 이로 인해 더 긴 컨텍스트로 지식을 강화하는 것이 흔히 시스템 효율성과 처리량을 저하시키는 트레이드오프가 발생한다.
    • 범용 LLM 장문 컨텍스트 추론 최적화는 RAG 컨텍스트에 내재된 특유의 '블록 대각 어텐션 패턴'과 중복 연산을 적절히 다루지 못한다.
    • 경량 인코더를 사용하는 프레임워크가 RAG 컨텍스트를 청크 임베딩으로 압축하여, 디코더 전용 LLM의 유효 입력 시퀀스 길이를 크게 줄인다.
    • 인코더와 디코더는 다음 단락 예측 및 재구성 과제를 포함한 지속적 사전학습(CPT) 체계를 통해 정렬되며, 복잡도를 관리하기 위해 커리큘럼 학습을 적용한다.
    • 강화학습 정책이 중요한 컨텍스트 청크를 전체 토큰 시퀀스로 동적으로 확장하고 덜 중요한 청크는 감지(압축)하여, 유연하고 임의 위치의 압축을 가능하게 한다.
    초록PDF
  16. 079Reasoning / RLarXiv:2509.03646

    Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning

    이 연구는 강화학습 과정에서 대규모 언어 모델에 창발하는 계층적 추론 구조를 밝혀내며, 초기에 절차적 통합이 이루어진 후 전략적 계획 탐색이 뒤따른다는 점을 보인다.

    이 연구는 강화학습 과정에서 대규모 언어 모델에 창발하는 계층적 추론 구조를 밝혀내며, 초기에 절차적 통합이 이루어진 후 전략적 계획 탐색이 뒤따른다는 점을 보인다. 또한 고수준 계획 토큰에 최적화 노력을 집중하여 추론 성능을 향상시키는 알고리즘인 Hierarchy-Aware Credit Assignment(HICRA)를 도입한다.

    • 경험적 성공에도 불구하고, 강화학습(RL)이 LLM의 복잡한 추론을 어떻게 개선하는지에 대한 메커니즘적 이해는 불투명한 채로 남아 있었다.
    • '아하 모먼트'와 '길이 스케일링' 효과 같은 RL 훈련 중의 의문스러운 현상들은 통합적인 설명이 부족했다.
    • 기존 RL 알고리즘은 생성된 모든 토큰에 무차별적으로 최적화 압력을 가하는 경우가 많아 비효율적인 학습을 초래한다.
    • LLM이 생성한 토큰을 고수준 계획 토큰(예: 논리적 책략)과 저수준 실행 토큰(예: 계산)으로 기능적으로 분해했다.
    • 주관적인 수작업 주석을 피하면서 계획 토큰을 경험적으로 식별하는 데이터 기반 방법인 'Strategic Grams(SGs)'를 도입했다.
    • 식별된 계획 토큰에 대한 어드밴티지 신호를 증폭하여 최적화를 집중시키는 RL 알고리즘인 Hierarchy-Aware Credit Assignment(HICRA)를 개발했다.
    초록PDF
  17. 078Research Agents / RLarXiv:2509.06283

    SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents

    Salesforce AI Research는 단일 에이전트 대규모 언어 모델의 자율적 추론 및 도구 사용 역량을 강화하기 위해 지속적 강화학습을 활용하는 프레임워크인 SFR-DeepResearch를 소개했다.

    Salesforce AI Research는 단일 에이전트 대규모 언어 모델의 자율적 추론 및 도구 사용 역량을 강화하기 위해 지속적 강화학습을 활용하는 프레임워크인 SFR-DeepResearch를 소개했다. 이 접근법은 HLE 벤치마크에서 베이스 모델 대비 65%의 상대적 향상을 이끌어냈으며, FRAMES와 GAIA에서 SOTA 성능을 달성하여 여러 독점 및 멀티 에이전트 시스템을 능가했다.

    • 대규모 언어 모델(LLM)에 고급 추론과 도구 사용 능력을 장착하여, 환각 같은 문제를 완화하면서 복잡하고 장기적인 과제를 수행하게 한다.
    • 경직된 멀티 에이전트 오케스트레이션 없이도 작동하며 더 나은 일반화를 제공하는, Deep Research(DR)를 위한 효과적인 자율 단일 에이전트 시스템을 개발한다.
    • 기존 방법이 안정성에서 어려움을 겪고 베이스 모델의 추론 능력을 저하시킬 수 있는, 다중 턴 에이전트형 과제에 대한 강화학습(RL)을 안정화한다.
    • 특정 LLM 계열을 위해 세 가지 도구('인터넷 검색', '페이지 열람', '코드 인터프리터')의 최소 집합과 반복적 단일 턴 워크플로우를 갖춘 에이전트형 추론 스캐폴딩을 개발했다.
    • 에이전트형 훈련을 위해 까다로운 다중 홉 QA와 장문 보고서 작성 과제를 생성하는 새로운 합성 데이터 생성 파이프라인을 구축했다.
    • 다중 턴 상호작용에 대한 안정적인 정책 최적화를 보장하기 위해 길이 정규화 REINFORCE 목적함수, 궤적 필터링, 부분 롤아웃을 특징으로 하는 종단간 강화학습 레시피를 구현했다.
    초록PDF
  18. 077Medical AI / RAGarXiv:2508.11386

    Retrieval-augmented reasoning with lean language models

    The Alan Turing Institute와 협력 기관 연구진은 경량 언어 모델을 활용한 검색 증강 추론 프레임워크를 고안하여, 도메인 특화 과제에서 GPT-4o 같은 프런티어 모델에 견줄 만한 조건 예측 정확도를 달성했다.

    The Alan Turing Institute와 협력 기관 연구진은 경량 언어 모델을 활용한 검색 증강 추론 프레임워크를 고안하여, 도메인 특화 과제에서 GPT-4o 같은 프런티어 모델에 견줄 만한 조건 예측 정확도를 달성했다. 이 접근법은 로컬 및 프라이버시 보존 배포를 지원하며, 1.5B 파라미터 모델이 32B 비추론 베이스라인과 동등한 성능을 낼 수 있게 한다.

    • 최첨단 검색 증강 생성(RAG) 및 추론 시스템은 대형 외부 언어 모델에 의존하는데, 이는 민감한 데이터를 다루는 응용에서 프라이버시와 보안 위험을 초래한다.
    • 대형 프런티어 언어 모델을 로컬에서 배포하고 구동하는 것은 높은 자원 요구로 인해 많은 조직에게 계산상 부담이 크다.
    • 범용 언어 모델은 전문 도메인에서 깊고 검증 가능한 전문성을 결여하는 경우가 많아, 중요한 응용에서 부정확성이나 환각을 유발한다.
    • 연구진은 추론 및 생성을 위한 효율적인 언어 모델 백본으로 1.5B부터 32B 파라미터에 이르는 Qwen2.5-Instruct 모델을 사용했다.
    • 의미 임베딩, 벡터 데이터베이스, 그리고 관련 정보를 유지하면서 컨텍스트 길이를 관리하기 위해 문서 전체를 검색하고 사전 요약하는 새로운 전략을 사용하여 검색 시스템을 개발했다.
    • 경량 언어 모델의 지도 미세조정을 감독하기 위해, 다양한 사용자 질의와 상세한 추론 궤적을 포함한 합성 도메인 특화 데이터를 고성능 모델(GPT-4o 및 DeepSeek-R1)로 생성했다.
    초록PDF
  19. 076Computer Use AgentsarXiv:2508.09123

    OpenCUA: Open Foundations for Computer-Use Agents

    OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다.

    OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다. OPENCUA-72B 모델은 OSWorld-Verified 벤치마크에서 45.0%의 성공률을 달성하여 오픈소스 시스템의 새로운 SOTA를 기록하고 독점 에이전트와의 성능 격차를 줄였다.

    • 가장 뛰어난 컴퓨터 사용 에이전트(CUA) 시스템 대부분은 독점적이고 비공개 소스여서, 그 역량과 한계, 위험에 대한 연구를 저해한다.
    • 실시간 사용자 상호작용과 접근성 트리를 포함하여, 다양하고 대규모인 컴퓨터 사용 데이터를 수집할 확장 가능한 오픈소스 인프라가 부족하다.
    • 기존 오픈소스 CUA 데이터셋은 범위, 규모, 다양성이 제한적이며, 일반적인 컴퓨터 사용 응용보다는 특정 도메인에 집중되어 있다.
    • Windows, macOS, Ubuntu 전반에 걸쳐 인간의 컴퓨터 사용 시연(화면 영상, 마우스/키보드 신호, 접근성 트리)을 매끄럽게 캡처하는 크로스 플랫폼 애플리케이션인 AGENTNET TOOL을 개발했다.
    • 여러 운영체제와 200개 이상의 애플리케이션 및 웹사이트에 걸친, 최초의 대규모(22,625개 궤적) 다양성 컴퓨터 사용 과제 데이터셋인 AGENTNET을 구축했다.
    • 에이전트의 계획 수립과 오류 복구를 개선하기 위해, 새로운 성찰적 장문 Chain-of-Thought(CoT) 추론 합성과 다중 이미지 이력 컨텍스트 인코딩을 통합한 확장 가능한 훈련 파이프라인을 제안했다.
    초록PDF
  20. 075Computer Use AgentsarXiv:2508.14040

    ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents

    COMPUTERRL 프레임워크는 컴퓨터 사용 에이전트를 위한 온라인 강화학습을 확장하여, API-GUI 상호작용 패러다임, 확장 가능한 분산 환경, Entropulse 훈련 전략을 통합함으로써 OSWorld 벤치마크에서 48.9%, 새로운 OfficeWorld 벤치마크에서 43.3%라는 새로운 SOTA 정확도를 달성한다.

    COMPUTERRL 프레임워크는 컴퓨터 사용 에이전트를 위한 온라인 강화학습을 확장하여, API-GUI 상호작용 패러다임, 확장 가능한 분산 환경, Entropulse 훈련 전략을 통합함으로써 OSWorld 벤치마크에서 48.9%, 새로운 OfficeWorld 벤치마크에서 43.3%라는 새로운 SOTA 정확도를 달성한다.

    • 그래픽 사용자 인터페이스는 본질적으로 인간 중심으로 설계되어 기계의 상호작용을 복잡하게 만들기 때문에, 견고한 LLM 기반 GUI 에이전트 개발은 어렵다.
    • 행동 복제 같은 기존 방법은 확장성 문제, 제한된 일반화, 다양하고 복잡한 데스크톱 과제에 대한 부실한 오류 복구 능력이라는 한계를 겪는다.
    • 데스크톱 자동화에 강화학습을 적용하는 것은 높은 계산 부담, 느린 수렴 속도, 불안정성, 그리고 장기 훈련 중 정책이 탐색 역량을 상실하는 경향(엔트로피 붕괴)으로 인해 제약을 받아 왔다.
    • API-GUI 상호작용 패러다임은 직접적인 GUI 상호작용과 프로그래밍 방식의 API 호출을 통합하며, 효율성과 다재다능함을 높이기 위해 API 개발을 위한 LLM 기반 자동화 워크플로우로 이를 보완한다.
    • 효율적인 데이터 수집을 위해 수천 개의 동시 가상 데스크톱 환경을 오케스트레이션할 수 있는, 분산 다중 노드 클러스터링 인프라를 갖춘 확장 가능하고 안정적인 Ubuntu 환경이 개발되었다.
    • 다중 LLM 기반 행동 복제, 검증 가능한 보상을 갖춘 스텝 수준 Group Relative Policy Optimization(GRPO), 그리고 주기적 RL-SFT 교대를 통한 지속적 탐색을 위한 Entropulse 전략을 특징으로 하는 완전 비동기 RL 프레임워크가 구현되었다.
    초록PDF
  21. 074Agents / DistillationarXiv:2508.13167

    Chain-of-Agents: End-to-End Agent Foundation Models via Multi-Agent Distillation and Agentic RL

    OPPO AI Agent Team은 단일 대규모 언어 모델(LLM)이 멀티 에이전트 협업을 시뮬레이션해 복잡한 문제를 종단간으로 해결하게 하는 패러다임인 Chain-of-Agents(CoA)를 개발했다.

    OPPO AI Agent Team은 단일 대규모 언어 모델(LLM)이 멀티 에이전트 협업을 시뮬레이션해 복잡한 문제를 종단간으로 해결하게 하는 패러다임인 Chain-of-Agents(CoA)를 개발했다. 멀티 에이전트 증류와 에이전트형 강화학습으로 훈련된 이 접근법은 다양한 에이전트형 과제에서 SOTA 성능을 달성하면서, 기존 멀티 에이전트 시스템 대비 추론 비용을 84.6% 절감한다.

    • 기존 멀티 에이전트 시스템(MAS)은 LLM 백본이 다중 턴 멀티 에이전트 워크플로우에 맞게 본래적으로 훈련되지 않았기 때문에, 높은 계산 오버헤드, 일반화 문제, 종단간 데이터 중심 학습의 부재라는 한계를 겪는다.
    • 기존 도구 통합 추론(TIR) 모델은 경직된 '사고-행동-관찰' 워크플로우에 제약되어, 유연한 멀티 에이전트 협업 패턴을 본래적으로 지원하지 못한다.
    • MAS와 TIR 패러다임 모두 단일 통합 LLM 안에서 복잡하고 동적인 멀티 에이전트 멀티 도구 오케스트레이션을 학습하기 위해 종단간 훈련을 효과적으로 활용하지 못한다.
    • Chain-of-Agents(CoA) 패러다임은 단일 LLM의 디코딩 과정 안에서 멀티 에이전트 협업을 통합하여, 다양한 역할 수행(예: 사고, 계획, 성찰) 에이전트와 도구 에이전트(예: 검색, 크롤, 코드 생성)를 동적으로 활성화한다.
    • 에이전트형 지도 미세조정(SFT) 프레임워크는 전문가 수준의 멀티 에이전트 시스템 궤적을 CoA 호환 훈련 데이터로 증류하며, 점진적 품질 필터링을 사용해 고품질의 복잡한 문제 해결 패턴을 보장한다.
    • 에이전트형 강화학습(RL)은 결과 기반 보상을 통해 LLM의 멀티 도구 오케스트레이션 정책을 추가로 정교화하여, 까다로운 과제 특화 질의에서 전략적 도구 사용과 적응적 추론을 강화한다.
    초록PDF
  22. 073Routing / EfficiencyarXiv:2508.12631

    Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

    Avengers-Pro는 모델 앙상블에서 동적으로 선택하여 성능-효율 트레이드오프를 최적화하는, 대규모 언어 모델을 위한 테스트 시점 라우팅 프레임워크를 소개한다.

    Avengers-Pro는 모델 앙상블에서 동적으로 선택하여 성능-효율 트레이드오프를 최적화하는, 대규모 언어 모델을 위한 테스트 시점 라우팅 프레임워크를 소개한다. 이 시스템은 GPT-5-medium 대비 평균 정확도가 7% 높았으며, 비슷한 성능을 유지하면서 추론 비용을 27% 절감하여 LLM 시스템의 새로운 파레토 프런티어를 확립했다.

    • 높은 성능(정확도, 추론)과 연산 효율(비용, 지연)의 균형을 맞추는 것은 대규모 언어 모델 발전의 핵심 과제다.
    • 최첨단 독점 LLM은 흔히 상당한 운영 비용과 자원 요구를 수반하여, 광범위하고 비용 효율적인 배포를 제약한다.
    • 기존 LLM용 테스트 시점 라우팅 방법은 흔히 종합 성능에만 주로 집중하거나, 추가 신경망의 복잡한 학습을 요구하여 오버헤드를 더한다.
    • 각 질의에 대해 최적 모델을 동적으로 선택하도록 다양한 LLM 앙상블을 조율하는 테스트 시점 라우팅 프레임워크 Avengers-Pro를 개발했다.
    • 이 프레임워크는 질의 임베딩, 질의의 k-평균 클러스터링, 클러스터별 모델 단위의 성능-효율 점수화라는 세 가지 경량의 비지도 연산에 의존한다.
    • 온라인 추론 중에 들어오는 질의를 임베딩하여 가장 가까운 클러스터에 할당하고, 트레이드오프 파라미터 α로 조정 가능한 종합 성능-효율 점수가 가장 높은 모델로 라우팅한다.
    초록PDF
  23. 072Vision / ReasoningarXiv:2506.22146

    Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs

    Sharif University of Technology 연구진은 입력 이미지에 구조화된 수평선과 순차 스캔 프롬프트를 추가하여 대규모 비전-언어 모델의 시각 추론을 향상시키는 방법 VISER를 개발했다.

    Sharif University of Technology 연구진은 입력 이미지에 구조화된 수평선과 순차 스캔 프롬프트를 추가하여 대규모 비전-언어 모델의 시각 추론을 향상시키는 방법 VISER를 개발했다. 이 접근법은 GPT-4o의 2D 장면 계수 정확도를 최대 26.83% 향상시켰으며, 시각 탐색, 장면 묘사, 공간 추론 과제 전반에서 오류를 일관되게 줄였다.

    • 대규모 비전-언어 모델(LVLM)은 정확한 계수, 공간 추론, 상세한 장면 묘사 같은 정밀한 시각 이해에 어려움을 겪는다.
    • LVLM은 결합 문제를 겪어, 복잡한 장면 내에서 지각 특징을 올바른 시각적 대상과 공간 속성에 안정적으로 연결하지 못한다.
    • 기존 LVLM은 흔히 시각 특징을 병렬로 처리하여, 특히 어수선한 환경에서 간섭과 오귀속 오류를 일으킨다.
    • VISER 방법은 입력 이미지에 등간격 수평선을 추가하여, 이미지를 별개의 시각 구획 또는 행으로 분할한다.
    • '이미지에 존재하는 수평선을 기준으로 이미지를 순차적으로 스캔하라'와 같은 간결한 텍스트 지시를 원본 프롬프트 앞에 덧붙여, LVLM이 영역별로 내용을 처리하도록 유도한다.
    • 이 경량의 모델 비종속적 접근법은 무시할 만한 연산 오버헤드만 도입하며, 아키텍처 변경, 미세조정, 다중 질의 추론을 필요로 하지 않는다.
    초록PDF
  24. 071Reasoning / DataarXiv:2507.01921

    NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks

    Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다.

    Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다. 이 연구는 고품질 추론 데이터를 확장하는 것이 성능을 일관되게 향상시킴을 입증하고, 추론 효율과 전체 정확도를 모두 개선하는 혼합 System-1/System-2 증류 전략을 도입한다.

    • 추론 시연의 어떤 특성이 소형 언어 모델로의 추론 능력 증류에 가장 효과적인지에 대한 체계적 이해가 부족했다.
    • 소수의 수작업으로 선별한 예시로 추론 증류에 충분하다는 지배적인 'Less is More' 가설은 주로 도메인 특화 맥락에서 비롯된 것으로, 일반 추론에 대해서는 재평가가 필요했다.
    • 대규모 언어 모델은 흔히 과잉 사고를 보여 지나치게 긴 추론 트레이스를 생성하며, 이는 추론 비용을 늘리고 실제 배포 효율을 떨어뜨린다.
    • 저자들은 다양한 NaturalReasoning 질문에 대해 DeepSeek-R1(교사)이 생성한 추론 트레이스를 도메인, 메타 추론 전략, 장황함에 따라 주석한 데이터셋 NaturalThoughts를 구축했다.
    • 다양성(예: 질문 주제, 의미 임베딩, 추론 전략)과 난이도(예: 응답 길이, 장황함, 모델 일치도)에 기반한 데이터 선택 전략을 체계적으로 탐구했다.
    • 학생 모델이 추론 시점에 추론 깊이를 조정할 수 있도록, 무작위 및 난이도 기반 혼합을 포함한 혼합 System-1/System-2 증류 접근법을 제안하고 평가했다.
    초록PDF
  25. 070Research Agents / SurveyarXiv:2506.18096

    Deep Research Agents: A Systematic Examination And Roadmap

    이 논문은 딥 리서치(DR) 에이전트에 대한 체계적 검토와 로드맵을 제공하여, 핵심 구성요소를 정의하고 아키텍처를 분류하며 향후 과제를 제시한다.

    이 논문은 딥 리서치(DR) 에이전트에 대한 체계적 검토와 로드맵을 제공하여, 핵심 구성요소를 정의하고 아키텍처를 분류하며 향후 과제를 제시한다. 복잡한 정보 연구 과제를 위해 동적 추론, 적응적 계획, 반복적 도구 사용을 통합하는 AI 시스템 개발의 산발적 노력을 통합하여, 이 분야에 대한 구조화된 이해를 제공한다.

    • 기존 LLM과 RAG를 넘어 동적 추론, 적응적 계획, 반복적 도구 사용을 통합하는 새로운 부류의 AI 시스템에 대한 명확한 정의와 분류 체계가 부재하다.
    • 산발적인 연구 노력을 통합 프레임워크로 모아 공통 아키텍처 패턴과 기반 기술을 이해할 필요가 있다.
    • 기존 평가 벤치마크는 고급 AI 연구 에이전트의 완전한 엔드투엔드 역량을 충분히 평가하지 못하는 한계가 있다.
    • 이 논문은 딥 리서치(DR) 에이전트를 형식적으로 정의하고, 정적 워크플로와 동적 워크플로, 단일 에이전트와 멀티 에이전트 시스템을 구분하는 통합 분류 프레임워크를 제안한다.
    • 정보 획득 전략(API 대 브라우저 기반), 다양한 도구 사용 역량(코드 인터프리터, 멀티모달 처리), 긴 맥락 최적화를 위한 메모리 메커니즘을 포함한 기반 기술을 체계적으로 분석한다.
    • SFT, RL, 비모수적 지속 학습 같은 현재의 튜닝 패러다임을 평가하고, 주요 산업 구현 사례를 검토하며, DR 에이전트를 위한 기존 벤치마크를 비판적으로 평가한다.
    초록PDF
  26. 069Security / AgentsarXiv:2506.23260

    From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows

    새로운 포괄적 위협 모델과 분류 체계는 LLM 기반 AI 에이전트 워크플로에 대한 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시, 프로토콜 취약점의 네 영역으로 분류하며, 각각을 수학적 엄밀성으로 형식적으로 정의한다.

    새로운 포괄적 위협 모델과 분류 체계는 LLM 기반 AI 에이전트 워크플로에 대한 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시, 프로토콜 취약점의 네 영역으로 분류하며, 각각을 수학적 엄밀성으로 형식적으로 정의한다. 이 연구는 다양한 익스플로잇에서의 높은 공격 성공률을 규명하고 이를 현재 에이전트 프레임워크 내의 실질적 함의와 연결한다.

    • LLM 기반 AI 에이전트와 그 복잡한 생태계의 빠른 확산은 표준화되고 견고한 보안 관행을 결여하여 광범위한 취약점으로 이어진다.
    • 현재의 통합은 흔히 임시방편적 인증과 취약한 검증 메커니즘에 의존하여 다양한 형태의 악용에 매우 취약하다.
    • LLM 에이전트에 대한 기존 보안 연구는 파편화되어, 호스트-도구 간에서 에이전트 간 상호작용에 이르는 전체 통신 스택을 가로지르는 위협을 다루는 통합된 엔드투엔드 프레임워크를 제공하지 못했다.
    • 호스트-도구 및 에이전트-에이전트 통신을 아우르며 전체 LLM 에이전트 생태계에 걸친 보안 위험을 체계적으로 분석하는 통합 엔드투엔드 위협 모델을 개발했다.
    • 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시 공격, 프로토콜 취약점의 네 가지 주요 영역으로 분류했다.
    • 각 위협 범주에 대해 엄밀한 수학적 정식화를 제공하여, 공격자 역량, 목표, 영향받는 계층을 명시적으로 정의함으로써 체계적 분석을 가능하게 했다.
    초록PDF
  27. 068RAG / AgentsarXiv:2506.21931

    ARAG: Agentic Retrieval Augmented Generation for Personalized Recommendation

    Walmart Global Tech는 개인화 추천을 위해 맥락 검색과 항목 순위 매기기를 정교화하는 에이전트형 멀티 에이전트 프레임워크 ARAG를 개발했다.

    Walmart Global Tech는 개인화 추천을 위해 맥락 검색과 항목 순위 매기기를 정교화하는 에이전트형 멀티 에이전트 프레임워크 ARAG를 개발했다. 이 접근법은 다양한 Amazon 카테고리의 상품 추천 과제에서 베이스라인 대비 NDCG@5를 최대 42.12%, Hit@5를 35.54% 향상시키며 추천 정확도를 크게 개선한다.

    • 개인화 추천을 위한 기존 검색 증강 생성(RAG) 시스템은 미묘한 사용자 선호를 충분히 포착하지 못하는 단순한 검색 메커니즘(예: 코사인 유사도)에 의존한다.
    • 기존 RAG 방법은 암묵적 선호를 이해하고, 긴 형식의 사용자 문서를 처리하며, 다면적 맥락 요인에 기반해 항목을 동적으로 순위 매기는 데 어려움을 겪는다.
    • 추천에 대규모 언어 모델(LLM)을 직접 사용하는 것은 연산 부담이 크고 환각에 취약하며 고정된 지식 컷오프로 제한되어, 견고한 그라운딩이 필요하다.
    • ARAG는 전문화된 LLM 에이전트들이 협력하여 개인화 추천을 위한 맥락 검색과 항목 순위를 정교화하는 멀티 에이전트 프레임워크를 제안한다.
    • 복잡한 추천 과제를 분해하기 위해 사용자 이해 에이전트(UUA), 자연어 추론(NLI) 에이전트, 맥락 요약 에이전트(CSA), 항목 순위 에이전트(IRA)를 활용한다.
    • 에이전트들은 칠판 방식 협업으로 동작하며, UUA와 NLI가 병렬로 실행된 뒤 CSA, 그다음 IRA가 이어져 사용자 선호를 종합하고 이를 후보 항목과 정렬한다.
    초록PDF
  28. 067Scientific AI / SurveyarXiv:2507.01903

    AI4Research: A Survey of Artificial Intelligence for Scientific Research

    Harbin Institute of Technology와 협력 기관 연구진은 과학 연구를 위한 인공지능(AI4Research)에 대한 체계적 서베이를 제시하여, 그 범위를 정의하고 연구 전 주기에 걸친 포괄적 분류 체계를 제안하며 중요한 향후 방향을 제시한다.

    Harbin Institute of Technology와 협력 기관 연구진은 과학 연구를 위한 인공지능(AI4Research)에 대한 체계적 서베이를 제시하여, 그 범위를 정의하고 연구 전 주기에 걸친 포괄적 분류 체계를 제안하며 중요한 향후 방향을 제시한다. 이 연구는 AI4Research와 AI4Science의 구분을 명확히 하고, 과학적 이해부터 동료 심사에 이르는 AI의 성장하는 역량을 보여주는 한편, 윤리적이고 설명 가능하며 완전 자율적인 시스템 구현의 중대한 과제를 부각한다.

    • 대규모 언어 모델(LLM)과 그 과학 혁신 응용에서의 빠른 발전에도 불구하고, 과학 연구의 전 주기(AI4Research)를 구체적으로 다루는 포괄적이고 체계적인 서베이가 부재했다.
    • 기존 서베이는 일반적으로 과학적 발견을 위한 AI(AI4Science) 같은 보다 좁은 하위 영역에 집중하여, 학술 워크플로에 대한 AI의 폭넓은 영향에 관한 이해가 파편화되었다.
    • 통합된 관점의 부재는 체계적 이해를 저해하고 과학 연구의 모든 단계에 AI를 활용하는 추가 발전을 가로막았다.
    • 저자들은 AI 응용을 연구 주기 내 다섯 가지 주요 과제, 즉 과학적 이해, 학술 서베이, 과학적 발견, 학술 저술, 학술 동료 심사로 분류하는 체계적 분류 체계를 개발했다.
    • AI4Research를 형식적으로 정의하고 보다 좁은 AI4Science와 구분하였으며, 각 단계에서의 AI 역할을 이해하기 위한 엄밀한 구성요소별 프레임워크를 제공했다.
    • 각 구성요소에 대해 광범위한 문헌 검토를 수행하여 현재의 방법론, 선구적 연구, 실증적 요약을 종합하고, 도구, 데이터셋, 벤치마크 같은 실용 자원을 정리하여 함께 제시했다.
    초록PDF
  29. 066Agents / SLMsarXiv:2506.02153

    Small Language Models are the Future of Agentic AI

    NVIDIA와 Georgia Institute of Technology 연구진은 소형 언어 모델(SLM)이 에이전트형 AI 시스템에 최적의 선택지이며, 대다수 과제에서 대규모 언어 모델(LLM) 대비 충분한 성능을 갖추면서도 우수한 운영 적합성과 경제적 이점을 제공한다고 주장한다.

    NVIDIA와 Georgia Institute of Technology 연구진은 소형 언어 모델(SLM)이 에이전트형 AI 시스템에 최적의 선택지이며, 대다수 과제에서 대규모 언어 모델(LLM) 대비 충분한 성능을 갖추면서도 우수한 운영 적합성과 경제적 이점을 제공한다고 주장한다. 이 연구는 더 효율적이고 지속 가능하며 민주화된 AI 에이전트 개발로의 패러다임 전환을 옹호한다.

    • AI 에이전트에 대한 현재 지배적인 LLM 중심 패러다임은 추론에 필요한 막대한 연산 수요로 인해 높은 경제적 비용을 초래한다.
    • 범용 LLM은 에이전트형 워크플로에서 흔한 반복적이고 전문적인 하위 과제를 수행할 때 운영 비효율과 지연 증가를 보인다.
    • LLM 구동에 따르는 막대한 에너지 소비는 환경 지속가능성 우려를 제기하며, 이들은 흔히 좁은 에이전트형 과제에 대한 정밀한 전문화가 부족하다.
    • 이 논문은 대부분의 에이전트형 호출에 대한 주된 연산 단위로서 전문화된 소형 언어 모델(SLM)로의 패러다임 전환을 제안한다.
    • 일상적이고 전문적인 과제에는 SLM을 활용하고 복잡한 일반 추론에는 LLM을 남겨두는 이종 에이전트 아키텍처를 옹호한다.
    • 데이터 수집, 과제 클러스터링, 미세조정, 지속적 개선을 포함하여 LLM 중심 에이전트 애플리케이션을 SLM 전문가로 전환하는 실용적인 6단계 알고리즘을 제공한다.
    초록PDF
  30. 065Reasoning / Small ModelsarXiv:2504.15777

    Tina: Tiny Reasoning Models via LoRA

    University of Southern California의 연구 프로젝트 Tina는 언어 모델에 강력한 추론 능력을 부여하는 매우 비용 효율적인 접근법을 제시한다.

    University of Southern California의 연구 프로젝트 Tina는 언어 모델에 강력한 추론 능력을 부여하는 매우 비용 효율적인 접근법을 제시한다. 작은 1.5B 기반 모델과 LoRA 기반 강화학습을 결합하면 동일 기반 모델로 구축된 최첨단 RL 모델의 추론 성능에 필적하거나 이를 능가할 수 있으며, 단일 모델 기준 사후 학습 비용을 9 USD 수준까지 낮춰 이를 달성함을 보인다.

    • 대규모 언어 모델에서 견고한 다단계 추론을 달성하는 것은 여전히 중대한 과제로 남아 있다.
    • 지도 미세조정이나 강화학습 같은 현재의 LLM 추론 향상 방법은 자원 집약적이며, 흔히 막대한 연산 능력과 대형 모델을 요구한다.
    • RL 파이프라인의 높은 비용과 복잡성은 언어 모델을 위한 RL 기반 추론에 대한 접근성과 폭넓은 연구를 제약한다.
    • 초기 추론 적성으로 알려진 작은 15억 파라미터 기반 모델 DeepSeek-R1-Distill-Qwen-1.5B를 활용한다.
    • GRPO 방식 알고리즘을 사용한 파라미터 효율적 강화학습을 위해 Low-Rank Adaptation(LoRA)을 적용하여, 모델 파라미터의 일부만 업데이트한다.
    • 비용 효율성과 기존 모델과의 직접 비교 가능성을 확보하기 위해, 두 개의 NVIDIA L40S GPU와 공개된 추론 데이터셋을 이용한 최소주의적 학습 설정을 활용한다.
    초록PDF
  31. 064RL / InferencearXiv:2504.16084

    TTRL: Test-Time Reinforcement Learning

    TTRL은 다수결 투표에서 도출한 자체 생성 보상을 사용해, 레이블이 없는 테스트 데이터에 대한 강화학습을 통해 대규모 언어 모델이 스스로 개선하도록 하는 프레임워크다.

    TTRL은 다수결 투표에서 도출한 자체 생성 보상을 사용해, 레이블이 없는 테스트 데이터에 대한 강화학습을 통해 대규모 언어 모델이 스스로 개선하도록 하는 프레임워크다. 이 접근법은 자기 강화 학습 루프를 형성함으로써 복잡한 추론 과제에서 성능을 크게 끌어올리며, 한 모델은 AIME 2024에서 211%의 향상을 달성했다.

    • 추론 과제에 대규모 언어 모델용 강화학습을 적용하는 것은 보상 추정에 필요한 사람이 주석을 단 정답 레이블의 높은 비용과 희소성으로 인해 병목에 부딪힌다.
    • 기존 LLM용 RL 방법은 지도된 보상 신호에 크게 의존하기 때문에, 새로 마주하거나 레이블이 없는 테스트 데이터에서 지속적인 자기 개선이 어렵다.
    • 추론 시점에 명시적 보상 신호를 얻을 수 없다는 점은 사람의 개입 없이 LLM이 새로운 분포에 적응하고 일반화를 향상시키는 능력을 제한한다.
    • RL을 사용해 테스트 시점에 LLM이 파라미터를 업데이트하고 일반화를 향상시킬 수 있게 하는 프레임워크인 테스트 시점 강화학습(TTRL)을 도입한다.
    • 모델 출력을 반복 샘플링하고 다수결 투표로 합의 출력을 도출함으로써, 명시적 정답 레이블 없이 보상 신호를 생성한다.
    • 각 샘플 출력이 다수결로 결정된 의사 레이블과 일치하는지에 따라 규칙 기반 이진 보상을 계산하며, 이를 GRPO와 같은 RL 알고리즘으로 모델 정책을 최적화하는 데 사용한다.
    초록PDF
  32. 063Vision-LanguagearXiv:2504.16072

    Describe Anything: Detailed Localized Image and Video Captioning

    NVIDIA와 UC Berkeley 연구진은 포컬 프롬프트 메커니즘과 국소화 비전 백본을 통해 이미지와 영상 내 특정 영역에 대한 상세 캡션을 생성하는 비전-언어 아키텍처 DAM(Describe Anything Model)을 소개한다. 준지도 학습 파이프라인으로 데이터 부족 문제를 해결하면서 7개 벤치마크에서 최첨단 성능을 달성한다.

    NVIDIA와 UC Berkeley 연구진은 포컬 프롬프트 메커니즘과 국소화 비전 백본을 통해 이미지와 영상 내 특정 영역에 대한 상세 캡션을 생성하는 비전-언어 아키텍처 DAM(Describe Anything Model)을 소개한다. 준지도 학습 파이프라인으로 데이터 부족 문제를 해결하면서 7개 벤치마크에서 최첨단 성능을 달성한다.

    • 기존 비전-언어 모델은 이미지와 영상 내 특정 영역에 대해 상세하고 정확한 캡션을 생성하는 데 어려움을 겪는다.
    • 상세한 국소 캡션 모델을 학습시키기 위한 고품질 데이터셋의 가용성이 제한적이다.
    • 현재의 평가 지표는 종종 포괄적인 세부 정보가 부족한 참조 캡션에 의존한다.
    • 다중 세분성 영역 캡션을 위해 포컬 프롬프트와 국소화 비전 백본을 갖춘 DAM 아키텍처를 개발했다.
    • 분할 데이터셋과 레이블이 없는 웹 이미지를 활용하는 SSL 기반 데이터 파이프라인 DLC-SDP를 구축했다.
    • 참조 캡션 없이 상세 국소 캡션을 평가하기 위한 DLC-Bench를 도입했다.
    초록PDF
  33. 062GUI AgentsarXiv:2501.12326

    UI-TARS: Pioneering Automated GUI Interaction with Native Agents

    이 논문은 모듈형 프레임워크나 외부 API에 의존하지 않고 스크린샷을 인식해 사람과 유사한 상호작용을 수행하는 네이티브 GUI 에이전트 모델 UI-TARS를 소개한다.

    이 논문은 모듈형 프레임워크나 외부 API에 의존하지 않고 스크린샷을 인식해 사람과 유사한 상호작용을 수행하는 네이티브 GUI 에이전트 모델 UI-TARS를 소개한다.

    • 기존 GUI 에이전트는 확장성을 제약하는 텍스트 기반 표현과 모듈형 프레임워크에 크게 의존한다.
    • 엔드투엔드 GUI 에이전트를 학습시키기 위한 대규모 고품질 데이터가 부족하다.
    • 복잡한 GUI 시나리오는 현재 접근법이 갖추지 못한 고도의 인식, 추론, 조율 능력을 요구한다.
    • 스크린샷을 직접 처리해 인터페이스와 상호작용하는 엔드투엔드 모델 UI-TARS를 개발했다.
    • 자동 수집과 큐레이션을 통해 인식, 그라운딩, 동작 트레이스를 위한 대규모 데이터셋을 구축했다.
    • 사고 증강과 반성 튜닝을 통해 시스템 2 추론 능력을 통합했다.
    초록PDF
  34. 061LLMs / EfficiencyarXiv:2504.12285

    BitNet b1.58 2B4T Technical Report

    Microsoft Research는 4조 토큰으로 사전 학습된, 20억 파라미터 규모의 최초 오픈소스·원천 학습 1비트 대규모 언어 모델 BitNet b1.58 2B4T를 도입한다.

    Microsoft Research는 4조 토큰으로 사전 학습된, 20억 파라미터 규모의 최초 오픈소스·원천 학습 1비트 대규모 언어 모델 BitNet b1.58 2B4T를 도입한다. 이 모델은 유사한 크기의 완전 정밀도 LLM과 경쟁력 있는 성능을 달성하면서도 훨씬 적은 메모리(0.4 GB)를 요구하고, 더 낮은 디코딩 지연(29 ms)을 보이며, 에너지를 훨씬 적게 소비한다.

    • 대규모 언어 모델은 계산 집약적이어서 상당한 메모리와 에너지를 요구하고 높은 지연을 유발한다.
    • 이러한 자원 요구는 엣지 디바이스 및 실시간 응용에서의 LLM 배포를 제약한다.
    • 이전의 1비트 양자화 기법은 성능을 저하시키거나(사후 학습 양자화), 경쟁력 있는 모델 크기로 확장되지 못했다.
    • 1.58비트 가중치와 8비트 활성값을 위한 맞춤형 BitLinear 계층을 갖춘 수정된 Transformer 구조를 구현한다.
    • 전례 없는 4조 토큰 사전 학습으로 시작하여 지도 미세 조정과 Direct Preference Optimization으로 이어지는 다단계 학습 방식을 활용한다.
    • GPU와 CPU 모두에서 효율적인 W1.58A8 연산을 위한 맞춤형 커널을 갖춘 특수 추론 라이브러리를 개발하고 오픈소스로 공개한다.
    초록PDF
  35. 060Reasoning / RLarXiv:2504.13837

    Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

    Tsinghua University의 연구는 현재의 검증 가능한 보상 기반 강화 학습(RLVR)이 주로 이미 존재하는 추론 패턴에 대한 대규모 언어 모델의 샘플링 효율을 향상시킨다는 점을 밝혀낸다.

    Tsinghua University의 연구는 현재의 검증 가능한 보상 기반 강화 학습(RLVR)이 주로 이미 존재하는 추론 패턴에 대한 대규모 언어 모델의 샘플링 효율을 향상시킨다는 점을 밝혀낸다. 이러한 최적화는 종종 더 높은 pass@k 값에서 모델의 전반적 추론 능력을 좁히는데, 이는 문제 해결 범위를 효과적으로 확장하는 증류와 대조된다.

    • 전통적 RL이 새로운 전략을 발견하는 것과 유사하게, RLVR이 LLM에 새로운 추론 능력을 획득하게 한다는 통념이 있다.
    • 현재의 RLVR이 LLM이 풀 수 있는 문제의 범위를 진정으로 확장하는지, 아니면 단지 기존 해법의 샘플링을 최적화할 뿐인지에 대한 엄밀한 조사가 없다.
    • 전통적 평가 지표는 LLM의 전체 추론 잠재력이나 '추론 능력 경계'를 정확히 포착하지 못하는 경우가 많다.
    • k회 시도 내에 풀 수 있는 문제의 비율을 측정하여 LLM의 '추론 능력 경계'를 정의하는 견고한 평가 지표로 pass@k를 도입했다.
    • 다양한 LLM 계열, 크기, 여러 RL 알고리즘(PPO, GRPO 등), 다양한 과제 영역(수학, 코드, 시각적 추론) 전반에 걸쳐 추론 능력을 체계적으로 평가했다.
    • RLVR이 생성한 추론 경로가 새로운 것인지 아니면 이미 기반 모델의 분포 안에 있는지 판단하기 위해, 퍼플렉서티 분석과 해결 가능 문제 커버리지를 포함한 심층 분석 기법을 활용했다.
    초록PDF
  36. 059Architecture / TrainingarXiv:2503.24322

    NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation

    NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다.

    NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다. 생성형 확산 및 흐름 정합 모델에서 영감을 받은 이 접근법은 전통적 역전파에 필적하는 분류 정확도를 달성하면서도 메모리 소비를 크게 줄이고 학습 병렬성을 향상시킨다.

    • 전통적 역전파는 '가중치 수송 문제'와 순방향·역방향 패스의 동기화 요구 때문에 생물학적으로 타당하지 않다.
    • 전체 역전파는 중간 활성값을 저장해야 해 상당한 메모리 부담을 초래하며, 순차적 의존성 때문에 네트워크 계층 간 진정한 병렬화를 제한한다.
    • 역전파의 전역 오차 신호와 순차적 신용 할당은 평생 학습 시나리오에서 파국적 망각과 간섭 같은 문제를 유발할 수 있다.
    • 노이즈 제거 확산 및 흐름 정합 모델에서 영감을 받은 블록 단위 신경망 학습 방법 NoProp을 도입한다.
    • 각 네트워크 블록은 해당 블록 내에서만 지역적 역전파를 활용하여 목표 레이블의 잡음 섞인 버전을 '노이즈 제거'하는 법을 독립적으로 학습한다.
    • 입력과 목표 레이블을 모든 블록에 '브로드캐스트'하여, 전역 오차 신호 전파 없이도 각 블록의 목적을 독립적으로 최적화할 수 있게 한다.
    초록PDF
  37. 058Agents / Self-AwarenessarXiv:2504.03553

    Agentic Knowledgeable Self-awareness

    LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다.

    LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다. 이는 ALFWorld 및 WebShop 데이터셋에서 기존 베이스라인을 일관되게 능가하면서도 훨씬 낮은 지식 사용률을 유지하며, GPT-4o 같은 더 큰 모델에 필적하거나 이를 능가하는 성능을 달성한다.

    • 현재의 LLM 에이전트는 '상황적 자기 인식'이 부족하여 성찰이나 외부 지식 같은 인지 자원을 무분별하고 비효율적으로 사용한다.
    • 기존 에이전트 학습 방법은 예상치 못한 신호에 취약하고 '패턴 붕괴'에 빠지기 쉬우며, 획일적인 접근 방식 때문에 높은 추론 비용을 초래한다.
    • 에이전트는 복잡하고 동적인 환경에서 자신의 능력을 동적으로 평가하는 데 어려움을 겪어 차선의 의사 결정에 이른다.
    • KnowSelf는 에이전트의 실시간 인지 자원 필요를 판단하기 위해 3단계 상황 분류(Fast, Slow, Knowledgeable Thinking)를 도입한다.
    • 경량 오프라인 지식 시스템을 구축하고, 에이전트가 탐색한 궤적에 필요한 사고 유형을 나타내는 특수 토큰을 덧붙여 자기 인식 데이터셋을 생성한다.
    • 2단계 미세 조정 과정(SFT 및 RPO)으로 에이전트가 상황 단서를 적절한 인지 반응과 연결하도록 학습시켜, 추론 중에 성찰이나 외부 지식을 동적으로 활성화할 수 있게 한다.
    초록PDF
  38. 057Knowledge Graphs / LLMsarXiv:2504.03137

    LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph

    Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

    Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

    • 기존 KG 강화 LLM 접근법은 크고 계산 비용이 높은 모델과 복잡한 KG 순회 전략에 의존한다.
    • 현재 방법은 지식 그래프 내 구조적 정보를 효과적으로 활용하지 못해 정보 중복과 부정확한 추론을 초래한다.
    • 추론 그래프 검색, 소형 Transformer 어댑터를 통한 지식 임베딩, 혼합 프롬프트 추론을 결합한 3-모듈 프레임워크다.
    • LLM 파라미터는 동결한 채 Knowledge Adapter만 조정하는 파라미터 효율적 학습 방식이다.
    • 텍스트 내용과 그래프 구조를 모두 임베딩으로 변환하여 소프트 프롬프트로 사용함으로써 지식 통합을 개선한다.
    • LLM 기반 점수화를 적용한 제약된 너비 우선 탐색이 지식 그래프에서 관련 추론 경로를 검색하는 데 도움을 준다.
    초록PDF
  39. 056Pre-training / ReasoningarXiv:2504.04022

    Rethinking Reflection in Pre-Training

    Essential AI의 연구는 대규모 언어 모델의 성찰적 추론 능력이 사전 학습 단계에서 출현하여 꾸준히 향상됨을 보여주며, 이러한 능력이 오직 사후 학습의 결과라는 통념에 도전한다.

    Essential AI의 연구는 대규모 언어 모델의 성찰적 추론 능력이 사전 학습 단계에서 출현하여 꾸준히 향상됨을 보여주며, 이러한 능력이 오직 사후 학습의 결과라는 통념에 도전한다. 이 연구는 새로운 적대적 데이터셋을 사용해 성찰을 체계적으로 측정하고, 사전 학습 계산량과 명시적·암묵적 성찰(자기 교정 포함)의 발달 사이에 강한 상관관계가 있음을 입증한다.

    • 대규모 언어 모델의 '성찰' 같은 복잡한 인지 능력이 주로 사후 학습 단계(미세 조정, 강화 학습 등)에서 출현한다는 통념이 있다.
    • 다양한 사전 학습 단계 전반에 걸쳐 성찰을 측정하는 체계적이고 확장 가능한 방법이 없다.
    • 표준 추론 데이터셋을 사용한 성찰 벤치마킹은 성찰 행동이 희소하고 오류 패턴이 다양하여 어렵다.
    • 세밀한 측정 프레임워크를 제공하기 위해 성찰의 여러 측면(상황적, 자기, 명시적, 암묵적)을 정의했다.
    • 추론 사슬에 인간과 유사한 오류를 도입하여 성찰을 체계적으로 유도하고 측정하기 위해, 적대적 사고 사슬(CoT) 데이터셋을 생성하는 프로그래밍 방식을 개발했다.
    • 프롬프트 기반 LLM 분류기를 사용해 명시적 성찰을 탐지하고 네 가지 핵심 지표인 정확도, 명시적 성찰 비율, 명시적 성찰 정확도, 암묵적 성찰 정확도를 측정했다.
    초록PDF
  40. 055Reasoning / EfficiencyarXiv:2504.05185

    Concise Reasoning via Reinforcement Learning

    Wand AI 연구진은 추론 과제에서 흔히 보이는 대규모 언어 모델의 장황함이 더 깊은 추론의 신호가 아니라 최적화 부산물이라는 이론을 제시했다.

    Wand AI 연구진은 추론 과제에서 흔히 보이는 대규모 언어 모델의 장황함이 더 깊은 추론의 신호가 아니라 최적화 부산물이라는 이론을 제시했다. 이들은 다양한 수학 및 STEM 벤치마크 전반에서 정확도를 유지하거나 향상시키면서 DeepSeek-R1-Distill 모델의 응답 길이를 40~54% 이상 크게 줄이는 2단계 강화 학습 전략을 개발했으며, 작은 데이터셋으로도 효과적인 학습이 가능함을 입증했다.

    • 강화 학습(RL)을 통해 추론 과제에 맞춰 강화된 대규모 언어 모델(LLM)은 과도하게 장황한 사고 사슬 출력을 생성하는 경향이 있어 높은 계산 비용과 추론 지연을 초래한다.
    • 추론 정확도를 위해 응답 길이가 필요한지에 대해 기존 문헌에는 상충하는 관찰이 존재하는데, 일부는 더 긴 응답이 정확도를 높인다고 보는 반면 다른 일부는 수익 체감을 발견한다.
    • RL 학습이 응답 길이에 영향을 미치는 근본 메커니즘과, 이러한 장황함이 추론의 본질적 구성 요소인지 아니면 부산물인지는 충분히 이해되지 않았다.
    • 추론을 마르코프 결정 과정(MDP)으로 구성하여, 음의 보상이 어떻게 정책을 장황함으로 이끄는지 규명하기 위해 Proximal Policy Optimization(PPO)과 Generalized Reinforcement Learning with Policy Optimization(GRPO)의 손실 동역학에 대한 이론적 분석을 수행했다.
    • 새로운 2단계 RL 학습 절차를 제안했다. 먼저 어려운 문제에 대한 추론 강화를 위한 초기 단계를 거친 후, 가끔 풀 수 있는 문제로 이루어진 작은 데이터셋에서 간결함을 명시적으로 강제하는 두 번째 단계를 진행한다.
    • 양의 보상이 더 짧은 응답을, 음의 보상이 더 긴 응답을 유도하는 PPO의 고유한 특성(GAE λ가 1보다 작음)을 활용하여, 정확도를 희생하지 않고 모델을 간결함으로 이끌었다.
    초록PDF
  41. 054InterpretabilityarXiv:2504.07096

    OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

    OLMOTRACE는 축약 없는 일치를 식별하여 언어 모델의 출력을 그 전체 수조 토큰 규모의 학습 데이터로 실시간 추적할 수 있는 최초의 시스템을 도입한다.

    OLMOTRACE는 축약 없는 일치를 식별하여 언어 모델의 출력을 그 전체 수조 토큰 규모의 학습 데이터로 실시간 추적할 수 있는 최초의 시스템을 도입한다. 이 시스템은 평균 458 토큰 응답에 대해 평균 4.46초의 추론 지연 시간을 달성하며, 대부분의 축약 없는 일치가 사전 학습 데이터에서 비롯됨을 밝혀낸다.

    • 대규모 언어 모델(LLM)은 '블랙박스'로 작동하여 특정 출력을 생성하는 이유를 이해하기 어렵게 만든다.
    • 영향 함수 같은 기존 해석 가능성 방법은 현대 LLM 학습 데이터셋의 수조 토큰 규모에서 계산적으로 다루기 어렵다.
    • LLM에서 암기의 정도를 효율적으로 분석하거나, 사실 주장의 출처를 찾거나, 생성된 텍스트의 기원을 식별할 도구가 부족하여 투명성, 저작권, PII에 대한 우려를 야기한다.
    • OLMOTRACE는 확장된 infini-gram 인덱스를 활용하여 수조 토큰 규모의 학습 데이터셋 내에서 최대 축약 없는 일치 구간을 효율적으로 찾는 시스템을 개발했다.
    • 방법론은 다섯 단계로 구성된다. 최대 일치 구간 식별, 길고 고유한 구간 필터링, 포함 문서 검색, 중복 병합, 그리고 BM25를 사용한 관련성 기준 문서 재순위화다.
    • 프로덕션 시스템은 Google Cloud의 고-IOPS SSD를 활용하여 대규모 데이터에 대한 실시간 성능에 필요한 디스크 I/O 처리량을 보장한다.
    초록PDF
  42. 053Reasoning / SurveyarXiv:2503.24377

    Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

    CUHK 및 협력 기관 연구진의 종합 서베이는 대규모 언어 모델에서 '추론 경제'라는 개념을 정립한다. 모델의 행동과 사용에서 나타나는 비효율을 검토하고, 사후 학습 및 테스트 시점 응용 전반에 걸쳐 추론 성능과 계산 비용 사이의 균형을 최적화하는 프레임워크를 제공한다.

    CUHK 및 협력 기관 연구진의 종합 서베이는 대규모 언어 모델에서 '추론 경제'라는 개념을 정립한다. 모델의 행동과 사용에서 나타나는 비효율을 검토하고, 사후 학습 및 테스트 시점 응용 전반에 걸쳐 추론 성능과 계산 비용 사이의 균형을 최적화하는 프레임워크를 제공한다.

    • 현재의 LLM은 과도한 계산과 불필요한 사고 같은 비효율적인 추론 행동을 보인다.
    • 추론 능력과 계산 비용 사이의 트레이드오프를 최적화하는 방법에 대한 체계적 이해가 부족하다.
    • 추론 비효율과 잠재적 해결책을 분류하는 구조화된 프레임워크를 개발한다.
    • 최적화 접근법을 행동 규제(사후 학습)와 사용 개선(테스트 시점)으로 분류한다.
    • 추론 비효율은 모델 행동(길이 편향, 기만적 사고)과 모델 사용(부적절한 알고리즘 선택, 계산 자원 할당) 양쪽에서 비롯된다.
    • 해결책은 사후 학습 측면(데이터 품질, 구조)과 테스트 시점 전략(예산 할당, 적응형 디코딩)을 모두 다루어야 한다.
    초록PDF
  43. 052Reasoning / EfficiencyarXiv:2504.00810

    Z1: Efficient Test-time Scaling with Code

    Tsinghua 대학과 Yale 대학 연구진은 코드 기반 학습과, 문제 복잡도에 따라 추론 깊이를 조정하는 새로운 'Shifted Thinking Window' 메커니즘을 통해, 성능을 유지하면서도 언어 모델 추론의 토큰 소비를 70% 줄이는 테스트 시점 스케일링 프레임워크 Z1을 도입한다.

    Tsinghua 대학과 Yale 대학 연구진은 코드 기반 학습과, 문제 복잡도에 따라 추론 깊이를 조정하는 새로운 'Shifted Thinking Window' 메커니즘을 통해, 성능을 유지하면서도 언어 모델 추론의 토큰 소비를 70% 줄이는 테스트 시점 스케일링 프레임워크 Z1을 도입한다.

    • 대규모 언어 모델은 추론 과제 중에 과도한 토큰을 소비하는데, 특히 정교한 사고 단계가 필요 없는 단순한 문제에서도 그렇다.
    • 기존 접근법은 토큰 사용을 제어하면서 테스트 시점에 추론 능력을 확장하는 효율적인 방법이 부족하다.
    • 균형 잡힌 짧은 궤적과 긴 궤적으로 신중하게 선별한 코드 추론 데이터셋(107K개 예시)으로 모델을 미세 조정한다.
    • 추론 토큰 수를 제한하고 임계값 초과 시 직접 답변을 강제하는 'Shifted Thinking Window'를 구현한다.
    • 문맥 구분자를 제거하여 추론 깊이를 유연하게 조정할 수 있게 한다.
    • 더 긴 추론 궤적과 더 큰 데이터셋 규모가 효과적인 추론 유도에 핵심적이다.
    초록PDF
  44. 051Search / AgentsarXiv:2503.20201

    Open Deep Search: Democratizing Search with Open-source Reasoning Agents

    여러 기관의 공동 연구로 검색 도구와 추론 에이전트를 결합한 오픈소스 프레임워크 Open Deep Search(ODS)를 제시한다. 이는 독점 검색 AI 솔루션에 필적하거나 이를 능가하여 FRAMES 벤치마크에서 GPT-4 with Search Preview 대비 9.7%의 정확도 향상을 달성하는 동시에, 어떤 기반 언어 모델과도 맞춤 통합이 가능하다.

    여러 기관의 공동 연구로 검색 도구와 추론 에이전트를 결합한 오픈소스 프레임워크 Open Deep Search(ODS)를 제시한다. 이는 독점 검색 AI 솔루션에 필적하거나 이를 능가하여 FRAMES 벤치마크에서 GPT-4 with Search Preview 대비 9.7%의 정확도 향상을 달성하는 동시에, 어떤 기반 언어 모델과도 맞춤 통합이 가능하다.

    • 기존 독점 검색 AI 솔루션은 투명성, 혁신, 커뮤니티 주도 개발을 제한한다.
    • 현재의 오픈소스 검색 도구는 정교한 질의 처리 및 문맥 검색 능력이 부족하다.
    • 질의 재구성, 고급 검색, 문맥 증강을 갖춘 Open Search Tool을 제시한다.
    • 질의를 해석하고 도구 사용을 조율하는 두 가지 추론 에이전트 구조인 ReAct와 CodeAct를 제시한다.
    • 어떤 기반 언어 모델과도 통합 가능한 플러그앤플레이 프레임워크다.
    • 결과 품질에 기반한 적응형 웹 검색이 효율성과 정확도를 향상시킨다.
    초록PDF
  45. 050InterpretabilityarXiv:2504.02732

    Why do LLMs attend to the first token?

    대규모 언어 모델은 주로 첫 번째 토큰을 향하는 어텐션 싱크를 학습한다. 이는 과도한 혼합과 표현 붕괴로 알려진 정보 열화를 막는 근본적 메커니즘이며, 특히 긴 문맥을 처리할 때 성능을 유지하는 데 핵심적이다.

    대규모 언어 모델은 주로 첫 번째 토큰을 향하는 어텐션 싱크를 학습한다. 이는 과도한 혼합과 표현 붕괴로 알려진 정보 열화를 막는 근본적 메커니즘이며, 특히 긴 문맥을 처리할 때 성능을 유지하는 데 핵심적이다. 추론 시점에 이러한 싱크를 제거하면 다양한 과제 전반에서 모델의 유용성이 심각하게 손상된다.

    • 대규모 언어 모델이 첫 번째 토큰에 불균형하게 주의를 기울이는 '어텐션 싱크'라는 지속적이고 설명되지 않은 현상에는 기능적 설명이 부족했다.
    • 랭크 붕괴, 표현 붕괴, 과도한 압착을 포함한 깊은 Transformer의 정보 열화 문제는 특히 긴 시퀀스에서 개별 토큰 정보의 손실을 초래한다.
    • 어텐션 싱크가 왜 발생하며 어떤 기능적 목적을 수행하는지에 대한 근본적 이해가 기존 문헌에는 빠져 있었다.
    • 이 논문은 어텐션 싱크를 과도한 혼합 및 표현 붕괴와 이론적으로 연결하고, 싱크가 정보 흐름을 어떻게 조절하는지 정량화하는 새로운 과도한 압착 한계를 도출한다.
    • 최첨단 LLM인 Gemma 7B와 LLaMa 3.1 계열에 대한 광범위한 실증 검증을 섭동 분석, 어텐션 패턴 정밀 조사, 표적 절제 연구를 통해 수행했다.
    • 통제된 사전 학습 실험을 통해 문맥 길이, 모델 규모, 그리고 어텐션 싱크의 형성 및 강도 사이의 인과 관계를 입증했다.
    초록PDF
  46. 049Medical AI / RAGarXiv:2503.23513

    RARE: Retrieval-Augmented Reasoning Modeling

    RARE는 동적으로 검색된 외부 정보로 추론하도록 모델을 학습시켜 지식 저장과 추론 최적화를 분리하는 대규모 언어 모델 패러다임을 제시한다.

    RARE는 동적으로 검색된 외부 정보로 추론하도록 모델을 학습시켜 지식 저장과 추론 최적화를 분리하는 대규모 언어 모델 패러다임을 제시한다. 이 접근은 경량 모델이 도메인 특화 벤치마크에서 최신 수준의 정확도를 달성하게 하며, 종종 훨씬 큰 검색 증강 모델을 능가하는 동시에 효율성과 견고성도 개선한다.

    • 대규모 언어 모델(LLM)은 전문 도메인에서 지식 환각과 불충분한 추론 능력을 보인다.
    • 검색 증강 생성(RAG) 같은 기존 접근은 주로 추론 시점에 지식을 보충할 뿐, 학습 중 도메인 특화 추론의 체계적 학습은 소홀히 한다.
    • 도메인 지식을 위한 기존의 파인튜닝이나 사전 학습은 비용이 크고 지식 얽힘을 초래하며, 파라미터 예산 제약 때문에 환각에 취약하다.
    • 도메인 지식을 검색 가능한 출처로 외부화하고 도메인 특화 추론 패턴을 LLM 내부에 내재화한다.
    • 교사 모델을 활용해 검색된 지식을 포함한 고품질의 단계별 추론 응답을 증류한다.
    • 검색된 지식을 프롬프트에 주입하는 마스킹 손실 목적함수를 사용해 경량 학생 모델을 학습시켜, 모델이 제공된 정보를 통합하고 그것으로 추론하는 데 집중하도록 강제한다.
    초록PDF
  47. 048Research AgentsarXiv:2503.22708

    CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation

    CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다.

    CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다. 이 시스템은 LLM 신뢰도, 지식 그래프 복잡성, 텍스트 세계 생성 방법에 대한 통찰 등 여러 연구 영역에 걸쳐 여섯 가지 별개의 발견을 성공적으로 생성하고 검증했다.

    • 기존 자율 과학 발견(ASD) 시스템은 종종 연구 파이프라인의 특정 부분에 집중하거나 도메인 특화 언어에 의존해 잠재적 발견의 범위를 제한한다.
    • 대규모 언어 모델을 과학적 발견에 활용하면서 코드 기반 실험을 강조하는 종단간 반자동 시스템이 필요하다.
    • LLM 기반 ASD 시스템의 발견에 대한 신뢰성과 재현성을 평가하는 것은 언어 모델 출력의 본질적 변동성과 생성된 코드의 불충실 가능성 때문에 어렵다.
    • CODESCIENTIST는 아이디어 발상, 계획, 실험 구성 및 실행, 보고, 메타 분석 단계로 구성된 반자동 종단간 과학 발견 워크플로우를 구현한다.
    • 아이디어 발상에 'LLM-as-a-mutator' 유전 탐색 접근을 사용해 연구 논문의 단편과 코드 블록을 결합함으로써 다양한 연구 아이디어를 생성한다.
    • 이 시스템은 계측된 샌드박스에서 코드를 생성·실행하며, 반복적인 생성-실행-반성-디버그 주기를 사용하고, 재현성을 보장하기 위해 각 실험마다 여러 차례 독립 실행을 수행한다.
    초록PDF
  48. 047LLMs / EnterprisearXiv:2504.00698

    Command A: An Enterprise-Ready Large Language Model

    Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다.

    Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다. 새로운 분산 학습 접근과 하이브리드 구조를 통해 동급 최고의 RAG 및 에이전트 능력, 23개 언어에 대한 견고한 다국어 지원, 효율적인 배포 요구사항을 달성한다.

    • 범용 대규모 언어 모델(LLM)은 검색 증강 생성(RAG), 복잡한 에이전트 작업, 견고한 다국어 지원 같은 특정 엔터프라이즈 워크플로우에 대한 최적화가 부족한 경우가 많다.
    • 대규모 최신 LLM을 엔터프라이즈 환경에 배포하는 것은 종종 연산 집약적이고 비용이 많이 들어 온프레미스 또는 프라이버시 보존 배포를 저해한다.
    • 파국적 망각이나 성능 트레이드오프 없이 다양한 능력을 단일 LLM에 통합하는 것은 대규모 모델 학습에서 여전히 난제로 남아 있다.
    • Command A는 새로운 하이브리드 어텐션 메커니즘과 Grouped-Query Attention을 갖춘 디코더 전용 Transformer를 활용해 효율성과 성능의 균형을 맞춘다.
    • 분산 사후 학습 접근은 여섯 개의 전문화된 전문가 모델(예: Code, Safety, RAG)을 도메인별 데이터로 학습한 뒤 그 파라미터를 병합해 통합 능력을 갖춘 'soup' 모델로 만드는 과정을 포함한다.
    • 정제 단계는 Self-improving Robust Preference Optimization(SRPO)과 인간 정렬 및 특정 능력을 위한 온라인 RLHF를 포함한 고급 지도 파인튜닝(SFT) 및 강화 학습(RL) 기법을 통합한다.
    초록PDF
  49. 046Benchmarks / Research AgentsarXiv:2504.01848

    PaperBench: Evaluating AI's Ability to Replicate AI Research

    OpenAI 연구진은 원본 코드에 접근하지 않고 최신 머신러닝 연구를 처음부터 복제하는 AI 에이전트의 능력을 평가하는 벤치마크 PaperBench를 개발했다.

    OpenAI 연구진은 원본 코드에 접근하지 않고 최신 머신러닝 연구를 처음부터 복제하는 AI 에이전트의 능력을 평가하는 벤치마크 PaperBench를 개발했다. 평가 결과 현재 최첨단 모델은 평균 13.2퍼센트에서 24.4퍼센트의 복제 점수를 달성했으며, 견고한 실행 및 결과 검증보다 코드 생성에서 더 나은 성과를 보였다. 이는 인간 기준선 41.4퍼센트와 비교된다.

    • 기존 AI 에이전트 벤치마크는 장기적이고 개방형인 머신러닝 연구개발(ML R&D) 작업에 대한 성능을 평가하기에 범위와 복잡성이 부족한 경우가 많다.
    • 특히 안전성 및 거버넌스 프레임워크를 위해, AI 모델의 자율성과 과학 연구 수행 역량에 대한 엄밀하고 객관적이며 확장 가능한 척도가 필요하다.
    • 연구 논문의 인간 복제는 시간이 많이 들고 주관적인 과정이어서 AI 에이전트의 일관된 평가를 위해 확장하기 어렵다.
    • OpenAI 연구진은 AI 에이전트가 원본 코드베이스에 접근하지 않고 처음부터 실증 결과를 복제하도록 요구하는, 최근 ICML 논문 20편으로 구성된 벤치마크 PaperBench를 도입했다.
    • 각 논문에 대해 원저자와 공동 개발한 상세한 계층적 루브릭이 8,316개의 구체적 기여 항목에 걸쳐 세분화된 이진 합격/불합격 기준을 제공한다.
    • 인간 채점 벤치마크(JudgeEval)에 대해 F1 점수 0.83으로 검증된 LLM 기반 자동 판정기 SimpleJudge가 에이전트 제출물에 대한 확장 가능하고 일관된 평가를 제공한다.
    초록PDF
  50. 045Image GenerationarXiv:2502.17437

    Fractal Generative Models

    MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다.

    MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다. 이 방법은 ImageNet에 대한 픽셀 단위 이미지 생성에서 최신 수준의 우도를 달성하며, 향상된 연산 효율성으로 고품질 이미지를 생성한다.

    • 전통적 생성 모델은 원시 이미지처럼 고차원이고 비순차적인 데이터에 요구되는 연산 부담과 인위적 순차화에 어려움을 겪는다.
    • 높은 해상도에서 고충실도 픽셀 단위 이미지 생성을 달성하는 것은 막대한 차원 수 때문에 연산적으로 실현 불가능하고 어렵다.
    • 기존 딥러닝의 모듈화는 종종 계층이나 단순 블록에 국한되어, 전체 생성 모델을 구성하기 위한 상위 수준의 추상화가 결여되어 있다.
    • 기존 생성 모델을 원자적 생성 모듈로 재귀적으로 호출해 자기 유사적 구조를 형성하는 새로운 생성 모델링 패러다임 'fractal generative models'를 제안한다.
    • 이 프레임워크는 이미지 패치에 대한 분할 정복 전략을 사용해 픽셀 단위 이미지 생성을 위한 자기회귀(AR) 모델(FractalAR/FractalMAR)로 구체화된다.
    • 각 계층 수준에서 다중 스케일 패칭과 국소 어텐션 메커니즘을 활용해 고해상도 이미지 생성에 따른 2차 연산 비용을 대폭 줄인다.
    초록PDF