HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,430자료 갱신일 Research Monitoring벤치마크RSS 구독
  1. 081RL / WritingarXiv:2509.04903

    ACE-RL: Adaptive Constraint-Enhanced Reward for Long-form Generation Reinforcement Learning

    ACE-RL 프레임워크는 추상적인 지시를 검증 가능한 제약으로 변환하고 이를 강화학습을 위한 적응적이고 제약 강화된 보상에 반영함으로써, 대규모 언어 모델의 장문 콘텐츠 생성을 강화한다.

    ACE-RL 프레임워크는 추상적인 지시를 검증 가능한 제약으로 변환하고 이를 강화학습을 위한 적응적이고 제약 강화된 보상에 반영함으로써, 대규모 언어 모델의 장문 콘텐츠 생성을 강화한다. 이 방법은 모델이 복잡하고 지시 특화된 요구사항을 정밀하게 준수하는 출력을 생성하게 하여, 기존 베이스라인과 독점 LLM을 능가하는 우수한 성능을 입증한다.

    • 장문 생성을 위한 기존 지도 미세조정(SFT) 접근법은 희소하고 비용이 큰 고품질 데이터셋에 크게 의존한다.
    • 현재의 강화학습(RL) 방법은 거칠고 주관적인 평가 지표를 사용하여, 고품질 장문 작성에 핵심적인 미묘하고 지시 적응적인 요구를 포착하지 못한다.
    • LLM은 복잡한 장문 생성 과제에서 세밀하고 다면적이며 지시 특화된 요구사항을 일관되게 충족하는 데 어려움을 겪는다.
    • 강력한 LLM을 사용하는 자동화 파이프라인이 고수준 사용자 지시를 콘텐츠 완전성, 구조적 논리, 문체적 형식에 걸친 검증 가능한 제약 체크리스트로 분해한다.
    • 새로운 보상 메커니즘은 길이 보상과 세밀한 제약 보상을 결합하며, 더 작은 검증자 LLM이 각 제약의 충족 여부를 3단계 판정으로 평가한다.
    • 훈련에는 Group Relative Policy Optimization(GRPO) 알고리즘이 사용되며, 이 포괄적 보상을 통해 LLM이 길이와 지시 적응적 요구를 모두 충족하는 장문 응답을 생성하도록 유도한다.
    초록PDF
  2. 080RAG / EfficiencyarXiv:2509.01092

    REFRAG: Rethinking RAG based Decoding

    REFRAG는 RAG 컨텍스트 고유의 희소 어텐션 패턴을 활용하는, 검색 증강 생성(RAG)을 위한 효율적인 디코딩 프레임워크를 도입한다.

    REFRAG는 RAG 컨텍스트 고유의 희소 어텐션 패턴을 활용하는, 검색 증강 생성(RAG)을 위한 효율적인 디코딩 프레임워크를 도입한다. 컨텍스트 압축과 선택적 확장을 수반하는 이 접근법은 다양한 장문 컨텍스트 응용에서 perplexity와 정확도를 유지하거나 개선하면서, Time-To-First-Token을 30.85배 가속하고 유효 컨텍스트 윈도우를 16배 확장한다.

    • 대규모 언어 모델(LLM)을 사용하는 검색 증강 생성(RAG) 시스템은 길게 검색된 컨텍스트를 처리할 때 상당한 시스템 지연과 높은 메모리 소비에 직면한다.
    • 이로 인해 더 긴 컨텍스트로 지식을 강화하는 것이 흔히 시스템 효율성과 처리량을 저하시키는 트레이드오프가 발생한다.
    • 범용 LLM 장문 컨텍스트 추론 최적화는 RAG 컨텍스트에 내재된 특유의 '블록 대각 어텐션 패턴'과 중복 연산을 적절히 다루지 못한다.
    • 경량 인코더를 사용하는 프레임워크가 RAG 컨텍스트를 청크 임베딩으로 압축하여, 디코더 전용 LLM의 유효 입력 시퀀스 길이를 크게 줄인다.
    • 인코더와 디코더는 다음 단락 예측 및 재구성 과제를 포함한 지속적 사전학습(CPT) 체계를 통해 정렬되며, 복잡도를 관리하기 위해 커리큘럼 학습을 적용한다.
    • 강화학습 정책이 중요한 컨텍스트 청크를 전체 토큰 시퀀스로 동적으로 확장하고 덜 중요한 청크는 감지(압축)하여, 유연하고 임의 위치의 압축을 가능하게 한다.
    초록PDF
  3. 079Reasoning / RLarXiv:2509.03646

    Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning

    이 연구는 강화학습 과정에서 대규모 언어 모델에 창발하는 계층적 추론 구조를 밝혀내며, 초기에 절차적 통합이 이루어진 후 전략적 계획 탐색이 뒤따른다는 점을 보인다.

    이 연구는 강화학습 과정에서 대규모 언어 모델에 창발하는 계층적 추론 구조를 밝혀내며, 초기에 절차적 통합이 이루어진 후 전략적 계획 탐색이 뒤따른다는 점을 보인다. 또한 고수준 계획 토큰에 최적화 노력을 집중하여 추론 성능을 향상시키는 알고리즘인 Hierarchy-Aware Credit Assignment(HICRA)를 도입한다.

    • 경험적 성공에도 불구하고, 강화학습(RL)이 LLM의 복잡한 추론을 어떻게 개선하는지에 대한 메커니즘적 이해는 불투명한 채로 남아 있었다.
    • '아하 모먼트'와 '길이 스케일링' 효과 같은 RL 훈련 중의 의문스러운 현상들은 통합적인 설명이 부족했다.
    • 기존 RL 알고리즘은 생성된 모든 토큰에 무차별적으로 최적화 압력을 가하는 경우가 많아 비효율적인 학습을 초래한다.
    • LLM이 생성한 토큰을 고수준 계획 토큰(예: 논리적 책략)과 저수준 실행 토큰(예: 계산)으로 기능적으로 분해했다.
    • 주관적인 수작업 주석을 피하면서 계획 토큰을 경험적으로 식별하는 데이터 기반 방법인 'Strategic Grams(SGs)'를 도입했다.
    • 식별된 계획 토큰에 대한 어드밴티지 신호를 증폭하여 최적화를 집중시키는 RL 알고리즘인 Hierarchy-Aware Credit Assignment(HICRA)를 개발했다.
    초록PDF
  4. 078Research Agents / RLarXiv:2509.06283

    SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents

    Salesforce AI Research는 단일 에이전트 대규모 언어 모델의 자율적 추론 및 도구 사용 역량을 강화하기 위해 지속적 강화학습을 활용하는 프레임워크인 SFR-DeepResearch를 소개했다.

    Salesforce AI Research는 단일 에이전트 대규모 언어 모델의 자율적 추론 및 도구 사용 역량을 강화하기 위해 지속적 강화학습을 활용하는 프레임워크인 SFR-DeepResearch를 소개했다. 이 접근법은 HLE 벤치마크에서 베이스 모델 대비 65%의 상대적 향상을 이끌어냈으며, FRAMES와 GAIA에서 SOTA 성능을 달성하여 여러 독점 및 멀티 에이전트 시스템을 능가했다.

    • 대규모 언어 모델(LLM)에 고급 추론과 도구 사용 능력을 장착하여, 환각 같은 문제를 완화하면서 복잡하고 장기적인 과제를 수행하게 한다.
    • 경직된 멀티 에이전트 오케스트레이션 없이도 작동하며 더 나은 일반화를 제공하는, Deep Research(DR)를 위한 효과적인 자율 단일 에이전트 시스템을 개발한다.
    • 기존 방법이 안정성에서 어려움을 겪고 베이스 모델의 추론 능력을 저하시킬 수 있는, 다중 턴 에이전트형 과제에 대한 강화학습(RL)을 안정화한다.
    • 특정 LLM 계열을 위해 세 가지 도구('인터넷 검색', '페이지 열람', '코드 인터프리터')의 최소 집합과 반복적 단일 턴 워크플로우를 갖춘 에이전트형 추론 스캐폴딩을 개발했다.
    • 에이전트형 훈련을 위해 까다로운 다중 홉 QA와 장문 보고서 작성 과제를 생성하는 새로운 합성 데이터 생성 파이프라인을 구축했다.
    • 다중 턴 상호작용에 대한 안정적인 정책 최적화를 보장하기 위해 길이 정규화 REINFORCE 목적함수, 궤적 필터링, 부분 롤아웃을 특징으로 하는 종단간 강화학습 레시피를 구현했다.
    초록PDF
  5. 077Medical AI / RAGarXiv:2508.11386

    Retrieval-augmented reasoning with lean language models

    The Alan Turing Institute와 협력 기관 연구진은 경량 언어 모델을 활용한 검색 증강 추론 프레임워크를 고안하여, 도메인 특화 과제에서 GPT-4o 같은 프런티어 모델에 견줄 만한 조건 예측 정확도를 달성했다.

    The Alan Turing Institute와 협력 기관 연구진은 경량 언어 모델을 활용한 검색 증강 추론 프레임워크를 고안하여, 도메인 특화 과제에서 GPT-4o 같은 프런티어 모델에 견줄 만한 조건 예측 정확도를 달성했다. 이 접근법은 로컬 및 프라이버시 보존 배포를 지원하며, 1.5B 파라미터 모델이 32B 비추론 베이스라인과 동등한 성능을 낼 수 있게 한다.

    • 최첨단 검색 증강 생성(RAG) 및 추론 시스템은 대형 외부 언어 모델에 의존하는데, 이는 민감한 데이터를 다루는 응용에서 프라이버시와 보안 위험을 초래한다.
    • 대형 프런티어 언어 모델을 로컬에서 배포하고 구동하는 것은 높은 자원 요구로 인해 많은 조직에게 계산상 부담이 크다.
    • 범용 언어 모델은 전문 도메인에서 깊고 검증 가능한 전문성을 결여하는 경우가 많아, 중요한 응용에서 부정확성이나 환각을 유발한다.
    • 연구진은 추론 및 생성을 위한 효율적인 언어 모델 백본으로 1.5B부터 32B 파라미터에 이르는 Qwen2.5-Instruct 모델을 사용했다.
    • 의미 임베딩, 벡터 데이터베이스, 그리고 관련 정보를 유지하면서 컨텍스트 길이를 관리하기 위해 문서 전체를 검색하고 사전 요약하는 새로운 전략을 사용하여 검색 시스템을 개발했다.
    • 경량 언어 모델의 지도 미세조정을 감독하기 위해, 다양한 사용자 질의와 상세한 추론 궤적을 포함한 합성 도메인 특화 데이터를 고성능 모델(GPT-4o 및 DeepSeek-R1)로 생성했다.
    초록PDF
  6. 076Computer Use AgentsarXiv:2508.09123

    OpenCUA: Open Foundations for Computer-Use Agents

    OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다.

    OPENCUA 프레임워크는 컴퓨터 사용 에이전트를 위한 개방형 기반을 제공하며, 데이터 수집 도구, 여러 운영체제에 걸친 22,625개 궤적의 대규모 데이터셋, 그리고 모델을 공개한다. OPENCUA-72B 모델은 OSWorld-Verified 벤치마크에서 45.0%의 성공률을 달성하여 오픈소스 시스템의 새로운 SOTA를 기록하고 독점 에이전트와의 성능 격차를 줄였다.

    • 가장 뛰어난 컴퓨터 사용 에이전트(CUA) 시스템 대부분은 독점적이고 비공개 소스여서, 그 역량과 한계, 위험에 대한 연구를 저해한다.
    • 실시간 사용자 상호작용과 접근성 트리를 포함하여, 다양하고 대규모인 컴퓨터 사용 데이터를 수집할 확장 가능한 오픈소스 인프라가 부족하다.
    • 기존 오픈소스 CUA 데이터셋은 범위, 규모, 다양성이 제한적이며, 일반적인 컴퓨터 사용 응용보다는 특정 도메인에 집중되어 있다.
    • Windows, macOS, Ubuntu 전반에 걸쳐 인간의 컴퓨터 사용 시연(화면 영상, 마우스/키보드 신호, 접근성 트리)을 매끄럽게 캡처하는 크로스 플랫폼 애플리케이션인 AGENTNET TOOL을 개발했다.
    • 여러 운영체제와 200개 이상의 애플리케이션 및 웹사이트에 걸친, 최초의 대규모(22,625개 궤적) 다양성 컴퓨터 사용 과제 데이터셋인 AGENTNET을 구축했다.
    • 에이전트의 계획 수립과 오류 복구를 개선하기 위해, 새로운 성찰적 장문 Chain-of-Thought(CoT) 추론 합성과 다중 이미지 이력 컨텍스트 인코딩을 통합한 확장 가능한 훈련 파이프라인을 제안했다.
    초록PDF
  7. 075Computer Use AgentsarXiv:2508.14040

    ComputerRL: Scaling End-to-End Online Reinforcement Learning for Computer Use Agents

    COMPUTERRL 프레임워크는 컴퓨터 사용 에이전트를 위한 온라인 강화학습을 확장하여, API-GUI 상호작용 패러다임, 확장 가능한 분산 환경, Entropulse 훈련 전략을 통합함으로써 OSWorld 벤치마크에서 48.9%, 새로운 OfficeWorld 벤치마크에서 43.3%라는 새로운 SOTA 정확도를 달성한다.

    COMPUTERRL 프레임워크는 컴퓨터 사용 에이전트를 위한 온라인 강화학습을 확장하여, API-GUI 상호작용 패러다임, 확장 가능한 분산 환경, Entropulse 훈련 전략을 통합함으로써 OSWorld 벤치마크에서 48.9%, 새로운 OfficeWorld 벤치마크에서 43.3%라는 새로운 SOTA 정확도를 달성한다.

    • 그래픽 사용자 인터페이스는 본질적으로 인간 중심으로 설계되어 기계의 상호작용을 복잡하게 만들기 때문에, 견고한 LLM 기반 GUI 에이전트 개발은 어렵다.
    • 행동 복제 같은 기존 방법은 확장성 문제, 제한된 일반화, 다양하고 복잡한 데스크톱 과제에 대한 부실한 오류 복구 능력이라는 한계를 겪는다.
    • 데스크톱 자동화에 강화학습을 적용하는 것은 높은 계산 부담, 느린 수렴 속도, 불안정성, 그리고 장기 훈련 중 정책이 탐색 역량을 상실하는 경향(엔트로피 붕괴)으로 인해 제약을 받아 왔다.
    • API-GUI 상호작용 패러다임은 직접적인 GUI 상호작용과 프로그래밍 방식의 API 호출을 통합하며, 효율성과 다재다능함을 높이기 위해 API 개발을 위한 LLM 기반 자동화 워크플로우로 이를 보완한다.
    • 효율적인 데이터 수집을 위해 수천 개의 동시 가상 데스크톱 환경을 오케스트레이션할 수 있는, 분산 다중 노드 클러스터링 인프라를 갖춘 확장 가능하고 안정적인 Ubuntu 환경이 개발되었다.
    • 다중 LLM 기반 행동 복제, 검증 가능한 보상을 갖춘 스텝 수준 Group Relative Policy Optimization(GRPO), 그리고 주기적 RL-SFT 교대를 통한 지속적 탐색을 위한 Entropulse 전략을 특징으로 하는 완전 비동기 RL 프레임워크가 구현되었다.
    초록PDF
  8. 074Agents / DistillationarXiv:2508.13167

    Chain-of-Agents: End-to-End Agent Foundation Models via Multi-Agent Distillation and Agentic RL

    OPPO AI Agent Team은 단일 대규모 언어 모델(LLM)이 멀티 에이전트 협업을 시뮬레이션해 복잡한 문제를 종단간으로 해결하게 하는 패러다임인 Chain-of-Agents(CoA)를 개발했다.

    OPPO AI Agent Team은 단일 대규모 언어 모델(LLM)이 멀티 에이전트 협업을 시뮬레이션해 복잡한 문제를 종단간으로 해결하게 하는 패러다임인 Chain-of-Agents(CoA)를 개발했다. 멀티 에이전트 증류와 에이전트형 강화학습으로 훈련된 이 접근법은 다양한 에이전트형 과제에서 SOTA 성능을 달성하면서, 기존 멀티 에이전트 시스템 대비 추론 비용을 84.6% 절감한다.

    • 기존 멀티 에이전트 시스템(MAS)은 LLM 백본이 다중 턴 멀티 에이전트 워크플로우에 맞게 본래적으로 훈련되지 않았기 때문에, 높은 계산 오버헤드, 일반화 문제, 종단간 데이터 중심 학습의 부재라는 한계를 겪는다.
    • 기존 도구 통합 추론(TIR) 모델은 경직된 '사고-행동-관찰' 워크플로우에 제약되어, 유연한 멀티 에이전트 협업 패턴을 본래적으로 지원하지 못한다.
    • MAS와 TIR 패러다임 모두 단일 통합 LLM 안에서 복잡하고 동적인 멀티 에이전트 멀티 도구 오케스트레이션을 학습하기 위해 종단간 훈련을 효과적으로 활용하지 못한다.
    • Chain-of-Agents(CoA) 패러다임은 단일 LLM의 디코딩 과정 안에서 멀티 에이전트 협업을 통합하여, 다양한 역할 수행(예: 사고, 계획, 성찰) 에이전트와 도구 에이전트(예: 검색, 크롤, 코드 생성)를 동적으로 활성화한다.
    • 에이전트형 지도 미세조정(SFT) 프레임워크는 전문가 수준의 멀티 에이전트 시스템 궤적을 CoA 호환 훈련 데이터로 증류하며, 점진적 품질 필터링을 사용해 고품질의 복잡한 문제 해결 패턴을 보장한다.
    • 에이전트형 강화학습(RL)은 결과 기반 보상을 통해 LLM의 멀티 도구 오케스트레이션 정책을 추가로 정교화하여, 까다로운 과제 특화 질의에서 전략적 도구 사용과 적응적 추론을 강화한다.
    초록PDF
  9. 073Routing / EfficiencyarXiv:2508.12631

    Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing

    Avengers-Pro는 모델 앙상블에서 동적으로 선택하여 성능-효율 트레이드오프를 최적화하는, 대규모 언어 모델을 위한 테스트 시점 라우팅 프레임워크를 소개한다.

    Avengers-Pro는 모델 앙상블에서 동적으로 선택하여 성능-효율 트레이드오프를 최적화하는, 대규모 언어 모델을 위한 테스트 시점 라우팅 프레임워크를 소개한다. 이 시스템은 GPT-5-medium 대비 평균 정확도가 7% 높았으며, 비슷한 성능을 유지하면서 추론 비용을 27% 절감하여 LLM 시스템의 새로운 파레토 프런티어를 확립했다.

    • 높은 성능(정확도, 추론)과 연산 효율(비용, 지연)의 균형을 맞추는 것은 대규모 언어 모델 발전의 핵심 과제다.
    • 최첨단 독점 LLM은 흔히 상당한 운영 비용과 자원 요구를 수반하여, 광범위하고 비용 효율적인 배포를 제약한다.
    • 기존 LLM용 테스트 시점 라우팅 방법은 흔히 종합 성능에만 주로 집중하거나, 추가 신경망의 복잡한 학습을 요구하여 오버헤드를 더한다.
    • 각 질의에 대해 최적 모델을 동적으로 선택하도록 다양한 LLM 앙상블을 조율하는 테스트 시점 라우팅 프레임워크 Avengers-Pro를 개발했다.
    • 이 프레임워크는 질의 임베딩, 질의의 k-평균 클러스터링, 클러스터별 모델 단위의 성능-효율 점수화라는 세 가지 경량의 비지도 연산에 의존한다.
    • 온라인 추론 중에 들어오는 질의를 임베딩하여 가장 가까운 클러스터에 할당하고, 트레이드오프 파라미터 α로 조정 가능한 종합 성능-효율 점수가 가장 높은 모델로 라우팅한다.
    초록PDF
  10. 072Vision / ReasoningarXiv:2506.22146

    Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs

    Sharif University of Technology 연구진은 입력 이미지에 구조화된 수평선과 순차 스캔 프롬프트를 추가하여 대규모 비전-언어 모델의 시각 추론을 향상시키는 방법 VISER를 개발했다.

    Sharif University of Technology 연구진은 입력 이미지에 구조화된 수평선과 순차 스캔 프롬프트를 추가하여 대규모 비전-언어 모델의 시각 추론을 향상시키는 방법 VISER를 개발했다. 이 접근법은 GPT-4o의 2D 장면 계수 정확도를 최대 26.83% 향상시켰으며, 시각 탐색, 장면 묘사, 공간 추론 과제 전반에서 오류를 일관되게 줄였다.

    • 대규모 비전-언어 모델(LVLM)은 정확한 계수, 공간 추론, 상세한 장면 묘사 같은 정밀한 시각 이해에 어려움을 겪는다.
    • LVLM은 결합 문제를 겪어, 복잡한 장면 내에서 지각 특징을 올바른 시각적 대상과 공간 속성에 안정적으로 연결하지 못한다.
    • 기존 LVLM은 흔히 시각 특징을 병렬로 처리하여, 특히 어수선한 환경에서 간섭과 오귀속 오류를 일으킨다.
    • VISER 방법은 입력 이미지에 등간격 수평선을 추가하여, 이미지를 별개의 시각 구획 또는 행으로 분할한다.
    • '이미지에 존재하는 수평선을 기준으로 이미지를 순차적으로 스캔하라'와 같은 간결한 텍스트 지시를 원본 프롬프트 앞에 덧붙여, LVLM이 영역별로 내용을 처리하도록 유도한다.
    • 이 경량의 모델 비종속적 접근법은 무시할 만한 연산 오버헤드만 도입하며, 아키텍처 변경, 미세조정, 다중 질의 추론을 필요로 하지 않는다.
    초록PDF
  11. 071Reasoning / DataarXiv:2507.01921

    NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks

    Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다.

    Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다. 이 연구는 고품질 추론 데이터를 확장하는 것이 성능을 일관되게 향상시킴을 입증하고, 추론 효율과 전체 정확도를 모두 개선하는 혼합 System-1/System-2 증류 전략을 도입한다.

    • 추론 시연의 어떤 특성이 소형 언어 모델로의 추론 능력 증류에 가장 효과적인지에 대한 체계적 이해가 부족했다.
    • 소수의 수작업으로 선별한 예시로 추론 증류에 충분하다는 지배적인 'Less is More' 가설은 주로 도메인 특화 맥락에서 비롯된 것으로, 일반 추론에 대해서는 재평가가 필요했다.
    • 대규모 언어 모델은 흔히 과잉 사고를 보여 지나치게 긴 추론 트레이스를 생성하며, 이는 추론 비용을 늘리고 실제 배포 효율을 떨어뜨린다.
    • 저자들은 다양한 NaturalReasoning 질문에 대해 DeepSeek-R1(교사)이 생성한 추론 트레이스를 도메인, 메타 추론 전략, 장황함에 따라 주석한 데이터셋 NaturalThoughts를 구축했다.
    • 다양성(예: 질문 주제, 의미 임베딩, 추론 전략)과 난이도(예: 응답 길이, 장황함, 모델 일치도)에 기반한 데이터 선택 전략을 체계적으로 탐구했다.
    • 학생 모델이 추론 시점에 추론 깊이를 조정할 수 있도록, 무작위 및 난이도 기반 혼합을 포함한 혼합 System-1/System-2 증류 접근법을 제안하고 평가했다.
    초록PDF
  12. 070Research Agents / SurveyarXiv:2506.18096

    Deep Research Agents: A Systematic Examination And Roadmap

    이 논문은 딥 리서치(DR) 에이전트에 대한 체계적 검토와 로드맵을 제공하여, 핵심 구성요소를 정의하고 아키텍처를 분류하며 향후 과제를 제시한다.

    이 논문은 딥 리서치(DR) 에이전트에 대한 체계적 검토와 로드맵을 제공하여, 핵심 구성요소를 정의하고 아키텍처를 분류하며 향후 과제를 제시한다. 복잡한 정보 연구 과제를 위해 동적 추론, 적응적 계획, 반복적 도구 사용을 통합하는 AI 시스템 개발의 산발적 노력을 통합하여, 이 분야에 대한 구조화된 이해를 제공한다.

    • 기존 LLM과 RAG를 넘어 동적 추론, 적응적 계획, 반복적 도구 사용을 통합하는 새로운 부류의 AI 시스템에 대한 명확한 정의와 분류 체계가 부재하다.
    • 산발적인 연구 노력을 통합 프레임워크로 모아 공통 아키텍처 패턴과 기반 기술을 이해할 필요가 있다.
    • 기존 평가 벤치마크는 고급 AI 연구 에이전트의 완전한 엔드투엔드 역량을 충분히 평가하지 못하는 한계가 있다.
    • 이 논문은 딥 리서치(DR) 에이전트를 형식적으로 정의하고, 정적 워크플로와 동적 워크플로, 단일 에이전트와 멀티 에이전트 시스템을 구분하는 통합 분류 프레임워크를 제안한다.
    • 정보 획득 전략(API 대 브라우저 기반), 다양한 도구 사용 역량(코드 인터프리터, 멀티모달 처리), 긴 맥락 최적화를 위한 메모리 메커니즘을 포함한 기반 기술을 체계적으로 분석한다.
    • SFT, RL, 비모수적 지속 학습 같은 현재의 튜닝 패러다임을 평가하고, 주요 산업 구현 사례를 검토하며, DR 에이전트를 위한 기존 벤치마크를 비판적으로 평가한다.
    초록PDF
  13. 069Security / AgentsarXiv:2506.23260

    From Prompt Injections to Protocol Exploits: Threats in LLM-Powered AI Agents Workflows

    새로운 포괄적 위협 모델과 분류 체계는 LLM 기반 AI 에이전트 워크플로에 대한 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시, 프로토콜 취약점의 네 영역으로 분류하며, 각각을 수학적 엄밀성으로 형식적으로 정의한다.

    새로운 포괄적 위협 모델과 분류 체계는 LLM 기반 AI 에이전트 워크플로에 대한 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시, 프로토콜 취약점의 네 영역으로 분류하며, 각각을 수학적 엄밀성으로 형식적으로 정의한다. 이 연구는 다양한 익스플로잇에서의 높은 공격 성공률을 규명하고 이를 현재 에이전트 프레임워크 내의 실질적 함의와 연결한다.

    • LLM 기반 AI 에이전트와 그 복잡한 생태계의 빠른 확산은 표준화되고 견고한 보안 관행을 결여하여 광범위한 취약점으로 이어진다.
    • 현재의 통합은 흔히 임시방편적 인증과 취약한 검증 메커니즘에 의존하여 다양한 형태의 악용에 매우 취약하다.
    • LLM 에이전트에 대한 기존 보안 연구는 파편화되어, 호스트-도구 간에서 에이전트 간 상호작용에 이르는 전체 통신 스택을 가로지르는 위협을 다루는 통합된 엔드투엔드 프레임워크를 제공하지 못했다.
    • 호스트-도구 및 에이전트-에이전트 통신을 아우르며 전체 LLM 에이전트 생태계에 걸친 보안 위험을 체계적으로 분석하는 통합 엔드투엔드 위협 모델을 개발했다.
    • 30여 가지의 서로 다른 공격 기법을 입력 조작, 모델 손상, 시스템 및 프라이버시 공격, 프로토콜 취약점의 네 가지 주요 영역으로 분류했다.
    • 각 위협 범주에 대해 엄밀한 수학적 정식화를 제공하여, 공격자 역량, 목표, 영향받는 계층을 명시적으로 정의함으로써 체계적 분석을 가능하게 했다.
    초록PDF
  14. 068RAG / AgentsarXiv:2506.21931

    ARAG: Agentic Retrieval Augmented Generation for Personalized Recommendation

    Walmart Global Tech는 개인화 추천을 위해 맥락 검색과 항목 순위 매기기를 정교화하는 에이전트형 멀티 에이전트 프레임워크 ARAG를 개발했다.

    Walmart Global Tech는 개인화 추천을 위해 맥락 검색과 항목 순위 매기기를 정교화하는 에이전트형 멀티 에이전트 프레임워크 ARAG를 개발했다. 이 접근법은 다양한 Amazon 카테고리의 상품 추천 과제에서 베이스라인 대비 NDCG@5를 최대 42.12%, Hit@5를 35.54% 향상시키며 추천 정확도를 크게 개선한다.

    • 개인화 추천을 위한 기존 검색 증강 생성(RAG) 시스템은 미묘한 사용자 선호를 충분히 포착하지 못하는 단순한 검색 메커니즘(예: 코사인 유사도)에 의존한다.
    • 기존 RAG 방법은 암묵적 선호를 이해하고, 긴 형식의 사용자 문서를 처리하며, 다면적 맥락 요인에 기반해 항목을 동적으로 순위 매기는 데 어려움을 겪는다.
    • 추천에 대규모 언어 모델(LLM)을 직접 사용하는 것은 연산 부담이 크고 환각에 취약하며 고정된 지식 컷오프로 제한되어, 견고한 그라운딩이 필요하다.
    • ARAG는 전문화된 LLM 에이전트들이 협력하여 개인화 추천을 위한 맥락 검색과 항목 순위를 정교화하는 멀티 에이전트 프레임워크를 제안한다.
    • 복잡한 추천 과제를 분해하기 위해 사용자 이해 에이전트(UUA), 자연어 추론(NLI) 에이전트, 맥락 요약 에이전트(CSA), 항목 순위 에이전트(IRA)를 활용한다.
    • 에이전트들은 칠판 방식 협업으로 동작하며, UUA와 NLI가 병렬로 실행된 뒤 CSA, 그다음 IRA가 이어져 사용자 선호를 종합하고 이를 후보 항목과 정렬한다.
    초록PDF
  15. 067Scientific AI / SurveyarXiv:2507.01903

    AI4Research: A Survey of Artificial Intelligence for Scientific Research

    Harbin Institute of Technology와 협력 기관 연구진은 과학 연구를 위한 인공지능(AI4Research)에 대한 체계적 서베이를 제시하여, 그 범위를 정의하고 연구 전 주기에 걸친 포괄적 분류 체계를 제안하며 중요한 향후 방향을 제시한다.

    Harbin Institute of Technology와 협력 기관 연구진은 과학 연구를 위한 인공지능(AI4Research)에 대한 체계적 서베이를 제시하여, 그 범위를 정의하고 연구 전 주기에 걸친 포괄적 분류 체계를 제안하며 중요한 향후 방향을 제시한다. 이 연구는 AI4Research와 AI4Science의 구분을 명확히 하고, 과학적 이해부터 동료 심사에 이르는 AI의 성장하는 역량을 보여주는 한편, 윤리적이고 설명 가능하며 완전 자율적인 시스템 구현의 중대한 과제를 부각한다.

    • 대규모 언어 모델(LLM)과 그 과학 혁신 응용에서의 빠른 발전에도 불구하고, 과학 연구의 전 주기(AI4Research)를 구체적으로 다루는 포괄적이고 체계적인 서베이가 부재했다.
    • 기존 서베이는 일반적으로 과학적 발견을 위한 AI(AI4Science) 같은 보다 좁은 하위 영역에 집중하여, 학술 워크플로에 대한 AI의 폭넓은 영향에 관한 이해가 파편화되었다.
    • 통합된 관점의 부재는 체계적 이해를 저해하고 과학 연구의 모든 단계에 AI를 활용하는 추가 발전을 가로막았다.
    • 저자들은 AI 응용을 연구 주기 내 다섯 가지 주요 과제, 즉 과학적 이해, 학술 서베이, 과학적 발견, 학술 저술, 학술 동료 심사로 분류하는 체계적 분류 체계를 개발했다.
    • AI4Research를 형식적으로 정의하고 보다 좁은 AI4Science와 구분하였으며, 각 단계에서의 AI 역할을 이해하기 위한 엄밀한 구성요소별 프레임워크를 제공했다.
    • 각 구성요소에 대해 광범위한 문헌 검토를 수행하여 현재의 방법론, 선구적 연구, 실증적 요약을 종합하고, 도구, 데이터셋, 벤치마크 같은 실용 자원을 정리하여 함께 제시했다.
    초록PDF
  16. 066Agents / SLMsarXiv:2506.02153

    Small Language Models are the Future of Agentic AI

    NVIDIA와 Georgia Institute of Technology 연구진은 소형 언어 모델(SLM)이 에이전트형 AI 시스템에 최적의 선택지이며, 대다수 과제에서 대규모 언어 모델(LLM) 대비 충분한 성능을 갖추면서도 우수한 운영 적합성과 경제적 이점을 제공한다고 주장한다.

    NVIDIA와 Georgia Institute of Technology 연구진은 소형 언어 모델(SLM)이 에이전트형 AI 시스템에 최적의 선택지이며, 대다수 과제에서 대규모 언어 모델(LLM) 대비 충분한 성능을 갖추면서도 우수한 운영 적합성과 경제적 이점을 제공한다고 주장한다. 이 연구는 더 효율적이고 지속 가능하며 민주화된 AI 에이전트 개발로의 패러다임 전환을 옹호한다.

    • AI 에이전트에 대한 현재 지배적인 LLM 중심 패러다임은 추론에 필요한 막대한 연산 수요로 인해 높은 경제적 비용을 초래한다.
    • 범용 LLM은 에이전트형 워크플로에서 흔한 반복적이고 전문적인 하위 과제를 수행할 때 운영 비효율과 지연 증가를 보인다.
    • LLM 구동에 따르는 막대한 에너지 소비는 환경 지속가능성 우려를 제기하며, 이들은 흔히 좁은 에이전트형 과제에 대한 정밀한 전문화가 부족하다.
    • 이 논문은 대부분의 에이전트형 호출에 대한 주된 연산 단위로서 전문화된 소형 언어 모델(SLM)로의 패러다임 전환을 제안한다.
    • 일상적이고 전문적인 과제에는 SLM을 활용하고 복잡한 일반 추론에는 LLM을 남겨두는 이종 에이전트 아키텍처를 옹호한다.
    • 데이터 수집, 과제 클러스터링, 미세조정, 지속적 개선을 포함하여 LLM 중심 에이전트 애플리케이션을 SLM 전문가로 전환하는 실용적인 6단계 알고리즘을 제공한다.
    초록PDF
  17. 065Reasoning / Small ModelsarXiv:2504.15777

    Tina: Tiny Reasoning Models via LoRA

    University of Southern California의 연구 프로젝트 Tina는 언어 모델에 강력한 추론 능력을 부여하는 매우 비용 효율적인 접근법을 제시한다.

    University of Southern California의 연구 프로젝트 Tina는 언어 모델에 강력한 추론 능력을 부여하는 매우 비용 효율적인 접근법을 제시한다. 작은 1.5B 기반 모델과 LoRA 기반 강화학습을 결합하면 동일 기반 모델로 구축된 최첨단 RL 모델의 추론 성능에 필적하거나 이를 능가할 수 있으며, 단일 모델 기준 사후 학습 비용을 9 USD 수준까지 낮춰 이를 달성함을 보인다.

    • 대규모 언어 모델에서 견고한 다단계 추론을 달성하는 것은 여전히 중대한 과제로 남아 있다.
    • 지도 미세조정이나 강화학습 같은 현재의 LLM 추론 향상 방법은 자원 집약적이며, 흔히 막대한 연산 능력과 대형 모델을 요구한다.
    • RL 파이프라인의 높은 비용과 복잡성은 언어 모델을 위한 RL 기반 추론에 대한 접근성과 폭넓은 연구를 제약한다.
    • 초기 추론 적성으로 알려진 작은 15억 파라미터 기반 모델 DeepSeek-R1-Distill-Qwen-1.5B를 활용한다.
    • GRPO 방식 알고리즘을 사용한 파라미터 효율적 강화학습을 위해 Low-Rank Adaptation(LoRA)을 적용하여, 모델 파라미터의 일부만 업데이트한다.
    • 비용 효율성과 기존 모델과의 직접 비교 가능성을 확보하기 위해, 두 개의 NVIDIA L40S GPU와 공개된 추론 데이터셋을 이용한 최소주의적 학습 설정을 활용한다.
    초록PDF
  18. 064RL / InferencearXiv:2504.16084

    TTRL: Test-Time Reinforcement Learning

    TTRL은 다수결 투표에서 도출한 자체 생성 보상을 사용해, 레이블이 없는 테스트 데이터에 대한 강화학습을 통해 대규모 언어 모델이 스스로 개선하도록 하는 프레임워크다.

    TTRL은 다수결 투표에서 도출한 자체 생성 보상을 사용해, 레이블이 없는 테스트 데이터에 대한 강화학습을 통해 대규모 언어 모델이 스스로 개선하도록 하는 프레임워크다. 이 접근법은 자기 강화 학습 루프를 형성함으로써 복잡한 추론 과제에서 성능을 크게 끌어올리며, 한 모델은 AIME 2024에서 211%의 향상을 달성했다.

    • 추론 과제에 대규모 언어 모델용 강화학습을 적용하는 것은 보상 추정에 필요한 사람이 주석을 단 정답 레이블의 높은 비용과 희소성으로 인해 병목에 부딪힌다.
    • 기존 LLM용 RL 방법은 지도된 보상 신호에 크게 의존하기 때문에, 새로 마주하거나 레이블이 없는 테스트 데이터에서 지속적인 자기 개선이 어렵다.
    • 추론 시점에 명시적 보상 신호를 얻을 수 없다는 점은 사람의 개입 없이 LLM이 새로운 분포에 적응하고 일반화를 향상시키는 능력을 제한한다.
    • RL을 사용해 테스트 시점에 LLM이 파라미터를 업데이트하고 일반화를 향상시킬 수 있게 하는 프레임워크인 테스트 시점 강화학습(TTRL)을 도입한다.
    • 모델 출력을 반복 샘플링하고 다수결 투표로 합의 출력을 도출함으로써, 명시적 정답 레이블 없이 보상 신호를 생성한다.
    • 각 샘플 출력이 다수결로 결정된 의사 레이블과 일치하는지에 따라 규칙 기반 이진 보상을 계산하며, 이를 GRPO와 같은 RL 알고리즘으로 모델 정책을 최적화하는 데 사용한다.
    초록PDF
  19. 063Vision-LanguagearXiv:2504.16072

    Describe Anything: Detailed Localized Image and Video Captioning

    NVIDIA와 UC Berkeley 연구진은 포컬 프롬프트 메커니즘과 국소화 비전 백본을 통해 이미지와 영상 내 특정 영역에 대한 상세 캡션을 생성하는 비전-언어 아키텍처 DAM(Describe Anything Model)을 소개한다. 준지도 학습 파이프라인으로 데이터 부족 문제를 해결하면서 7개 벤치마크에서 최첨단 성능을 달성한다.

    NVIDIA와 UC Berkeley 연구진은 포컬 프롬프트 메커니즘과 국소화 비전 백본을 통해 이미지와 영상 내 특정 영역에 대한 상세 캡션을 생성하는 비전-언어 아키텍처 DAM(Describe Anything Model)을 소개한다. 준지도 학습 파이프라인으로 데이터 부족 문제를 해결하면서 7개 벤치마크에서 최첨단 성능을 달성한다.

    • 기존 비전-언어 모델은 이미지와 영상 내 특정 영역에 대해 상세하고 정확한 캡션을 생성하는 데 어려움을 겪는다.
    • 상세한 국소 캡션 모델을 학습시키기 위한 고품질 데이터셋의 가용성이 제한적이다.
    • 현재의 평가 지표는 종종 포괄적인 세부 정보가 부족한 참조 캡션에 의존한다.
    • 다중 세분성 영역 캡션을 위해 포컬 프롬프트와 국소화 비전 백본을 갖춘 DAM 아키텍처를 개발했다.
    • 분할 데이터셋과 레이블이 없는 웹 이미지를 활용하는 SSL 기반 데이터 파이프라인 DLC-SDP를 구축했다.
    • 참조 캡션 없이 상세 국소 캡션을 평가하기 위한 DLC-Bench를 도입했다.
    초록PDF
  20. 062GUI AgentsarXiv:2501.12326

    UI-TARS: Pioneering Automated GUI Interaction with Native Agents

    이 논문은 모듈형 프레임워크나 외부 API에 의존하지 않고 스크린샷을 인식해 사람과 유사한 상호작용을 수행하는 네이티브 GUI 에이전트 모델 UI-TARS를 소개한다.

    이 논문은 모듈형 프레임워크나 외부 API에 의존하지 않고 스크린샷을 인식해 사람과 유사한 상호작용을 수행하는 네이티브 GUI 에이전트 모델 UI-TARS를 소개한다.

    • 기존 GUI 에이전트는 확장성을 제약하는 텍스트 기반 표현과 모듈형 프레임워크에 크게 의존한다.
    • 엔드투엔드 GUI 에이전트를 학습시키기 위한 대규모 고품질 데이터가 부족하다.
    • 복잡한 GUI 시나리오는 현재 접근법이 갖추지 못한 고도의 인식, 추론, 조율 능력을 요구한다.
    • 스크린샷을 직접 처리해 인터페이스와 상호작용하는 엔드투엔드 모델 UI-TARS를 개발했다.
    • 자동 수집과 큐레이션을 통해 인식, 그라운딩, 동작 트레이스를 위한 대규모 데이터셋을 구축했다.
    • 사고 증강과 반성 튜닝을 통해 시스템 2 추론 능력을 통합했다.
    초록PDF
  21. 061LLMs / EfficiencyarXiv:2504.12285

    BitNet b1.58 2B4T Technical Report

    Microsoft Research는 4조 토큰으로 사전 학습된, 20억 파라미터 규모의 최초 오픈소스·원천 학습 1비트 대규모 언어 모델 BitNet b1.58 2B4T를 도입한다.

    Microsoft Research는 4조 토큰으로 사전 학습된, 20억 파라미터 규모의 최초 오픈소스·원천 학습 1비트 대규모 언어 모델 BitNet b1.58 2B4T를 도입한다. 이 모델은 유사한 크기의 완전 정밀도 LLM과 경쟁력 있는 성능을 달성하면서도 훨씬 적은 메모리(0.4 GB)를 요구하고, 더 낮은 디코딩 지연(29 ms)을 보이며, 에너지를 훨씬 적게 소비한다.

    • 대규모 언어 모델은 계산 집약적이어서 상당한 메모리와 에너지를 요구하고 높은 지연을 유발한다.
    • 이러한 자원 요구는 엣지 디바이스 및 실시간 응용에서의 LLM 배포를 제약한다.
    • 이전의 1비트 양자화 기법은 성능을 저하시키거나(사후 학습 양자화), 경쟁력 있는 모델 크기로 확장되지 못했다.
    • 1.58비트 가중치와 8비트 활성값을 위한 맞춤형 BitLinear 계층을 갖춘 수정된 Transformer 구조를 구현한다.
    • 전례 없는 4조 토큰 사전 학습으로 시작하여 지도 미세 조정과 Direct Preference Optimization으로 이어지는 다단계 학습 방식을 활용한다.
    • GPU와 CPU 모두에서 효율적인 W1.58A8 연산을 위한 맞춤형 커널을 갖춘 특수 추론 라이브러리를 개발하고 오픈소스로 공개한다.
    초록PDF
  22. 060Reasoning / RLarXiv:2504.13837

    Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

    Tsinghua University의 연구는 현재의 검증 가능한 보상 기반 강화 학습(RLVR)이 주로 이미 존재하는 추론 패턴에 대한 대규모 언어 모델의 샘플링 효율을 향상시킨다는 점을 밝혀낸다.

    Tsinghua University의 연구는 현재의 검증 가능한 보상 기반 강화 학습(RLVR)이 주로 이미 존재하는 추론 패턴에 대한 대규모 언어 모델의 샘플링 효율을 향상시킨다는 점을 밝혀낸다. 이러한 최적화는 종종 더 높은 pass@k 값에서 모델의 전반적 추론 능력을 좁히는데, 이는 문제 해결 범위를 효과적으로 확장하는 증류와 대조된다.

    • 전통적 RL이 새로운 전략을 발견하는 것과 유사하게, RLVR이 LLM에 새로운 추론 능력을 획득하게 한다는 통념이 있다.
    • 현재의 RLVR이 LLM이 풀 수 있는 문제의 범위를 진정으로 확장하는지, 아니면 단지 기존 해법의 샘플링을 최적화할 뿐인지에 대한 엄밀한 조사가 없다.
    • 전통적 평가 지표는 LLM의 전체 추론 잠재력이나 '추론 능력 경계'를 정확히 포착하지 못하는 경우가 많다.
    • k회 시도 내에 풀 수 있는 문제의 비율을 측정하여 LLM의 '추론 능력 경계'를 정의하는 견고한 평가 지표로 pass@k를 도입했다.
    • 다양한 LLM 계열, 크기, 여러 RL 알고리즘(PPO, GRPO 등), 다양한 과제 영역(수학, 코드, 시각적 추론) 전반에 걸쳐 추론 능력을 체계적으로 평가했다.
    • RLVR이 생성한 추론 경로가 새로운 것인지 아니면 이미 기반 모델의 분포 안에 있는지 판단하기 위해, 퍼플렉서티 분석과 해결 가능 문제 커버리지를 포함한 심층 분석 기법을 활용했다.
    초록PDF
  23. 059Architecture / TrainingarXiv:2503.24322

    NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation

    NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다.

    NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다. 생성형 확산 및 흐름 정합 모델에서 영감을 받은 이 접근법은 전통적 역전파에 필적하는 분류 정확도를 달성하면서도 메모리 소비를 크게 줄이고 학습 병렬성을 향상시킨다.

    • 전통적 역전파는 '가중치 수송 문제'와 순방향·역방향 패스의 동기화 요구 때문에 생물학적으로 타당하지 않다.
    • 전체 역전파는 중간 활성값을 저장해야 해 상당한 메모리 부담을 초래하며, 순차적 의존성 때문에 네트워크 계층 간 진정한 병렬화를 제한한다.
    • 역전파의 전역 오차 신호와 순차적 신용 할당은 평생 학습 시나리오에서 파국적 망각과 간섭 같은 문제를 유발할 수 있다.
    • 노이즈 제거 확산 및 흐름 정합 모델에서 영감을 받은 블록 단위 신경망 학습 방법 NoProp을 도입한다.
    • 각 네트워크 블록은 해당 블록 내에서만 지역적 역전파를 활용하여 목표 레이블의 잡음 섞인 버전을 '노이즈 제거'하는 법을 독립적으로 학습한다.
    • 입력과 목표 레이블을 모든 블록에 '브로드캐스트'하여, 전역 오차 신호 전파 없이도 각 블록의 목적을 독립적으로 최적화할 수 있게 한다.
    초록PDF
  24. 058Agents / Self-AwarenessarXiv:2504.03553

    Agentic Knowledgeable Self-awareness

    LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다.

    LLM 에이전트를 위한 방법인 KnowSelf는 상황 인식에 기반하여 성찰과 외부 지식을 동적으로 조절할 수 있게 한다. 이는 ALFWorld 및 WebShop 데이터셋에서 기존 베이스라인을 일관되게 능가하면서도 훨씬 낮은 지식 사용률을 유지하며, GPT-4o 같은 더 큰 모델에 필적하거나 이를 능가하는 성능을 달성한다.

    • 현재의 LLM 에이전트는 '상황적 자기 인식'이 부족하여 성찰이나 외부 지식 같은 인지 자원을 무분별하고 비효율적으로 사용한다.
    • 기존 에이전트 학습 방법은 예상치 못한 신호에 취약하고 '패턴 붕괴'에 빠지기 쉬우며, 획일적인 접근 방식 때문에 높은 추론 비용을 초래한다.
    • 에이전트는 복잡하고 동적인 환경에서 자신의 능력을 동적으로 평가하는 데 어려움을 겪어 차선의 의사 결정에 이른다.
    • KnowSelf는 에이전트의 실시간 인지 자원 필요를 판단하기 위해 3단계 상황 분류(Fast, Slow, Knowledgeable Thinking)를 도입한다.
    • 경량 오프라인 지식 시스템을 구축하고, 에이전트가 탐색한 궤적에 필요한 사고 유형을 나타내는 특수 토큰을 덧붙여 자기 인식 데이터셋을 생성한다.
    • 2단계 미세 조정 과정(SFT 및 RPO)으로 에이전트가 상황 단서를 적절한 인지 반응과 연결하도록 학습시켜, 추론 중에 성찰이나 외부 지식을 동적으로 활성화할 수 있게 한다.
    초록PDF
  25. 057Knowledge Graphs / LLMsarXiv:2504.03137

    LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph

    Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

    Beijing University of Posts and Telecommunications 연구진은 'Retrieve-Embed-Reason' 과정을 통해 소규모 언어 모델이 지식 그래프로 추론할 수 있게 하는 파라미터 효율적 프레임워크 LightPROF를 도입한다. 이는 기존 방법 대비 입력 토큰과 추론 시간을 줄이면서도 WebQSP 및 CWQ 벤치마크에서 최첨단 성능을 달성한다.

    • 기존 KG 강화 LLM 접근법은 크고 계산 비용이 높은 모델과 복잡한 KG 순회 전략에 의존한다.
    • 현재 방법은 지식 그래프 내 구조적 정보를 효과적으로 활용하지 못해 정보 중복과 부정확한 추론을 초래한다.
    • 추론 그래프 검색, 소형 Transformer 어댑터를 통한 지식 임베딩, 혼합 프롬프트 추론을 결합한 3-모듈 프레임워크다.
    • LLM 파라미터는 동결한 채 Knowledge Adapter만 조정하는 파라미터 효율적 학습 방식이다.
    • 텍스트 내용과 그래프 구조를 모두 임베딩으로 변환하여 소프트 프롬프트로 사용함으로써 지식 통합을 개선한다.
    • LLM 기반 점수화를 적용한 제약된 너비 우선 탐색이 지식 그래프에서 관련 추론 경로를 검색하는 데 도움을 준다.
    초록PDF
  26. 056Pre-training / ReasoningarXiv:2504.04022

    Rethinking Reflection in Pre-Training

    Essential AI의 연구는 대규모 언어 모델의 성찰적 추론 능력이 사전 학습 단계에서 출현하여 꾸준히 향상됨을 보여주며, 이러한 능력이 오직 사후 학습의 결과라는 통념에 도전한다.

    Essential AI의 연구는 대규모 언어 모델의 성찰적 추론 능력이 사전 학습 단계에서 출현하여 꾸준히 향상됨을 보여주며, 이러한 능력이 오직 사후 학습의 결과라는 통념에 도전한다. 이 연구는 새로운 적대적 데이터셋을 사용해 성찰을 체계적으로 측정하고, 사전 학습 계산량과 명시적·암묵적 성찰(자기 교정 포함)의 발달 사이에 강한 상관관계가 있음을 입증한다.

    • 대규모 언어 모델의 '성찰' 같은 복잡한 인지 능력이 주로 사후 학습 단계(미세 조정, 강화 학습 등)에서 출현한다는 통념이 있다.
    • 다양한 사전 학습 단계 전반에 걸쳐 성찰을 측정하는 체계적이고 확장 가능한 방법이 없다.
    • 표준 추론 데이터셋을 사용한 성찰 벤치마킹은 성찰 행동이 희소하고 오류 패턴이 다양하여 어렵다.
    • 세밀한 측정 프레임워크를 제공하기 위해 성찰의 여러 측면(상황적, 자기, 명시적, 암묵적)을 정의했다.
    • 추론 사슬에 인간과 유사한 오류를 도입하여 성찰을 체계적으로 유도하고 측정하기 위해, 적대적 사고 사슬(CoT) 데이터셋을 생성하는 프로그래밍 방식을 개발했다.
    • 프롬프트 기반 LLM 분류기를 사용해 명시적 성찰을 탐지하고 네 가지 핵심 지표인 정확도, 명시적 성찰 비율, 명시적 성찰 정확도, 암묵적 성찰 정확도를 측정했다.
    초록PDF
  27. 055Reasoning / EfficiencyarXiv:2504.05185

    Concise Reasoning via Reinforcement Learning

    Wand AI 연구진은 추론 과제에서 흔히 보이는 대규모 언어 모델의 장황함이 더 깊은 추론의 신호가 아니라 최적화 부산물이라는 이론을 제시했다.

    Wand AI 연구진은 추론 과제에서 흔히 보이는 대규모 언어 모델의 장황함이 더 깊은 추론의 신호가 아니라 최적화 부산물이라는 이론을 제시했다. 이들은 다양한 수학 및 STEM 벤치마크 전반에서 정확도를 유지하거나 향상시키면서 DeepSeek-R1-Distill 모델의 응답 길이를 40~54% 이상 크게 줄이는 2단계 강화 학습 전략을 개발했으며, 작은 데이터셋으로도 효과적인 학습이 가능함을 입증했다.

    • 강화 학습(RL)을 통해 추론 과제에 맞춰 강화된 대규모 언어 모델(LLM)은 과도하게 장황한 사고 사슬 출력을 생성하는 경향이 있어 높은 계산 비용과 추론 지연을 초래한다.
    • 추론 정확도를 위해 응답 길이가 필요한지에 대해 기존 문헌에는 상충하는 관찰이 존재하는데, 일부는 더 긴 응답이 정확도를 높인다고 보는 반면 다른 일부는 수익 체감을 발견한다.
    • RL 학습이 응답 길이에 영향을 미치는 근본 메커니즘과, 이러한 장황함이 추론의 본질적 구성 요소인지 아니면 부산물인지는 충분히 이해되지 않았다.
    • 추론을 마르코프 결정 과정(MDP)으로 구성하여, 음의 보상이 어떻게 정책을 장황함으로 이끄는지 규명하기 위해 Proximal Policy Optimization(PPO)과 Generalized Reinforcement Learning with Policy Optimization(GRPO)의 손실 동역학에 대한 이론적 분석을 수행했다.
    • 새로운 2단계 RL 학습 절차를 제안했다. 먼저 어려운 문제에 대한 추론 강화를 위한 초기 단계를 거친 후, 가끔 풀 수 있는 문제로 이루어진 작은 데이터셋에서 간결함을 명시적으로 강제하는 두 번째 단계를 진행한다.
    • 양의 보상이 더 짧은 응답을, 음의 보상이 더 긴 응답을 유도하는 PPO의 고유한 특성(GAE λ가 1보다 작음)을 활용하여, 정확도를 희생하지 않고 모델을 간결함으로 이끌었다.
    초록PDF
  28. 054InterpretabilityarXiv:2504.07096

    OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

    OLMOTRACE는 축약 없는 일치를 식별하여 언어 모델의 출력을 그 전체 수조 토큰 규모의 학습 데이터로 실시간 추적할 수 있는 최초의 시스템을 도입한다.

    OLMOTRACE는 축약 없는 일치를 식별하여 언어 모델의 출력을 그 전체 수조 토큰 규모의 학습 데이터로 실시간 추적할 수 있는 최초의 시스템을 도입한다. 이 시스템은 평균 458 토큰 응답에 대해 평균 4.46초의 추론 지연 시간을 달성하며, 대부분의 축약 없는 일치가 사전 학습 데이터에서 비롯됨을 밝혀낸다.

    • 대규모 언어 모델(LLM)은 '블랙박스'로 작동하여 특정 출력을 생성하는 이유를 이해하기 어렵게 만든다.
    • 영향 함수 같은 기존 해석 가능성 방법은 현대 LLM 학습 데이터셋의 수조 토큰 규모에서 계산적으로 다루기 어렵다.
    • LLM에서 암기의 정도를 효율적으로 분석하거나, 사실 주장의 출처를 찾거나, 생성된 텍스트의 기원을 식별할 도구가 부족하여 투명성, 저작권, PII에 대한 우려를 야기한다.
    • OLMOTRACE는 확장된 infini-gram 인덱스를 활용하여 수조 토큰 규모의 학습 데이터셋 내에서 최대 축약 없는 일치 구간을 효율적으로 찾는 시스템을 개발했다.
    • 방법론은 다섯 단계로 구성된다. 최대 일치 구간 식별, 길고 고유한 구간 필터링, 포함 문서 검색, 중복 병합, 그리고 BM25를 사용한 관련성 기준 문서 재순위화다.
    • 프로덕션 시스템은 Google Cloud의 고-IOPS SSD를 활용하여 대규모 데이터에 대한 실시간 성능에 필요한 디스크 I/O 처리량을 보장한다.
    초록PDF
  29. 053Reasoning / SurveyarXiv:2503.24377

    Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

    CUHK 및 협력 기관 연구진의 종합 서베이는 대규모 언어 모델에서 '추론 경제'라는 개념을 정립한다. 모델의 행동과 사용에서 나타나는 비효율을 검토하고, 사후 학습 및 테스트 시점 응용 전반에 걸쳐 추론 성능과 계산 비용 사이의 균형을 최적화하는 프레임워크를 제공한다.

    CUHK 및 협력 기관 연구진의 종합 서베이는 대규모 언어 모델에서 '추론 경제'라는 개념을 정립한다. 모델의 행동과 사용에서 나타나는 비효율을 검토하고, 사후 학습 및 테스트 시점 응용 전반에 걸쳐 추론 성능과 계산 비용 사이의 균형을 최적화하는 프레임워크를 제공한다.

    • 현재의 LLM은 과도한 계산과 불필요한 사고 같은 비효율적인 추론 행동을 보인다.
    • 추론 능력과 계산 비용 사이의 트레이드오프를 최적화하는 방법에 대한 체계적 이해가 부족하다.
    • 추론 비효율과 잠재적 해결책을 분류하는 구조화된 프레임워크를 개발한다.
    • 최적화 접근법을 행동 규제(사후 학습)와 사용 개선(테스트 시점)으로 분류한다.
    • 추론 비효율은 모델 행동(길이 편향, 기만적 사고)과 모델 사용(부적절한 알고리즘 선택, 계산 자원 할당) 양쪽에서 비롯된다.
    • 해결책은 사후 학습 측면(데이터 품질, 구조)과 테스트 시점 전략(예산 할당, 적응형 디코딩)을 모두 다루어야 한다.
    초록PDF
  30. 052Reasoning / EfficiencyarXiv:2504.00810

    Z1: Efficient Test-time Scaling with Code

    Tsinghua 대학과 Yale 대학 연구진은 코드 기반 학습과, 문제 복잡도에 따라 추론 깊이를 조정하는 새로운 'Shifted Thinking Window' 메커니즘을 통해, 성능을 유지하면서도 언어 모델 추론의 토큰 소비를 70% 줄이는 테스트 시점 스케일링 프레임워크 Z1을 도입한다.

    Tsinghua 대학과 Yale 대학 연구진은 코드 기반 학습과, 문제 복잡도에 따라 추론 깊이를 조정하는 새로운 'Shifted Thinking Window' 메커니즘을 통해, 성능을 유지하면서도 언어 모델 추론의 토큰 소비를 70% 줄이는 테스트 시점 스케일링 프레임워크 Z1을 도입한다.

    • 대규모 언어 모델은 추론 과제 중에 과도한 토큰을 소비하는데, 특히 정교한 사고 단계가 필요 없는 단순한 문제에서도 그렇다.
    • 기존 접근법은 토큰 사용을 제어하면서 테스트 시점에 추론 능력을 확장하는 효율적인 방법이 부족하다.
    • 균형 잡힌 짧은 궤적과 긴 궤적으로 신중하게 선별한 코드 추론 데이터셋(107K개 예시)으로 모델을 미세 조정한다.
    • 추론 토큰 수를 제한하고 임계값 초과 시 직접 답변을 강제하는 'Shifted Thinking Window'를 구현한다.
    • 문맥 구분자를 제거하여 추론 깊이를 유연하게 조정할 수 있게 한다.
    • 더 긴 추론 궤적과 더 큰 데이터셋 규모가 효과적인 추론 유도에 핵심적이다.
    초록PDF
  31. 051Search / AgentsarXiv:2503.20201

    Open Deep Search: Democratizing Search with Open-source Reasoning Agents

    여러 기관의 공동 연구로 검색 도구와 추론 에이전트를 결합한 오픈소스 프레임워크 Open Deep Search(ODS)를 제시한다. 이는 독점 검색 AI 솔루션에 필적하거나 이를 능가하여 FRAMES 벤치마크에서 GPT-4 with Search Preview 대비 9.7%의 정확도 향상을 달성하는 동시에, 어떤 기반 언어 모델과도 맞춤 통합이 가능하다.

    여러 기관의 공동 연구로 검색 도구와 추론 에이전트를 결합한 오픈소스 프레임워크 Open Deep Search(ODS)를 제시한다. 이는 독점 검색 AI 솔루션에 필적하거나 이를 능가하여 FRAMES 벤치마크에서 GPT-4 with Search Preview 대비 9.7%의 정확도 향상을 달성하는 동시에, 어떤 기반 언어 모델과도 맞춤 통합이 가능하다.

    • 기존 독점 검색 AI 솔루션은 투명성, 혁신, 커뮤니티 주도 개발을 제한한다.
    • 현재의 오픈소스 검색 도구는 정교한 질의 처리 및 문맥 검색 능력이 부족하다.
    • 질의 재구성, 고급 검색, 문맥 증강을 갖춘 Open Search Tool을 제시한다.
    • 질의를 해석하고 도구 사용을 조율하는 두 가지 추론 에이전트 구조인 ReAct와 CodeAct를 제시한다.
    • 어떤 기반 언어 모델과도 통합 가능한 플러그앤플레이 프레임워크다.
    • 결과 품질에 기반한 적응형 웹 검색이 효율성과 정확도를 향상시킨다.
    초록PDF
  32. 050InterpretabilityarXiv:2504.02732

    Why do LLMs attend to the first token?

    대규모 언어 모델은 주로 첫 번째 토큰을 향하는 어텐션 싱크를 학습한다. 이는 과도한 혼합과 표현 붕괴로 알려진 정보 열화를 막는 근본적 메커니즘이며, 특히 긴 문맥을 처리할 때 성능을 유지하는 데 핵심적이다.

    대규모 언어 모델은 주로 첫 번째 토큰을 향하는 어텐션 싱크를 학습한다. 이는 과도한 혼합과 표현 붕괴로 알려진 정보 열화를 막는 근본적 메커니즘이며, 특히 긴 문맥을 처리할 때 성능을 유지하는 데 핵심적이다. 추론 시점에 이러한 싱크를 제거하면 다양한 과제 전반에서 모델의 유용성이 심각하게 손상된다.

    • 대규모 언어 모델이 첫 번째 토큰에 불균형하게 주의를 기울이는 '어텐션 싱크'라는 지속적이고 설명되지 않은 현상에는 기능적 설명이 부족했다.
    • 랭크 붕괴, 표현 붕괴, 과도한 압착을 포함한 깊은 Transformer의 정보 열화 문제는 특히 긴 시퀀스에서 개별 토큰 정보의 손실을 초래한다.
    • 어텐션 싱크가 왜 발생하며 어떤 기능적 목적을 수행하는지에 대한 근본적 이해가 기존 문헌에는 빠져 있었다.
    • 이 논문은 어텐션 싱크를 과도한 혼합 및 표현 붕괴와 이론적으로 연결하고, 싱크가 정보 흐름을 어떻게 조절하는지 정량화하는 새로운 과도한 압착 한계를 도출한다.
    • 최첨단 LLM인 Gemma 7B와 LLaMa 3.1 계열에 대한 광범위한 실증 검증을 섭동 분석, 어텐션 패턴 정밀 조사, 표적 절제 연구를 통해 수행했다.
    • 통제된 사전 학습 실험을 통해 문맥 길이, 모델 규모, 그리고 어텐션 싱크의 형성 및 강도 사이의 인과 관계를 입증했다.
    초록PDF
  33. 049Medical AI / RAGarXiv:2503.23513

    RARE: Retrieval-Augmented Reasoning Modeling

    RARE는 동적으로 검색된 외부 정보로 추론하도록 모델을 학습시켜 지식 저장과 추론 최적화를 분리하는 대규모 언어 모델 패러다임을 제시한다.

    RARE는 동적으로 검색된 외부 정보로 추론하도록 모델을 학습시켜 지식 저장과 추론 최적화를 분리하는 대규모 언어 모델 패러다임을 제시한다. 이 접근은 경량 모델이 도메인 특화 벤치마크에서 최신 수준의 정확도를 달성하게 하며, 종종 훨씬 큰 검색 증강 모델을 능가하는 동시에 효율성과 견고성도 개선한다.

    • 대규모 언어 모델(LLM)은 전문 도메인에서 지식 환각과 불충분한 추론 능력을 보인다.
    • 검색 증강 생성(RAG) 같은 기존 접근은 주로 추론 시점에 지식을 보충할 뿐, 학습 중 도메인 특화 추론의 체계적 학습은 소홀히 한다.
    • 도메인 지식을 위한 기존의 파인튜닝이나 사전 학습은 비용이 크고 지식 얽힘을 초래하며, 파라미터 예산 제약 때문에 환각에 취약하다.
    • 도메인 지식을 검색 가능한 출처로 외부화하고 도메인 특화 추론 패턴을 LLM 내부에 내재화한다.
    • 교사 모델을 활용해 검색된 지식을 포함한 고품질의 단계별 추론 응답을 증류한다.
    • 검색된 지식을 프롬프트에 주입하는 마스킹 손실 목적함수를 사용해 경량 학생 모델을 학습시켜, 모델이 제공된 정보를 통합하고 그것으로 추론하는 데 집중하도록 강제한다.
    초록PDF
  34. 048Research AgentsarXiv:2503.22708

    CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation

    CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다.

    CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다. 이 시스템은 LLM 신뢰도, 지식 그래프 복잡성, 텍스트 세계 생성 방법에 대한 통찰 등 여러 연구 영역에 걸쳐 여섯 가지 별개의 발견을 성공적으로 생성하고 검증했다.

    • 기존 자율 과학 발견(ASD) 시스템은 종종 연구 파이프라인의 특정 부분에 집중하거나 도메인 특화 언어에 의존해 잠재적 발견의 범위를 제한한다.
    • 대규모 언어 모델을 과학적 발견에 활용하면서 코드 기반 실험을 강조하는 종단간 반자동 시스템이 필요하다.
    • LLM 기반 ASD 시스템의 발견에 대한 신뢰성과 재현성을 평가하는 것은 언어 모델 출력의 본질적 변동성과 생성된 코드의 불충실 가능성 때문에 어렵다.
    • CODESCIENTIST는 아이디어 발상, 계획, 실험 구성 및 실행, 보고, 메타 분석 단계로 구성된 반자동 종단간 과학 발견 워크플로우를 구현한다.
    • 아이디어 발상에 'LLM-as-a-mutator' 유전 탐색 접근을 사용해 연구 논문의 단편과 코드 블록을 결합함으로써 다양한 연구 아이디어를 생성한다.
    • 이 시스템은 계측된 샌드박스에서 코드를 생성·실행하며, 반복적인 생성-실행-반성-디버그 주기를 사용하고, 재현성을 보장하기 위해 각 실험마다 여러 차례 독립 실행을 수행한다.
    초록PDF
  35. 047LLMs / EnterprisearXiv:2504.00698

    Command A: An Enterprise-Ready Large Language Model

    Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다.

    Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다. 새로운 분산 학습 접근과 하이브리드 구조를 통해 동급 최고의 RAG 및 에이전트 능력, 23개 언어에 대한 견고한 다국어 지원, 효율적인 배포 요구사항을 달성한다.

    • 범용 대규모 언어 모델(LLM)은 검색 증강 생성(RAG), 복잡한 에이전트 작업, 견고한 다국어 지원 같은 특정 엔터프라이즈 워크플로우에 대한 최적화가 부족한 경우가 많다.
    • 대규모 최신 LLM을 엔터프라이즈 환경에 배포하는 것은 종종 연산 집약적이고 비용이 많이 들어 온프레미스 또는 프라이버시 보존 배포를 저해한다.
    • 파국적 망각이나 성능 트레이드오프 없이 다양한 능력을 단일 LLM에 통합하는 것은 대규모 모델 학습에서 여전히 난제로 남아 있다.
    • Command A는 새로운 하이브리드 어텐션 메커니즘과 Grouped-Query Attention을 갖춘 디코더 전용 Transformer를 활용해 효율성과 성능의 균형을 맞춘다.
    • 분산 사후 학습 접근은 여섯 개의 전문화된 전문가 모델(예: Code, Safety, RAG)을 도메인별 데이터로 학습한 뒤 그 파라미터를 병합해 통합 능력을 갖춘 'soup' 모델로 만드는 과정을 포함한다.
    • 정제 단계는 Self-improving Robust Preference Optimization(SRPO)과 인간 정렬 및 특정 능력을 위한 온라인 RLHF를 포함한 고급 지도 파인튜닝(SFT) 및 강화 학습(RL) 기법을 통합한다.
    초록PDF
  36. 046Benchmarks / Research AgentsarXiv:2504.01848

    PaperBench: Evaluating AI's Ability to Replicate AI Research

    OpenAI 연구진은 원본 코드에 접근하지 않고 최신 머신러닝 연구를 처음부터 복제하는 AI 에이전트의 능력을 평가하는 벤치마크 PaperBench를 개발했다.

    OpenAI 연구진은 원본 코드에 접근하지 않고 최신 머신러닝 연구를 처음부터 복제하는 AI 에이전트의 능력을 평가하는 벤치마크 PaperBench를 개발했다. 평가 결과 현재 최첨단 모델은 평균 13.2퍼센트에서 24.4퍼센트의 복제 점수를 달성했으며, 견고한 실행 및 결과 검증보다 코드 생성에서 더 나은 성과를 보였다. 이는 인간 기준선 41.4퍼센트와 비교된다.

    • 기존 AI 에이전트 벤치마크는 장기적이고 개방형인 머신러닝 연구개발(ML R&D) 작업에 대한 성능을 평가하기에 범위와 복잡성이 부족한 경우가 많다.
    • 특히 안전성 및 거버넌스 프레임워크를 위해, AI 모델의 자율성과 과학 연구 수행 역량에 대한 엄밀하고 객관적이며 확장 가능한 척도가 필요하다.
    • 연구 논문의 인간 복제는 시간이 많이 들고 주관적인 과정이어서 AI 에이전트의 일관된 평가를 위해 확장하기 어렵다.
    • OpenAI 연구진은 AI 에이전트가 원본 코드베이스에 접근하지 않고 처음부터 실증 결과를 복제하도록 요구하는, 최근 ICML 논문 20편으로 구성된 벤치마크 PaperBench를 도입했다.
    • 각 논문에 대해 원저자와 공동 개발한 상세한 계층적 루브릭이 8,316개의 구체적 기여 항목에 걸쳐 세분화된 이진 합격/불합격 기준을 제공한다.
    • 인간 채점 벤치마크(JudgeEval)에 대해 F1 점수 0.83으로 검증된 LLM 기반 자동 판정기 SimpleJudge가 에이전트 제출물에 대한 확장 가능하고 일관된 평가를 제공한다.
    초록PDF
  37. 045Image GenerationarXiv:2502.17437

    Fractal Generative Models

    MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다.

    MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다. 이 방법은 ImageNet에 대한 픽셀 단위 이미지 생성에서 최신 수준의 우도를 달성하며, 향상된 연산 효율성으로 고품질 이미지를 생성한다.

    • 전통적 생성 모델은 원시 이미지처럼 고차원이고 비순차적인 데이터에 요구되는 연산 부담과 인위적 순차화에 어려움을 겪는다.
    • 높은 해상도에서 고충실도 픽셀 단위 이미지 생성을 달성하는 것은 막대한 차원 수 때문에 연산적으로 실현 불가능하고 어렵다.
    • 기존 딥러닝의 모듈화는 종종 계층이나 단순 블록에 국한되어, 전체 생성 모델을 구성하기 위한 상위 수준의 추상화가 결여되어 있다.
    • 기존 생성 모델을 원자적 생성 모듈로 재귀적으로 호출해 자기 유사적 구조를 형성하는 새로운 생성 모델링 패러다임 'fractal generative models'를 제안한다.
    • 이 프레임워크는 이미지 패치에 대한 분할 정복 전략을 사용해 픽셀 단위 이미지 생성을 위한 자기회귀(AR) 모델(FractalAR/FractalMAR)로 구체화된다.
    • 각 계층 수준에서 다중 스케일 패칭과 국소 어텐션 메커니즘을 활용해 고해상도 이미지 생성에 따른 2차 연산 비용을 대폭 줄인다.
    초록PDF
  38. 044RL / AgentsarXiv:2502.19328

    Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems

    Tsinghua University 연구진은 인간 선호와 자동 검증 에이전트를 결합한 새로운 보상 모델링 프레임워크 REWARDAGENT를 제안한다. LLM 학습과 응답 선택에서 우수한 성능을 달성하는 동시에 더 나은 언어 모델 개발을 위한 더 신뢰할 수 있는 토대를 제공한다.

    Tsinghua University 연구진은 인간 선호와 자동 검증 에이전트를 결합한 새로운 보상 모델링 프레임워크 REWARDAGENT를 제안한다. LLM 학습과 응답 선택에서 우수한 성능을 달성하는 동시에 더 나은 언어 모델 개발을 위한 더 신뢰할 수 있는 토대를 제공한다.

    • 기존 보상 모델은 인간 선호에 지나치게 의존해 잠재적 편향과 정확성 문제를 일으킨다.
    • 현재 접근들은 사실 정확성과 지시 준수에 대한 체계적 검증이 부족하다.
    • 전통적 보상 모델은 여러 중요한 평가 기준을 동시에 포착하지 못하는 경우가 많다.
    • 전문화된 검증 에이전트와 인간 선호 신호를 결합한 멀티 에이전트 보상 시스템을 개발했다.
    • 어떤 검증 에이전트를 호출할지 지능적으로 결정하는 라우터 구성 요소를 만들었다.
    • 여러 평가 출처의 점수를 결합하는 통합 메커니즘을 구현했다.
    초록PDF
  39. 043Math ReasoningarXiv:2503.00735

    LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

    Tufa Labs는 복잡한 문제의 점진적으로 더 단순한 변형을 재귀적으로 생성하고 강화 학습으로 학습함으로써 대규모 언어 모델이 자율적으로 문제 해결 능력을 향상시킬 수 있게 하는 프레임워크 LADDER를 개발했다.

    Tufa Labs는 복잡한 문제의 점진적으로 더 단순한 변형을 재귀적으로 생성하고 강화 학습으로 학습함으로써 대규모 언어 모델이 자율적으로 문제 해결 능력을 향상시킬 수 있게 하는 프레임워크 LADDER를 개발했다. 이 접근은 3B Llama 모델의 적분 정확도를 1퍼센트에서 82퍼센트로 끌어올렸으며, Test-Time Reinforcement Learning과 결합했을 때 7B Qwen 모델이 MIT Integration Bee에서 90퍼센트를 달성해 GPT-4o와 OpenAI의 o1 같은 더 큰 모델을 능가하게 했다.

    • 대규모 언어 모델(LLM)을 위한 강화 학습은 학습 작업에 난이도의 점진적 구배를 요구하지만, 이는 종종 확보되지 않아 학습 정체나 파국적 성능 저하로 이어진다.
    • 수학과 같은 복잡한 추론 영역은 모델이 풀 수 있는 문제와 현재 풀 수 없는 문제 사이의 큰 격차 때문에 상당한 난제를 제기한다.
    • 기존 LLM 학습 및 개선 방법은 종종 방대한 인간 큐레이션 데이터셋이나 지속적인 인간 감독·피드백에 크게 의존한다.
    • LADDER 프레임워크는 재귀적 문제 분해를 가능하게 하며, LLM이 변환 라이브러리와 유도된 프롬프팅을 사용해 복잡하고 현재 풀 수 없는 문제의 점진적으로 더 단순한 변형으로 이루어진 트리를 자율적으로 생성한다.
    • 견고한 수치 검증 프레임워크가 해답의 정확성을 평가해 강화 학습을 위한 명확하고 객관적인 보상 신호를 제공한다.
    • Test-Time Reinforcement Learning(TTRL)은 추론 시점에 이전에 풀지 못한 테스트 문제에 대해 문제별로 집중된 변형을 생성해 LADDER를 확장하며, 개별적인 어려운 질문에 대한 표적적·동적 학습을 가능하게 한다.
    초록PDF
  40. 042Alignment / SafetyarXiv:2502.16797

    Forecasting Rare Language Model Behaviors

    연구진은 평가 중에 테스트할 수 있는 양보다 훨씬 큰 쿼리 규모에 걸쳐 대규모 언어 모델에서 드물게 나타나는 바람직하지 않은 행동의 발생 가능성을 예측하는 방법을 개발했다.

    연구진은 평가 중에 테스트할 수 있는 양보다 훨씬 큰 쿼리 규모에 걸쳐 대규모 언어 모델에서 드물게 나타나는 바람직하지 않은 행동의 발생 가능성을 예측하는 방법을 개발했다. 이들의 Gumbel-tail method는 위험을 정확하게 예측해 배포 전 안전성 평가를 개선한다.

    • 표준 LLM 평가는 수천 개의 쿼리를 다루지만 배포된 모델은 수십억 개를 처리하므로, 드물지만 잠재적으로 유해한 행동에 대한 상당한 사각지대가 생긴다.
    • 제한된 테스트에서 안전해 보이는 행동도 배포 시 훨씬 많은 쿼리에 노출되면 상당한 위험을 초래할 수 있다.
    • 전통적 평가 방법은 근본적인 규모 격차와, 동일한 쿼리에 대해 서로 다른 응답을 생성할 수 있는 언어 모델의 확률적 특성을 고려하지 못한다.
    • Anthropic, Mila, UC Berkeley 연구진은 제한된 평가 데이터를 사용해 배포 규모에서 바람직하지 않은 LLM 행동의 위험을 예측하는 Gumbel-tail method를 개발했다.
    • 이 방법은 모델을 반복적으로 샘플링해 목표 행동을 보이는 응답의 비율을 측정함으로써 각 쿼리의 유발 확률을 추정한다.
    • 이 방법은 극단값 이론, 구체적으로는 Gumbel 분포를 활용해 소수의 평가 쿼리로부터 이러한 유발 확률의 꼬리 행동을 모델링하고 외삽한다.
    초록PDF
  41. 041Reasoning / RLarXiv:2503.01307

    Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

    Stanford University 연구진은 검증과 백트래킹 같은 인지 행동을 보이는 언어 모델의 초기 역량이 강화 학습을 통한 자기 개선 능력을 좌우한다는 사실을 밝혀냈다.

    Stanford University 연구진은 검증과 백트래킹 같은 인지 행동을 보이는 언어 모델의 초기 역량이 강화 학습을 통한 자기 개선 능력을 좌우한다는 사실을 밝혀냈다. 이러한 자기 개선 능력은 해당 행동이 풍부한 데이터로 모델을 프라이밍하거나 사전 학습 데이터를 큐레이션함으로써 유도될 수 있으며, 프라이밍 데이터에 틀린 해답이 포함되어 있어도 마찬가지다.

    • 일부 대규모 언어 모델(LLM)은 검증 가능한 추론 작업에 대한 강화 학습(RL)을 통해 상당한 자기 개선을 달성하는 반면, 다른 모델은 동일한 학습에도 빠르게 정체된다.
    • LLM이 추가 연산 자원을 자기 개선에 효과적으로 활용할 수 있게 하는 근본적인 본질적 특성이나 초기 역량이 무엇인지는 불분명하게 남아 있었다.
    • LLM 추론에서 RL 기반 자기 개선의 성공과 실패를 결정짓는 기초적 특성에 대한 이해가 부족했다.
    • GPT-4o-mini 분류기를 사용해 LLM 추론 궤적에서 네 가지 인지 행동(검증, 백트래킹, 하위 목표 설정, 역방향 연쇄)을 식별·정량화하는 프레임워크를 개발했다.
    • 자기 개선 역량이 서로 다른 모델(Qwen-2.5-3B 대 Llama-3.2-3B)을 대상으로 Countdown 게임에서 비교 강화 학습(RL) 실험을 수행했다.
    • 특정 인지 행동이 풍부한 합성 데이터로 모델을 파인튜닝하고 이러한 행동을 증폭하도록 사전 학습 데이터를 큐레이션하는 등 표적 개입을 적용해 자기 개선을 유도했다.
    초록PDF
  42. 040Reasoning / SurveyarXiv:2502.21321

    LLM Post-Training: A Deep Dive into Reasoning Large Language Models

    이 논문은 대규모 언어 모델(LLM)의 사후 학습 방법론을 포괄적으로 조사하며, 추론 능력, 사실 정확성, 정렬을 향상시키도록 설계된 기법에 초점을 맞춘다.

    이 논문은 대규모 언어 모델(LLM)의 사후 학습 방법론을 포괄적으로 조사하며, 추론 능력, 사실 정확성, 정렬을 향상시키도록 설계된 기법에 초점을 맞춘다. 방법들을 파인튜닝, 강화 학습, 테스트 시점 스케일링으로 체계적으로 분류해 LLM 최적화에서의 역할, 과제, 향후 방향에 대한 구조적 개관을 제공한다.

    • 사전 학습된 대규모 언어 모델(LLM)은 종종 사실 정확성에 어려움을 겪으며 환각이나 논리적으로 일관되지 않은 출력을 생성한다.
    • LLM 추론은 명시적 논리 추론보다는 통계적 패턴에 주로 기반하므로 복잡한 추론 작업에서 한계를 보인다.
    • 방대한 사전 학습에도 불구하고 LLM은 인간의 의도, 선호, 윤리적 고려와 완전히 정렬되지 않을 수 있어, 신뢰할 수 있는 배포를 위해서는 추가적인 정제가 필요하다.
    • 이 논문은 LLM의 기존 사후 학습 방법론을 체계적으로 조사·분류하며 추론 능력 향상에서의 역할에 초점을 맞춘다.
    • 기법들을 서로 연결된 세 가지 주요 단계, 즉 파인튜닝(예: instruction, CoT, PEFT), 강화 학습(예: RLHF, DPO, RLAIF), 테스트 시점 스케일링(예: CoT 프롬프팅, Tree-of-Thoughts, MCTS)으로 구성한다.
    • 이 조사는 각 기법이 LLM 행동을 정제하고 견고성을 개선하며 다양한 응용에서 적응성을 보장하는 데 기여하는 구체적인 지점을 부각한다.
    초록PDF
  43. 039Training EfficiencyarXiv:2503.02875

    The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models

    Tencent AI Lab 연구진은 해법 경로의 처음 몇 개 토큰에만 집중하는 새로운 접근인 Unsupervised Prefix Fine-Tuning(UPFT)을 제안한다. 최신 기법에 필적하는 결과를 달성하면서 학습 시간을 75퍼센트, 샘플링 비용을 99퍼센트 절감해 언어 모델의 추론 능력을 크게 끌어올린다.

    Tencent AI Lab 연구진은 해법 경로의 처음 몇 개 토큰에만 집중하는 새로운 접근인 Unsupervised Prefix Fine-Tuning(UPFT)을 제안한다. 최신 기법에 필적하는 결과를 달성하면서 학습 시간을 75퍼센트, 샘플링 비용을 99퍼센트 절감해 언어 모델의 추론 능력을 크게 끌어올린다.

    • LLM 추론을 개선하는 기존 방법은 방대한 레이블 데이터나 연산 비용이 큰 샘플링을 요구한다.
    • 전통적 파인튜닝 접근은 복잡한 추론 작업에서 효율성과 확장성에 어려움을 겪는다.
    • 서로 다른 해법 경로가 공통의 초기 추론 단계를 공유하는 'Prefix Self-Consistency' 현상을 활용한다.
    • 추출된 prefix 부분 문자열로 모델을 파인튜닝하면서 추론 구조를 유지하는 UPFT 방법을 개발한다.
    • 추론 능력의 파국적 망각을 방지하기 위해 구조 튜닝을 통합한다.
    • 추론 과정의 초기 토큰은 핵심 정보를 담고 있으며 서로 다른 해법 전반에서 높은 일관성을 보인다.
    초록PDF
  44. 038Architecture / ReasoningarXiv:2502.13842

    Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking

    Inner Thinking Transformer(ITT)는 중요한 토큰에 내부 연산 자원을 적응적으로 할당하는 동적 깊이 스케일링 구조를 도입해 대규모 언어 모델의 추론 능력과 효율성을 높인다.

    Inner Thinking Transformer(ITT)는 중요한 토큰에 내부 연산 자원을 적응적으로 할당하는 동적 깊이 스케일링 구조를 도입해 대규모 언어 모델의 추론 능력과 효율성을 높인다. 중국과학원과 Baidu Inc.의 공동 연구팀이 개발한 ITT는 모델이 훨씬 큰 모델에 필적하는 성능을 달성하면서도 데이터 및 연산 효율성을 개선할 수 있게 한다.

    • 소형 대규모 언어 모델(LLM)은 고정된 연산 예산과 제한된 파라미터 수 때문에 복잡한 추론 작업을 처리할 때 본질적인 성능 병목을 겪는다.
    • 성능을 높이려고 LLM 파라미터를 계속 확장하는 전통적 접근은 수익 체감과 연산·배포 비용 급증에 부딪혀 지속 가능성에 대한 우려를 낳는다.
    • 실증 분석에 따르면 '어려운' 토큰은 Transformer 계층 전반에서 지속적인 그래디언트 진동과 급격한 스파이크를 유발하며, 이는 구조적 부담과 복잡한 정보 처리에 필요한 깊이의 부족을 나타낸다.
    • 단일 토큰의 생성을 일련의 내부 추론 단계로 분해해 그 표현을 반복적으로 정제하는 'Inner Thinking Step' 개념을 도입한다.
    • 각 사고 단계의 출력을 누적하는 Residual Thinking Connections(RTC)를 구현해 점진적인 표현 정제를 가능하게 하고 성능 병목을 돌파한다.
    • Adaptive Token Routing(ATR)을 적용해 추가 사고 단계를 가장 중요한 토큰에만 동적으로 할당함으로써 쉬운 토큰에 대한 불필요한 처리를 피해 연산 효율성을 높이고, Thinking Step Encoding(TSE)으로 각 단계에 문맥 정보를 제공한다.
    초록PDF
  45. 037Reasoning / AgentsarXiv:2502.08235

    The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks

    UC Berkeley, ETH Zurich를 비롯한 기관의 주요 AI 연구진은 대규모 추론 모델(LRM)의 중대한 성능 한계를 밝혔다. 즉 작업을 과도하게 숙고하는 경향이 43% 더 높은 연산 비용과 효과 저하로 이어지며, 간단한 완화 전략을 도입하면 상호작용 환경에서 성능을 30% 향상시킨다.

    UC Berkeley, ETH Zurich를 비롯한 기관의 주요 AI 연구진은 대규모 추론 모델(LRM)의 중대한 성능 한계를 밝혔다. 즉 작업을 과도하게 숙고하는 경향이 43% 더 높은 연산 비용과 효과 저하로 이어지며, 간단한 완화 전략을 도입하면 상호작용 환경에서 성능을 30% 향상시킨다.

    • LRM은 환경과의 상호작용보다 확장된 내부 추론을 선호하는 경향이 있어, 비효율적인 성능으로 이어진다.
    • AI 시스템에서 과도한 숙고 행동을 분석하고 정량화하기 위한 체계적 프레임워크가 존재하지 않는다.
    • 상호작용 환경에서 추론과 행동 사이의 균형에 대한 이해가 부족하다.
    • LRM의 과도한 숙고를 연구하고 측정하기 위한 포괄적 프레임워크를 개발했다.
    • SWE Bench Verified를 사용해 4,018개의 궤적을 분석해 패턴을 식별했다.
    • 인간 전문가 평가에 대조해 검증된 점수화 시스템을 도입했다.
    초록PDF
  46. 036Efficiency / Multi-modelarXiv:2502.14815

    Optimizing Model Selection for Compound AI Systems

    Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

    Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

    • 복합 AI 시스템은 보통 모든 모듈에 동일한 LLM을 사용해 전체 성능을 제한한다.
    • 서로 다른 시스템 구성 요소에 걸쳐 모델 선택을 최적화하는 체계적 접근법이 없다.
    • 단조적 성능 관계를 활용하는 LLMSelector 프레임워크를 개발했다.
    • LLM 기반 성능 추정을 사용해 모델을 모듈에 효율적으로 할당한다.
    • 순차적 모듈 지명을 통한 반복적 최적화 접근법을 구현한다.
    • 종단간 성능은 종종 모듈별 성능에 대해 단조적이다.
    초록PDF
  47. 035Benchmarks / Code AgentsarXiv:2502.12115

    SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

    OpenAI는 총 가치 100만 달러에 달하는 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 사용해 대규모 언어 모델을 풀스택 개발과 관리적 의사결정 능력에서 평가하는 벤치마크 SWE-Lancer를 도입한다.

    OpenAI는 총 가치 100만 달러에 달하는 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 사용해 대규모 언어 모델을 풀스택 개발과 관리적 의사결정 능력에서 평가하는 벤치마크 SWE-Lancer를 도입한다. 이 평가는 Claude 3.5 Sonnet 같은 프런티어 모델이 지급 가능한 보상의 일부를 벌 수 있지만 이러한 복잡한 작업을 완전히 자동화하기에는 여전히 부족함을 드러내며, 근본 원인 분석과 다중 구성 요소 상호작용에서 상당한 개선 여지가 있음을 보여준다.

    • 기존 LLM 코딩 벤치마크는 단위 테스트에 의존해 채점기 해킹에 취약하며, 복잡한 풀스택 소프트웨어 공학 작업을 검증하기에 불충분하다.
    • 이전 평가들은 직접적인 경제 지표가 부족해, 실제 소프트웨어 개발 시나리오에서 LLM 출력의 실질적인 금전적 가치를 정량화하지 못한다.
    • 현재 벤치마크는 상업적 프리랜스 소프트웨어 공학 작업의 다양하고 모호하며 포괄적인 성격보다는 고립된 프로그래밍 문제나 특정 저장소에 초점을 맞춰 범위가 좁은 경우가 많다.
    • 총 100만 달러에 달하는 실제 금전적 보상이 걸린 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 특징으로 하는 벤치마크 SWE-Lancer를 개발했다.
    • 코드 패치 생성을 요하는 개별 기여자(IC) SWE 작업과, 모델이 여러 제안 중 최적의 해법을 선택하는 SWE 관리 작업의 두 가지 작업 유형을 포함했다.
    • Playwright로 작성하고 전문 엔지니어가 3중 검증한 종단간(E2E) 테스트를 활용하는 엄격한 5단계 파이프라인을 채택해, 견고하고 해킹 불가능한 평가를 보장했다.
    초록PDF
  48. 034LLMs / DiffusionarXiv:2502.09992

    Large Language Diffusion Models

    LLaDA는 처음부터 학습된 새로운 80억 파라미터 확산 모델을 도입해, 확산 모델이 대규모 언어 모델링에서 최첨단 자기회귀 모델과 경쟁할 만한 성능을 달성할 수 있음을 입증한다.

    LLaDA는 처음부터 학습된 새로운 80억 파라미터 확산 모델을 도입해, 확산 모델이 대규모 언어 모델링에서 최첨단 자기회귀 모델과 경쟁할 만한 성능을 달성할 수 있음을 입증한다. 이 연구는 LLM 능력이 본질적으로 자기회귀 구조에 의존한다는 가정에 도전하며 역전의 저주에 대한 해법을 제공한다.

    • 대규모 언어 모델의 능력(확장성, 문맥 내 학습)이 자기회귀 구조에만 있다는 것이 통념이다.
    • 양방향 또는 역방향 추론을 요하는 작업에서 모델이 어려움을 겪는 역전의 저주처럼 자기회귀 모델에는 한계가 있다.
    • 수십억 파라미터 규모의 자기회귀 모델과 성능 면에서 견줄 수 있는 대규모 언어 확산 모델이 없었다.
    • 인과 마스크 없이 Transformer 백본을 활용해 이산 토큰 시퀀스를 위한 마스크 확산 모델(MDM)인 LLaDA를 개발했다.
    • 음의 로그 가능도의 상한을 이루는 원칙적인 교차 엔트로피 손실을 최적화하며, 2.3조 토큰 데이터셋으로 80억 파라미터 LLaDA 모델을 처음부터 학습했다.
    • 생성 품질과 속도의 균형을 맞추는 저신뢰도 재마스킹 기법을 포함한 유연한 반복 샘플링 전략을 추론에 구현했다.
    초록PDF
  49. 033Architecture / EfficiencyarXiv:2502.11089

    Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

    DeepSeek-AI 연구진은 대규모 언어 모델을 위한 효율적이고 성능 좋은 긴 컨텍스트 모델링을 가능하게 하는, 하드웨어 정렬형이며 네이티브하게 학습 가능한 희소 어텐션 메커니즘 Native Sparse Attention(NSA)을 개발했다.

    DeepSeek-AI 연구진은 대규모 언어 모델을 위한 효율적이고 성능 좋은 긴 컨텍스트 모델링을 가능하게 하는, 하드웨어 정렬형이며 네이티브하게 학습 가능한 희소 어텐션 메커니즘 Native Sparse Attention(NSA)을 개발했다. NSA는 64k 컨텍스트 길이에서 최대 11.6배의 디코딩 속도 향상과 9.0배의 학습 속도 향상을 달성하는 동시에, 긴 컨텍스트 추론 작업을 포함한 다양한 벤치마크에서 full attention을 능가한다.

    • LLM의 전통적인 어텐션 메커니즘은 시퀀스 길이에 대해 이차 연산 복잡도를 가져, 학습과 추론 시 긴 컨텍스트 처리가 엄청나게 비싸진다.
    • 기존 희소 어텐션 방법은 비효율적인 메모리 접근 패턴과 현대 하드웨어 구조(예: MQA/GQA)와의 비호환성 탓에, 이론적 효율 이득을 실제 지연 속도 향상으로 전환하지 못하는 경우가 많다.
    • 대부분의 희소 어텐션 접근법은 추론 전용으로 설계되어 사전 학습된 full attention 백본을 요구하는데, 이는 성능 저하로 이어지거나 종단간 학습을 비실용적이거나 비효율적으로 만들 수 있다.
    • Native Sparse Attention(NSA)은 세 개의 병렬 분기를 결합한 계층적 희소 어텐션 메커니즘을 도입한다. 즉 전역 컨텍스트를 위한 압축 어텐션, 세밀하게 중요한 토큰을 위한 선택 어텐션, 지역 컨텍스트를 위한 슬라이딩 윈도우 어텐션이다.
    • 학습 가능한 게이팅 메커니즘을 사용해 이 분기들의 출력을 동적으로 집계함으로써, 높은 희소성을 유지하면서 거친 정보와 세밀한 정보를 유연하게 결합할 수 있게 한다.
    • NSA는 하드웨어 정렬을 위해 설계된 전용 Triton 기반 커널을 활용하며, 그룹 중심 데이터 로딩과 공유 KV 페칭에 초점을 맞춰 학습과 추론 모두에서 메모리 접근을 최적화하고 GPU 텐서 코어 활용도를 극대화한다.
    초록PDF
  50. 032Reasoning / SurveyarXiv:2502.03671

    Advancing Reasoning in Large Language Models: Promising Methods and Approaches

    Juniper Networks의 이 서베이는 대규모 언어 모델(LLM) 추론의 발전을 종합해, 방법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법으로 분류한다.

    Juniper Networks의 이 서베이는 대규모 언어 모델(LLM) 추론의 발전을 종합해, 방법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법으로 분류한다. 또한 현재의 평가 프레임워크를 검토하고 지속되는 과제를 규명해, 해당 분야의 진전에 대한 체계적인 개요를 제공하고자 한다.

    • 대규모 언어 모델(LLM)은 종종 견고하고 체계적인 추론 능력이 부족해, 논리적 연역, 수학 문제 해결, 다단계 추론 같은 복잡한 작업에서 어려움을 겪는다.
    • 이러한 결함은 사실 부정확성, 비일관성, 환각 같은 심각한 문제로 이어져, 핵심 응용에서 LLM의 신뢰성을 제한한다.
    • 현대 LLM의 데이터 주도 패러다임을 고전 AI의 구조화된 추론과 통합하는 것은 여전히 진행 중이며 복잡한 과제다.
    • 이 논문은 LLM의 추론 향상에 관한 기존 연구를 체계적으로 수집하고 분석하는 포괄적인 문헌 검토를 수행한다.
    • 다양한 추론 개선 기법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법의 세 가지 주요 그룹으로 분류한다.
    • 이 서베이는 또한 LLM 추론을 평가하는 데 사용되는 다양한 벤치마크와 지표를 검토하고, 열린 과제와 향후 연구 방향을 규명한다.
    초록PDF