HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,430자료 갱신일 Research Monitoring벤치마크RSS 구독
  1. 131Agents / BenchmarksarXiv:2603.28052

    Meta-Harness: End-to-End Optimization of Model Harnesses

    코딩 에이전트가 이전 코드, 점수, 원시 실행 트레이스에 대한 완전한 파일시스템 접근으로 실행 가능한 하니스 코드를 탐색하게 함으로써 LLM 하니스 엔지니어링을 자동화한다.

    Meta-Harness는 LLM을 둘러싼, 흔히 수작업으로 이루어지는 계층, 즉 무엇을 저장하고 검색하며 컨텍스트에 배치할지 결정하는 하니스 코드를 표적으로 한다. 프롬프트 문자열을 최적화하거나 압축된 피드백에 의존하는 대신, 에이전트형 제안자가 일반적인 파일시스템 도구를 통해 이전의 모든 소스 코드, 점수, 원시 실행 트레이스를 검사하고, 새로운 Python 하니스를 제안하며, 추후 디버깅을 위해 전체 롤아웃을 기록하는 외부 루프를 실행한다. 온라인 텍스트 분류, 검색 증강 IMO 스타일 수학, TerminalBench-2 코딩 전반에서 이러한 비압축 이력 접근법은 Label-Primed Query 검색, 재순위화를 동반한 주제별 수학 검색, 터미널 환경 부트스트래핑과 같은 구체적 알고리즘 변경을 만들어냈다. 보고된 성과로는 ACE 대비 컨텍스트 토큰을 4배 적게 쓰면서 정확도가 7.7 향상되고, 다섯 개의 홀드아웃 수학 모델 평균 4.7점 향상, 그리고 Claude 기반 에이전트의 리더보드 수준 TerminalBench-2 통과율이 포함된다.

    • 핵심 아이디어는 하니스를 프롬프트 템플릿이 아니라 실행 가능한 상태 보유 코드로 취급하고, 검색과 메모리, 프롬프트 구성, 환경 처리 로직을 종단 간으로 탐색하는 것이다.
    • 최적화 루프에서는 코딩 에이전트 제안자가 이전 코드, 점수, 프롬프트, 모델 출력, 도구 호출, 트레이스로 구성된 비압축 파일시스템을 탐색한 뒤 평가를 위해 새로운 하니스 후보를 제출한다.
    • 실증 결과로, 온라인 분류 정확도가 ACE의 40.9%에 비해 48.6%이면서 컨텍스트 토큰은 4배 적게 사용했고, 다섯 개 홀드아웃 모델 전반의 200개 IMO 수준 수학 문제에서 평균 4.7점 향상되었으며, alphaXiv 리포트에서 TerminalBench-2 기준 Claude Haiku 4.5는 37.6%, Claude Opus 4.6은 76.4%에 도달했다.
    • 의의는 원시 트레이스가 제안자로 하여금 장기 시야의 신용 할당 실패를 디버깅하게 해준다는 점이다. 예컨대 롤아웃 초반의 메모리 누락이 이후 답변 실패를 야기하는 경우처럼, 점수만 보거나 요약만 보는 최적화기는 놓치는 부분이다.
    초록PDF
  2. 130Code AgentsarXiv:2603.21489

    Effective Strategies for Asynchronous Software Engineering Agents

    CAID는 의존성 인식 위임, git 워크트리, 커밋, 병합, 테스트를 사용해 다중 에이전트 코딩을 프롬프트 수준 협조에서 실행 가능한 분기-병합 워크플로로 재구성하여, 장기 시야의 SWE 과제에서 병렬 에이전트를 실용적으로 만든다.

    이 논문은 한 관리자가 저장소 규모의 목표를 의존성 그래프로 분해하고 준비된 하위 과제를 여러 엔지니어 에이전트에게 분배하는 중앙집중식 비동기 격리 위임(CAID)을 제안한다. 각 엔지니어는 별도의 git 워크트리에서 작업하고, 실행 가능한 테스트로 스스로 검증하며, 결과를 커밋하고, 이후 관리자가 git merge를 통해 변경을 통합하되 충돌은 담당 엔지니어에게 되돌린다. PaperBench와 Commit0-Lite에서 CAID는 단일 에이전트 기준 대비 각각 26.7%p와 14.3%p 향상되었으며, MiniMax 2.5의 PaperBench 실행은 10.4%에서 36.7%로 상승했다. 절제 실험은 물리적 격리가 프롬프트만으로 하는 약한 분리보다 우수하고, CAID로 시작하는 것이 폴백으로 사용하는 것보다 효율적이며, 엔지니어를 너무 많이 추가하면 통합과 의존성 오버헤드가 지배하여 오히려 해가 될 수 있음을 보여준다.

    • 핵심 방법은 다음과 같다. 관리자가 과제 의존성 그래프를 구축하고, 자격을 갖춘 노드만 위임하며, 엔지니어 에이전트가 하위 과제를 완료하면 상태를 갱신한다.
    • 실행 모델은 다음과 같다. 엔지니어는 격리된 git 워크트리에서 편집하고, 커밋 전에 로컬 테스트를 실행하며, 구조화된 분기-병합 파이프라인을 통해 변경을 되돌려준다.
    • 실증 결과로, CAID는 단일 에이전트 기준 대비 PaperBench에서 26.7%p, Commit0-Lite에서 14.3%p의 향상을 얻어 정확도와 장기 시야 협조 양쪽의 이득을 시사한다.
    • 핵심 유의점으로, 병렬성에는 최적 지점이 있다. 엔지니어 2~4명은 도움이 되지만, 8명이면 병합 충돌, 의존성 대기, 검증 오버헤드가 추가 인력을 능가할 때 결과가 악화될 수 있다.
    초록PDF
  3. 129Agents / MetacognitionarXiv:2603.19461

    Hyperagents

    University of British Columbia와 Meta를 비롯한 여러 기관의 연구진은 AI 시스템이 자신의 자기 개선 메커니즘을 자율적으로 수정할 수 있게 하는 프레임워크 HyperAgents를 개발하여, 재귀적 자기 개선을 코딩 과제 너머로 확장했다.

    University of British Columbia와 Meta를 비롯한 여러 기관의 연구진은 AI 시스템이 자신의 자기 개선 메커니즘을 자율적으로 수정할 수 있게 하는 프레임워크 HyperAgents를 개발하여, 재귀적 자기 개선을 코딩 과제 너머로 확장했다. 이 접근법은 논문 리뷰에서 0.710의 정확도를, 로보틱스 보상 설계에서 0.372의 성능을 달성했으며, 새로운 도메인으로 이전 가능한 메타 수준의 개선도 입증했다.

    • 기존의 자기 개선 AI 시스템은 고정되고 수작업으로 만들어진 메타 수준 메커니즘에 의존하여 지속적 개선 역량이 제한되고 무한 후퇴 문제로 이어진다.
    • 기존 자기 개선 구조는 그 효과가 과제 해결과 자기 수정 기술 사이의 도메인 특화 정렬에 묶여 있어 일반화 가능성이 부족한 경우가 많다.
    • 과제 해결 능력뿐만 아니라 개선 메커니즘 자체가 강화될 수 있는, 진정으로 개방형이고 자기 가속적인 진보를 달성하는 것이 과제다.
    • 과제 해결 에이전트와 수정을 생성하는 메타 에이전트를 단일하고 편집 가능한 프로그램으로 통합하는 자기 참조적 에이전트 Hyperagents를 도입한다.
    • Darwin Gödel Machine(DGM) 프레임워크를 DGM-Hyperagents(DGM-H)로 확장하여, 하이퍼에이전트 내의 메타 에이전트 구성요소가 과제 에이전트뿐만 아니라 자기 자신도 수정할 수 있게 함으로써 '메타인지적 자기 수정'을 가능하게 한다.
    • 개선된 하이퍼에이전트를 향후 반복적으로 정제되는 에이전트의 디딤돌로 보관하는 개방형 집단 기반 탐색 과정을 활용하며, 이는 코딩, 논문 리뷰, 로보틱스 등 다양한 도메인에 걸쳐 이루어진다.
    초록PDF
  4. 128Multimodal / ReasoningarXiv:2603.03975

    Phi-4-reasoning-vision-15B Technical Report

    Microsoft Research는 2,000억 개의 멀티모달 토큰을 사용해 더 큰 모델보다 훨씬 적은 데이터로 경쟁력 있는 정확도를 달성하는 컴팩트한 오픈 웨이트 멀티모달 추론 모델 Phi-4-reasoning-vision-15B를 소개한다.

    Microsoft Research는 2,000억 개의 멀티모달 토큰을 사용해 더 큰 모델보다 훨씬 적은 데이터로 경쟁력 있는 정확도를 달성하는 컴팩트한 오픈 웨이트 멀티모달 추론 모델 Phi-4-reasoning-vision-15B를 소개한다. 과학과 수학 추론, 컴퓨터 사용 과제에서 뛰어난 이 모델은 세심하게 선별된 데이터와 고해상도 동적 비전 인코더가 효율적 성능의 핵심임을 보여준다.

    • 비전-언어 모델(VLM)의 지배적 추세는 모델 규모를 지속적으로 키우는 것으로, 이는 학습과 추론에 막대한 계산 비용을 초래하여 광범위한 배포를 저해한다.
    • 많은 기존 멀티모달 모델은 부족한 지각 능력으로 인해, 컴퓨터 사용 에이전트를 위한 사용자 인터페이스 이해처럼 세밀한 시각적 디테일을 요구하는 과제에 어려움을 겪는다.
    • 엄청나게 큰 자원을 요구하지 않으면서도 효율적이면서 유능한 멀티모달 추론을 달성할 수 있는 실용적 통찰과 오픈 웨이트 모델이 필요하다.
    • SigLIP-2 비전 인코더와 Phi-4-Reasoning LLM 백본을 활용하는 중간 융합 구조의 150억 파라미터 오픈 웨이트 멀티모달 모델 Phi-4-reasoning-vision-15B를 개발했다.
    • MLP 사전학습, 다양하고 세심하게 선별된 데이터셋에 대한 광범위한 지시 튜닝, 그리고 긴 컨텍스트와 다중 이미지, 책임 있는 AI(RAI) 데이터를 위한 최종 단계로 구성된 3단계 학습 레시피를 구현했다.
    • 체계적 필터링, AI 보조 오류 수정, 합성 증강을 통해 데이터 품질을 강조했으며, 고해상도 시각 지각을 최적화하기 위해 동적 해상도 비전 인코더를 통합했다.
    초록PDF
  5. 127Agents / ArchitecturearXiv:2602.23720

    The Auton Agentic AI Framework

    Snapchat의 Auton Agentic AI Framework는 자율 에이전트 시스템을 위한 선언적 아키텍처를 제안하며, '인지 청사진'과 '런타임 엔진'을 통해 에이전트 정의와 실행을 표준화한다.

    Snapchat의 Auton Agentic AI Framework는 자율 에이전트 시스템을 위한 선언적 아키텍처를 제안하며, '인지 청사진'과 '런타임 엔진'을 통해 에이전트 정의와 실행을 표준화한다. 이 프레임워크는 계약 기반 상호작용, 지속적 학습, 결정론적 안전성, 향상된 추론 효율성을 가능하게 하여 기업급 자율 배포를 위한 '통합 역설'과 '생태계 파편화'를 해결하는 것을 목표로 한다.

    • 확률적 대규모 언어 모델(LLM) 출력과 백엔드 인프라의 결정론적이고 스키마를 준수하는 입력 요구사항 사이에는 근본적 불일치가 있는데, 이것이 '통합 역설'이다.
    • 에이전트 개발에 만연한 '생태계 파편화'는 통일된 표준의 부재로 특징지어지며, 벤더 종속, 낮은 감사 가능성, 제한된 언어 간 이식성으로 이어진다.
    • 현재의 LLM 기반 에이전트는 흔히 무상태성을 겪고, 지속적 메모리가 없으며, 안전 보장이 제한적이어서 실제의 임무 핵심적 환경에 배포되기 어렵다.
    • 에이전트 명세를 위한 선언적이고 언어 비종속적인 '인지 청사진'(AgenticFormat Standard)을 실행을 위한 플랫폼 특화 '런타임 엔진'과 엄격히 분리했다.
    • 신중한 행동을 보장하기 위해 잠재 추론 공간과 인수분해된 정책 구조를 포함하는, 확장된 부분 관측 마르코프 결정 과정(POMDP)에 기반한 형식적 에이전트 실행 모델을 제시했다.
    • 인지적 지속성을 위한 계층적 메모리 구조와, 행동 생성 중 정책 투영을 통해 '구성에 의한 안전성'을 강제하는 '제약 다양체' 형식론을 제시했다.
    초록PDF
  6. 126Memory / AgentsarXiv:2602.23320

    ParamMem: Augmenting Language Agents with Parametric Reflective Memory

    MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다.

    MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다. 이 시스템은 프로그래밍, 수학 추론, 다단계 QA 과제 전반에서 일관되게 상당한 성능 향상을 달성하는 동시에, 더 강력한 외부 모델에 의존하지 않고도 자기 개선을 가능하게 한다.

    • 언어 에이전트의 기존 자기 성찰 메커니즘은 반복적이거나 부정확하거나 도움이 되지 않는 출력을 자주 생성하여 다양한 해법을 탐색하고 오류를 진단하는 능력을 저해한다.
    • 성찰 다양성을 향상시키기 위한 기존 검색 기반 접근법(예: DoT-bank)은 합성적 패턴을 포착하는 데 한계가 있고 임베딩 붕괴에 취약하여 검색 효과를 떨어뜨린다.
    • 실증적 증거는 언어 에이전트에서 성찰적 다양성과 과제 성공 사이에 강한 양의 상관관계(평균 피어슨 계수 0.76)가 있음을 보여준다.
    • ParamMem은 전문가가 생성한 '전역 성찰'과 짝지어진 입력 샘플의 보조 데이터셋으로 경량 LLM(예: LoRA를 적용한 LLaMA-3.1-8B)을 미세조정하여 파라메트릭 메모리 모듈을 구축한다.
    • 미세조정된 ParamMem 모듈은 온도 제어 샘플링을 통해 다양한 성찰을 생성하며, 교차 샘플 패턴을 자신의 파라미터에 직접 인코딩한다.
    • ParamMem은 에이전트 프레임워크(ParamAgent 및 ParamAgent-plus)에 통합되어, 이 파라메트릭 메모리를 기존의 에피소드 메모리와 통합하고, ParamAgent-plus의 경우 교차 샘플 메모리(DoT-bank 등)와도 통합하여 액터 LLM을 조건화한다.
    초록PDF
  7. 125Math Reasoning / Formal ProofsarXiv:2601.14027

    Numina-Lean-Agent: An Open and General Agentic Reasoning System for Formal Mathematics

    개방적이고 범용적인 에이전트 추론 시스템 Numina-Lean-Agent는 형식적 수학 추론을 수행하기 위해 범용 코딩 에이전트를 활용한다.

    개방적이고 범용적인 에이전트 추론 시스템 Numina-Lean-Agent는 형식적 수학 추론을 수행하기 위해 범용 코딩 에이전트를 활용한다. 이 시스템은 Putnam 2025 벤치마크의 12개 문제를 모두 풀어 최첨단 성능을 달성했으며, 잘못된 형식 진술문을 자율적으로 수정하는 것을 포함해 Brascamp-Lieb 정리를 형식화함으로써 대규모 협업 역량을 입증했다.

    • 기존 에이전트 정리 증명 시스템은 광범위하게 학습된 형식 증명기와 긴밀히 결합된 과제 특화 추론 파이프라인에 종종 의존한다.
    • 고성능 자동 정리 증명기 다수가 폐쇄형이어서 투명성, 재현성, 그리고 더 넓은 커뮤니티 발전이 제한된다.
    • 기존의 단일 모델 접근법은 Lean과 같은 복잡한 형식 체계에 내재된 장기 시야의 구조적 추론에 어려움을 겪었다.
    • 범용 코딩 에이전트, 구체적으로 Claude Code가 형식적 수학 추론의 중앙 오케스트레이터 역할을 하는 패러다임을 제안했다.
    • Claude Code를 포괄적인 모델 컨텍스트 프로토콜(Numina-Lean-MCP)과 통합하는 개방적이고 모듈형인 시스템 Numina-Lean-Agent를 개발했다.
    • Numina-Lean-MCP는 Lean과의 심층 상호작용(Lean-LSP-MCP), 의미 기반 정리 검색(LeanDex), 반복적 비형식 증명(Gemini Generator/Verifier), 다중 모델 협업(Discussion Partner)을 위한 특화 도구를 포함한다.
    초록PDF
  8. 124Multi-AgentarXiv:2603.00142

    Evaluating Theory of Mind and Internal Beliefs in LLM-Based Multi-Agent Systems

    마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다.

    마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다. ChatGPT-4o와 Claude 3.5 Sonnet 같은 최상위 LLM은 견고한 성능을 유지하는 반면, 역량이 낮은 모델은 추가된 인지 부하로 이득을 보거나 오히려 방해받을 수 있다.

    • 대규모 언어 모델(LLM) 에이전트는 특히 부분적이거나 상충하는 정보를 다룰 때 복잡한 다중 에이전트 시스템에서 흔히 일관성이 없고 변동이 큰 성능을 보인다.
    • 기존 다중 에이전트 시스템은 경직된 규칙에 자주 의존하여 동적인 실제 환경에서의 적응성과 확장성이 제한된다.
    • LLM 기반 다중 에이전트 시스템 내에서 마음 이론(ToM), 내부 믿음 체계, 논리적 검증을 결합한 포괄적이고 시너지 있게 통합된 구조가 결여되어 있다.
    • 마음 이론(ToM) 능력, 내부 믿음 상태(IB), 그리고 답 집합 프로그래밍(ASP) 솔버를 이용한 논리적 검증을 통합하는 새로운 에이전트 구조가 제안되었다.
    • 이 에이전트들은 동적이며 자원 소비 시나리오 하에서 효과적인 협조를 요구하도록 설계된 상호작용형 도시 자원 배분 시뮬레이션에 투입되었다.
    • 모듈형 에이전트 설계 덕분에 다양한 LLM 전반에 걸쳐 네 가지 구성(기본, ToM만, IB만, ToM과 IB 결합)을 체계적으로 평가할 수 있었으며, 내부 믿음에 대한 반복적 논리 일관성 검사가 이루어졌다.
    초록PDF
  9. 123InterpretabilityarXiv:2602.15029

    Symmetry in language statistics shapes the geometry of model representations

    한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다.

    한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다. 이 원리는 순환적 개념에 대한 원형 임베딩이나 견고하고 물결치는 1차원 다양체와 같은 현상을 설명하며, 이는 다양한 모델 구조 전반에서 일관되게 관찰된다.

    • 언어 모델 표현에서 널리 관찰되는 기하학적 패턴(예: 원, 1차원 다양체)에 대한 명확하고 통합적인 이론적 설명은 그동안 대체로 부재했다.
    • 다양한 LLM 구조와 과제 전반에 걸친 이러한 기하학적 구조의 명백한 보편성을 설명할 포괄적인 '조직화 원리'가 결여되어 있다.
    • 기존 이론 연구는 데이터 분포와 비지도 학습 환경이 어떻게 이러한 특정 표현 기하학을 유도하는지를 충분히 다루지 못했다.
    • 쌍별 단어 동시출현 통계 내의 병진 대칭성이 표현 기하학에 대한 보편적 조직화 원리로 작용한다고 제안했다.
    • 이 대칭성으로부터 특정 다양체 기하학(예: 원, 물결치는 1차원 다양체)을 해석적으로 도출하는 수학 이론을 개발했다.
    • 단순한 단어 임베딩 모델과 복잡한 트랜스포머 기반 대규모 언어 모델을 모두 사용하여 이러한 이론적 예측을 실증적으로 검증했다.
    초록PDF
  10. 122Reasoning / ProbabilisticarXiv:2503.17523

    Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models

    한 연구는 대규모 언어 모델이 암묵적 확률 추론에 어려움을 겪는 반면, '베이즈 교육'이라는 표적 미세조정 전략이 이러한 적응적 능력을 효과적으로 부여하여 다양한 과제와 실제 상호작용 전반에 걸친 폭넓은 일반화로 이어진다는 것을 입증했다.

    한 연구는 대규모 언어 모델이 암묵적 확률 추론에 어려움을 겪는 반면, '베이즈 교육'이라는 표적 미세조정 전략이 이러한 적응적 능력을 효과적으로 부여하여 다양한 과제와 실제 상호작용 전반에 걸친 폭넓은 일반화로 이어진다는 것을 입증했다. 이 접근법은 추천 정확도와 규범적 베이즈 추론과의 정합성을 향상시켰으며, 인간과 유사한 잡음을 가진 기준 모델까지 능가했다.

    • 기성 대규모 언어 모델(LLM)은 불확실하고 상호작용적인 환경에서 확률적 믿음을 효과적으로 형성하고 갱신하는 능력이 부족하다.
    • 현재의 LLM은 여러 상호작용에 걸쳐 관찰된 행동으로부터 잠재 상태(예: 사용자 선호)를 암묵적으로 추론하는 데 낮은 성능을 보인다.
    • 이들의 추천 정확도는 흔히 일찍 정체되는데, 이는 새로운 정보에 기반한 동적 믿음 갱신에서의 근본적 한계를 시사한다.
    • 저자들은 LLM을 규범적 베이즈 어시스턴트가 생성한 데이터로 학습시키는 지도 미세조정 전략인 '베이즈 교육'을 개발했다.
    • 베이즈 어시스턴트는 베이즈 정리를 사용해 사용자 선호에 대한 확률 분포를 유지하고 갱신하며 확률적으로 최적인 추천을 수행한다.
    • 이 접근법은 완전한 지식을 가진 어시스턴트의 일관되게 정답인 답변으로 LLM을 미세조정하는 '오라클 교육'과 비교되었다.
    초록PDF
  11. 121Brain-Computer Interface / AgentsarXiv:2603.03212

    NeuroSkill(tm): Proactive Real-Time Agentic System Capable of Modeling Human State of Mind

    MIT Media Lab 연구진은 BCI 기기의 전기생리 신호와 로컬 대규모 언어 모델을 사용하여 사용자의 실시간 인간 심리 상태(Human State of Mind)를 모델링하는, 오프라인 우선 에이전트형 시스템 NeuroSkill™을 개발했다.

    MIT Media Lab 연구진은 BCI 기기의 전기생리 신호와 로컬 대규모 언어 모델을 사용하여 사용자의 실시간 인간 심리 상태(Human State of Mind)를 모델링하는, 오프라인 우선 에이전트형 시스템 NeuroSkill™을 개발했다. 이 시스템은 능동적이고 개인화된 AI 상호작용을 가능하게 하고 사용자 친화적 맞춤 설정을 제공하면서, 오픈소스 라이선스를 통해 프라이버시와 윤리적 데이터 처리를 우선시한다.

    • 기존 생성형 AI 에이전트는 인간의 인지적·정서적 상태에 대한 세밀한 이해가 부족하여, 일반적이고 종종 부적절한 상호작용을 초래한다.
    • BCI 기기에서 나오는 개인 생체물리 데이터의 양이 늘고 있지만, 이는 종종 대기업이 통제하여 개인의 효용과 데이터 소유권을 제한한다.
    • 현재 AI 에이전트는 주로 반응적이어서, 실시간으로 변화하는 인간의 정서적·인지적 상태에 능동적으로 적응하지 못한다.
    • NeuroSkill™은 BCI 데이터 수집, 신경 임베딩을 위한 로컬 EXG 파운데이션 모델, 텍스트 맥락과의 멀티모달 정렬을 통합하여 동적인 'Human State of Mind' 표현을 지속적으로 구축한다.
    • 엣지 기기에서 동작하는 LLM 하니스인 NeuroLoop™은 모델링된 State of Mind를 활용하여 능동적이고 개인화된 에이전트형 상호작용, 도구 호출, 프로토콜 실행을 가능하게 한다.
    • 단순한 마크다운 기반 스킬 레이어를 통해 비개발 사용자도 에이전트의 동작을 쉽게 확장·수정할 수 있어, 접근성과 폭넓은 개인화를 촉진한다.
    초록PDF
  12. 120Scientific AIarXiv:2602.03837

    Accelerating Scientific Research with Gemini: Case Studies and Common Techniques

    이 연구는 Google의 Gemini Deep Think 같은 고급 AI 모델이 이론 전산학, 경제학, 최적화, 물리학의 복잡한 문제에서 인간 연구자와 어떻게 협업할 수 있는지를 상세히 다룬다.

    이 연구는 Google의 Gemini Deep Think 같은 고급 AI 모델이 이론 전산학, 경제학, 최적화, 물리학의 복잡한 문제에서 인간 연구자와 어떻게 협업할 수 있는지를 상세히 다룬다. 연구 결과는 추측을 해결하고, 수학적 경계를 좁히며, 프리프린트의 결함을 탐지하고, 새로운 알고리즘을 생성하는 AI의 역량을 보여주어, 과학적 발견에서 AI가 능동적 파트너로 전환되는 흐름을 입증한다.

    • 과학 연구에 AI를 통합하는 작업은 전통적으로 가설 생성이나 알고리즘 설계 같은 더 깊은 지적 측면이 아니라 자동화와 데이터 분석에 초점을 맞춰 왔다.
    • 과학자들은 미해결 추측을 효율적으로 해결하고, 잘 드러나지 않는 학제 간 연결을 식별하며, 복잡한 증명을 엄밀하게 검증하는 데 어려움을 겪었다.
    • 기존 과학 워크플로는 일상적 작업을 넘어 창의적 문제 해결과 엄밀한 기술 검토에 참여할 수 있는 도구로부터 이득을 얻을 수 있었다.
    • 핵심 방법론은 인간 연구자가 Google의 Gemini Deep Think 및 그 변형들과 협업하는 것이었으며, 이 모델들은 병렬 사고와 다단계 추론 훈련으로 복잡한 문제 해결에 맞게 강화되었다.
    • 공통 협업 기법으로는 반복적 프롬프팅, 문제를 하위 과제로 분해하기, 고수준 증명 전략 제공(스캐폴딩), 엄밀한 검토를 위한 적대적 자기교정 활용 등이 포함되었다.
    • 수치적 근거가 필요한 문제에는 '뉴로-심볼릭' 파이프라인이 활용되었는데, AI가 해법을 제안하고 검증용 코드를 작성·실행한 뒤 실행 오류를 바탕으로 자율적으로 자기교정했다.
    초록PDF
  13. 119Agents / ArchitecturearXiv:2602.03695

    Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems

    Agent Primitives는 재사용 가능한 잠재 빌딩 블록과 Key-Value(KV) 캐시 통신을 활용하여 대규모 언어 모델 기반 다중 에이전트 시스템을 위한 프레임워크를 도입한다.

    Agent Primitives는 재사용 가능한 잠재 빌딩 블록과 Key-Value(KV) 캐시 통신을 활용하여 대규모 언어 모델 기반 다중 에이전트 시스템을 위한 프레임워크를 도입한다. 이는 텍스트 기반 MAS 대비 평균 정확도를 12.0~16.5% 향상시키고 토큰 사용량을 3~4배 줄이면서, 다양한 LLM 백본과 과제 전반에 걸쳐 안정성을 유지한다.

    • 기존 다중 에이전트 시스템(MAS)은 과제 특이성, 높은 설계 오버헤드, 서로 다른 문제 설정 전반에 걸친 낮은 재사용성에 시달린다.
    • 주로 자연어를 통한 에이전트 간 통신은 길고 다단계인 상호작용에서 불안정성, 오류 누적, 정보 손상을 초래한다.
    • 현재 MAS 설계는 다중 에이전트 연산을 조직하기 위한 진정으로 재사용 가능하고 과제 비의존적인 내부 추상화가 부족한 경우가 많다.
    • 이 논문은 공통적인 다중 에이전트 연산 패턴을 캡슐화하는 세 가지 재사용 가능한 잠재 빌딩 블록(Review, Voting & Selection, Planning & Execution)인 'Agent Primitives'를 도입했다.
    • 명시적 자연어에 의존하지 않고 내부 모델 표현을 직접 공유하는 Key-Value(KV) 캐시 전송만을 통해 에이전트 간 통신을 구현했다.
    • 'Knowledge Pool'이 안내하는 LLM 기반 'Organizer'를 개발하여, 주어진 쿼리에 대해 프리미티브를 자동으로 선택·구성함으로써 MAS 구축을 간소화했다.
    초록PDF
  14. 118RAG / AgentsarXiv:2602.03442

    A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces

    A-RAG는 지식 집약적 과제를 위한 정보 수집을 자율적으로 관리하도록 대규모 언어 모델에 계층적 검색 인터페이스를 부여하는 프레임워크인 Agentic RAG를 도입한다.

    A-RAG는 지식 집약적 과제를 위한 정보 수집을 자율적으로 관리하도록 대규모 언어 모델에 계층적 검색 인터페이스를 부여하는 프레임워크인 Agentic RAG를 도입한다. 이 접근법은 동적 전략 수립과 반복적 증거 수집을 가능하게 하여, 기존 RAG 방법 대비 다중 홉 QA 벤치마크에서 일관되게 우수한 성능을 달성하면서도 검색 토큰 수는 비슷하거나 더 적게 유지한다.

    • 단일 검색이나 사전 정의된 워크플로에 의존하는 기존 RAG 패러다임은 현대 에이전트형 대규모 언어 모델(LLM)의 고급 추론 및 다단계 도구 사용 능력을 충분히 활용하지 못한다.
    • 현재 RAG 시스템은 정적이고 경직되어 있어, LLM이 쿼리의 미묘함이나 정보 수집의 진행 상태에 따라 검색 전략을 동적으로 조정하지 못하게 한다.
    • 전통적 RAG의 에이전트적 자율성 부재는 LLM이 지능적인 검색 결정을 내릴 권한을 갖지 못하므로, LLM 능력 발전에 맞춰 효율적으로 확장되는 능력을 저해한다.
    • A-RAG는 광범위한 오프라인 그래프 구축 없이, 코퍼스를 의미적으로 일관된 청크로 분할하고 개별 문장을 임베딩하여 세밀한 매칭을 수행하는 경량의 2단계 계층적 인덱스를 구축한다.
    • 이 프레임워크는 LLM 에이전트에 세 가지 계층적 검색 인터페이스를 제공한다. 정확한 어휘 매칭을 위한 키워드 검색, 밀집 의미 유사도를 위한 의미 검색, 그리고 전체 청크 내용 접근과 인접 컨텍스트 탐색을 위한 청크 읽기다.
    • 단순한 ReAct 유사 에이전트 루프를 통해 LLM이 반복적으로 추론하고 검색 도구를 호출하여, 정보를 언제 어떻게 검색하고 언제 종료할지 자율적으로 결정하며, 중복 읽기를 피하는 컨텍스트 추적기로 이를 보완한다.
    초록PDF
  15. 117Memory / Long ContextarXiv:2602.02704

    InfMem: Learning System-2 Memory Control for Long-Context Agent

    InfMem은 'System-2 방식'의 능동적 메모리 제어 메커니즘을 사용하여, 대규모 언어 모델이 최대 100만 토큰에 이르는 문서에 대해 다중 홉 추론을 수행하게 하는 제어 중심 에이전트 프레임워크를 도입한다.

    InfMem은 'System-2 방식'의 능동적 메모리 제어 메커니즘을 사용하여, 대규모 언어 모델이 최대 100만 토큰에 이르는 문서에 대해 다중 홉 추론을 수행하게 하는 제어 중심 에이전트 프레임워크를 도입한다. 이 접근법은 초장문 QA 벤치마크에서 정확도를 상당히 향상시키며, 이전 메모리 증강 에이전트 대비 추론 시간을 최대 5.1배 단축한다.

    • 대규모 언어 모델(LLM)은 '중간 소실' 현상과 압축의 '충실도 딜레마'로 인해 초장문 문서에 대한 효과적인 다중 홉 추론에 어려움을 겪는다.
    • 기존 메모리 증강 에이전트는 종종 수동적·반응적 메모리 갱신 전략에 의존하여, 복잡한 추론에 필요한 결정적이지만 현저성이 낮은 연결 증거를 잃을 위험이 있다.
    • 초장문 문서 처리는 높은 연산 비용과 메모리 오버헤드를 초래하여, 현재 솔루션을 실용적 배포에 비효율적으로 만든다.
    • InfMem은 사전 사고, 검색, 기록으로 이어지는 제어 프로토콜을 구현하여, 에이전트가 증거 충분성을 능동적으로 모니터링하고 검색 쿼리를 합성하며 증거 인식 결합 압축을 수행하게 한다.
    • 문서 내 표적 검색을 포함하여, 현재 쿼리에 누락된 증거를 가져오기 위해 문서의 어느 부분에든 비단조적으로 접근할 수 있게 한다.
    • 이 프레임워크는 충분한 증거가 축적되면 메모리 갱신 루프를 종료하는 적응형 조기 중단 메커니즘을 활용하여 연산 효율을 최적화한다.
    초록PDF
  16. 116Multi-Agent / RoutingarXiv:2602.02751

    Scaling Small Agents Through Strategy Auctions

    Meta Superintelligence Labs, Imperial College London, University of Cambridge 연구진은 시장에서 영감을 받은 조율과 테스트 시점 자기개선을 활용해 이질적인 AI 에이전트들을 오케스트레이션하는 프레임워크 sale(Strategy Auctions for Workload Efficiency)을 개발했다.

    Meta Superintelligence Labs, Imperial College London, University of Cambridge 연구진은 시장에서 영감을 받은 조율과 테스트 시점 자기개선을 활용해 이질적인 AI 에이전트들을 오케스트레이션하는 프레임워크 sale(Strategy Auctions for Workload Efficiency)을 개발했다. 이 시스템은 가장 큰 개별 에이전트의 성능에 필적하거나 이를 능가하는 동시에, 심층 검색 및 코딩 과제에서 전체 추론 비용을 35% 절감하고 가장 큰 에이전트에 대한 의존도를 53% 낮췄다.

    • 복잡한 장기 과제에서 더 작은 AI 에이전트가 더 큰 모델 대비 보이는 성능은 잘 이해되지 않았다.
    • 이질적인 풀(다양한 크기, 비용, 능력)에서 가장 적합한 AI 에이전트로 과제를 효과적으로 라우팅하여 정확도와 비용을 동시에 최적화하는 것은 과제였다.
    • 다중 모델 오케스트레이션을 위한 현재의 라우팅 방법은 에이전트형 워크플로에 너무 비싸거나, 일반화가 부족하고 과제 난이도가 높아질수록 성능이 저하되었다.
    • 이질적인 AI 에이전트 간의 동적 과제 할당을 위해 시장에서 영감을 받은 새로운 프레임워크 'Strategy Auctions for Workload Efficiency(sale)'가 도입되었다.
    • 에이전트는 각 과제에 대해 짧은 전략적 해결 계획을 '입찰'로 생성하며, 이는 모델 가격과 계획 품질을 고려하는 학습된 비용·가치 메커니즘으로 평가된다.
    • 이 프레임워크는 메모리 기반 자기개선 루프를 포함하는데, 여기서 더 저렴한 에이전트는 과거 경매 결과를 활용해 선택적으로 전략을 개선하여 시간이 지남에 따라 성능을 높인다.
    초록PDF
  17. 115Memory / AgentsarXiv:2602.02007

    Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

    표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다. xMemory는 집계 이전 분리 원칙에 따라 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하여, 답변 품질과 추론 토큰 효율성을 함께 높인다.

    표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다. 크고 이질적인 코퍼스와 달리, 에이전트 메모리는 많은 구간이 서로 강하게 상관되거나 거의 중복되는, 경계가 있고 일관된 상호작용 스트림을 형성한다. 그 결과, 평면적인 상위 k개 유사도 검색은 종종 중복된 컨텍스트를 반환하고, 요약 중심 계층 구조는 한 후보를 다른 후보와 구별짓는 미묘한 세부 사항을 흐릿하게 만든다. 이 논문은 에이전트 메모리가 집계 이전 분리 원칙을 따라야 한다고 주장한다. 즉, 시스템은 먼저 재사용 가능한 사실, 갱신, 구별되는 세부 사항을 유사한 이력에서 분리한 다음에야 효율적 검색을 위해 이를 조직해야 한다. 이 원칙에 기반하여, 저자들은 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하는 xMemory를 제안한다. xMemory는 상호작용 이력을 국소 이벤트로 분할하고, 각 세그먼트를 메모리 컴포넌트로 분리하며, 희소성·의미적 충실성 목적함수를 사용해 관련 컴포넌트를 상위 그룹으로 집계하고, 메모리가 진화함에 따라 이 구조를 점진적으로 유지한다. 추론 시점에 xMemory는 하향식으로 검색하여, 먼저 상호보완적인 그룹과 컴포넌트의 압축된 골격을 선택한 뒤, 추가 증거가 독자의 불확실성을 줄일 때에만 세그먼트와 원본 메시지로 확장한다. 다양한 오픈소스 및 클로즈드소스 LLM에 걸쳐 LoCoMo와 PerLTQA에서 수행한 실험은 답변 품질과 추론 토큰 효율성에서 일관된 향상을 보였으며, 이는 중복성, 증거 밀도, 커버리지 분석으로 뒷받침된다.

    • 표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다.
    • 크고 이질적인 코퍼스와 달리, 에이전트 메모리는 많은 구간이 서로 강하게 상관되거나 거의 중복되는, 경계가 있고 일관된 상호작용 스트림을 형성한다.
    • 그 결과, 평면적인 상위 k개 유사도 검색은 종종 중복된 컨텍스트를 반환하고, 요약 중심 계층 구조는 한 후보를 다른 후보와 구별짓는 미묘한 세부 사항을 흐릿하게 만든다.
    • 이 논문은 에이전트 메모리가 집계 이전 분리 원칙을 따라야 한다고 주장한다. 즉, 시스템은 먼저 재사용 가능한 사실, 갱신, 구별되는 세부 사항을 유사한 이력에서 분리한 다음에야 효율적 검색을 위해 이를 조직해야 한다.
    • 이 원칙에 기반하여, 저자들은 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하는 xMemory를 제안한다.
    • xMemory는 상호작용 이력을 국소 이벤트로 분할하고, 각 세그먼트를 메모리 컴포넌트로 분리하며, 희소성·의미적 충실성 목적함수를 사용해 관련 컴포넌트를 상위 그룹으로 집계하고, 메모리가 진화함에 따라 이 구조를 점진적으로 유지한다.
    초록PDF
  18. 114Fine-tuning / EfficiencyarXiv:2602.04118

    Learning to Reason in 13 Parameters

    Meta FAIR 연구진은 단 13개의 파라미터만 학습시켜도 대규모 언어 모델이 복잡한 수학적 추론 능력을 습득하게 하는 파라미터 효율적 미세조정 방법 TinyLoRA를 개발했다.

    Meta FAIR 연구진은 단 13개의 파라미터만 학습시켜도 대규모 언어 모델이 복잡한 수학적 추론 능력을 습득하게 하는 파라미터 효율적 미세조정 방법 TinyLoRA를 개발했다. 이 접근법은 강화학습과 결합했을 때 GSM8K에서 91% 정확도를 달성하여, 초저용량 모델 적응에서 상당한 진전을 입증했다.

    • 대규모 언어 모델의 미세조정은 전통적으로 수십억 개의 파라미터를 업데이트해야 하므로 높은 연산 및 메모리 비용을 초래한다.
    • 기존 파라미터 효율적 미세조정(PEFT) 방법은 파라미터를 줄이긴 해도 여전히 수백만 또는 수만 개 수준에서 동작하여, 제약이 심한 환경에서의 적용을 제한한다.
    • 특히 복잡한 추론 과제에 대해 효과적인 적응에 필요한 근본적인 최소 파라미터 수를 이해할 필요가 있다.
    • 이 논문은 TinyLoRA를 도입했는데, 이는 학습 가능한 r×r 행렬을 고정된 무작위 텐서를 통해 투영되는 저차원 학습 가능 벡터로 대체하여 LoRA-XS를 확장한 새로운 PEFT 방법으로, 모듈당 파라미터를 크게 줄인다.
    • 공격적인 가중치 묶기 전략을 구현하여 학습 가능 벡터를 모델의 여러 또는 모든 레이어에서 공유하도록 함으로써, 총 학습 가능 파라미터를 한 자릿수까지 줄였다.
    • 강화학습(특히 GRPO)을 핵심 학습 알고리즘으로 활용하여, 제약이 심한 파라미터 업데이트를 위해 희소한 보상 기반 신호를 활용하는 독보적 효율성을 입증했다.
    초록PDF
  19. 113Math / Scientific AIarXiv:2601.22401

    Semi-Autonomous Mathematics Discovery with Gemini: A Case Study on the Erdős Problems

    Gemini Deep Think 기반으로 구축된 Google DeepMind의 AI 에이전트 Aletheia는 Erdős Problems 데이터베이스의 'Open' 문제 700개를 체계적으로 평가하여, 5개에 대한 기존 해법을 찾아내고, 4개를 자율적으로(부분 또는 완전) 해결했으며, 또 다른 4개의 해법을 독자적으로 재발견했다.

    Gemini Deep Think 기반으로 구축된 Google DeepMind의 AI 에이전트 Aletheia는 Erdős Problems 데이터베이스의 'Open' 문제 700개를 체계적으로 평가하여, 5개에 대한 기존 해법을 찾아내고, 4개를 자율적으로(부분 또는 완전) 해결했으며, 또 다른 4개의 해법을 독자적으로 재발견했다. 이 연구는 수학 문헌을 탐색하고 논증을 생성하는 AI의 능력과 함께 문제 해석에서의 과제까지 투명하게 평가한다.

    • Erdős Problems 데이터베이스의 많은 문제는 'Open'으로 표시되어 있지만, 잘 알려지지 않았을 뿐 기존 해법이 존재할 수 있다.
    • 인간 수학자는 방대한 수의 미해결 추측을 체계적으로 평가하고 광범위한 문헌 조사를 수행하는 과정에서 '주의력 병목'에 직면한다.
    • 복잡한 수학 문제 해결에서 고급 대규모 언어 모델의 능력을 엄격하게 벤치마킹하려면 적합하고 다양한 데이터셋이 필요하다.
    • 특화된 Gemini 기반 AI 에이전트 Aletheia가 투입되어 700개의 'Open' Erdős 문제에 대한 후보 해법을 생성하고 초기 자연어 검증을 수행했다.
    • 전문가 필터링, 정밀 검토, 외부 자문을 포함한 엄격한 다단계 인간 평가 프레임워크를 통해 AI 출력의 정확성과 참신성을 판정했다.
    • 광범위한 문헌 조사와 AI 추론 로그 분석을 수행하여, 진정으로 새로운 결과를 독자적 재발견이나 확인된 기존 해법과 구별했다.
    초록PDF
  20. 112Memory / RL / AgentsarXiv:2601.03192

    MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory

    MemRL은 동결된 대규모 언어 모델 백본을 동적 에피소드 메모리와 분리하여, AI 에이전트가 배포 이후에도 지속적으로 기술을 개선하게 하는 비파라미터 방식을 도입한다.

    MemRL은 동결된 대규모 언어 모델 백본을 동적 에피소드 메모리와 분리하여, AI 에이전트가 배포 이후에도 지속적으로 기술을 개선하게 하는 비파라미터 방식을 도입한다. 이 프레임워크는 강력한 베이스라인 대비 누적 성공률에서 평균 3.8%의 상대적 개선을 달성하여, 학습된 지식이 다양한 과제 전반에 걸쳐 우수한 전이성을 가짐을 입증했다.

    • AI 에이전트는 이전에 학습한 지식의 파국적 망각 없이 배포 이후 지속적으로 기술을 습득하는 데 어려움을 겪는다.
    • 지속적 적응을 위해 대규모 언어 모델(LLM)을 미세조정하는 것은 연산 비용이 크고 파국적 망각에 매우 취약하다.
    • 기존 검색 증강 생성(RAG) 시스템은 수동적이어서, 의미적으로 관련은 있으나 효용이 낮은 '노이즈'를 메모리에서 검색하는 경우가 많아 환경 피드백으로부터의 효과적 학습을 방해한다.
    • MemRL은 안정적이고 동결된 LLM 백본을 동적이고 가소적인 외부 에피소드 메모리와 분리하여, 가중치 업데이트나 파국적 망각 없이 지속적 학습을 가능하게 한다.
    • 이 시스템은 메모리 검색을 메모리 기반 마르코프 결정 과정(M-MDP)으로 정식화하며, 여기서는 LLM 파라미터가 아니라 검색 정책이 강화학습을 통해 최적화된다.
    • 이 시스템은 '의도-경험-효용' 삼중 메모리 구조와, 의미적 회상과 가치 인식 선택을 결합한 2단계 검색 메커니즘을 활용하여 고효용 경험을 능동적으로 걸러내고 활용한다.
    초록PDF
  21. 111Memory / AgentsarXiv:2601.02553

    SimpleMem: Efficient Lifelong Memory for LLM Agents

    SimpleMem은 의미적 구조화 압축과 적응형 검색을 활용해 중복을 걸러내고 경험을 통합하는, LLM 에이전트를 위한 효율적인 평생 메모리 프레임워크를 제시한다.

    SimpleMem은 의미적 구조화 압축과 적응형 검색을 활용해 중복을 걸러내고 경험을 통합하는, LLM 에이전트를 위한 효율적인 평생 메모리 프레임워크를 제시한다. 이 시스템은 기존 방법 대비 평균 F1 점수를 26.4% 향상시키는 동시에 추론 시점 토큰 소비를 최대 30배 줄이고 메모리 구축 속도를 14배 높인다.

    • 대규모 언어 모델(LLM)은 고정된 컨텍스트 윈도우로 인해 어려움을 겪으며, 이는 장기 기억과 확장된 상호작용 전반에 걸쳐 정보를 유지하는 능력을 제한한다.
    • LLM 에이전트용 메모리 시스템은 중복되고 저엔트로피인 대화로 인한 컨텍스트 팽창에 시달리며, 이는 유효 정보 밀도와 모델 성능을 저하시킨다.
    • LLM 메모리를 보강하는 현재 접근법은 높은 토큰 비용과 늘어난 지연을 포함한 상당한 연산 오버헤드를 초래하여 실용적 배포를 가로막는다.
    • 이 프레임워크는 의미적 구조화 압축, 재귀적 통합을 동반한 다관점 구조화 인덱싱, 적응형 쿼리 인식 검색을 포함하는 3단계 메모리 파이프라인을 갖춘다.
    • 엔트로피 인식 필터링을 구현하여 중복 대화를 제거하고, 정보성 콘텐츠를 자기완결적이고 맥락 독립적인 메모리 단위로 정규화한다.
    • 다층 인덱싱(의미적, 어휘적, 기호적)과 재귀적 통합을 위한 비동기 백그라운드 프로세스를 활용하여 더 높은 수준의 추상적 메모리 표현을 생성한다.
    초록PDF
  22. 110Evaluation / AgentsarXiv:2601.05111

    Agent-as-a-Judge

    홍콩폴리테크닉대학교(The Hong Kong Polytechnic University) 연구진은 부상하는 Agent-as-a-Judge 패러다임을 조사하여, 복잡한 AI 출력을 평가하는 이 방식의 방법론, 응용, 과제에 대한 최초의 포괄적 분류 체계와 분석을 제시했다.

    홍콩폴리테크닉대학교(The Hong Kong Polytechnic University) 연구진은 부상하는 Agent-as-a-Judge 패러다임을 조사하여, 복잡한 AI 출력을 평가하는 이 방식의 방법론, 응용, 과제에 대한 최초의 포괄적 분류 체계와 분석을 제시했다. 이 연구는 에이전트형 평가자를 Procedural, Reactive, Self-Evolving 단계로 분류하여, 이 고도화된 AI 평가 방식을 이해하기 위한 구조화된 프레임워크를 제공한다.

    • 사전 정의된 지표와 인간 판단을 포함한 전통적 AI 평가 방법은 의미적 미묘함을 담기에 불충분하거나, 확장성이 떨어지고 비용이 높았다.
    • 초기 LLM-as-a-Judge 패러다임은 내재된 파라미터 편향, 얕은 단일 패스 추론, 실세계 검증 부재, 복잡하고 다면적인 과제에 대한 인지 과부하 같은 한계에 직면했다.
    • 빠르게 확장되는 Agent-as-a-Judge 분야는 다양한 방법론과 응용을 정리할 통합 프레임워크, 포괄적 분류 체계, 명확한 로드맵이 부재했다.
    • 이 논문은 에이전트형 평가 시스템을 자율성과 적응성에 따라 분류하는 새로운 3단계 발전 분류 체계, 즉 Procedural, Reactive, Self-Evolving Agent-as-a-Judge를 도입한다.
    • 다중 에이전트 협업, 계획, 도구 통합, 메모리 및 개인화, 최적화 패러다임을 포함한 핵심 에이전트형 방법론을 체계적으로 분류한다.
    • 이 조사는 광범위한 일반 도메인(예: 수학, 코드, 사실 확인)과 전문 도메인(예: 의학, 법률, 금융, 교육)에 걸친 Agent-as-a-Judge의 응용을 포괄적으로 검토한다.
    초록PDF
  23. 109Memory / EfficiencyarXiv:2601.07190

    Active Context Compression: Autonomous Memory Management in LLM Agents

    한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다.

    한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다. 이 방법은 도전적인 소프트웨어 공학 벤치마크에서 과제 성공률을 유지하면서 총 토큰 소비량을 22.7% 줄인다.

    • LLM 에이전트는 장기 과제에서 끊임없이 증가하는 대화 기록으로 인해 '컨텍스트 비대화(Context Bloat)'를 겪으며, 이는 계산 비용 증가와 지연 시간 상승으로 이어진다.
    • 확장된 컨텍스트 윈도우는 관련 정보가 묻히는 '컨텍스트 오염(Context Poisoning)'이나 '중간 부분 망각(Lost in the Middle)' 현상을 통해 추론 능력을 저하시킨다.
    • 외부 메모리 시스템이나 반성 메커니즘 같은 기존 솔루션은 지속적인 과제 수행 중에 능동적인 궤적 내 컨텍스트 관리를 제공하지 못하는 경우가 많다.
    • 'Focus' 아키텍처는 '집중 시작'과 '집중 완료'라는 두 프리미티브를 도입해 ReAct 에이전트 루프를 확장하며, 에이전트가 압축 단계를 자율적으로 시작하고 종료할 수 있게 한다.
    • 에이전트는 '집중 완료' 단계에서 활동과 학습 내용의 상위 수준 요약을 생성해 지속적인 'Knowledge' 블록에 추가하고, 원시 상호작용 기록은 삭제하여 동적인 '톱니(Sawtooth)' 컨텍스트 패턴을 만든다.
    • 이 접근법은 점균류 같은 생물학적 탐색 전략에서 영감을 받았으며, 완벽한 원시 기록을 보존하기보다 추상적 학습 내용의 종합을 강조한다.
    초록PDF
  24. 108Memory / AgentsarXiv:2601.01885

    Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

    Agentic Memory(AgeMem)는 대규모 언어 모델 에이전트가 학습 가능한 도구 기반 행동을 통해 장기 및 단기 메모리를 모두 자율적으로 관리하는 통합 프레임워크를 도입한다.

    Agentic Memory(AgeMem)는 대규모 언어 모델 에이전트가 학습 가능한 도구 기반 행동을 통해 장기 및 단기 메모리를 모두 자율적으로 관리하는 통합 프레임워크를 도입한다. 3단계 점진적 강화학습 전략으로 최적화된 이 시스템은 장기 과제 벤치마크에서 일관되게 과제 성능을 향상시키고, 저장된 메모리의 품질을 높이며, 기존 메모리 증강 베이스라인 대비 프롬프트 토큰 사용량을 줄인다.

    • LLM 에이전트는 유한한 컨텍스트 윈도우로 인해 장기 추론에 어려움을 겪으며, 효과적인 메모리 관리가 필요하다.
    • 전통적인 메모리 시스템은 장기 및 단기 메모리를 독립적인 구성요소로 취급하여, 조율이 최적 이하인 단편적이고 휴리스틱 기반의 솔루션을 초래한다.
    • 긴 궤적에 걸쳐 보상 신호가 희소하고 불연속적이기 때문에 표준 강화학습으로 메모리 연산을 최적화하기는 어렵다.
    • AgeMem은 LTM(ADD, UPDATE, DELETE) 및 STM(RETRIEVE, SUMMARY, FILTER) 연산을 에이전트 정책 안의 명시적인 도구 기반 행동으로 정식화하여, 자율적이고 학습 가능한 메모리 제어를 가능하게 한다.
    • 포괄적인 메모리 역량을 학습하기 위해 3단계 점진적 강화학습 전략(LTM 구축, 방해 요소를 동반한 STM 제어, 통합 추론)을 사용한다.
    • 단계별 Group Relative Policy Optimization(GRPO)은 종단 보상을 궤적 단계 전반에 균일하게 전파함으로써 메모리 결정에 대한 일관된 학습 신호를 보장하여, 희소 보상 문제를 해결한다.
    초록PDF
  25. 107Agents / SearcharXiv:2601.07055

    Dr. Zero: Self-Evolving Search Agents without Training Data

    인간이 라벨링한 학습 데이터 없이도 검색 에이전트가 스스로 진화한다. 문제를 내는 제안자와 푸는 해결자가 같은 베이스 모델에서 공진화하며 지도학습 기반 에이전트에 필적한다.

    Meta Superintelligence Labs와 UIUC가 개발한 프레임워크 Dr. Zero는 인간이 큐레이션한 학습 데이터 없이도 다중 턴 검색 에이전트가 자기 진화할 수 있게 한다. 이는 제안자-해결자 공진화 메커니즘과 새로운 Hop-Grouped Relative Policy Optimization을 활용하여, 에이전트가 개방형 도메인 QA 과제에서 지도 학습 기반 베이스라인에 필적하거나 이를 능가하면서도 계산 오버헤드를 대폭 줄일 수 있게 한다.

    • 고급 검색 및 추론 대규모 언어 모델(LLM)을 개발하기 위해 비용이 큰 인간 큐레이션 학습 데이터에 의존해야 하는 것이 문제다.
    • 다중 홉 추론을 위한 다양하고 도전적인 개방형 도메인 질문을 생성하는 데에서 기존 데이터 비의존적 자기 진화 프레임워크가 한계를 보인다.
    • 외부 도구와 상호작용하는 다중 턴 검색 에이전트를 최적화하기 위한 기존 강화학습 방법은 계산 비효율성이 크다.
    • 두 에이전트 모두 인간 데이터 없이 학습하며, 사실 검증을 위해 오직 외부 검색 엔진에만 의존하는 자기 진화 제안자-해결자 프레임워크다.
    • 효율적인 제안자 학습을 위한 Hop-Grouped Relative Policy Optimization(HRPO)을 도입하여, 질문을 홉 복잡도별로 군집화하고 그룹 수준 베이스라인을 사용해 계산 오버헤드를 줄인다.
    • 제안자가 다양하고 도전적이면서도 검증 가능한 다중 홉 질문을 생성하도록 난이도 기반 보상을 활용하여, 동적인 커리큘럼을 조성한다.
    초록PDF
  26. 106World ModelsarXiv:2601.05230

    Learning Latent Action World Models In The Wild

    Meta의 FAIR 연구진은 다양하고 레이블이 없는 '야생' 비디오 데이터로부터 직접 효과적인 잠재 행동 세계 모델을 학습하는 방법을 개발했다.

    Meta의 FAIR 연구진은 다양하고 레이블이 없는 '야생' 비디오 데이터로부터 직접 효과적인 잠재 행동 세계 모델을 학습하는 방법을 개발했다. 이 접근법은 명시적 행동 레이블로 학습한 모델에 필적하는 수준의 로봇 조작 및 내비게이션 과제 계획 성능을 가능하게 한다.

    • 대부분의 성공적인 세계 모델은 명시적 행동 레이블에 의존하여, 방대한 양의 레이블 없는 실제 비디오 데이터에 적용할 때 확장성과 일반성이 제한된다.
    • 기존 잠재 행동 모델(LAM)은 제한된 환경에 국한되어, 다양한 실제 시나리오로의 전이성과 일반화가 부족한 행동 공간을 초래했다.
    • '야생' 비디오는 명확히 정의되지 않은 행동, 환경적 잡음, 공통된 체화의 부재 같은 문제를 제기하여, 의미 있는 행동 표현을 추출하기 어렵게 만든다.
    • 동결된 V-JEPA 2-L 시각 인코더를 활용하여, 대규모의 레이블 없는 '야생' 비디오 데이터셋에서 세계 모델과 역동역학 모델(IDM)을 공동 학습하는 프레임워크다.
    • 연속 잠재 행동의 내용을 제어하고 무관한 정보의 인코딩을 방지하기 위한 정보 정규화 기법(희소성, 잡음 추가(VAE 유사), 이산화)을 조사한다.
    • 미래 누출과 행동 전이성 같은 본질적 지표를 통해, 그리고 경량 컨트롤러와 Cross-Entropy Method를 통한 다운스트림 계획 과제에서의 실용적 유용성을 통해 학습한 잠재 행동 공간을 평가한다.
    초록PDF
  27. 105Architecture / LearningarXiv:2601.00417

    Deep Delta Learning

    Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다.

    Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다. 이 Delta Operator는 네트워크가 항등 매핑, 직교 사영, 또는 기하학적 반사를 적응적으로 수행할 수 있게 하여, 심층 모델이 학습할 수 있는 동역학의 범위를 엄격하게 가산적인 업데이트를 넘어 확장한다.

    • 심층 잔차 네트워크(ResNet)는 항등 단축 연결을 통해 '엄격하게 가산적인 귀납적 편향'을 부과하여, 학습 가능한 특징 변환의 복잡성을 제한한다.
    • ResNet 단축 연결의 고정된 항등 자코비안은 진동이나 '대립적 행동'처럼 종종 음의 고윳값을 갖는 동역학을 요구하는, 복잡하고 비단조적인 상태 전이를 모델링하는 네트워크의 능력을 제약한다.
    • 전방 오일러 단계로 간주되는 표준 잔차 업데이트는 강한 평행이동 편향을 보이며, 명시적인 특징 '망각'이나 재배향을 위한 메커니즘이 결여되어 있다.
    • 'Delta Residual Block'을 도입한다. 이는 기존의 가산적 잔차 업데이트(다음 층 = 현재 층 + 변환항)를, 단축 연결에 데이터 의존적 기하 변환 행렬과 키·값 보정항을 곱하는 곱셈적 형태로 확장한 것이다.
    • 핵심은 'Delta Operator' 'A(X) = I − β(X)k(X)k(X)의 외적'으로, 이는 항등 행렬의 랭크-1 섭동이며 공간적 기하학 변환을 적용한다.
    • 이 연산자는 학습 가능하고 데이터 의존적인 반사 방향 k(X)와 0에서 2 사이 범위에서 동적으로 제어되는 게이팅 스칼라 β(X)로 매개변수화된다.
    초록PDF
  28. 104Benchmarks / CodearXiv:2512.18470

    SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios

    SWE-EVO는 지속적인 계획 수립과 시간에 걸친 다중 파일 변경을 요구하는 장기 소프트웨어 진화 과제에서 AI 코딩 에이전트를 평가하기 위한 새로운 벤치마크를 도입한다.

    SWE-EVO는 지속적인 계획 수립과 시간에 걸친 다중 파일 변경을 요구하는 장기 소프트웨어 진화 과제에서 AI 코딩 에이전트를 평가하기 위한 새로운 벤치마크를 도입한다. 평가 결과 최신 모델은 이러한 복잡한 시나리오에서 25%의 해결률을 달성하여, 현재 에이전트 역량에 상당한 격차가 있음을 보여준다.

    • 기존 AI 코딩 에이전트 벤치마크는 주로 SWE-Bench에서 볼 수 있는 것과 같은 개별 버그 수정이나 단일 이슈 기능 구현에 초점을 맞춘다.
    • 이러한 벤치마크는 지속적인 진화, 다중 파일 조율, 기존 코드베이스에 대한 반복적 업데이트를 수반하는 실제 소프트웨어 공학의 장기적 특성을 충분히 포착하지 못한다.
    • 소프트웨어 개발의 상당 부분은 레거시 코드를 유지보수하고 진화시키는 데 할애되며, 이는 현재 방법으로는 평가되지 않는 지속적 이해, 적응적 계획 수립, 전체론적 시스템 변경을 요구한다.
    • SWE-EVO는 실제 릴리스 노트에서 도출한 48개의 고품질 소프트웨어 진화 과제로 구성된 벤치마크를 제시하며, 에이전트가 코드베이스를 두 개의 서로 다른 버전 사이에서 전환하도록 요구한다.
    • 에이전트는 상위 수준의 소프트웨어 요구사항 명세(SRS)를 해석하고, 기능이 보존되고 새로운 테스트가 통과되도록 보장하면서 전체 코드베이스에 걸쳐 다단계·다중 파일 수정을 구현해야 한다.
    • 성능은 해결률(엄격한 통과·실패), 패치 적용률(Patch Apply Rate), 수정률(세밀한 진행도)을 사용해 평가하며, 실패 유형을 분류하기 위한 LLM-as-a-judge 분석으로 보완한다.
    초록PDF
  29. 103Scientific AI / RLarXiv:2512.23707

    Training AI Co-Scientists Using Rubric Rewards

    Meta Superintelligence Labs와 학술 기관의 연구진은 다양한 과학 분야에 걸쳐 고품질 연구 계획을 생성할 수 있는 'AI 공동 연구자'로 언어 모델을 학습시키는 확장 가능한 방법을 개발했다.

    Meta Superintelligence Labs와 학술 기관의 연구진은 다양한 과학 분야에 걸쳐 고품질 연구 계획을 생성할 수 있는 'AI 공동 연구자'로 언어 모델을 학습시키는 확장 가능한 방법을 개발했다. 이 접근법은 과학 문헌에서 연구 목표와 채점 루브릭을 자동으로 추출하고 이를 자기 채점 강화학습 프레임워크와 결합하며, 그 결과 미세조정된 모델이 인간 전문가에게 70%의 비율로 선호되고 루브릭 만족 점수에서 10~15%의 상대적 향상을 보인다.

    • 기존의 과학용 AI 응용은 일반적으로 잘 정의되고 실행 가능한 환경에 국한되어, 추상적이고 개방형인 과학적 탐구에 대한 유용성이 제한적이다.
    • 대규모 언어 모델(LLM)은 과학적 맥락에서 인간 피드백을 얻는 과정이 느리고, 비용이 많이 들며, 종종 모호하기 때문에 고품질의 장문 연구 계획을 생성하는 데 어려움을 겪는다.
    • 개방형 과학 과제를 위한 고도의 전문성을 갖춘 학습 데이터와 피드백의 확보를 확장하는 것이 주요 병목이며, 인간 전문가가 수작업으로 주석을 다는 일은 비용과 시간이 많이 든다.
    • ResearchPlanGen이라는 자동화 파이프라인을 구축하여 과학 논문에서 직접 연구 목표, 목표별 채점 루브릭, 참조 솔루션을 추출하고 크고 다양한 학습 데이터셋을 생성했다.
    • 자기 채점 강화학습(RL) 프레임워크를 구현했으며, 여기서 초기 언어 모델의 동결된 복사본이 특권적인 목표별 루브릭과 일반 가이드라인을 사용하여 생성된 계획을 채점하는 '자동 채점자' 역할을 한다.
    • 계획 생성 모델은 루브릭 만족 점수를 직접적인 보상 신호로 활용하여 Group Relative Policy Optimization(GRPO)으로 최적화했으며, 간결성을 강제하기 위한 길이 제어 전략도 함께 적용했다.
    초록PDF
  30. 102RL / TrainingarXiv:2601.05242

    GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

    GDPO(Group reward-Decoupled Normalization Policy Optimization)는 기존 GRPO 방법에 내재된 '보상 신호 붕괴'를 해결하여, 대규모 언어 모델 정렬을 위한 다중 보상 강화학습을 개선한다.

    GDPO(Group reward-Decoupled Normalization Policy Optimization)는 기존 GRPO 방법에 내재된 '보상 신호 붕괴'를 해결하여, 대규모 언어 모델 정렬을 위한 다중 보상 강화학습을 개선한다. 이를 위해 개별 보상 구성요소의 정규화를 분리하여 더 안정적인 학습과 향상된 성능을 달성하며, 예를 들어 AIME에서 수학적 추론 정확도를 최대 6.3% 높인다.

    • 대규모 언어 모델(LLM)을 다양한 인간 선호도(예: 안전성, 일관성, 효율성)에 정렬하려면 다중 보상 강화학습이 필요하다.
    • 흔히 사용되는 Group Relative Policy Optimization(GRPO) 알고리즘은 여러 보상의 합에 적용될 때 '보상 신호 붕괴'를 겪는데, 이는 서로 다른 보상 조합이 동일한 어드밴티지 값을 산출할 수 있음을 의미한다.
    • 이러한 보상 신호 붕괴는 학습 신호의 해상도를 떨어뜨려, 최적 이하의 수렴, 학습 안정성 저하, 잠재적인 조기 학습 실패로 이어진다.
    • GDPO는 개별 보상 구성요소의 정규화를 분리하여, 각 보상에 대해 그룹 단위 정규화를 별도로 수행함으로써 세밀한 구분을 보존한다.
    • 개별적으로 정규화한 어드밴티지는 이후 합산되며, 정책 업데이트의 수치적 안정성을 보장하기 위해 추가적인 배치 단위 정규화를 거친다.
    • 보상 간 우선순위를 관리하기 위해, GDPO는 보상 가중치를 탐색하고 보상 함수 조건화를 제안하는데, 이는 더 어려운 목표가 달성된 경우에만 더 쉬운 보상을 부여하는 방식이다.
    초록PDF
  31. 101Security / CodearXiv:2601.03335

    Digital Red Queen: Adversarial Program Evolution in Core War with LLMs

    Digital Red Queen(DRQ) 알고리즘은 대규모 언어 모델을 활용하여 Core War 환경에서 자기 수정 어셈블리 유사 프로그램을 진화시킨다.

    Digital Red Queen(DRQ) 알고리즘은 대규모 언어 모델을 활용하여 Core War 환경에서 자기 수정 어셈블리 유사 프로그램을 진화시킨다. 이 프레임워크는 개방형 적대적 동역학 연구를 촉진하며, 지속적인 공진화가 어떻게 점점 더 범용적이고 견고한 프로그램 전략으로 이어지는지를 보여주고, 유전형 다양성과 함께 창발적 표현형 수렴 현상을 나타낸다.

    • 통제된 인공 시스템에서 'Red Queen' 동역학으로 알려진 개방형 적대적 진화 동역학을 이해하는 것이 과제다.
    • 복잡한 적대적 환경 안에서 기능하는 프로그램을 위한 극도로 희소한 탐색 공간을 효율적으로 탐색하는 것이 과제다.
    • 디지털 생태계에서 지속적인 적응과 반적응을 유도하는 단순하면서도 효과적인 자기 대전 메커니즘을 개발하는 것이 과제다.
    • 각 라운드마다 이전에 생성된 모든 적대자에 대해 최적화하기 위해 새로운 프로그램을 진화시키는 최소한의 자기 대전 메커니즘이 Digital Red Queen(DRQ) 알고리즘이다.
    • Core War를 자기 수정 Redcode 프로그램을 진화시키기 위한 샌드박스화된 튜링 완전 환경으로 활용하여, 복잡한 적대적 동역학을 위한 안전한 테스트베드를 제공한다.
    • GPT-4.1 mini 같은 대규모 언어 모델(LLM)을 MAP-Elites 품질-다양성 알고리즘 안의 지능적 변이 및 생성 연산자로 통합하여, 프로그램 합성을 안내하고 다양성을 유지한다.
    초록PDF
  32. 100ArchitecturearXiv:2512.24601

    Recursive Language Models

    재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다.

    재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다. 이 접근법은 사용자 프롬프트를 프로그래밍 환경 안의 외부 객체로 취급하여, 다양한 장기 과제에서 컨텍스트 윈도우 한계와 성능 저하를 완화한다.

    • 대규모 언어 모델(LLM)은 유한한 컨텍스트 윈도우에 제약을 받아, 수백만 토큰에 달하는 많은 실제 '장기 과제'에 적용하기 어렵다.
    • LLM은 '컨텍스트 부패(context rot)' 현상을 보이는데, 이는 고정된 컨텍스트 윈도우 안에서도 입력 길이가 증가할수록 성능이 저하되는 현상으로, 특히 밀집된 정보 접근이 필요한 과제에서 두드러진다.
    • 압축·요약이나 과제별 에이전트 시스템 같은 기존의 긴 컨텍스트 관리 방법은 정보 손실, 제한된 일반화 가능성, 또는 여전히 근본적인 LLM의 컨텍스트 윈도우 한계에 직면하는 등의 이유로 부적절한 경우가 많다.
    • 임의로 긴 사용자 프롬프트를 LLM의 컨텍스트 윈도우에 직접 입력하는 대신, 지속적인 REPL(Read-Eval-Print Loop) 프로그래밍 환경 안의 외부 객체로 취급한다.
    • LLM이 REPL 안에서 코드를 생성하여 외부 프롬프트의 일부를 프로그래밍 방식으로 검토, 변환, 분해하고 중간 값을 구축할 수 있게 한다.
    • 프로그래밍 방식의 기호적 재귀를 가능하게 하여, LLM이 프로그래밍 방식으로 구성한 프롬프트 변환에 대해 하위 RLM을 호출함으로써, 출력 길이 제한을 우회하고 복잡한 반복 처리를 가능하게 한다.
    초록PDF
  33. 099ArchitecturearXiv:2512.10938

    Stronger Normalization-Free Transformers

    Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

    Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

    • 전통적 정규화 계층(예: Batch Norm, Layer Norm)은 심층 신경망 학습을 안정화하지만, 오버헤드(메모리 접근, 동기화)와 배치 크기에 대한 민감성을 야기한다.
    • Dynamic Tanh(DyT) 같은 기존의 정규화 없는 방법은 정규화에 필적하는 성능을 달성했지만 이를 체계적으로 능가하지는 못해, 추가 개선의 여지를 남겼다.
    • 정규화 없는 Transformer에서 점별 함수의 본질적 속성이 학습 동역학과 모델 성능에 어떻게 영향을 미치는지에 대한 체계적 이해가 부족했다.
    • 점별 함수의 네 가지 본질적 속성(영점 중심성, 유계성, 중심 민감도, 단조성)을 체계적으로 분석하여, 효과적인 정규화 없는 Transformer 구성요소를 위한 설계 원칙을 도출했다.
    • 도출한 원칙을 바탕으로 점별 함수를 광범위하게 실증적으로 탐색했으며, 그 결과 오차 함수(erf)를 가장 성능이 우수한 설계로 식별했다.
    • 오차 함수에 스케일·이동·바이어스 파라미터를 적용해 'γ·erf(αx+s)+β' 형태로 매개변수화한 점별 함수 Dynamic erf(Derf)를 개발했으며, 이는 Transformer 아키텍처의 모든 정규화 계층을 직접 대체하는 통계 비의존적 대안으로 기능한다.
    초록PDF
  34. 098Cybersecurity / AgentsarXiv:2512.09882

    Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

    Stanford University와 Carnegie Mellon University의 연구진은 AI 에이전트 스캐폴드인 ARTEMIS를 개발하고, 실제 운영 중인 엔터프라이즈 네트워크 안에서 인간 사이버보안 전문가들과 침투 테스트 역량을 비교했다.

    Stanford University와 Carnegie Mellon University의 연구진은 AI 에이전트 스캐폴드인 ARTEMIS를 개발하고, 실제 운영 중인 엔터프라이즈 네트워크 안에서 인간 사이버보안 전문가들과 침투 테스트 역량을 비교했다. 이 연구에서 ARTEMIS는 상위권 인간 테스터에 필적하는 취약점 발견율을 달성했으며, 더 낮은 비용으로 운영되면서도 대부분의 인간 참가자와 기존 AI 에이전트를 능가했다.

    • 기존 AI 사이버보안 벤치마크는 추상화된 환경에서 수행되는 경우가 많아, 실제 운영 시스템의 운영적 현실성과 복잡성이 결여되어 있다.
    • 실제 환경에서 활성화된 엔터프라이즈 네트워크 침투 테스트에서 AI 에이전트의 성능을 인간 사이버보안 전문가와 실증적으로 비교하는 데에는 상당한 공백이 존재했다.
    • 공격적 보안을 위한 현재의 AI 에이전트 아키텍처는 동적인 운영 환경에서 컨텍스트 관리와 장기 과제에 어려움을 겪는 경우가 많다.
    • 대규모의 이질적인 실제 대학 엔터프라이즈 네트워크(호스트 8,000개, 서브넷 12개)에서 인간 사이버보안 전문가와 다양한 AI 에이전트를 비교 평가했다.
    • 복잡한 사이버보안 과제를 위해 설계한 새로운 멀티 에이전트 AI 스캐폴드 ARTEMIS를 도입했으며, 슈퍼바이저 에이전트, 서브 에이전트, 동적 프롬프트 생성, 트리아지 모듈을 특징으로 한다.
    • 기술적 복잡성과 가중치를 반영한 비즈니스 영향을 기반으로 취약점 발견을 정량화하는 통합 점수 체계를 개발하여, 참가자 간 직접 비교를 가능하게 했다.
    초록PDF
  35. 097Benchmarks / FactualityarXiv:2512.10791

    The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality

    Google이 주도한 연구 협업이 멀티모달 이해, 내부 지식 회상, 검색 증강 생성, 컨텍스트 기반 근거 확보 등 다양한 시나리오에서 대형 언어 모델(LLM)의 사실성을 평가하기 위해 Kaggle에 호스팅된 포괄적 벤치마크 모음 The FACTS Leaderboard를 도입한다.

    Google이 주도한 연구 협업이 멀티모달 이해, 내부 지식 회상, 검색 증강 생성, 컨텍스트 기반 근거 확보 등 다양한 시나리오에서 대형 언어 모델(LLM)의 사실성을 평가하기 위해 Kaggle에 호스팅된 포괄적 벤치마크 모음 The FACTS Leaderboard를 도입한다. 선두 모델인 Gemini 3 Pro는 전체 FACTS 점수 68.8%를 달성했는데, 이는 현재 LLM의 사실적 신뢰성에 개선의 여지가 상당함을 보여준다.

    • 대형 언어 모델(LLM)은 사실과 다른 부정확한 정보를 자주 생성하여, 실제 응용에서의 신뢰할 수 있는 배포를 저해한다.
    • LLM 사실성에 대한 기존 벤치마크는 흔히 좁은 능력(예: 컨텍스트 기반 또는 일반 지식 회상)에 집중하여 총체적 평가를 제공하지 못한다.
    • 실제 LLM 응용은 서로 다른 양식과 지식 소스에 걸친 사실적 능력의 조합을 요구하는데, 현재의 평가 프레임워크는 이를 적절히 다루지 못한다.
    • The FACTS Leaderboard는 FACTS Multimodal, FACTS Parametric, FACTS Search, FACTS Grounding v2의 네 가지 별개의 하위 리더보드로 구성되며, 각각 LLM 사실성의 특정 차원을 평가한다.
    • 이 벤치마크는 인간 주석과 비교해 엄밀히 검증된 정교한 자동 심판을 활용하여, 수천 개의 다양한 질문에 걸쳐 모델 응답을 평가한다.
    • 모든 평가는 Kaggle에 의해 공정하게 수행되며, 공개 및 비공개 데이터 분할을 갖추어 벤치마크의 무결성을 보장하고 과적합을 완화한다.
    초록PDF
  36. 096RAGarXiv:2511.18659

    CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning

    CLaRa 프레임워크는 문서를 연속적인 잠재 표현으로 압축하고 Straight-Through 추정기를 사용해 종단 간 미분 가능 최적화를 가능하게 함으로써 검색 증강 생성을 통합한다.

    CLaRa 프레임워크는 문서를 연속적인 잠재 표현으로 압축하고 Straight-Through 추정기를 사용해 종단 간 미분 가능 최적화를 가능하게 함으로써 검색 증강 생성을 통합한다. 이는 우수한 압축 효과를 입증하여 기준선 대비 최대 17.31%의 CEM 향상을 달성했으며, 경쟁력 있는 QA 성능과 함께 크게 개선된 검색 재현율(예: HotpotQA Recall@5에서 BGE-Reranker보다 10퍼센트포인트 앞섬)을 보였다.

    • 전통적인 검색 증강 생성(RAG) 시스템은 검색기와 생성기가 별도로 최적화되는 분리된 최적화 문제를 겪으며, 이로 인해 검색된 정보와 생성기의 실제 필요 사이에 불일치가 발생한다.
    • RAG 시스템은 흔히 길고 압축되지 않은 텍스트 컨텍스트를 처리하여 높은 추론 비용, 중복 텍스트 처리, LLM에서의 컨텍스트 오버플로, 그리고 임베딩 기반 검색과 원시 텍스트 기반 생성 간의 구조적 불일치를 초래한다.
    • 검색에서 문서 선택의 이산적 특성은 생성기로부터 검색기로의 직접적인 그래디언트 흐름을 막아, 진정한 종단 간 공동 학습과 검색기의 다운스트림 과제 정렬을 저해한다.
    • Salient Compressor Pretraining(SCP) 단계는 합성 QA 쌍과 패러프레이즈를 사용해 압축기가 문서를 핵심 정보를 보존하는 간결하고 의미적으로 풍부한 연속적 '메모리 토큰'으로 정제하도록 학습시킨다.
    • CLaRa는 사전 계산된 압축 문서 표현과 함께 언어 모델링 손실을 사용해 질의 추론기와 생성기를 공동으로 학습시킴으로써, 단일한 종단 간 미분 가능 프레임워크 내에서 검색과 생성을 통합한다.
    • 이산적인 상위 k개 문서 선택을 통과하는 그래디언트 흐름을 가능하게 하기 위해 Straight-Through(ST) 추정기를 사용하여, 질의 추론기가 생성기의 다운스트림 과제 목표로부터 약한 지도를 받도록 한다.
    초록PDF
  37. 095Code Generation / AgentsarXiv:2512.07921

    DeepCode: Open Agentic Coding

    DeepCode는 과학 논문으로부터 실행 가능한 코드 저장소를 자율적으로 생성하는 다단계 에이전트 프레임워크를 제시하며, PaperBench Code-Dev 벤치마크에서 73.5%의 재현 점수를 달성하고 박사급 인간 전문가의 성능을 능가한다.

    DeepCode는 과학 논문으로부터 실행 가능한 코드 저장소를 자율적으로 생성하는 다단계 에이전트 프레임워크를 제시하며, PaperBench Code-Dev 벤치마크에서 73.5%의 재현 점수를 달성하고 박사급 인간 전문가의 성능을 능가한다.

    • 기존 LLM 기반 코딩 에이전트는 길고 멀티모달한 과학 논문을 기능적 코드 저장소로 변환할 때 정보 과부하와 컨텍스트 병목에 어려움을 겪는다.
    • 흔한 실패 양상으로는 단편화된 사양의 보존, 모듈 전반의 전역 일관성 유지, 불충분하게 명시된 설계의 완성, 종단 간 실행 충실성 확보의 어려움이 있다.
    • 기존의 범용 및 특화된 과학 코드 에이전트는 자율 소프트웨어 공학 과제에서 재현 점수가 인간 전문가에 한참 미치지 못해 성공이 제한적이었다.
    • DeepCode는 다단계 프레임워크를 채택한다. Blueprint Generation은 원시 문서를 구조화된 사양으로 정제하여 정보 과부하를 완화한다.
    • Code Generation은 진화하는 코드베이스의 상태 유지형 구조적 인덱싱을 위해 CodeMem을 활용하여 전역 일관성을 보장하고, 고품질 코드 코퍼스로부터 조건부 지식 주입을 위해 CodeRAG를 사용한다.
    • Automated Verification and Refinement는 정적 분석과 샌드박스 실행 피드백을 통합해 폐쇄 루프 오류 수정을 수행함으로써, 합성된 저장소의 기능적 충실성을 보장한다.
    초록PDF
  38. 094Search Agents / EfficiencyarXiv:2511.17006

    Budget-Aware Tool-Use Enables Effective Agent Scaling

    이 연구는 자원 제약 하에서 효율성과 성능을 개선하기 위해 도구로 보강된 대형 언어 모델 에이전트를 위한 예산 인지 전략을 도입한다.

    이 연구는 자원 제약 하에서 효율성과 성능을 개선하기 위해 도구로 보강된 대형 언어 모델 에이전트를 위한 예산 인지 전략을 도입한다. Budget Tracker와 BATS 프레임워크를 포함한 제안된 방법들은 에이전트가 외부 도구를 전략적으로 활용하고 기존 접근법에 비해 더 적은 자원으로 더 높은 정확도를 달성하도록 한다.

    • 표준적인 도구 보강 LLM 에이전트는 본질적인 '예산 인지'가 부족하여 자원을 비효율적으로 사용하고, 도구 호출 예산을 늘려도 금세 성능 한계에 부딪힌다.
    • 에이전트의 테스트 시점 확장에서 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 함께 평가하는 체계적 연구나 공식 비용 지표가 없었다.
    • 에이전트는 흔히 얕은 탐색을 수행하거나 추가로 사용 가능한 자원을 전략적으로 활용하지 않고 조기에 종료하여, 차선의 결과와 낭비된 연산을 초래한다.
    • 프롬프트 수준의 정책 지침과 상태 업데이트를 통해 에이전트에게 실시간의 연속적인 예산 인지를 제공하는 경량의 플러그 앤 플레이 모듈로 'Budget Tracker'를 개발했다.
    • 연속적 예산 인지를 활용해 에이전트의 계획(제약 분해, 구조화된 동적 계획)과 자기 검증 전략을 동적으로 조정하는 학습 불필요 프레임워크로 BATS(Budget Aware Test-time Scaling)를 도입했다.
    • 내부 LLM 토큰 소비와 외부 도구 상호작용의 경제적 비용을 모두 포괄적으로 반영하는 통합 비용 지표를 정식화하여, 확장 효율성을 투명하게 평가할 수 있게 했다.
    초록PDF
  39. 093Agents / TheoryarXiv:2512.10047

    Detailed balance in large language model-driven agents

    Peking University와 Beijing Computational Science Research Center의 연구진이 최소 작용 원리와 세부 균형을 포함한 통계역학 원리를 적용하여 대형 언어 모델 기반 에이전트의 거시적 생성 동역학을 분석했다.

    Peking University와 Beijing Computational Science Research Center의 연구진이 최소 작용 원리와 세부 균형을 포함한 통계역학 원리를 적용하여 대형 언어 모델 기반 에이전트의 거시적 생성 동역학을 분석했다. 이들의 연구 결과는 LLM이 상태 전이를 안내하는 잠재된 포텐셜 함수를 암묵적으로 학습하여 목표 지향적 행동과 더 강한 일반화를 가능하게 함을 시사한다.

    • 대형 언어 모델(LLM) 기반 에이전트의 창발적 행동은 그 거시적 동역학을 이해할 통합 이론 프레임워크가 부족하다.
    • LLM 에이전트의 복잡한 내부 엔지니어링은 흔히 '블랙박스' 행동을 초래하여, 그 동적 특성을 예측하거나 분석하기 어렵게 만든다.
    • 현재 LLM에 대한 이론적 이해는 주로 미시적 토큰 특성에 집중되어 있어, 창발적이고 목표 지향적인 에이전트 행동을 설명하지 못한다.
    • 에이전트 내 LLM의 생성 과정을 정의된 상태 공간에서의 마르코프 전이 과정으로 정식화한다.
    • LLM의 암묵적 '포텐셜 함수'(VT)를 가설로 세우고, 최소 작용 원리에 기반한 방법으로 이를 정량적으로 추정한다.
    • 실험적 검증은 LLM이 생성한 상태 간 전이 확률을 측정하여 다양한 과제와 모델에 걸쳐 세부 균형 조건을 통계적으로 확인하는 것을 포함한다.
    초록PDF
  40. 092Math Reasoning / BenchmarksarXiv:2511.01846

    Towards Robust Mathematical Reasoning

    Google DeepMind가 문제 해결, 증명 작성, 증명 채점 과제를 통해 대형 언어 모델의 고급 수학적 추론을 평가하도록 설계된 벤치마크 모음 IMO-Bench를 개발했다.

    Google DeepMind가 문제 해결, 증명 작성, 증명 채점 과제를 통해 대형 언어 모델의 고급 수학적 추론을 평가하도록 설계된 벤치마크 모음 IMO-Bench를 개발했다. Gemini Deep Think(IMO Gold) 모델은 강건화된 문제에서 80.0% 정확도를, 까다로운 증명 작성 과제에서 65.7%를 달성했다.

    • 기존 수학적 추론 벤치마크(예: GSM8K, MATH, AIME)는 포화 상태에 가까워지고 있어, 고급 모델 능력을 변별하는 데 유용성이 제한된다.
    • 현재의 많은 벤치마크는 주로 최종 답 일치에 의존하는데, 이는 모델이 견고한 다단계 추론을 보이지 않은 채 추측하거나 암기하도록 만들 수 있다.
    • 증명을 생성하고 엄밀하게 평가하는 능력처럼 더 깊은 수학적 이해를 평가하기 위한 포괄적인 평가 프레임워크가 부족하다.
    • 강건한 문제 해결을 위한 IMO-AnswerBench, 엄밀한 증명 작성을 위한 IMO-Proof Bench, 증명 평가를 위한 IMO-GradingBench의 세 가지 벤치마크로 구성된 포괄적 모음 IMO-Bench를 도입한다.
    • IMO-AnswerBench는 네 개 범주에 걸친 400개의 올림피아드 문제를 활용하며, 데이터 암기를 방지하기 위한 명시적 '강건화' 기법(패러프레이징, 수치 변경)을 적용한다.
    • IMO-Proof Bench는 기초 및 고급 세트로 나뉜 60개의 IMO 수준 증명 문제를 제공하며, 전통적인 IMO 채점을 본떠 인간 전문가가 0~7점 척도로 주로 평가한다.
    초록PDF
  41. 091Research AgentsarXiv:2510.17797

    Enterprise Deep Research: Steerable Multi-Agent Deep Research for Enterprise Analytics

    Salesforce AI Research가 인간 참여형 안내를 통해 이질적인 내부 데이터를 처리하는, 기업 분석용으로 설계된 조정 가능한 멀티 에이전트 시스템 Enterprise Deep Research(EDR)를 개발했다.

    Salesforce AI Research가 인간 참여형 안내를 통해 이질적인 내부 데이터를 처리하는, 기업 분석용으로 설계된 조정 가능한 멀티 에이전트 시스템 Enterprise Deep Research(EDR)를 개발했다. EDR은 딥 리서치 벤치마크에서 최첨단 성능을 달성하고 기업 활용 사례에서 인사이트 도출 시간을 50% 단축했으며, 투명하고 감사 가능한 연구 기능을 제공한다.

    • 현재의 자율 에이전트는 도메인 특화성과 매끄러운 통합이 부족하여, 기업이 기하급수적으로 증가하는 비정형 데이터를 실행 가능한 인사이트로 전환하는 데 어려움을 겪는다.
    • 기존 딥 리서치 시스템은 흔히 불투명한 '블랙박스'로, 투명성, 감사 가능성, 실시간 조정 가능성이 부족하여 동적인 기업 환경에 적합하지 않다.
    • 대부분의 현재 시스템은 개방형 도메인 웹 데이터를 위해 설계되어, 데이터베이스나 파일 같은 이질적이고 독점적인 내부 기업 데이터 소스를 적절히 처리하지 못한다.
    • 모듈식 멀티 에이전트 구조가 마스터 리서치 에이전트, 특화된 검색 에이전트(웹, 학술, GitHub, LinkedIn), 시각화 에이전트, 그리고 적응형 질의 분해 및 실행을 위한 성찰(Reflection) 메커니즘을 조율한다.
    • 인간이 해석 가능한 todo.md 파일을 유지하는 Research Todo Manager를 통해 '조정 가능한 컨텍스트 엔지니어링'을 도입하여, 실시간 자연어 인간 개입으로 에이전트 계획과 우선순위를 동적으로 조정할 수 있게 한다.
    • 확장 가능한 Model Context Protocol(MCP) 기반 도구 생태계를 활용하여 파일 분석이나 NL2SQL 에이전트 같은 도메인 특화 도구를 통합함으로써, 다양하고 독점적인 기업 데이터 소스에 대한 추론을 수행한다.
    초록PDF
  42. 090LLMs / ReasoningarXiv:2510.18855

    Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model

    Inclusion AI의 Ling Team이 고급 추론이 가능한 최초의 오픈소스 1조 매개변수 Mixture-of-Experts(MoE) 모델 Ring-1T를 공개했으며, 이는 IMO-2025에서 은메달급 성적을 달성하고 경쟁 프로그래밍 및 복잡한 문제 해결에서 오픈소스 벤치마크를 선도한다.

    Inclusion AI의 Ling Team이 고급 추론이 가능한 최초의 오픈소스 1조 매개변수 Mixture-of-Experts(MoE) 모델 Ring-1T를 공개했으며, 이는 IMO-2025에서 은메달급 성적을 달성하고 경쟁 프로그래밍 및 복잡한 문제 해결에서 오픈소스 벤치마크를 선도한다.

    • 오픈소스 1조 매개변수 '사고 모델'의 부재로 인해 더 넓은 AI 연구 커뮤니티가 고급 추론 능력에 접근하기 어려웠다.
    • 강화학습(RL)을 1조 매개변수 Mixture-of-Experts(MoE) 모델로 확장하는 과정에서 학습-추론 불일치로 인한 상당한 불안정성에 직면했다.
    • 긴 추론 궤적을 처리하는 비효율성과 RL 인프라의 시스템적 병목이 전례 없는 규모에서 상당한 난제를 제기했다.
    • Long Chain-of-Thought 지도 미세조정과 대규모 강화학습을 포함한 다단계 파이프라인으로 학습된 1조 매개변수 MoE 모델 Ring-1T를 개발했다.
    • 확률 편차에 대한 양측 마스킹 보정을 통해 잡음이 있는 그래디언트 갱신을 억제함으로써 학습을 안정화하는 RL 알고리즘 변형 IcePop을 도입했다.
    • 동적이고 예산 통제된 분할을 사용해 효율적인 궤적 처리를 위한 C3PO++를 설계하고, 1조 매개변수 규모에 맞춘 고성능 분산 RL 인프라 ASystem을 구축했다.
    초록PDF
  43. 089Reasoning / InferencearXiv:2510.14901

    Reasoning with Sampling: Your Base Model is Smarter Than You Think

    Harvard University의 연구진이 Metropolis-Hastings 알고리즘을 활용해 기본 대형 언어 모델의 첨예화된 분포에서 샘플링하는 학습 불필요 방법인 파워 샘플링을 개발했다.

    Harvard University의 연구진이 Metropolis-Hastings 알고리즘을 활용해 기본 대형 언어 모델의 첨예화된 분포에서 샘플링하는 학습 불필요 방법인 파워 샘플링을 개발했다. 이 기법은 잠재된 추론 능력을 끌어내어, 다양한 과제에서 강화학습 사후 학습 방법에 필적하거나 이를 능가하는 단일 시도 성능을 달성하면서도 생성 다양성을 보존한다.

    • 강화학습(RL)이 LLM에 근본적으로 새로운 추론 능력을 가르치는지, 아니면 단지 기존의 잠재된 능력을 첨예화할 뿐인지가 불분명하다.
    • 현재 RL 기반 LLM 사후 학습 방법은 높은 연산 비용, 선별된 데이터셋에 대한 의존, 외부 검증기의 필요성을 내재한다.
    • RL로 사후 학습된 모델은 흔히 '다양성 붕괴'를 겪어, 단일 시도 성능 향상을 위해 다중 시도 추론 성능(pass@k)을 희생한다.
    • 기본 LLM의 '파워 분포', 즉 원분포를 지수 α(α≥1)로 거듭제곱한 분포에서 샘플링하며, 이는 원래 분포를 수학적으로 재가중하여 더 높은 우도의 시퀀스를 선호한다.
    • 마르코프 연쇄 몬테카를로(MCMC) 기법인 Metropolis-Hastings(MH) 알고리즘을 사용하여 정규화되지 않은 파워 분포에서의 근사 샘플링을 가능하게 한다.
    • 반복적이고 블록 단위의 자기회귀적 MCMC 접근법을 도입하여 시퀀스 구간을 점진적으로 정제함으로써, 복잡도를 관리하고 긴 시퀀스 생성의 믹싱 시간을 개선한다.
    초록PDF
  44. 088Continual LearningarXiv:2510.15103

    Continual Learning via Sparse Memory Finetuning

    희소 메모리 미세조정이라는 새로운 접근법은 대형 언어 모델이 새로운 지식을 순차적으로 습득하면서도 치명적 망각을 현저히 적게 겪도록 한다.

    희소 메모리 미세조정이라는 새로운 접근법은 대형 언어 모델이 새로운 지식을 순차적으로 습득하면서도 치명적 망각을 현저히 적게 겪도록 한다. FAIR at Meta와 UC Berkeley의 연구진이 개발한 이 방법은 메모리 계층 구조를 활용해 관련된 소수의 매개변수만 선택적으로 갱신함으로써, 일반 지식 과제에서의 망각을 전체 미세조정 시 89% 성능 하락에 비해 11% 하락으로 줄인다.

    • 대형 언어 모델(LLM)은 새로운 정보로 갱신할 때 이전에 습득한 지식을 잃어버리는 치명적 망각을 겪는다.
    • 재현 기반이나 정규화 기법 같은 현재의 LLM 지속 학습 방법은 흔히 연산 비용이 크거나, 데이터 효율이 낮거나, 새로운 학습과 기존 지식 유지 사이의 트레이드오프를 수반한다.
    • LLM은 일반적으로 배포 후 정적 모델로 동작하여, 실시간 정보, 사용자 피드백, 변화하는 세상 지식에 적응하는 능력이 제한된다.
    • 이 논문은 주어진 토큰마다 방대한 메모리 풀의 극히 일부만 본질적으로 접근하는 메모리 계층 구조를 사용하는 희소 메모리 미세조정을 제안한다.
    • 새로운 학습 배치에서 가장 지식 특이적인 메모리 인덱스를 식별하기 위해 TF-IDF 유사 순위 점수를 적용하여 일반 지식과의 간섭을 최소화한다.
    • 미세조정 중에는 TF-IDF 점수로 식별된 상위 t개 메모리 인덱스만 갱신하고, 그 외의 모든 메모리 매개변수와 기본 LLM 매개변수는 그래디언트 마스킹을 통해 고정된 상태로 유지한다.
    초록PDF
  45. 087Vision / CompressionarXiv:2510.18234

    DeepSeek-OCR: Contexts Optical Compression

    DeepSeek-OCR은 정보를 시각적으로 표현해 대형 언어 모델(LLM)이 긴 텍스트를 더 효율적으로 처리하게 하는 '컨텍스트 광학 압축'을 탐구한다.

    DeepSeek-OCR은 정보를 시각적으로 표현해 대형 언어 모델(LLM)이 긴 텍스트를 더 효율적으로 처리하게 하는 '컨텍스트 광학 압축'을 탐구한다. 이 모델은 9~10배의 비전-텍스트 압축률에서 약 97%의 텍스트 디코딩 정밀도를 달성하고, 훨씬 적은 비전 토큰으로 OCR 성능의 새로운 기준을 세우며, 구조화된 데이터에 대한 고급 심층 파싱 기능도 제공한다.

    • 대형 언어 모델(LLM)은 입력 시퀀스 길이가 늘어남에 따라 연산량이 이차적으로 증가하여 상당한 연산 및 메모리 문제에 직면하며, 이로 인해 긴 텍스트 컨텍스트를 처리하는 능력이 제한된다.
    • 비전-언어 모델(VLM)의 기존 비전 인코더는 복잡한 배포, 과도한 이미지 분할, 고해상도 문서에 대한 높은 활성화 메모리 소비 같은 한계를 겪는다.
    • 전통적인 OCR 모델은 LLM과 통합해 긴 컨텍스트를 이해할 때 최적의 비전-텍스트 압축률이나 정확한 텍스트 디코딩에 필요한 최소 비전 토큰 수를 명시적으로 다루지 못했다.
    • DeepSeek-OCR은 새로운 380M 매개변수 DeepEncoder와 DeepSeek3B-MoE 디코더로 구성된 종단 간 비전-언어 모델이다.
    • DeepEncoder는 SAM-base와 CLIP-large 모델을 핵심적인 16배 토큰 압축기(2계층 합성곱 신경망)와 결합하여 고해상도 이미지를 효율적으로 처리하고, 활성화 메모리를 줄이며, 최소한의 비전 토큰을 생성한다.
    • 이 모델은 타일링을 통해 초고해상도 입력을 처리하는 동적 'Gundam' 모드를 포함한 여러 해상도 모드를 지원하며, 전통적 OCR, 복잡한 인공 이미지(차트, 수식, 도형), 일반 비전 데이터를 아우르는 다양한 데이터셋으로 학습된다.
    초록PDF
  46. 086Benchmarks / AgentsarXiv:2508.15760

    LiveMCP-101: Stress Testing and Diagnosing MCP-enabled Agents on Challenging Queries

    Duke University와 Zoom Video Communications의 연구진이 복잡하고 동적인 도구 사용 과제에 대해 AI 에이전트를 평가하는 벤치마크 LiveMCP-101을 발표했다.

    Duke University와 Zoom Video Communications의 연구진이 복잡하고 동적인 도구 사용 과제에 대해 AI 에이전트를 평가하는 벤치마크 LiveMCP-101을 발표했다. 이 연구는 최첨단 대형 언어 모델조차 과제 성공률이 60% 미만에 그치며, 그 원인이 흔히 의미론적 매개변수 오류와 현실적 환경에서 여러 도구를 조율하는 데 따르는 어려움에 있음을 보여준다.

    • AI 에이전트는 유망한 프로토타입 성능을 보이지만, 실제 동적 운영 환경에 배포되면 신뢰성과 견고성이 부족하다.
    • 도구로 보강된 LLM을 위한 기존 벤치마크는 단일 단계 도구 호출만 평가하거나, 합성 환경에서 동작하거나, 낮은 과제 복잡도에 집중하는 한계가 있어 실제 도구 상호작용의 복잡성을 포착하지 못한다.
    • 다양하고 시간에 따라 변화하는 외부 도구를 다루는 에이전트의 구체적인 실패 양상을 진단할 명확한 프레임워크가 없었다.
    • 다양한 MCP 지원 도구를 다단계로 조율해 사용해야 하는, 신중하게 선별된 101개의 실세계 질의로 벤치마크 LiveMCP-101을 구성했다.
    • 정답 실행 계획과 병렬 실시간 실행을 활용해 라이브 MCP 도구 응답의 동적이고 진화하는 특성을 반영하는 새로운 평가 방법론을 제안했다.
    • 인간 전문가가 검증한 LLM-as-a-judge 방식을 활용해 최종 출력과 에이전트의 실행 궤적 모두에 세밀한 점수를 제공했다.
    초록PDF
  47. 085Reasoning / RL / SurveyarXiv:2509.08827

    A Survey of Reinforcement Learning for Large Reasoning Models

    이 서베이 논문은 대규모 추론 모델(LRM)을 위한 강화학습(RL)의 발전을 체계적으로 종합하며, 인간 정렬을 넘어 검증 가능한 보상을 통해 내재적 추론 역량을 강화하는 데 초점을 맞춘다.

    이 서베이 논문은 대규모 추론 모델(LRM)을 위한 강화학습(RL)의 발전을 체계적으로 종합하며, 인간 정렬을 넘어 검증 가능한 보상을 통해 내재적 추론 역량을 강화하는 데 초점을 맞춘다. 인공 초지능(ASI)을 향한 RL 확장을 위한 핵심 구성요소, 과제, 향후 방향을 규명한다.

    • LLM을 LRM으로 변모시키는 RL의 급속한 성공은 계산 자원, 최적 알고리즘 설계, 확장 가능한 고품질 훈련 데이터와 관련된 상당한 난관에 직면해 있다.
    • LLM에 대한 기존 RL 응용은 주로 인간 정렬에 집중하여, 복잡한 추론 능력을 근본적으로 개선할 RL의 잠재력을 간과했다.
    • 추론 모델을 위한 RL의 복잡하고 빠르게 진화하는 지형을 이해하고 탐색할 통합 프레임워크의 부재가 체계적인 연구 개발을 저해한다.
    • 저자들은 포괄적인 문헌 검토를 수행하여, 이 분야를 보상 설계, 정책 최적화, 샘플링 전략이라는 기초 구성요소로 체계화한다.
    • 이 서베이는 객관적 피드백이 있는 과제에서 추론을 강화하기 위한 핵심 패러다임으로서 '검증 가능한 보상을 활용한 강화학습(RLVR)'을 도입하고 강조한다.
    • RL의 '샤프닝 대 발견' 역할과 RL과 지도 미세조정(SFT) 간의 상호작용 같은, 기초적 문제와 진행 중인 논쟁을 규명하고 논의한다.
    초록PDF
  48. 084Multi-Agent / DebatearXiv:2509.05396

    Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate

    Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다.

    Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다. 사회적 영향과 역효과를 내는 순차적 수정이 흔히 숙의의 이점을 압도한다는 사실을 발견했다.

    • 멀티 에이전트 토론이 복잡한 추론 과제에서 대규모 언어 모델(LLM) 성능을 보편적으로 향상시킨다는 통념이 있다.
    • 여러 LLM이 상호작용할 때, 특히 역량이 다양한 이질적 그룹에서 발생하는 구체적인 실패 양상에 대한 이해가 부족하다.
    • 멀티 에이전트 토론이 언제 그리고 왜 유익하기보다 해로울 수 있는지를 규명할 필요가 있다.
    • LLM이 여러 라운드에 걸쳐 동료의 입력을 바탕으로 응답을 반복적으로 수정하는 표준 멀티 에이전트 토론 프레임워크를 사용했다.
    • 세 개의 다양한 데이터셋(CommonSenseQA, MMLU, GSM8K)에서 세 LLM(GPT-4o-mini, LLaMA-3.1-8B-Instruct, Mistral-7B-Instruct-v0.2)으로 구성된 이질적 그룹을 사용해 경험적 연구를 수행했다.
    • 순차적 수정 추적, 사회적 영향 평가(동료 동의에 따른 답변 뒤집힘 확률), 그리고 아첨을 완화하기 위한 개입을 통해 실패 양상을 분석했다.
    초록PDF
  49. 083Agents / RLarXiv:2509.08755

    AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning

    오픈소스 프레임워크 AgentGym-RL은 다중 턴 강화학습과 ScalingInter-RL이라 불리는 점진적 상호작용 스케일링 전략을 통해, 장기적 의사결정을 위한 대규모 언어 모델 에이전트의 훈련을 가능하게 한다.

    오픈소스 프레임워크 AgentGym-RL은 다중 턴 강화학습과 ScalingInter-RL이라 불리는 점진적 상호작용 스케일링 전략을 통해, 장기적 의사결정을 위한 대규모 언어 모델 에이전트의 훈련을 가능하게 한다. 이 접근법은 7B 파라미터 모델이 다양한 환경에서 더 큰 독점 모델에 견주거나 능가하는 평균 성공률을 달성하게 하여, RL 훈련이 에이전트 지능에 미치는 영향을 부각한다.

    • 복잡하고 다중 턴이며 장기적인 과제를 위해 LLM 에이전트를 처음부터 훈련할 수 있는 통합적이고 상호작용형인 강화학습(RL) 프레임워크가 없다.
    • 프롬프팅이나 지도 미세조정(SFT) 같은 기존 LLM 에이전트 개발 방법은 흔히 독점 모델이나 인간이 선별한 데이터에 의존하여, 확장성과 적응성, 내재적 자기 개선을 제한한다.
    • LLM에 대한 전통적 RL 응용은 대부분 단일 턴 과제에 국한되거나, 다중 턴 에이전트 의사결정으로 확장될 때 불안정성과 비효율성 문제에 직면한다.
    • 다양한 다중 턴 장기적 과제를 지원하기 위해 환경, 에이전트, 훈련 모듈을 분리한 모듈식 오픈소스 프레임워크인 AgentGym-RL을 도입한다.
    • RL 훈련 중 최대 턴 수를 적응적으로 늘려 탐색과 활용의 균형을 맞춤으로써 최적화 안정성과 효율성을 개선하는, 새로운 점진적 상호작용 스케일링 전략 ScalingInter-RL을 개발한다.
    • 주류 온라인 RL 알고리즘(예: PPO, GRPO)을 지원하고 다양한 현실적 환경 전반의 확장성과 신뢰성을 위한 엔지니어링 최적화를 포함하는 통합 RL 파이프라인을 통합한다.
    초록PDF
  50. 082Reasoning / ParallelismarXiv:2509.04475

    ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute

    ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다.

    ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다. 무시할 만한 추론 지연으로 수학 추론 벤치마크에서 상당한 성능 향상을 달성하며, 특히 소형 모델을 크게 강화한다.

    • 순차적 LLM 추론은 '터널 시야'를 보이는데, 이는 초기 오류가 계산량 증가에도 불구하고 수익 체감과 정체로 이어지는 현상이다.
    • 현재의 '깊이' 스케일링 접근법은 일정 지점을 넘어서면 비효율적이어서, 복잡한 추론 과제에서 추가적인 성능 향상을 끌어내지 못한다.
    • 기존 병렬 또는 탐색 기반 방법은 흔히 외부 검증자나 도메인 특화 구성요소에 의존하거나, 상당한 추가 계산 비용을 발생시킨다.
    • ParaThinker는 여러 독립적 사고 경로를 생성하는 병렬 추론과 이 경로들을 단일 최종 답변으로 통합하는 요약의 2단계 과정을 사용한다.
    • 특수 제어 토큰('think i', 'summary')을 사용하여 모델의 다양한 추론 경로 생성과 이후의 통합을 유도한다.
    • 사고 특화 위치 임베딩이 표준 RoPE를 보강하여 병렬 경로 간 위치 모호성을 해소함으로써, 구별된 처리와 효과적인 요약을 보장한다.
    초록PDF