HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 144Agents / ResearcharXiv:2604.13018

    Toward Autonomous Long-Horizon Engineering for ML Research

    AiScientist 시스템은 구조화된 오케스트레이션과 지속적 상태 연속성을 통합해 자율적이고 장기 지평의 ML 연구 엔지니어링을 가능하게 한다.

    AiScientist 시스템은 구조화된 오케스트레이션과 지속적 상태 연속성을 통합해 자율적이고 장기 지평의 ML 연구 엔지니어링을 가능하게 한다. 논문 재현(PaperBench)과 지속적 실험 개선(MLE-Bench Lite)에서 향상된 성능을 달성하며, 기존 베이스라인을 능가하고 비용 효율성을 입증한다.

    • 현재 자율 AI는 여러 단계에 걸쳐 지속적이고 일관된 진척을 요구하는, 수 시간에서 수 일에 이르는 장기 지평 과제에서 어려움을 겪는다.
    • ML 연구 논문은 흔히 명세가 부족해, 에이전트가 누락된 구현 세부를 추론하고 복잡한 환경 설정을 관리해야 한다.
    • 지연되고 혼란된 실험 피드백을 해석하고 반복 주기 전반에 걸쳐 프로젝트 상태 연속성을 유지하는 것은 상당한 도전을 제기한다.
    • AiScientist는 '두꺼운 상태에 대한 얇은 제어'를 구현해, 최상위 Orchestrator는 간결한 요약을 사용하고 상세한 프로젝트 정보는 권한 범위가 지정된 공유 워크스페이스에 위치한다.
    • 산출물을 매개로 한 조율을 위해 'File-as-Bus' 프로토콜을 사용하며, 공유 워크스페이스의 구조화된 조직을 활용해 지속적 상태와 누적 진척을 보장한다.
    • 계층적 오케스트레이션 모델은 Orchestrator가 호출 가능한 도구로 노출된 Tier-1 전문 에이전트(예: 논문 이해, 구현, 실험 전문가)에게 과제를 위임하도록 한다.
    초록PDF
  2. 143Reasoning / EfficiencyarXiv:2604.03679

    LightThinker++: From Reasoning Compression to Memory Management

    중간 사고를 압축해 대형 언어 모델이 추론 컨텍스트를 효율적으로 관리하도록 하는 LightThinker와 LightThinker++가 제안된다.

    중간 사고를 압축해 대형 언어 모델이 추론 컨텍스트를 효율적으로 관리하도록 하는 LightThinker와 LightThinker++가 제안된다. LightThinker는 암묵적 압축을 통해 최대 토큰 사용량을 최대 70%, 추론 시간을 26% 줄이며, LightThinker++는 명시적이고 적응적인 메모리 관리를 사용해 추론 충실도를 유지하면서 장기 지평 에이전트 과제에서 활성 컨텍스트를 60~70% 줄인다.

    • 대형 언어 모델(LLM)은 다수의 토큰을 생성하는 점과 어텐션의 이차 복잡도 및 KV 캐시의 선형 증가로 인해 복잡한 추론에서 상당한 연산 및 메모리 오버헤드를 초래한다.
    • 프롬프트 엔지니어링이나 실시간 토큰 가지치기 같은 기존 컨텍스트 관리 기법은 흔히 광범위한 데이터 구축을 요구하거나 상당한 추론 지연을 유발한다.
    • 암묵적 압축 방법은 효율적이긴 하나, 상세한 중간 단계를 요구하는 복잡한 추론 과제에서 '논리적 병목'을 만들 수 있는 비가역적 정보 손실의 위험이 있다.
    • 초기 프레임워크인 LightThinker는 특수한 'gist token'과 분할 어텐션 마스크를 사용해 긴 사고 단계를 간결한 의미 표현으로 암묵적으로 압축하도록 LLM을 학습시킨다.
    • LightThinker++는 'commit', 'expand', 'fold' 같은 프리미티브를 통한 명시적이고 행동 수준의 메모리 관리를 도입해 이를 발전시키며, 의미 요약의 동적 보관이나 원시 추론 세부의 복원을 가능하게 한다.
    • 목적의식적인 메모리 스케줄링으로 LLM을 학습시키기 위해 특화된 환경 인식 궤적 합성 파이프라인을 사용하며, 추론과 명시적 메모리 연산을 교차시킨 전문가 시연을 생성한다.
    초록PDF
  3. 142Multimodal / MedicalarXiv:2604.05081

    MedGemma 1.5 Technical Report

    MedGemma 컬렉션의 최신 모델인 MedGemma 1.5 4B를 소개한다.

    MedGemma 컬렉션의 최신 모델인 MedGemma 1.5 4B를 소개한다. MedGemma 1.5는 추가 기능을 통합해 MedGemma 1을 확장한다. 고차원 의료 영상(CT/MRI 볼륨 및 조직병리학 전체 슬라이드 영상), 경계 상자를 통한 해부학적 위치 파악, 다시점 흉부 X선 분석, 향상된 의료 문서 이해(검사 보고서, 전자건강기록)가 그것이다. 새로운 학습 데이터, 롱 컨텍스트 3D 볼륨 슬라이싱, 전체 슬라이드 병리 샘플링 등 단일 구조 안에서 이러한 모달리티를 가능하게 하는 데 필요한 혁신을 상세히 기술한다. MedGemma 1 4B와 비교해 MedGemma 1.5 4B는 이러한 새 영역에서 상당한 향상을 보이며, 3D MRI 상태 분류 정확도를 11%, 3D CT 상태 분류를 3% 향상시킨다(절대 개선). 전체 슬라이드 병리 영상에서 MedGemma 1.5 4B는 macro F1을 47% 끌어올린다. 추가로 흉부 X선에서 Intersection over Union을 35% 높여 해부학적 위치 파악을 개선하고, 종단적 흉부 X선 분석에서 4%의 macro 정확도를 달성한다. MedGemma 1 대비 향상된 멀티모달 성능을 넘어, MedGemma 1.5는 텍스트 기반 임상 지식과 추론에서도 개선되어 MedQA 정확도를 5%, EHRQA 정확도를 22% 향상시킨다. 또한 4개의 서로 다른 검사 보고서 정보 추출 데이터셋(EHR Datasets 2, 3, 4 및 Mendeley Clinical Laboratory Test Reports)에서 평균 18%의 macro F1을 달성한다. 종합하면 MedGemma 1.5는 커뮤니티를 위한 견고한 오픈 리소스로서, 개발자가 차세대 의료 AI 시스템을 만들 수 있는 개선된 토대로 설계되었다. MedGemma 1.5를 토대로 구축하기 위한 리소스와 튜토리얼은 공개 링크에서 찾을 수 있다.

    • MedGemma 컬렉션의 최신 모델인 MedGemma 1.5 4B를 소개한다.
    • MedGemma 1.5는 추가 기능을 통합해 MedGemma 1을 확장한다. 고차원 의료 영상(CT/MRI 볼륨 및 조직병리학 전체 슬라이드 영상), 경계 상자를 통한 해부학적 위치 파악, 다시점 흉부 X선 분석, 향상된 의료 문서 이해(검사 보고서, 전자건강기록)가 그것이다.
    • 새로운 학습 데이터, 롱 컨텍스트 3D 볼륨 슬라이싱, 전체 슬라이드 병리 샘플링 등 단일 구조 안에서 이러한 모달리티를 가능하게 하는 데 필요한 혁신을 상세히 기술한다.
    • MedGemma 1 4B와 비교해 MedGemma 1.5 4B는 이러한 새 영역에서 상당한 향상을 보이며, 3D MRI 상태 분류 정확도를 11%, 3D CT 상태 분류를 3% 향상시킨다(절대 개선).
    • 전체 슬라이드 병리 영상에서 MedGemma 1.5 4B는 macro F1을 47% 끌어올린다.
    • 추가로 흉부 X선에서 Intersection over Union을 35% 높여 해부학적 위치 파악을 개선하고, 종단적 흉부 X선 분석에서 4%의 macro 정확도를 달성한다.
    초록PDF
  4. 141Agents / SkillsarXiv:2604.04323

    How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings

    이 연구는 기술 선택, 대규모 저장소로부터의 검색, 적응 같은 도전을 포함시켜 점진적으로 현실적인 조건에서 LLM 에이전트 기술의 효능을 체계적으로 벤치마킹한다.

    이 연구는 기술 선택, 대규모 저장소로부터의 검색, 적응 같은 도전을 포함시켜 점진적으로 현실적인 조건에서 LLM 에이전트 기술의 효능을 체계적으로 벤치마킹한다. 이러한 환경에서 기술의 이점이 크게 줄어들지만, 질의별 기술 정교화 전략을 통해 상당 부분 회복될 수 있음을 밝힌다.

    • 기존 LLM 에이전트 기술 벤치마크는 흔히 이상화된 조건에 의존해, 사전 선택되고 수작업으로 제작된 기술을 에이전트에게 직접 제공했다.
    • 에이전트는 실세계 시나리오에서 많은 선택지 중 관련 기술을 독자적으로 선택하고, 크고 정리되지 않은 저장소에서 기술을 검색하며, 범용 기술을 특정 질의에 적응시키는 등의 도전에 직면한다.
    • 실용적이고 이상적이지 않은 상황에서 에이전트 기술의 진정한 유용성과 한계는 대체로 정량화되지 않은 채 남아 있었다.
    • LLM 에이전트의 현실적인 검색 및 적응 조건을 시뮬레이션하기 위해 34,198개의 실세계 기술로 구성된 대규모 데이터셋을 구축했다.
    • 기술 검색 엔진을 개발하고 다양한 검색 전략(키워드, 의미 기반, 하이브리드, 에이전트 검색)을 평가해 효과적인 기술 발견 방법을 식별했다.
    • SKILLSBENCH와 TERMINAL-BENCH 2.0에서 점진적으로 현실적인 여섯 가지 평가 설정에 걸쳐 LLM 에이전트 성능을 평가하며, 선택, 검색, 적응의 도전을 도입했다.
    초록PDF
  5. 140Agents / CodingarXiv:2604.05013

    Scaling Coding Agents via Atomic Skills

    현재 LLM 코딩 에이전트는 주로 복합 벤치마크(예: 버그 수정)로 학습되며, 이는 흔히 과제별 과적합과 제한된 일반화로 이어진다.

    현재 LLM 코딩 에이전트는 주로 복합 벤치마크(예: 버그 수정)로 학습되며, 이는 흔히 과제별 과적합과 제한된 일반화로 이어진다. 이를 해결하기 위해 저자들은 초점을 과제 수준 최적화에서 원자적 기술 숙달로 옮기는 새로운 스케일링 패러다임을 제안한다. 먼저 복잡한 소프트웨어 엔지니어링 과제의 기저 벡터 역할을 하는 다섯 가지 기본 원자적 기술, 즉 코드 위치 파악, 코드 편집, 단위 테스트 생성, 이슈 재현, 코드 리뷰를 정식화한다. 복합 코딩 과제와 비교해 이러한 원자적 기술은 더 일반화 가능하고 합성 가능하다. 그다음 원자적 기술에 대한 공동 RL을 수행해 코딩 에이전트를 스케일링한다. 이런 방식으로 원자적 기술은 서로 간 부정적 간섭이나 트레이드오프 없이 일관되게 향상된다. 특히, 이러한 원자적 기술의 향상이 버그 수정, 코드 리팩터링, 머신러닝 엔지니어링, 코드 보안 같은 다른 미지의 복합 코딩 과제로 잘 일반화됨을 관찰한다. 이 관찰은 원자적 기술로 학습하는 코딩 에이전트의 새로운 스케일링 패러다임에 동기를 부여한다. 광범위한 실험이 제안된 패러다임의 효과를 입증한다. 특히 공동 RL은 5개 원자적 기술과 5개 복합 과제에서 평균 성능을 18.7% 향상시킨다.

    • 현재 LLM 코딩 에이전트는 주로 복합 벤치마크(예: 버그 수정)로 학습되며, 이는 흔히 과제별 과적합과 제한된 일반화로 이어진다.
    • 이를 해결하기 위해 저자들은 초점을 과제 수준 최적화에서 원자적 기술 숙달로 옮기는 새로운 스케일링 패러다임을 제안한다.
    • 먼저 복잡한 소프트웨어 엔지니어링 과제의 기저 벡터 역할을 하는 다섯 가지 기본 원자적 기술, 즉 코드 위치 파악, 코드 편집, 단위 테스트 생성, 이슈 재현, 코드 리뷰를 정식화한다.
    • 복합 코딩 과제와 비교해 이러한 원자적 기술은 더 일반화 가능하고 합성 가능하다.
    • 그다음 원자적 기술에 대한 공동 RL을 수행해 코딩 에이전트를 스케일링한다.
    • 이런 방식으로 원자적 기술은 서로 간 부정적 간섭이나 트레이드오프 없이 일관되게 향상된다.
    초록PDF
  6. 139Agents / EvaluationarXiv:2604.06240

    The Art of Building Verifiers for Computer Use Agents

    Microsoft Research와 Browserbase 연구진은 과정 보상과 결과 보상을 분리하고 시각적 컨텍스트를 효과적으로 관리해 Computer Use Agent 궤적을 신뢰성 있게 평가하도록 설계된 시스템 Universal Verifier를 개발했다.

    Microsoft Research와 Browserbase 연구진은 과정 보상과 결과 보상을 분리하고 시각적 컨텍스트를 효과적으로 관리해 Computer Use Agent 궤적을 신뢰성 있게 평가하도록 설계된 시스템 Universal Verifier를 개발했다. 이 검증기는 기존 방법에 비해 인간 판단과의 정렬을 우수하게 달성하고 위양성률을 크게 낮췄으며, CUAVerifierBench 데이터셋도 함께 도입했다.

    • Computer Use Agent(CUA)의 과제 성공을 신뢰성 있게 검증하는 것은 길고 시각적으로 풍부하며 모호한 궤적 때문에 어렵다.
    • CUA 궤적에 대한 사람의 주석 작업은 까다롭고 비용이 많이 들며, 미묘하거나 일시적인 실패를 놓치는 경우가 많다.
    • 기존 자동 검증 시스템은 토큰 제한, 컨텍스트 관리, 복잡한 환경에서 성공이나 실패를 정확히 귀속하는 데 어려움을 겪어 높은 위양성률을 초래한다.
    • 견고한 검증을 위한 네 가지 원칙에 기반한, CUA 궤적용 평가 시스템 Universal Verifier(UV)를 도입했다.
    • 이는 환각을 탐지하기 위해 신중하게 구성된 비중첩 루브릭과 2패스 채점을 사용하고, 평가를 과정 보상과 이진 결과 라벨로 분리한다.
    • UV는 제어 가능한 에이전트 실패와 제어 불가능한 환경 요인을 구별하며, 스크린샷 증거의 멀티모달 컨텍스트 관리를 위해 분할 정복 전략을 활용한다.
    초록PDF
  7. 138Agents / Multi-AgentarXiv:2604.02460

    Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets

    이 Stanford University 연구는 다중 홉 추론 과제에서 단일 에이전트 대 다중 에이전트 LLM 시스템의 성능을 조사한다.

    이 Stanford University 연구는 다중 홉 추론 과제에서 단일 에이전트 대 다중 에이전트 LLM 시스템의 성능을 조사한다. 사고 토큰 예산이 동일할 때 단일 에이전트 시스템이 일관되게 다중 에이전트 시스템과 대등하거나 능가하며, 다중 에이전트 시스템은 주로 심각한 컨텍스트 저하 조건에서만 이점을 제공할 수 있음을 보여준다.

    • 다중 에이전트 LLM 시스템(MAS)의 성능 향상이 구조적 이점 때문인지, 단순히 테스트 시점의 연산 지출 증가 때문인지 불분명하다.
    • MAS와 단일 에이전트 시스템(SAS) 간의 기존 비교는 불균등한 토큰 사용량으로 혼란되는 경우가 많아 직접 비교를 신뢰하기 어렵다.
    • 성능 동인을 명확히 하려면 사고 토큰 예산을 엄밀히 통제하는 견고한 평가 방법론이 필요하다.
    • 고정된 추론 예산 하에서 단일 에이전트 시스템의 정보 효율성을 주장하기 위해 데이터 처리 부등식(Data Processing Inequality, DPI)에 기반한 이론적 프레임워크를 도입했다.
    • 세 가지 LLM 계열(Qwen3, DeepSeek, Gemini)에 걸쳐 다양한 단일 에이전트 및 다중 에이전트 구조(예: Sequential, Debate, Ensemble)를 다중 홉 추론 과제(FRAMES, MuSiQue)에서 광범위하게 실증 평가했다.
    • 시스템 간 공정한 비교를 보장하기 위해 사고 토큰 예산, 즉 프롬프트와 최종 답을 제외한 중간 추론용 토큰에 대한 엄격한 통제를 구현했다.
    초록PDF
  8. 137Agents / MemoryarXiv:2604.04503

    Memory Intelligence Agent

    Memory Intelligence Agent(MIA) 프레임워크는 뇌에서 영감을 받은 메모리를 통합해 지속적 자기 진화와 향상된 추론을 가능하게 함으로써 Deep Research Agent를 강화한다.

    Memory Intelligence Agent(MIA) 프레임워크는 뇌에서 영감을 받은 메모리를 통합해 지속적 자기 진화와 향상된 추론을 가능하게 함으로써 Deep Research Agent를 강화한다. 이는 멀티모달 과제에서 평균 5.5%, 텍스트 전용 과제에서 평균 7.5%만큼 이전 메모리 기반 방법을 능가하며 SOTA 성능을 달성한다.

    • Deep Research Agent(DRA)를 위한 기존 메모리 시스템은 주로 롱 컨텍스트 메모리를 사용하며, 이는 어텐션 희석, 노이즈 유입, 높은 저장 및 연산 비용 같은 문제로 이어진다.
    • 기존 메모리 시스템은 대체로 지식 지향 메모리, 즉 '무엇'을 포착할 뿐, 심층 연구에서 미래 계획을 안내하는 데 핵심적인 과정 지향 메모리와 개념적 지식, 즉 '어떻게'를 활용하지 못한다.
    • DRA의 최적화되지 않은 계획과 실행은, 메모리가 few-shot Chain-of-Thought(CoT)에만 쓰일 때 계획자가 과제별 학습을 결여하고 실행자가 명령을 오해하는 데서 비롯된다.
    • MIA는 Manager-Planner-Executor 구조를 제안하며, 과거 검색 궤적의 비모수적 메모리 저장, 모수적 계획, 실행을 분리하고 하이브리드 검색 전략을 사용한다.
    • 2단계 교대 강화학습(RL) 전략은 Planner와 Executor 사이의 시너지적 공동 진화를 촉진해 고수준 계획과 효과적인 저수준 과제 실행의 정렬을 보장한다.
    • Test-Time Learning(TTL)과 새로운 비지도 평가 프레임워크는 지속적 자기 진화를 가능하게 해, 에이전트가 명시적 감독 없이 온라인으로 비모수적, 모수적 메모리를 모두 정교화하도록 한다.
    초록PDF
  9. 136LLMs / ArchitecturearXiv:2604.06425

    Neural Computers

    Meta AI와 KAUST 연구진이 Neural Computer(NC)를 소개한다. 단일 신경망이 계산, 메모리, 입출력을 학습된 런타임 상태로 통합하는 컴퓨팅 패러다임이다.

    Meta AI와 KAUST 연구진이 Neural Computer(NC)를 소개한다. 단일 신경망이 계산, 메모리, 입출력을 학습된 런타임 상태로 통합하는 컴퓨팅 패러다임이다. 초기 프로토타입은 기초적인 입출력 정렬과 단기 지평 제어 프리미티브가 명령줄 및 그래픽 사용자 인터페이스 환경에서 화면 프레임, 명령, 사용자 행동으로부터 직접 학습될 수 있음을 보여준다.

    • 전통적인 컴퓨터, AI 에이전트, 월드 모델은 흔히 계산, 메모리, 입출력을 별개의 하드웨어나 소프트웨어 모듈, 또는 외부 실행 환경으로 분절한다.
    • 기존 시스템은 명시적이고 사람이 설계한 명령어 집합에 의존하는데, 이는 고차원적이고 통계적이며 전역적으로 결합된 처리를 요구하는 영역에서 경직될 수 있다.
    • 기존 AI 에이전트는 대개 실행 가능한 상태를 컴퓨터 자체로 내재화하기보다 외부 실행 환경을 매개한다.
    • 이 논문은 신경망 자체가 계산, 메모리, 입출력을 잠재 런타임 상태 안에 내재화함으로써 능동적인 컴퓨터 역할을 하는 Neural Computer(NC)를 제안한다.
    • NC는 명령과 사용자 행동에 기반해 화면 프레임을 롤아웃할 수 있는 비디오 모델로 구현되며, 명령줄 인터페이스(CLI)와 그래픽 사용자 인터페이스(GUI) 환경의 입출력 트레이스에서 직접 학습된다.
    • 방법론은 diffusion transformer, VAE, 그리고 행동 주입과 커서 감독을 위한 특화 기법을 사용해 인터페이스별 프로토타입인 NC-CLIGen과 NC-GUIWorld를 개발하는 것을 포함한다.
    초록PDF
  10. 135Multi-Agent / TheoryarXiv:2603.26993

    On the Reliability Limits of LLM-Based Multi-Agent Planning

    다중 에이전트 워크플로는 비중복 정보를 추가하거나 통신을 통해 사후 신념을 보존할 때에만 도움이 된다고 주장하는 의사결정 이론 노트다.

    이 논문은 LLM 다중 에이전트 계획을, 제한된 언어 채널 하에서 통신하며 도구나 사람의 검토를 사용할 수 있는 노드들로 이루어진 유한 비순환 위임 의사결정 네트워크로 모델링한다. 주요 이론적 결과는, 새로운 외생 신호가 없다면 그러한 위임은 동일한 증거를 가진 중앙집중식 베이즈 의사결정자에게 지배된다는 것이다. 공통 증거의 경우, 그래프 설계는 공유 신호의 예산 제약 확률적 인코더를 선택하는 문제로 환원된다. 통신 손실은 적정 점수 규칙 하의 사후 분포 왜곡으로 특징지어지며, 로그 손실에서는 조건부 상호정보량으로, Brier 점수에서는 제곱 사후 오차로 나타난다. 통제 실험이 이 이론을 뒷받침한다. 직렬 산문 중계는 정확도를 급격히 떨어뜨리고, 구조화된 사후 벡터 메시지는 손실을 줄이며, 도구는 합성 지식베이스 과제에서처럼 비중복 정보를 제공할 때에만 도움이 된다.

    • 에이전트, 메시지, 비공개 도구 신호, 종단 행동, 선택적 사람 에스컬레이션을 planner나 critic 같은 역할 이름이 아니라 하나의 베이즈 위험 프레임워크 안에서 모델링한다.
    • 신뢰도 상한을 증명한다. 새로운 외생 정보가 없는 경우, 추가 에이전트 단계는 공유 증거를 변환하거나 압축할 수 있을 뿐, 그 증거를 가진 중앙집중식 베이즈 의사결정자를 이길 수 없다.
    • 에이전트 간 산문을 손실 통신 채널로 규정한다. 관련 설계 지표는 에이전트 수나 라운드 수, 전사 길이가 아니라 사후 분포 왜곡이다.
    • 실험은 큰 중계 성능 저하를 보여준다. gpt-4.1-mini는 단일 에이전트 정확도 90.7%에서 중계 에이전트 둘일 때 41.2%, 셋일 때 43.5%, 다섯일 때 22.5%로 떨어지는 반면, 사후 벡터 통신은 정합된 부분집합에서 산문의 58.1% 대비 75.2%에 도달한다.
    • 도구 사용은 정보 구조를 바꿀 때에만 가치가 있다. Wikipedia 접근은 MMLU에서 대체로 중복이지만, 합성 KB 조회는 도구가 없을 때의 24.3%에서 82.7%로 정확도를 끌어올린다.
    초록PDF
  11. 134LLMs / EconomicsarXiv:2603.23971

    The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More

    광고된 토큰당 API 가격이 실제 RLM 추론 비용을 오해하게 만드는 대리지표가 될 수 있음을 보여주는 비용 감사 논문이다. 숨겨진 사고 토큰 사용량이 청구액을 좌우하기 때문이다.

    이 논문은 공시된 API 가격이 추론 언어 모델(RLM) 사용의 실제 비용을 예측하는지 연구하며, 수학, 과학 QA, 코딩, 시각 추론, 다영역 추론에 걸친 9개 과제에서 8개의 프런티어 RLM을 감사한다. 광고된 토큰 가격이 더 낮은 모델이 어떤 워크로드 전체에서는 비용이 더 많이 드는 경우를 가격 역전으로 정의하며, 252개 모델 쌍과 과제 비교의 21.8%에서 이를 발견했고 역전 폭은 최대 28배에 달했다. 그 메커니즘은 프롬프트 길이가 아니라 청구되는 사고 토큰 소비의 이질성이다. 동일한 질의가 한 모델이 다른 모델보다 약 900% 더 많은 사고 토큰을 쓰게 만들 수 있으며, 사고 토큰 비용을 제거하면 역전이 70% 줄고 Kendall 순위 상관이 0.563에서 0.873으로 상승한다. 동일한 질의를 반복 실행해도 사고 토큰이 최대 9.7배까지 변동하므로, 저자들은 가격표만으로 모델을 선택하기보다 워크로드별 비용 감사와 요청당 비용의 투명한 보고를 주장한다.

    • 실제 비용을 입력 토큰 비용에 출력 토큰 비용을 더한 것으로 정식화하되 사고 토큰을 청구 대상 출력에 포함시키고, 공시 가격 기준 순위를 측정된 총비용 기준 순위와 비교하는 방법을 쓴다.
    • GPT-5.2, Gemini 3 Flash/Pro, Claude Opus/Haiku, Kimi, MiniMax 변형을 포함한 8개 RLM을 9개 데이터셋과 11,872개 질의에 걸쳐 감사하며, 2026년 2~3월 가격을 적용해 수집했다.
    • 252개 쌍별 비교 중 21.8%가 가격 역전을 보였다. Gemini 3 Flash는 GPT-5.2보다 공시 가격이 78% 저렴하지만 전체 비용은 22% 더 비싸며, 인용된 극단 사례에서는 MMLUPro에서 Claude Haiku 4.5보다 28배 더 비쌌다.
    • RLM 조달은 실제 워크로드를 벤치마킹하고 요청당 프롬프트, 사고, 최종 생성 비용 내역을 공개해야 한다. 의미 기반이나 길이 기반 예측 변수조차 확률적인 사고 토큰 변동에 직면하기 때문이다.
    초록PDF
  12. 133Multi-AgentarXiv:2603.28990

    Self-Organizing LLM Agents

    LLM 에이전트 조직에 대한 대규모 실험으로, 고정된 인간식 역할은 유능한 모델에게 과제별로 역할과 기권, 얕은 위계가 창발하도록 하는 최소한의 프로토콜을 부여하는 것보다 덜 중요하다는 것을 보인다.

    이 논문은 다중 에이전트 LLM 시스템이 실제로 얼마나 많은 구조를 필요로 하는지를 묻는데, 8개 모델, 4명에서 256명의 에이전트, 중앙집중식 위계에서 거의 자유로운 자기 조직화에 이르는 8개 협조 프로토콜에 걸쳐 25,000회 이상의 과제 실행을 시험한다. 핵심 결과는 내생성 역설이다. 즉, 최선의 프로토콜은 완전한 자율성이나 설계된 관리자가 아니라, 에이전트가 이전 출력을 보고 스스로 임시 역할을 고르며 기여할 것이 적을 때 기권할 수 있는 순차적 구성이다. 순차적 협조는 중앙집중식 협조보다 14% 우수하고 가장 약한 프로토콜 대비 44%의 품질 차이를 보이며, 256명의 에이전트까지 유의미한 품질 손실 없이 확장되고 비용은 하위 선형으로 증가한다. 자율성의 이득은 모델 역량에 좌우된다. Claude나 Sonnet급, DeepSeek 계열 같은 강력한 모델은 스스로 전문화할 수 있지만, 약한 모델은 여전히 경직된 발판이 필요할 수 있다. 주된 시사점은 사전 할당된 직함이 아니라 임무, 프로토콜, 모델 역량을 중심으로 다중 에이전트 시스템을 설계하라는 것이지만, 결과는 또한 역량 임계값 아래에서는 자기 조직화가 자동으로 이로운 것이 아님을 경고한다.

    • 방법으로, 이 연구는 에이전트 조직을 역할, 상호작용 위상, 메모리, 충격, 확률적 LLM 행동을 갖춘 동적 시스템으로 형식화한 뒤, 동일한 과제와 평가 파이프라인 하에서 8개 협조 프로토콜을 비교한다.
    • 핵심 아이디어는 다음과 같다. 순차적 협조는 순서와 이전 출력에 대한 가시성만 제공하여, 에이전트가 고정된 역할 프롬프트 없이 과제 특화 역할을 만들고, 가치가 낮은 참여를 건너뛰며, 얕은 위계를 형성하게 한다.
    • 결과로, 복잡한 과제에서 순차적 협조는 완전 공유 협조나 자율 협조보다 훨씬 높은 품질에 도달하고 중앙집중식 코디네이터를 14% 능가한다. 품질은 256명의 에이전트까지 안정적으로 유지되며, 8명의 에이전트가 5,006개의 고유 역할 이름을 생성한다.
    • 한계이자 의미로, 자기 조직화는 역량에 의해 제약된다. 강력한 모델은 이득을 보고 약한 모델은 저하될 수 있으므로, 실용적 처방은 '모든 구조를 제거하라'가 아니라 '메타 추론이 가능한 모델과 함께 최소한의 발판을 사용하라'이다.
    초록PDF
  13. 132Code Agents / Long ContextarXiv:2603.20432

    Coding Agents are Effective Long-Context Processors

    이 논문은 장기 컨텍스트 추론을 실행 가능한 파일시스템 탐색 문제로 재구성하여, 코딩 에이전트가 고유의 검색과 스크립팅, 저장소 탐색 습관을 사용함으로써 더 큰 컨텍스트 윈도우와 고정된 RAG를 능가할 수 있음을 보여준다.

    이 연구는 장기 컨텍스트 처리를 불투명한 어텐션 밖으로 빼내어 기성 코딩 에이전트가 수행하는 명시적 행동으로 옮길 수 있는지를 묻는다. 저자들은 문서나 코퍼스를 파일과 디렉터리로 패키징하고, Codex와 Claude Code 같은 에이전트에게 질의와 경로만 주며, 과제 특화 미세조정 없이 grep과 ripgrep, sed, Python 스크립트, 중간 파일, 반복 검색을 사용하게 한다. BrowseComp-Plus, LongBench-v2, Oolong, Natural Questions 전반에서 코딩 에이전트는 기존에 발표된 시스템보다 평균 17.3% 향상되었으며, BrowseComp-Plus에서 88.5%, 3조 토큰 규모의 NQ 코퍼스에서 56.0 EM을 포함해 다섯 개 중 네 개 벤치마크에서 최고 결과를 세웠다. 절제 실험은 계층적 폴더 구조가 단일 JSON 파일보다 더 도움이 되는 반면, BM25나 밀집 검색기를 추가하면 에이전트가 철저한 터미널 탐색을 하는 대신 불완전한 상위 k개 검색을 과신하게 만들어 때때로 해가 될 수 있음을 보여준다.

    • 방법은 다음과 같다. 긴 문서와 대규모 코퍼스를 탐색 가능한 파일과 디렉터리로 표현한 뒤, 코딩 에이전트가 grep, sed, Python 집계, 노트 파일과 같은 실행 가능한 연산을 선택하게 한다.
    • 핵심 아이디어는 장기 컨텍스트 추론이 환경 상호작용이 된다는 것이다. 모델은 더 이상 모든 것을 잠재 어텐션이나 단일 검색 스니펫으로 압축할 필요가 없다.
    • 결과로, 기존 최고 발표 시스템 대비 평균 17.3% 향상되었으며, 다섯 개 중 네 개 벤치마크에서 SOTA를 달성하고 188K 토큰 컨텍스트에서 3조 토큰 위키피디아 코퍼스까지 강한 확장성을 보였다.
    • 한계이자 시사점으로, 이 접근법은 에이전트의 도구 역량과 데이터 조직화에 의존한다. 순진하게 검색기를 추가하면 유용한 탐색을 억제할 수 있으므로, 향후 시스템은 파일시스템 검색을 대체하지 않고 보완하는 검색을 필요로 한다.
    초록PDF
  14. 131Agents / BenchmarksarXiv:2603.28052

    Meta-Harness: End-to-End Optimization of Model Harnesses

    코딩 에이전트가 이전 코드, 점수, 원시 실행 트레이스에 대한 완전한 파일시스템 접근으로 실행 가능한 하니스 코드를 탐색하게 함으로써 LLM 하니스 엔지니어링을 자동화한다.

    Meta-Harness는 LLM을 둘러싼, 흔히 수작업으로 이루어지는 계층, 즉 무엇을 저장하고 검색하며 컨텍스트에 배치할지 결정하는 하니스 코드를 표적으로 한다. 프롬프트 문자열을 최적화하거나 압축된 피드백에 의존하는 대신, 에이전트형 제안자가 일반적인 파일시스템 도구를 통해 이전의 모든 소스 코드, 점수, 원시 실행 트레이스를 검사하고, 새로운 Python 하니스를 제안하며, 추후 디버깅을 위해 전체 롤아웃을 기록하는 외부 루프를 실행한다. 온라인 텍스트 분류, 검색 증강 IMO 스타일 수학, TerminalBench-2 코딩 전반에서 이러한 비압축 이력 접근법은 Label-Primed Query 검색, 재순위화를 동반한 주제별 수학 검색, 터미널 환경 부트스트래핑과 같은 구체적 알고리즘 변경을 만들어냈다. 보고된 성과로는 ACE 대비 컨텍스트 토큰을 4배 적게 쓰면서 정확도가 7.7 향상되고, 다섯 개의 홀드아웃 수학 모델 평균 4.7점 향상, 그리고 Claude 기반 에이전트의 리더보드 수준 TerminalBench-2 통과율이 포함된다.

    • 핵심 아이디어는 하니스를 프롬프트 템플릿이 아니라 실행 가능한 상태 보유 코드로 취급하고, 검색과 메모리, 프롬프트 구성, 환경 처리 로직을 종단 간으로 탐색하는 것이다.
    • 최적화 루프에서는 코딩 에이전트 제안자가 이전 코드, 점수, 프롬프트, 모델 출력, 도구 호출, 트레이스로 구성된 비압축 파일시스템을 탐색한 뒤 평가를 위해 새로운 하니스 후보를 제출한다.
    • 실증 결과로, 온라인 분류 정확도가 ACE의 40.9%에 비해 48.6%이면서 컨텍스트 토큰은 4배 적게 사용했고, 다섯 개 홀드아웃 모델 전반의 200개 IMO 수준 수학 문제에서 평균 4.7점 향상되었으며, alphaXiv 리포트에서 TerminalBench-2 기준 Claude Haiku 4.5는 37.6%, Claude Opus 4.6은 76.4%에 도달했다.
    • 의의는 원시 트레이스가 제안자로 하여금 장기 시야의 신용 할당 실패를 디버깅하게 해준다는 점이다. 예컨대 롤아웃 초반의 메모리 누락이 이후 답변 실패를 야기하는 경우처럼, 점수만 보거나 요약만 보는 최적화기는 놓치는 부분이다.
    초록PDF
  15. 130Code AgentsarXiv:2603.21489

    Effective Strategies for Asynchronous Software Engineering Agents

    CAID는 의존성 인식 위임, git 워크트리, 커밋, 병합, 테스트를 사용해 다중 에이전트 코딩을 프롬프트 수준 협조에서 실행 가능한 분기-병합 워크플로로 재구성하여, 장기 시야의 SWE 과제에서 병렬 에이전트를 실용적으로 만든다.

    이 논문은 한 관리자가 저장소 규모의 목표를 의존성 그래프로 분해하고 준비된 하위 과제를 여러 엔지니어 에이전트에게 분배하는 중앙집중식 비동기 격리 위임(CAID)을 제안한다. 각 엔지니어는 별도의 git 워크트리에서 작업하고, 실행 가능한 테스트로 스스로 검증하며, 결과를 커밋하고, 이후 관리자가 git merge를 통해 변경을 통합하되 충돌은 담당 엔지니어에게 되돌린다. PaperBench와 Commit0-Lite에서 CAID는 단일 에이전트 기준 대비 각각 26.7%p와 14.3%p 향상되었으며, MiniMax 2.5의 PaperBench 실행은 10.4%에서 36.7%로 상승했다. 절제 실험은 물리적 격리가 프롬프트만으로 하는 약한 분리보다 우수하고, CAID로 시작하는 것이 폴백으로 사용하는 것보다 효율적이며, 엔지니어를 너무 많이 추가하면 통합과 의존성 오버헤드가 지배하여 오히려 해가 될 수 있음을 보여준다.

    • 핵심 방법은 다음과 같다. 관리자가 과제 의존성 그래프를 구축하고, 자격을 갖춘 노드만 위임하며, 엔지니어 에이전트가 하위 과제를 완료하면 상태를 갱신한다.
    • 실행 모델은 다음과 같다. 엔지니어는 격리된 git 워크트리에서 편집하고, 커밋 전에 로컬 테스트를 실행하며, 구조화된 분기-병합 파이프라인을 통해 변경을 되돌려준다.
    • 실증 결과로, CAID는 단일 에이전트 기준 대비 PaperBench에서 26.7%p, Commit0-Lite에서 14.3%p의 향상을 얻어 정확도와 장기 시야 협조 양쪽의 이득을 시사한다.
    • 핵심 유의점으로, 병렬성에는 최적 지점이 있다. 엔지니어 2~4명은 도움이 되지만, 8명이면 병합 충돌, 의존성 대기, 검증 오버헤드가 추가 인력을 능가할 때 결과가 악화될 수 있다.
    초록PDF
  16. 129Agents / MetacognitionarXiv:2603.19461

    Hyperagents

    University of British Columbia와 Meta를 비롯한 여러 기관의 연구진은 AI 시스템이 자신의 자기 개선 메커니즘을 자율적으로 수정할 수 있게 하는 프레임워크 HyperAgents를 개발하여, 재귀적 자기 개선을 코딩 과제 너머로 확장했다.

    University of British Columbia와 Meta를 비롯한 여러 기관의 연구진은 AI 시스템이 자신의 자기 개선 메커니즘을 자율적으로 수정할 수 있게 하는 프레임워크 HyperAgents를 개발하여, 재귀적 자기 개선을 코딩 과제 너머로 확장했다. 이 접근법은 논문 리뷰에서 0.710의 정확도를, 로보틱스 보상 설계에서 0.372의 성능을 달성했으며, 새로운 도메인으로 이전 가능한 메타 수준의 개선도 입증했다.

    • 기존의 자기 개선 AI 시스템은 고정되고 수작업으로 만들어진 메타 수준 메커니즘에 의존하여 지속적 개선 역량이 제한되고 무한 후퇴 문제로 이어진다.
    • 기존 자기 개선 구조는 그 효과가 과제 해결과 자기 수정 기술 사이의 도메인 특화 정렬에 묶여 있어 일반화 가능성이 부족한 경우가 많다.
    • 과제 해결 능력뿐만 아니라 개선 메커니즘 자체가 강화될 수 있는, 진정으로 개방형이고 자기 가속적인 진보를 달성하는 것이 과제다.
    • 과제 해결 에이전트와 수정을 생성하는 메타 에이전트를 단일하고 편집 가능한 프로그램으로 통합하는 자기 참조적 에이전트 Hyperagents를 도입한다.
    • Darwin Gödel Machine(DGM) 프레임워크를 DGM-Hyperagents(DGM-H)로 확장하여, 하이퍼에이전트 내의 메타 에이전트 구성요소가 과제 에이전트뿐만 아니라 자기 자신도 수정할 수 있게 함으로써 '메타인지적 자기 수정'을 가능하게 한다.
    • 개선된 하이퍼에이전트를 향후 반복적으로 정제되는 에이전트의 디딤돌로 보관하는 개방형 집단 기반 탐색 과정을 활용하며, 이는 코딩, 논문 리뷰, 로보틱스 등 다양한 도메인에 걸쳐 이루어진다.
    초록PDF
  17. 128Multimodal / ReasoningarXiv:2603.03975

    Phi-4-reasoning-vision-15B Technical Report

    Microsoft Research는 2,000억 개의 멀티모달 토큰을 사용해 더 큰 모델보다 훨씬 적은 데이터로 경쟁력 있는 정확도를 달성하는 컴팩트한 오픈 웨이트 멀티모달 추론 모델 Phi-4-reasoning-vision-15B를 소개한다.

    Microsoft Research는 2,000억 개의 멀티모달 토큰을 사용해 더 큰 모델보다 훨씬 적은 데이터로 경쟁력 있는 정확도를 달성하는 컴팩트한 오픈 웨이트 멀티모달 추론 모델 Phi-4-reasoning-vision-15B를 소개한다. 과학과 수학 추론, 컴퓨터 사용 과제에서 뛰어난 이 모델은 세심하게 선별된 데이터와 고해상도 동적 비전 인코더가 효율적 성능의 핵심임을 보여준다.

    • 비전-언어 모델(VLM)의 지배적 추세는 모델 규모를 지속적으로 키우는 것으로, 이는 학습과 추론에 막대한 계산 비용을 초래하여 광범위한 배포를 저해한다.
    • 많은 기존 멀티모달 모델은 부족한 지각 능력으로 인해, 컴퓨터 사용 에이전트를 위한 사용자 인터페이스 이해처럼 세밀한 시각적 디테일을 요구하는 과제에 어려움을 겪는다.
    • 엄청나게 큰 자원을 요구하지 않으면서도 효율적이면서 유능한 멀티모달 추론을 달성할 수 있는 실용적 통찰과 오픈 웨이트 모델이 필요하다.
    • SigLIP-2 비전 인코더와 Phi-4-Reasoning LLM 백본을 활용하는 중간 융합 구조의 150억 파라미터 오픈 웨이트 멀티모달 모델 Phi-4-reasoning-vision-15B를 개발했다.
    • MLP 사전학습, 다양하고 세심하게 선별된 데이터셋에 대한 광범위한 지시 튜닝, 그리고 긴 컨텍스트와 다중 이미지, 책임 있는 AI(RAI) 데이터를 위한 최종 단계로 구성된 3단계 학습 레시피를 구현했다.
    • 체계적 필터링, AI 보조 오류 수정, 합성 증강을 통해 데이터 품질을 강조했으며, 고해상도 시각 지각을 최적화하기 위해 동적 해상도 비전 인코더를 통합했다.
    초록PDF
  18. 127Agents / ArchitecturearXiv:2602.23720

    The Auton Agentic AI Framework

    Snapchat의 Auton Agentic AI Framework는 자율 에이전트 시스템을 위한 선언적 아키텍처를 제안하며, '인지 청사진'과 '런타임 엔진'을 통해 에이전트 정의와 실행을 표준화한다.

    Snapchat의 Auton Agentic AI Framework는 자율 에이전트 시스템을 위한 선언적 아키텍처를 제안하며, '인지 청사진'과 '런타임 엔진'을 통해 에이전트 정의와 실행을 표준화한다. 이 프레임워크는 계약 기반 상호작용, 지속적 학습, 결정론적 안전성, 향상된 추론 효율성을 가능하게 하여 기업급 자율 배포를 위한 '통합 역설'과 '생태계 파편화'를 해결하는 것을 목표로 한다.

    • 확률적 대규모 언어 모델(LLM) 출력과 백엔드 인프라의 결정론적이고 스키마를 준수하는 입력 요구사항 사이에는 근본적 불일치가 있는데, 이것이 '통합 역설'이다.
    • 에이전트 개발에 만연한 '생태계 파편화'는 통일된 표준의 부재로 특징지어지며, 벤더 종속, 낮은 감사 가능성, 제한된 언어 간 이식성으로 이어진다.
    • 현재의 LLM 기반 에이전트는 흔히 무상태성을 겪고, 지속적 메모리가 없으며, 안전 보장이 제한적이어서 실제의 임무 핵심적 환경에 배포되기 어렵다.
    • 에이전트 명세를 위한 선언적이고 언어 비종속적인 '인지 청사진'(AgenticFormat Standard)을 실행을 위한 플랫폼 특화 '런타임 엔진'과 엄격히 분리했다.
    • 신중한 행동을 보장하기 위해 잠재 추론 공간과 인수분해된 정책 구조를 포함하는, 확장된 부분 관측 마르코프 결정 과정(POMDP)에 기반한 형식적 에이전트 실행 모델을 제시했다.
    • 인지적 지속성을 위한 계층적 메모리 구조와, 행동 생성 중 정책 투영을 통해 '구성에 의한 안전성'을 강제하는 '제약 다양체' 형식론을 제시했다.
    초록PDF
  19. 126Memory / AgentsarXiv:2602.23320

    ParamMem: Augmenting Language Agents with Parametric Reflective Memory

    MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다.

    MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다. 이 시스템은 프로그래밍, 수학 추론, 다단계 QA 과제 전반에서 일관되게 상당한 성능 향상을 달성하는 동시에, 더 강력한 외부 모델에 의존하지 않고도 자기 개선을 가능하게 한다.

    • 언어 에이전트의 기존 자기 성찰 메커니즘은 반복적이거나 부정확하거나 도움이 되지 않는 출력을 자주 생성하여 다양한 해법을 탐색하고 오류를 진단하는 능력을 저해한다.
    • 성찰 다양성을 향상시키기 위한 기존 검색 기반 접근법(예: DoT-bank)은 합성적 패턴을 포착하는 데 한계가 있고 임베딩 붕괴에 취약하여 검색 효과를 떨어뜨린다.
    • 실증적 증거는 언어 에이전트에서 성찰적 다양성과 과제 성공 사이에 강한 양의 상관관계(평균 피어슨 계수 0.76)가 있음을 보여준다.
    • ParamMem은 전문가가 생성한 '전역 성찰'과 짝지어진 입력 샘플의 보조 데이터셋으로 경량 LLM(예: LoRA를 적용한 LLaMA-3.1-8B)을 미세조정하여 파라메트릭 메모리 모듈을 구축한다.
    • 미세조정된 ParamMem 모듈은 온도 제어 샘플링을 통해 다양한 성찰을 생성하며, 교차 샘플 패턴을 자신의 파라미터에 직접 인코딩한다.
    • ParamMem은 에이전트 프레임워크(ParamAgent 및 ParamAgent-plus)에 통합되어, 이 파라메트릭 메모리를 기존의 에피소드 메모리와 통합하고, ParamAgent-plus의 경우 교차 샘플 메모리(DoT-bank 등)와도 통합하여 액터 LLM을 조건화한다.
    초록PDF
  20. 125Math Reasoning / Formal ProofsarXiv:2601.14027

    Numina-Lean-Agent: An Open and General Agentic Reasoning System for Formal Mathematics

    개방적이고 범용적인 에이전트 추론 시스템 Numina-Lean-Agent는 형식적 수학 추론을 수행하기 위해 범용 코딩 에이전트를 활용한다.

    개방적이고 범용적인 에이전트 추론 시스템 Numina-Lean-Agent는 형식적 수학 추론을 수행하기 위해 범용 코딩 에이전트를 활용한다. 이 시스템은 Putnam 2025 벤치마크의 12개 문제를 모두 풀어 최첨단 성능을 달성했으며, 잘못된 형식 진술문을 자율적으로 수정하는 것을 포함해 Brascamp-Lieb 정리를 형식화함으로써 대규모 협업 역량을 입증했다.

    • 기존 에이전트 정리 증명 시스템은 광범위하게 학습된 형식 증명기와 긴밀히 결합된 과제 특화 추론 파이프라인에 종종 의존한다.
    • 고성능 자동 정리 증명기 다수가 폐쇄형이어서 투명성, 재현성, 그리고 더 넓은 커뮤니티 발전이 제한된다.
    • 기존의 단일 모델 접근법은 Lean과 같은 복잡한 형식 체계에 내재된 장기 시야의 구조적 추론에 어려움을 겪었다.
    • 범용 코딩 에이전트, 구체적으로 Claude Code가 형식적 수학 추론의 중앙 오케스트레이터 역할을 하는 패러다임을 제안했다.
    • Claude Code를 포괄적인 모델 컨텍스트 프로토콜(Numina-Lean-MCP)과 통합하는 개방적이고 모듈형인 시스템 Numina-Lean-Agent를 개발했다.
    • Numina-Lean-MCP는 Lean과의 심층 상호작용(Lean-LSP-MCP), 의미 기반 정리 검색(LeanDex), 반복적 비형식 증명(Gemini Generator/Verifier), 다중 모델 협업(Discussion Partner)을 위한 특화 도구를 포함한다.
    초록PDF
  21. 124Multi-AgentarXiv:2603.00142

    Evaluating Theory of Mind and Internal Beliefs in LLM-Based Multi-Agent Systems

    마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다.

    마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다. ChatGPT-4o와 Claude 3.5 Sonnet 같은 최상위 LLM은 견고한 성능을 유지하는 반면, 역량이 낮은 모델은 추가된 인지 부하로 이득을 보거나 오히려 방해받을 수 있다.

    • 대규모 언어 모델(LLM) 에이전트는 특히 부분적이거나 상충하는 정보를 다룰 때 복잡한 다중 에이전트 시스템에서 흔히 일관성이 없고 변동이 큰 성능을 보인다.
    • 기존 다중 에이전트 시스템은 경직된 규칙에 자주 의존하여 동적인 실제 환경에서의 적응성과 확장성이 제한된다.
    • LLM 기반 다중 에이전트 시스템 내에서 마음 이론(ToM), 내부 믿음 체계, 논리적 검증을 결합한 포괄적이고 시너지 있게 통합된 구조가 결여되어 있다.
    • 마음 이론(ToM) 능력, 내부 믿음 상태(IB), 그리고 답 집합 프로그래밍(ASP) 솔버를 이용한 논리적 검증을 통합하는 새로운 에이전트 구조가 제안되었다.
    • 이 에이전트들은 동적이며 자원 소비 시나리오 하에서 효과적인 협조를 요구하도록 설계된 상호작용형 도시 자원 배분 시뮬레이션에 투입되었다.
    • 모듈형 에이전트 설계 덕분에 다양한 LLM 전반에 걸쳐 네 가지 구성(기본, ToM만, IB만, ToM과 IB 결합)을 체계적으로 평가할 수 있었으며, 내부 믿음에 대한 반복적 논리 일관성 검사가 이루어졌다.
    초록PDF
  22. 123InterpretabilityarXiv:2602.15029

    Symmetry in language statistics shapes the geometry of model representations

    한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다.

    한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다. 이 원리는 순환적 개념에 대한 원형 임베딩이나 견고하고 물결치는 1차원 다양체와 같은 현상을 설명하며, 이는 다양한 모델 구조 전반에서 일관되게 관찰된다.

    • 언어 모델 표현에서 널리 관찰되는 기하학적 패턴(예: 원, 1차원 다양체)에 대한 명확하고 통합적인 이론적 설명은 그동안 대체로 부재했다.
    • 다양한 LLM 구조와 과제 전반에 걸친 이러한 기하학적 구조의 명백한 보편성을 설명할 포괄적인 '조직화 원리'가 결여되어 있다.
    • 기존 이론 연구는 데이터 분포와 비지도 학습 환경이 어떻게 이러한 특정 표현 기하학을 유도하는지를 충분히 다루지 못했다.
    • 쌍별 단어 동시출현 통계 내의 병진 대칭성이 표현 기하학에 대한 보편적 조직화 원리로 작용한다고 제안했다.
    • 이 대칭성으로부터 특정 다양체 기하학(예: 원, 물결치는 1차원 다양체)을 해석적으로 도출하는 수학 이론을 개발했다.
    • 단순한 단어 임베딩 모델과 복잡한 트랜스포머 기반 대규모 언어 모델을 모두 사용하여 이러한 이론적 예측을 실증적으로 검증했다.
    초록PDF
  23. 122Reasoning / ProbabilisticarXiv:2503.17523

    Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models

    한 연구는 대규모 언어 모델이 암묵적 확률 추론에 어려움을 겪는 반면, '베이즈 교육'이라는 표적 미세조정 전략이 이러한 적응적 능력을 효과적으로 부여하여 다양한 과제와 실제 상호작용 전반에 걸친 폭넓은 일반화로 이어진다는 것을 입증했다.

    한 연구는 대규모 언어 모델이 암묵적 확률 추론에 어려움을 겪는 반면, '베이즈 교육'이라는 표적 미세조정 전략이 이러한 적응적 능력을 효과적으로 부여하여 다양한 과제와 실제 상호작용 전반에 걸친 폭넓은 일반화로 이어진다는 것을 입증했다. 이 접근법은 추천 정확도와 규범적 베이즈 추론과의 정합성을 향상시켰으며, 인간과 유사한 잡음을 가진 기준 모델까지 능가했다.

    • 기성 대규모 언어 모델(LLM)은 불확실하고 상호작용적인 환경에서 확률적 믿음을 효과적으로 형성하고 갱신하는 능력이 부족하다.
    • 현재의 LLM은 여러 상호작용에 걸쳐 관찰된 행동으로부터 잠재 상태(예: 사용자 선호)를 암묵적으로 추론하는 데 낮은 성능을 보인다.
    • 이들의 추천 정확도는 흔히 일찍 정체되는데, 이는 새로운 정보에 기반한 동적 믿음 갱신에서의 근본적 한계를 시사한다.
    • 저자들은 LLM을 규범적 베이즈 어시스턴트가 생성한 데이터로 학습시키는 지도 미세조정 전략인 '베이즈 교육'을 개발했다.
    • 베이즈 어시스턴트는 베이즈 정리를 사용해 사용자 선호에 대한 확률 분포를 유지하고 갱신하며 확률적으로 최적인 추천을 수행한다.
    • 이 접근법은 완전한 지식을 가진 어시스턴트의 일관되게 정답인 답변으로 LLM을 미세조정하는 '오라클 교육'과 비교되었다.
    초록PDF
  24. 121Brain-Computer Interface / AgentsarXiv:2603.03212

    NeuroSkill(tm): Proactive Real-Time Agentic System Capable of Modeling Human State of Mind

    MIT Media Lab 연구진은 BCI 기기의 전기생리 신호와 로컬 대규모 언어 모델을 사용하여 사용자의 실시간 인간 심리 상태(Human State of Mind)를 모델링하는, 오프라인 우선 에이전트형 시스템 NeuroSkill™을 개발했다.

    MIT Media Lab 연구진은 BCI 기기의 전기생리 신호와 로컬 대규모 언어 모델을 사용하여 사용자의 실시간 인간 심리 상태(Human State of Mind)를 모델링하는, 오프라인 우선 에이전트형 시스템 NeuroSkill™을 개발했다. 이 시스템은 능동적이고 개인화된 AI 상호작용을 가능하게 하고 사용자 친화적 맞춤 설정을 제공하면서, 오픈소스 라이선스를 통해 프라이버시와 윤리적 데이터 처리를 우선시한다.

    • 기존 생성형 AI 에이전트는 인간의 인지적·정서적 상태에 대한 세밀한 이해가 부족하여, 일반적이고 종종 부적절한 상호작용을 초래한다.
    • BCI 기기에서 나오는 개인 생체물리 데이터의 양이 늘고 있지만, 이는 종종 대기업이 통제하여 개인의 효용과 데이터 소유권을 제한한다.
    • 현재 AI 에이전트는 주로 반응적이어서, 실시간으로 변화하는 인간의 정서적·인지적 상태에 능동적으로 적응하지 못한다.
    • NeuroSkill™은 BCI 데이터 수집, 신경 임베딩을 위한 로컬 EXG 파운데이션 모델, 텍스트 맥락과의 멀티모달 정렬을 통합하여 동적인 'Human State of Mind' 표현을 지속적으로 구축한다.
    • 엣지 기기에서 동작하는 LLM 하니스인 NeuroLoop™은 모델링된 State of Mind를 활용하여 능동적이고 개인화된 에이전트형 상호작용, 도구 호출, 프로토콜 실행을 가능하게 한다.
    • 단순한 마크다운 기반 스킬 레이어를 통해 비개발 사용자도 에이전트의 동작을 쉽게 확장·수정할 수 있어, 접근성과 폭넓은 개인화를 촉진한다.
    초록PDF
  25. 120Scientific AIarXiv:2602.03837

    Accelerating Scientific Research with Gemini: Case Studies and Common Techniques

    이 연구는 Google의 Gemini Deep Think 같은 고급 AI 모델이 이론 전산학, 경제학, 최적화, 물리학의 복잡한 문제에서 인간 연구자와 어떻게 협업할 수 있는지를 상세히 다룬다.

    이 연구는 Google의 Gemini Deep Think 같은 고급 AI 모델이 이론 전산학, 경제학, 최적화, 물리학의 복잡한 문제에서 인간 연구자와 어떻게 협업할 수 있는지를 상세히 다룬다. 연구 결과는 추측을 해결하고, 수학적 경계를 좁히며, 프리프린트의 결함을 탐지하고, 새로운 알고리즘을 생성하는 AI의 역량을 보여주어, 과학적 발견에서 AI가 능동적 파트너로 전환되는 흐름을 입증한다.

    • 과학 연구에 AI를 통합하는 작업은 전통적으로 가설 생성이나 알고리즘 설계 같은 더 깊은 지적 측면이 아니라 자동화와 데이터 분석에 초점을 맞춰 왔다.
    • 과학자들은 미해결 추측을 효율적으로 해결하고, 잘 드러나지 않는 학제 간 연결을 식별하며, 복잡한 증명을 엄밀하게 검증하는 데 어려움을 겪었다.
    • 기존 과학 워크플로는 일상적 작업을 넘어 창의적 문제 해결과 엄밀한 기술 검토에 참여할 수 있는 도구로부터 이득을 얻을 수 있었다.
    • 핵심 방법론은 인간 연구자가 Google의 Gemini Deep Think 및 그 변형들과 협업하는 것이었으며, 이 모델들은 병렬 사고와 다단계 추론 훈련으로 복잡한 문제 해결에 맞게 강화되었다.
    • 공통 협업 기법으로는 반복적 프롬프팅, 문제를 하위 과제로 분해하기, 고수준 증명 전략 제공(스캐폴딩), 엄밀한 검토를 위한 적대적 자기교정 활용 등이 포함되었다.
    • 수치적 근거가 필요한 문제에는 '뉴로-심볼릭' 파이프라인이 활용되었는데, AI가 해법을 제안하고 검증용 코드를 작성·실행한 뒤 실행 오류를 바탕으로 자율적으로 자기교정했다.
    초록PDF
  26. 119Agents / ArchitecturearXiv:2602.03695

    Agent Primitives: Reusable Latent Building Blocks for Multi-Agent Systems

    Agent Primitives는 재사용 가능한 잠재 빌딩 블록과 Key-Value(KV) 캐시 통신을 활용하여 대규모 언어 모델 기반 다중 에이전트 시스템을 위한 프레임워크를 도입한다.

    Agent Primitives는 재사용 가능한 잠재 빌딩 블록과 Key-Value(KV) 캐시 통신을 활용하여 대규모 언어 모델 기반 다중 에이전트 시스템을 위한 프레임워크를 도입한다. 이는 텍스트 기반 MAS 대비 평균 정확도를 12.0~16.5% 향상시키고 토큰 사용량을 3~4배 줄이면서, 다양한 LLM 백본과 과제 전반에 걸쳐 안정성을 유지한다.

    • 기존 다중 에이전트 시스템(MAS)은 과제 특이성, 높은 설계 오버헤드, 서로 다른 문제 설정 전반에 걸친 낮은 재사용성에 시달린다.
    • 주로 자연어를 통한 에이전트 간 통신은 길고 다단계인 상호작용에서 불안정성, 오류 누적, 정보 손상을 초래한다.
    • 현재 MAS 설계는 다중 에이전트 연산을 조직하기 위한 진정으로 재사용 가능하고 과제 비의존적인 내부 추상화가 부족한 경우가 많다.
    • 이 논문은 공통적인 다중 에이전트 연산 패턴을 캡슐화하는 세 가지 재사용 가능한 잠재 빌딩 블록(Review, Voting & Selection, Planning & Execution)인 'Agent Primitives'를 도입했다.
    • 명시적 자연어에 의존하지 않고 내부 모델 표현을 직접 공유하는 Key-Value(KV) 캐시 전송만을 통해 에이전트 간 통신을 구현했다.
    • 'Knowledge Pool'이 안내하는 LLM 기반 'Organizer'를 개발하여, 주어진 쿼리에 대해 프리미티브를 자동으로 선택·구성함으로써 MAS 구축을 간소화했다.
    초록PDF
  27. 118RAG / AgentsarXiv:2602.03442

    A-RAG: Scaling Agentic Retrieval-Augmented Generation via Hierarchical Retrieval Interfaces

    A-RAG는 지식 집약적 과제를 위한 정보 수집을 자율적으로 관리하도록 대규모 언어 모델에 계층적 검색 인터페이스를 부여하는 프레임워크인 Agentic RAG를 도입한다.

    A-RAG는 지식 집약적 과제를 위한 정보 수집을 자율적으로 관리하도록 대규모 언어 모델에 계층적 검색 인터페이스를 부여하는 프레임워크인 Agentic RAG를 도입한다. 이 접근법은 동적 전략 수립과 반복적 증거 수집을 가능하게 하여, 기존 RAG 방법 대비 다중 홉 QA 벤치마크에서 일관되게 우수한 성능을 달성하면서도 검색 토큰 수는 비슷하거나 더 적게 유지한다.

    • 단일 검색이나 사전 정의된 워크플로에 의존하는 기존 RAG 패러다임은 현대 에이전트형 대규모 언어 모델(LLM)의 고급 추론 및 다단계 도구 사용 능력을 충분히 활용하지 못한다.
    • 현재 RAG 시스템은 정적이고 경직되어 있어, LLM이 쿼리의 미묘함이나 정보 수집의 진행 상태에 따라 검색 전략을 동적으로 조정하지 못하게 한다.
    • 전통적 RAG의 에이전트적 자율성 부재는 LLM이 지능적인 검색 결정을 내릴 권한을 갖지 못하므로, LLM 능력 발전에 맞춰 효율적으로 확장되는 능력을 저해한다.
    • A-RAG는 광범위한 오프라인 그래프 구축 없이, 코퍼스를 의미적으로 일관된 청크로 분할하고 개별 문장을 임베딩하여 세밀한 매칭을 수행하는 경량의 2단계 계층적 인덱스를 구축한다.
    • 이 프레임워크는 LLM 에이전트에 세 가지 계층적 검색 인터페이스를 제공한다. 정확한 어휘 매칭을 위한 키워드 검색, 밀집 의미 유사도를 위한 의미 검색, 그리고 전체 청크 내용 접근과 인접 컨텍스트 탐색을 위한 청크 읽기다.
    • 단순한 ReAct 유사 에이전트 루프를 통해 LLM이 반복적으로 추론하고 검색 도구를 호출하여, 정보를 언제 어떻게 검색하고 언제 종료할지 자율적으로 결정하며, 중복 읽기를 피하는 컨텍스트 추적기로 이를 보완한다.
    초록PDF
  28. 117Memory / Long ContextarXiv:2602.02704

    InfMem: Learning System-2 Memory Control for Long-Context Agent

    InfMem은 'System-2 방식'의 능동적 메모리 제어 메커니즘을 사용하여, 대규모 언어 모델이 최대 100만 토큰에 이르는 문서에 대해 다중 홉 추론을 수행하게 하는 제어 중심 에이전트 프레임워크를 도입한다.

    InfMem은 'System-2 방식'의 능동적 메모리 제어 메커니즘을 사용하여, 대규모 언어 모델이 최대 100만 토큰에 이르는 문서에 대해 다중 홉 추론을 수행하게 하는 제어 중심 에이전트 프레임워크를 도입한다. 이 접근법은 초장문 QA 벤치마크에서 정확도를 상당히 향상시키며, 이전 메모리 증강 에이전트 대비 추론 시간을 최대 5.1배 단축한다.

    • 대규모 언어 모델(LLM)은 '중간 소실' 현상과 압축의 '충실도 딜레마'로 인해 초장문 문서에 대한 효과적인 다중 홉 추론에 어려움을 겪는다.
    • 기존 메모리 증강 에이전트는 종종 수동적·반응적 메모리 갱신 전략에 의존하여, 복잡한 추론에 필요한 결정적이지만 현저성이 낮은 연결 증거를 잃을 위험이 있다.
    • 초장문 문서 처리는 높은 연산 비용과 메모리 오버헤드를 초래하여, 현재 솔루션을 실용적 배포에 비효율적으로 만든다.
    • InfMem은 사전 사고, 검색, 기록으로 이어지는 제어 프로토콜을 구현하여, 에이전트가 증거 충분성을 능동적으로 모니터링하고 검색 쿼리를 합성하며 증거 인식 결합 압축을 수행하게 한다.
    • 문서 내 표적 검색을 포함하여, 현재 쿼리에 누락된 증거를 가져오기 위해 문서의 어느 부분에든 비단조적으로 접근할 수 있게 한다.
    • 이 프레임워크는 충분한 증거가 축적되면 메모리 갱신 루프를 종료하는 적응형 조기 중단 메커니즘을 활용하여 연산 효율을 최적화한다.
    초록PDF
  29. 116Multi-Agent / RoutingarXiv:2602.02751

    Scaling Small Agents Through Strategy Auctions

    Meta Superintelligence Labs, Imperial College London, University of Cambridge 연구진은 시장에서 영감을 받은 조율과 테스트 시점 자기개선을 활용해 이질적인 AI 에이전트들을 오케스트레이션하는 프레임워크 sale(Strategy Auctions for Workload Efficiency)을 개발했다.

    Meta Superintelligence Labs, Imperial College London, University of Cambridge 연구진은 시장에서 영감을 받은 조율과 테스트 시점 자기개선을 활용해 이질적인 AI 에이전트들을 오케스트레이션하는 프레임워크 sale(Strategy Auctions for Workload Efficiency)을 개발했다. 이 시스템은 가장 큰 개별 에이전트의 성능에 필적하거나 이를 능가하는 동시에, 심층 검색 및 코딩 과제에서 전체 추론 비용을 35% 절감하고 가장 큰 에이전트에 대한 의존도를 53% 낮췄다.

    • 복잡한 장기 과제에서 더 작은 AI 에이전트가 더 큰 모델 대비 보이는 성능은 잘 이해되지 않았다.
    • 이질적인 풀(다양한 크기, 비용, 능력)에서 가장 적합한 AI 에이전트로 과제를 효과적으로 라우팅하여 정확도와 비용을 동시에 최적화하는 것은 과제였다.
    • 다중 모델 오케스트레이션을 위한 현재의 라우팅 방법은 에이전트형 워크플로에 너무 비싸거나, 일반화가 부족하고 과제 난이도가 높아질수록 성능이 저하되었다.
    • 이질적인 AI 에이전트 간의 동적 과제 할당을 위해 시장에서 영감을 받은 새로운 프레임워크 'Strategy Auctions for Workload Efficiency(sale)'가 도입되었다.
    • 에이전트는 각 과제에 대해 짧은 전략적 해결 계획을 '입찰'로 생성하며, 이는 모델 가격과 계획 품질을 고려하는 학습된 비용·가치 메커니즘으로 평가된다.
    • 이 프레임워크는 메모리 기반 자기개선 루프를 포함하는데, 여기서 더 저렴한 에이전트는 과거 경매 결과를 활용해 선택적으로 전략을 개선하여 시간이 지남에 따라 성능을 높인다.
    초록PDF
  30. 115Memory / AgentsarXiv:2602.02007

    Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

    표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다. xMemory는 집계 이전 분리 원칙에 따라 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하여, 답변 품질과 추론 토큰 효율성을 함께 높인다.

    표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다. 크고 이질적인 코퍼스와 달리, 에이전트 메모리는 많은 구간이 서로 강하게 상관되거나 거의 중복되는, 경계가 있고 일관된 상호작용 스트림을 형성한다. 그 결과, 평면적인 상위 k개 유사도 검색은 종종 중복된 컨텍스트를 반환하고, 요약 중심 계층 구조는 한 후보를 다른 후보와 구별짓는 미묘한 세부 사항을 흐릿하게 만든다. 이 논문은 에이전트 메모리가 집계 이전 분리 원칙을 따라야 한다고 주장한다. 즉, 시스템은 먼저 재사용 가능한 사실, 갱신, 구별되는 세부 사항을 유사한 이력에서 분리한 다음에야 효율적 검색을 위해 이를 조직해야 한다. 이 원칙에 기반하여, 저자들은 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하는 xMemory를 제안한다. xMemory는 상호작용 이력을 국소 이벤트로 분할하고, 각 세그먼트를 메모리 컴포넌트로 분리하며, 희소성·의미적 충실성 목적함수를 사용해 관련 컴포넌트를 상위 그룹으로 집계하고, 메모리가 진화함에 따라 이 구조를 점진적으로 유지한다. 추론 시점에 xMemory는 하향식으로 검색하여, 먼저 상호보완적인 그룹과 컴포넌트의 압축된 골격을 선택한 뒤, 추가 증거가 독자의 불확실성을 줄일 때에만 세그먼트와 원본 메시지로 확장한다. 다양한 오픈소스 및 클로즈드소스 LLM에 걸쳐 LoCoMo와 PerLTQA에서 수행한 실험은 답변 품질과 추론 토큰 효율성에서 일관된 향상을 보였으며, 이는 중복성, 증거 밀도, 커버리지 분석으로 뒷받침된다.

    • 표준 검색 증강 생성(RAG)은 에이전트 메모리에 잘 맞지 않는다.
    • 크고 이질적인 코퍼스와 달리, 에이전트 메모리는 많은 구간이 서로 강하게 상관되거나 거의 중복되는, 경계가 있고 일관된 상호작용 스트림을 형성한다.
    • 그 결과, 평면적인 상위 k개 유사도 검색은 종종 중복된 컨텍스트를 반환하고, 요약 중심 계층 구조는 한 후보를 다른 후보와 구별짓는 미묘한 세부 사항을 흐릿하게 만든다.
    • 이 논문은 에이전트 메모리가 집계 이전 분리 원칙을 따라야 한다고 주장한다. 즉, 시스템은 먼저 재사용 가능한 사실, 갱신, 구별되는 세부 사항을 유사한 이력에서 분리한 다음에야 효율적 검색을 위해 이를 조직해야 한다.
    • 이 원칙에 기반하여, 저자들은 원본 메시지에서 세그먼트, 메모리 컴포넌트, 그룹에 이르는 수정 가능한 계층적 메모리 구조를 구축하는 xMemory를 제안한다.
    • xMemory는 상호작용 이력을 국소 이벤트로 분할하고, 각 세그먼트를 메모리 컴포넌트로 분리하며, 희소성·의미적 충실성 목적함수를 사용해 관련 컴포넌트를 상위 그룹으로 집계하고, 메모리가 진화함에 따라 이 구조를 점진적으로 유지한다.
    초록PDF
  31. 114Fine-tuning / EfficiencyarXiv:2602.04118

    Learning to Reason in 13 Parameters

    Meta FAIR 연구진은 단 13개의 파라미터만 학습시켜도 대규모 언어 모델이 복잡한 수학적 추론 능력을 습득하게 하는 파라미터 효율적 미세조정 방법 TinyLoRA를 개발했다.

    Meta FAIR 연구진은 단 13개의 파라미터만 학습시켜도 대규모 언어 모델이 복잡한 수학적 추론 능력을 습득하게 하는 파라미터 효율적 미세조정 방법 TinyLoRA를 개발했다. 이 접근법은 강화학습과 결합했을 때 GSM8K에서 91% 정확도를 달성하여, 초저용량 모델 적응에서 상당한 진전을 입증했다.

    • 대규모 언어 모델의 미세조정은 전통적으로 수십억 개의 파라미터를 업데이트해야 하므로 높은 연산 및 메모리 비용을 초래한다.
    • 기존 파라미터 효율적 미세조정(PEFT) 방법은 파라미터를 줄이긴 해도 여전히 수백만 또는 수만 개 수준에서 동작하여, 제약이 심한 환경에서의 적용을 제한한다.
    • 특히 복잡한 추론 과제에 대해 효과적인 적응에 필요한 근본적인 최소 파라미터 수를 이해할 필요가 있다.
    • 이 논문은 TinyLoRA를 도입했는데, 이는 학습 가능한 r×r 행렬을 고정된 무작위 텐서를 통해 투영되는 저차원 학습 가능 벡터로 대체하여 LoRA-XS를 확장한 새로운 PEFT 방법으로, 모듈당 파라미터를 크게 줄인다.
    • 공격적인 가중치 묶기 전략을 구현하여 학습 가능 벡터를 모델의 여러 또는 모든 레이어에서 공유하도록 함으로써, 총 학습 가능 파라미터를 한 자릿수까지 줄였다.
    • 강화학습(특히 GRPO)을 핵심 학습 알고리즘으로 활용하여, 제약이 심한 파라미터 업데이트를 위해 희소한 보상 기반 신호를 활용하는 독보적 효율성을 입증했다.
    초록PDF
  32. 113Math / Scientific AIarXiv:2601.22401

    Semi-Autonomous Mathematics Discovery with Gemini: A Case Study on the Erdős Problems

    Gemini Deep Think 기반으로 구축된 Google DeepMind의 AI 에이전트 Aletheia는 Erdős Problems 데이터베이스의 'Open' 문제 700개를 체계적으로 평가하여, 5개에 대한 기존 해법을 찾아내고, 4개를 자율적으로(부분 또는 완전) 해결했으며, 또 다른 4개의 해법을 독자적으로 재발견했다.

    Gemini Deep Think 기반으로 구축된 Google DeepMind의 AI 에이전트 Aletheia는 Erdős Problems 데이터베이스의 'Open' 문제 700개를 체계적으로 평가하여, 5개에 대한 기존 해법을 찾아내고, 4개를 자율적으로(부분 또는 완전) 해결했으며, 또 다른 4개의 해법을 독자적으로 재발견했다. 이 연구는 수학 문헌을 탐색하고 논증을 생성하는 AI의 능력과 함께 문제 해석에서의 과제까지 투명하게 평가한다.

    • Erdős Problems 데이터베이스의 많은 문제는 'Open'으로 표시되어 있지만, 잘 알려지지 않았을 뿐 기존 해법이 존재할 수 있다.
    • 인간 수학자는 방대한 수의 미해결 추측을 체계적으로 평가하고 광범위한 문헌 조사를 수행하는 과정에서 '주의력 병목'에 직면한다.
    • 복잡한 수학 문제 해결에서 고급 대규모 언어 모델의 능력을 엄격하게 벤치마킹하려면 적합하고 다양한 데이터셋이 필요하다.
    • 특화된 Gemini 기반 AI 에이전트 Aletheia가 투입되어 700개의 'Open' Erdős 문제에 대한 후보 해법을 생성하고 초기 자연어 검증을 수행했다.
    • 전문가 필터링, 정밀 검토, 외부 자문을 포함한 엄격한 다단계 인간 평가 프레임워크를 통해 AI 출력의 정확성과 참신성을 판정했다.
    • 광범위한 문헌 조사와 AI 추론 로그 분석을 수행하여, 진정으로 새로운 결과를 독자적 재발견이나 확인된 기존 해법과 구별했다.
    초록PDF
  33. 112Memory / RL / AgentsarXiv:2601.03192

    MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory

    MemRL은 동결된 대규모 언어 모델 백본을 동적 에피소드 메모리와 분리하여, AI 에이전트가 배포 이후에도 지속적으로 기술을 개선하게 하는 비파라미터 방식을 도입한다.

    MemRL은 동결된 대규모 언어 모델 백본을 동적 에피소드 메모리와 분리하여, AI 에이전트가 배포 이후에도 지속적으로 기술을 개선하게 하는 비파라미터 방식을 도입한다. 이 프레임워크는 강력한 베이스라인 대비 누적 성공률에서 평균 3.8%의 상대적 개선을 달성하여, 학습된 지식이 다양한 과제 전반에 걸쳐 우수한 전이성을 가짐을 입증했다.

    • AI 에이전트는 이전에 학습한 지식의 파국적 망각 없이 배포 이후 지속적으로 기술을 습득하는 데 어려움을 겪는다.
    • 지속적 적응을 위해 대규모 언어 모델(LLM)을 미세조정하는 것은 연산 비용이 크고 파국적 망각에 매우 취약하다.
    • 기존 검색 증강 생성(RAG) 시스템은 수동적이어서, 의미적으로 관련은 있으나 효용이 낮은 '노이즈'를 메모리에서 검색하는 경우가 많아 환경 피드백으로부터의 효과적 학습을 방해한다.
    • MemRL은 안정적이고 동결된 LLM 백본을 동적이고 가소적인 외부 에피소드 메모리와 분리하여, 가중치 업데이트나 파국적 망각 없이 지속적 학습을 가능하게 한다.
    • 이 시스템은 메모리 검색을 메모리 기반 마르코프 결정 과정(M-MDP)으로 정식화하며, 여기서는 LLM 파라미터가 아니라 검색 정책이 강화학습을 통해 최적화된다.
    • 이 시스템은 '의도-경험-효용' 삼중 메모리 구조와, 의미적 회상과 가치 인식 선택을 결합한 2단계 검색 메커니즘을 활용하여 고효용 경험을 능동적으로 걸러내고 활용한다.
    초록PDF
  34. 111Memory / AgentsarXiv:2601.02553

    SimpleMem: Efficient Lifelong Memory for LLM Agents

    SimpleMem은 의미적 구조화 압축과 적응형 검색을 활용해 중복을 걸러내고 경험을 통합하는, LLM 에이전트를 위한 효율적인 평생 메모리 프레임워크를 제시한다.

    SimpleMem은 의미적 구조화 압축과 적응형 검색을 활용해 중복을 걸러내고 경험을 통합하는, LLM 에이전트를 위한 효율적인 평생 메모리 프레임워크를 제시한다. 이 시스템은 기존 방법 대비 평균 F1 점수를 26.4% 향상시키는 동시에 추론 시점 토큰 소비를 최대 30배 줄이고 메모리 구축 속도를 14배 높인다.

    • 대규모 언어 모델(LLM)은 고정된 컨텍스트 윈도우로 인해 어려움을 겪으며, 이는 장기 기억과 확장된 상호작용 전반에 걸쳐 정보를 유지하는 능력을 제한한다.
    • LLM 에이전트용 메모리 시스템은 중복되고 저엔트로피인 대화로 인한 컨텍스트 팽창에 시달리며, 이는 유효 정보 밀도와 모델 성능을 저하시킨다.
    • LLM 메모리를 보강하는 현재 접근법은 높은 토큰 비용과 늘어난 지연을 포함한 상당한 연산 오버헤드를 초래하여 실용적 배포를 가로막는다.
    • 이 프레임워크는 의미적 구조화 압축, 재귀적 통합을 동반한 다관점 구조화 인덱싱, 적응형 쿼리 인식 검색을 포함하는 3단계 메모리 파이프라인을 갖춘다.
    • 엔트로피 인식 필터링을 구현하여 중복 대화를 제거하고, 정보성 콘텐츠를 자기완결적이고 맥락 독립적인 메모리 단위로 정규화한다.
    • 다층 인덱싱(의미적, 어휘적, 기호적)과 재귀적 통합을 위한 비동기 백그라운드 프로세스를 활용하여 더 높은 수준의 추상적 메모리 표현을 생성한다.
    초록PDF
  35. 110Evaluation / AgentsarXiv:2601.05111

    Agent-as-a-Judge

    홍콩폴리테크닉대학교(The Hong Kong Polytechnic University) 연구진은 부상하는 Agent-as-a-Judge 패러다임을 조사하여, 복잡한 AI 출력을 평가하는 이 방식의 방법론, 응용, 과제에 대한 최초의 포괄적 분류 체계와 분석을 제시했다.

    홍콩폴리테크닉대학교(The Hong Kong Polytechnic University) 연구진은 부상하는 Agent-as-a-Judge 패러다임을 조사하여, 복잡한 AI 출력을 평가하는 이 방식의 방법론, 응용, 과제에 대한 최초의 포괄적 분류 체계와 분석을 제시했다. 이 연구는 에이전트형 평가자를 Procedural, Reactive, Self-Evolving 단계로 분류하여, 이 고도화된 AI 평가 방식을 이해하기 위한 구조화된 프레임워크를 제공한다.

    • 사전 정의된 지표와 인간 판단을 포함한 전통적 AI 평가 방법은 의미적 미묘함을 담기에 불충분하거나, 확장성이 떨어지고 비용이 높았다.
    • 초기 LLM-as-a-Judge 패러다임은 내재된 파라미터 편향, 얕은 단일 패스 추론, 실세계 검증 부재, 복잡하고 다면적인 과제에 대한 인지 과부하 같은 한계에 직면했다.
    • 빠르게 확장되는 Agent-as-a-Judge 분야는 다양한 방법론과 응용을 정리할 통합 프레임워크, 포괄적 분류 체계, 명확한 로드맵이 부재했다.
    • 이 논문은 에이전트형 평가 시스템을 자율성과 적응성에 따라 분류하는 새로운 3단계 발전 분류 체계, 즉 Procedural, Reactive, Self-Evolving Agent-as-a-Judge를 도입한다.
    • 다중 에이전트 협업, 계획, 도구 통합, 메모리 및 개인화, 최적화 패러다임을 포함한 핵심 에이전트형 방법론을 체계적으로 분류한다.
    • 이 조사는 광범위한 일반 도메인(예: 수학, 코드, 사실 확인)과 전문 도메인(예: 의학, 법률, 금융, 교육)에 걸친 Agent-as-a-Judge의 응용을 포괄적으로 검토한다.
    초록PDF
  36. 109Memory / EfficiencyarXiv:2601.07190

    Active Context Compression: Autonomous Memory Management in LLM Agents

    한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다.

    한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다. 이 방법은 도전적인 소프트웨어 공학 벤치마크에서 과제 성공률을 유지하면서 총 토큰 소비량을 22.7% 줄인다.

    • LLM 에이전트는 장기 과제에서 끊임없이 증가하는 대화 기록으로 인해 '컨텍스트 비대화(Context Bloat)'를 겪으며, 이는 계산 비용 증가와 지연 시간 상승으로 이어진다.
    • 확장된 컨텍스트 윈도우는 관련 정보가 묻히는 '컨텍스트 오염(Context Poisoning)'이나 '중간 부분 망각(Lost in the Middle)' 현상을 통해 추론 능력을 저하시킨다.
    • 외부 메모리 시스템이나 반성 메커니즘 같은 기존 솔루션은 지속적인 과제 수행 중에 능동적인 궤적 내 컨텍스트 관리를 제공하지 못하는 경우가 많다.
    • 'Focus' 아키텍처는 '집중 시작'과 '집중 완료'라는 두 프리미티브를 도입해 ReAct 에이전트 루프를 확장하며, 에이전트가 압축 단계를 자율적으로 시작하고 종료할 수 있게 한다.
    • 에이전트는 '집중 완료' 단계에서 활동과 학습 내용의 상위 수준 요약을 생성해 지속적인 'Knowledge' 블록에 추가하고, 원시 상호작용 기록은 삭제하여 동적인 '톱니(Sawtooth)' 컨텍스트 패턴을 만든다.
    • 이 접근법은 점균류 같은 생물학적 탐색 전략에서 영감을 받았으며, 완벽한 원시 기록을 보존하기보다 추상적 학습 내용의 종합을 강조한다.
    초록PDF
  37. 108Memory / AgentsarXiv:2601.01885

    Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

    Agentic Memory(AgeMem)는 대규모 언어 모델 에이전트가 학습 가능한 도구 기반 행동을 통해 장기 및 단기 메모리를 모두 자율적으로 관리하는 통합 프레임워크를 도입한다.

    Agentic Memory(AgeMem)는 대규모 언어 모델 에이전트가 학습 가능한 도구 기반 행동을 통해 장기 및 단기 메모리를 모두 자율적으로 관리하는 통합 프레임워크를 도입한다. 3단계 점진적 강화학습 전략으로 최적화된 이 시스템은 장기 과제 벤치마크에서 일관되게 과제 성능을 향상시키고, 저장된 메모리의 품질을 높이며, 기존 메모리 증강 베이스라인 대비 프롬프트 토큰 사용량을 줄인다.

    • LLM 에이전트는 유한한 컨텍스트 윈도우로 인해 장기 추론에 어려움을 겪으며, 효과적인 메모리 관리가 필요하다.
    • 전통적인 메모리 시스템은 장기 및 단기 메모리를 독립적인 구성요소로 취급하여, 조율이 최적 이하인 단편적이고 휴리스틱 기반의 솔루션을 초래한다.
    • 긴 궤적에 걸쳐 보상 신호가 희소하고 불연속적이기 때문에 표준 강화학습으로 메모리 연산을 최적화하기는 어렵다.
    • AgeMem은 LTM(ADD, UPDATE, DELETE) 및 STM(RETRIEVE, SUMMARY, FILTER) 연산을 에이전트 정책 안의 명시적인 도구 기반 행동으로 정식화하여, 자율적이고 학습 가능한 메모리 제어를 가능하게 한다.
    • 포괄적인 메모리 역량을 학습하기 위해 3단계 점진적 강화학습 전략(LTM 구축, 방해 요소를 동반한 STM 제어, 통합 추론)을 사용한다.
    • 단계별 Group Relative Policy Optimization(GRPO)은 종단 보상을 궤적 단계 전반에 균일하게 전파함으로써 메모리 결정에 대한 일관된 학습 신호를 보장하여, 희소 보상 문제를 해결한다.
    초록PDF
  38. 107Agents / SearcharXiv:2601.07055

    Dr. Zero: Self-Evolving Search Agents without Training Data

    인간이 라벨링한 학습 데이터 없이도 검색 에이전트가 스스로 진화한다. 문제를 내는 제안자와 푸는 해결자가 같은 베이스 모델에서 공진화하며 지도학습 기반 에이전트에 필적한다.

    Meta Superintelligence Labs와 UIUC가 개발한 프레임워크 Dr. Zero는 인간이 큐레이션한 학습 데이터 없이도 다중 턴 검색 에이전트가 자기 진화할 수 있게 한다. 이는 제안자-해결자 공진화 메커니즘과 새로운 Hop-Grouped Relative Policy Optimization을 활용하여, 에이전트가 개방형 도메인 QA 과제에서 지도 학습 기반 베이스라인에 필적하거나 이를 능가하면서도 계산 오버헤드를 대폭 줄일 수 있게 한다.

    • 고급 검색 및 추론 대규모 언어 모델(LLM)을 개발하기 위해 비용이 큰 인간 큐레이션 학습 데이터에 의존해야 하는 것이 문제다.
    • 다중 홉 추론을 위한 다양하고 도전적인 개방형 도메인 질문을 생성하는 데에서 기존 데이터 비의존적 자기 진화 프레임워크가 한계를 보인다.
    • 외부 도구와 상호작용하는 다중 턴 검색 에이전트를 최적화하기 위한 기존 강화학습 방법은 계산 비효율성이 크다.
    • 두 에이전트 모두 인간 데이터 없이 학습하며, 사실 검증을 위해 오직 외부 검색 엔진에만 의존하는 자기 진화 제안자-해결자 프레임워크다.
    • 효율적인 제안자 학습을 위한 Hop-Grouped Relative Policy Optimization(HRPO)을 도입하여, 질문을 홉 복잡도별로 군집화하고 그룹 수준 베이스라인을 사용해 계산 오버헤드를 줄인다.
    • 제안자가 다양하고 도전적이면서도 검증 가능한 다중 홉 질문을 생성하도록 난이도 기반 보상을 활용하여, 동적인 커리큘럼을 조성한다.
    초록PDF
  39. 106World ModelsarXiv:2601.05230

    Learning Latent Action World Models In The Wild

    Meta의 FAIR 연구진은 다양하고 레이블이 없는 '야생' 비디오 데이터로부터 직접 효과적인 잠재 행동 세계 모델을 학습하는 방법을 개발했다.

    Meta의 FAIR 연구진은 다양하고 레이블이 없는 '야생' 비디오 데이터로부터 직접 효과적인 잠재 행동 세계 모델을 학습하는 방법을 개발했다. 이 접근법은 명시적 행동 레이블로 학습한 모델에 필적하는 수준의 로봇 조작 및 내비게이션 과제 계획 성능을 가능하게 한다.

    • 대부분의 성공적인 세계 모델은 명시적 행동 레이블에 의존하여, 방대한 양의 레이블 없는 실제 비디오 데이터에 적용할 때 확장성과 일반성이 제한된다.
    • 기존 잠재 행동 모델(LAM)은 제한된 환경에 국한되어, 다양한 실제 시나리오로의 전이성과 일반화가 부족한 행동 공간을 초래했다.
    • '야생' 비디오는 명확히 정의되지 않은 행동, 환경적 잡음, 공통된 체화의 부재 같은 문제를 제기하여, 의미 있는 행동 표현을 추출하기 어렵게 만든다.
    • 동결된 V-JEPA 2-L 시각 인코더를 활용하여, 대규모의 레이블 없는 '야생' 비디오 데이터셋에서 세계 모델과 역동역학 모델(IDM)을 공동 학습하는 프레임워크다.
    • 연속 잠재 행동의 내용을 제어하고 무관한 정보의 인코딩을 방지하기 위한 정보 정규화 기법(희소성, 잡음 추가(VAE 유사), 이산화)을 조사한다.
    • 미래 누출과 행동 전이성 같은 본질적 지표를 통해, 그리고 경량 컨트롤러와 Cross-Entropy Method를 통한 다운스트림 계획 과제에서의 실용적 유용성을 통해 학습한 잠재 행동 공간을 평가한다.
    초록PDF
  40. 105Architecture / LearningarXiv:2601.00417

    Deep Delta Learning

    Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다.

    Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다. 이 Delta Operator는 네트워크가 항등 매핑, 직교 사영, 또는 기하학적 반사를 적응적으로 수행할 수 있게 하여, 심층 모델이 학습할 수 있는 동역학의 범위를 엄격하게 가산적인 업데이트를 넘어 확장한다.

    • 심층 잔차 네트워크(ResNet)는 항등 단축 연결을 통해 '엄격하게 가산적인 귀납적 편향'을 부과하여, 학습 가능한 특징 변환의 복잡성을 제한한다.
    • ResNet 단축 연결의 고정된 항등 자코비안은 진동이나 '대립적 행동'처럼 종종 음의 고윳값을 갖는 동역학을 요구하는, 복잡하고 비단조적인 상태 전이를 모델링하는 네트워크의 능력을 제약한다.
    • 전방 오일러 단계로 간주되는 표준 잔차 업데이트는 강한 평행이동 편향을 보이며, 명시적인 특징 '망각'이나 재배향을 위한 메커니즘이 결여되어 있다.
    • 'Delta Residual Block'을 도입한다. 이는 기존의 가산적 잔차 업데이트(다음 층 = 현재 층 + 변환항)를, 단축 연결에 데이터 의존적 기하 변환 행렬과 키·값 보정항을 곱하는 곱셈적 형태로 확장한 것이다.
    • 핵심은 'Delta Operator' 'A(X) = I − β(X)k(X)k(X)의 외적'으로, 이는 항등 행렬의 랭크-1 섭동이며 공간적 기하학 변환을 적용한다.
    • 이 연산자는 학습 가능하고 데이터 의존적인 반사 방향 k(X)와 0에서 2 사이 범위에서 동적으로 제어되는 게이팅 스칼라 β(X)로 매개변수화된다.
    초록PDF
  41. 104Benchmarks / CodearXiv:2512.18470

    SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios

    SWE-EVO는 지속적인 계획 수립과 시간에 걸친 다중 파일 변경을 요구하는 장기 소프트웨어 진화 과제에서 AI 코딩 에이전트를 평가하기 위한 새로운 벤치마크를 도입한다.

    SWE-EVO는 지속적인 계획 수립과 시간에 걸친 다중 파일 변경을 요구하는 장기 소프트웨어 진화 과제에서 AI 코딩 에이전트를 평가하기 위한 새로운 벤치마크를 도입한다. 평가 결과 최신 모델은 이러한 복잡한 시나리오에서 25%의 해결률을 달성하여, 현재 에이전트 역량에 상당한 격차가 있음을 보여준다.

    • 기존 AI 코딩 에이전트 벤치마크는 주로 SWE-Bench에서 볼 수 있는 것과 같은 개별 버그 수정이나 단일 이슈 기능 구현에 초점을 맞춘다.
    • 이러한 벤치마크는 지속적인 진화, 다중 파일 조율, 기존 코드베이스에 대한 반복적 업데이트를 수반하는 실제 소프트웨어 공학의 장기적 특성을 충분히 포착하지 못한다.
    • 소프트웨어 개발의 상당 부분은 레거시 코드를 유지보수하고 진화시키는 데 할애되며, 이는 현재 방법으로는 평가되지 않는 지속적 이해, 적응적 계획 수립, 전체론적 시스템 변경을 요구한다.
    • SWE-EVO는 실제 릴리스 노트에서 도출한 48개의 고품질 소프트웨어 진화 과제로 구성된 벤치마크를 제시하며, 에이전트가 코드베이스를 두 개의 서로 다른 버전 사이에서 전환하도록 요구한다.
    • 에이전트는 상위 수준의 소프트웨어 요구사항 명세(SRS)를 해석하고, 기능이 보존되고 새로운 테스트가 통과되도록 보장하면서 전체 코드베이스에 걸쳐 다단계·다중 파일 수정을 구현해야 한다.
    • 성능은 해결률(엄격한 통과·실패), 패치 적용률(Patch Apply Rate), 수정률(세밀한 진행도)을 사용해 평가하며, 실패 유형을 분류하기 위한 LLM-as-a-judge 분석으로 보완한다.
    초록PDF
  42. 103Scientific AI / RLarXiv:2512.23707

    Training AI Co-Scientists Using Rubric Rewards

    Meta Superintelligence Labs와 학술 기관의 연구진은 다양한 과학 분야에 걸쳐 고품질 연구 계획을 생성할 수 있는 'AI 공동 연구자'로 언어 모델을 학습시키는 확장 가능한 방법을 개발했다.

    Meta Superintelligence Labs와 학술 기관의 연구진은 다양한 과학 분야에 걸쳐 고품질 연구 계획을 생성할 수 있는 'AI 공동 연구자'로 언어 모델을 학습시키는 확장 가능한 방법을 개발했다. 이 접근법은 과학 문헌에서 연구 목표와 채점 루브릭을 자동으로 추출하고 이를 자기 채점 강화학습 프레임워크와 결합하며, 그 결과 미세조정된 모델이 인간 전문가에게 70%의 비율로 선호되고 루브릭 만족 점수에서 10~15%의 상대적 향상을 보인다.

    • 기존의 과학용 AI 응용은 일반적으로 잘 정의되고 실행 가능한 환경에 국한되어, 추상적이고 개방형인 과학적 탐구에 대한 유용성이 제한적이다.
    • 대규모 언어 모델(LLM)은 과학적 맥락에서 인간 피드백을 얻는 과정이 느리고, 비용이 많이 들며, 종종 모호하기 때문에 고품질의 장문 연구 계획을 생성하는 데 어려움을 겪는다.
    • 개방형 과학 과제를 위한 고도의 전문성을 갖춘 학습 데이터와 피드백의 확보를 확장하는 것이 주요 병목이며, 인간 전문가가 수작업으로 주석을 다는 일은 비용과 시간이 많이 든다.
    • ResearchPlanGen이라는 자동화 파이프라인을 구축하여 과학 논문에서 직접 연구 목표, 목표별 채점 루브릭, 참조 솔루션을 추출하고 크고 다양한 학습 데이터셋을 생성했다.
    • 자기 채점 강화학습(RL) 프레임워크를 구현했으며, 여기서 초기 언어 모델의 동결된 복사본이 특권적인 목표별 루브릭과 일반 가이드라인을 사용하여 생성된 계획을 채점하는 '자동 채점자' 역할을 한다.
    • 계획 생성 모델은 루브릭 만족 점수를 직접적인 보상 신호로 활용하여 Group Relative Policy Optimization(GRPO)으로 최적화했으며, 간결성을 강제하기 위한 길이 제어 전략도 함께 적용했다.
    초록PDF
  43. 102RL / TrainingarXiv:2601.05242

    GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

    GDPO(Group reward-Decoupled Normalization Policy Optimization)는 기존 GRPO 방법에 내재된 '보상 신호 붕괴'를 해결하여, 대규모 언어 모델 정렬을 위한 다중 보상 강화학습을 개선한다.

    GDPO(Group reward-Decoupled Normalization Policy Optimization)는 기존 GRPO 방법에 내재된 '보상 신호 붕괴'를 해결하여, 대규모 언어 모델 정렬을 위한 다중 보상 강화학습을 개선한다. 이를 위해 개별 보상 구성요소의 정규화를 분리하여 더 안정적인 학습과 향상된 성능을 달성하며, 예를 들어 AIME에서 수학적 추론 정확도를 최대 6.3% 높인다.

    • 대규모 언어 모델(LLM)을 다양한 인간 선호도(예: 안전성, 일관성, 효율성)에 정렬하려면 다중 보상 강화학습이 필요하다.
    • 흔히 사용되는 Group Relative Policy Optimization(GRPO) 알고리즘은 여러 보상의 합에 적용될 때 '보상 신호 붕괴'를 겪는데, 이는 서로 다른 보상 조합이 동일한 어드밴티지 값을 산출할 수 있음을 의미한다.
    • 이러한 보상 신호 붕괴는 학습 신호의 해상도를 떨어뜨려, 최적 이하의 수렴, 학습 안정성 저하, 잠재적인 조기 학습 실패로 이어진다.
    • GDPO는 개별 보상 구성요소의 정규화를 분리하여, 각 보상에 대해 그룹 단위 정규화를 별도로 수행함으로써 세밀한 구분을 보존한다.
    • 개별적으로 정규화한 어드밴티지는 이후 합산되며, 정책 업데이트의 수치적 안정성을 보장하기 위해 추가적인 배치 단위 정규화를 거친다.
    • 보상 간 우선순위를 관리하기 위해, GDPO는 보상 가중치를 탐색하고 보상 함수 조건화를 제안하는데, 이는 더 어려운 목표가 달성된 경우에만 더 쉬운 보상을 부여하는 방식이다.
    초록PDF
  44. 101Security / CodearXiv:2601.03335

    Digital Red Queen: Adversarial Program Evolution in Core War with LLMs

    Digital Red Queen(DRQ) 알고리즘은 대규모 언어 모델을 활용하여 Core War 환경에서 자기 수정 어셈블리 유사 프로그램을 진화시킨다.

    Digital Red Queen(DRQ) 알고리즘은 대규모 언어 모델을 활용하여 Core War 환경에서 자기 수정 어셈블리 유사 프로그램을 진화시킨다. 이 프레임워크는 개방형 적대적 동역학 연구를 촉진하며, 지속적인 공진화가 어떻게 점점 더 범용적이고 견고한 프로그램 전략으로 이어지는지를 보여주고, 유전형 다양성과 함께 창발적 표현형 수렴 현상을 나타낸다.

    • 통제된 인공 시스템에서 'Red Queen' 동역학으로 알려진 개방형 적대적 진화 동역학을 이해하는 것이 과제다.
    • 복잡한 적대적 환경 안에서 기능하는 프로그램을 위한 극도로 희소한 탐색 공간을 효율적으로 탐색하는 것이 과제다.
    • 디지털 생태계에서 지속적인 적응과 반적응을 유도하는 단순하면서도 효과적인 자기 대전 메커니즘을 개발하는 것이 과제다.
    • 각 라운드마다 이전에 생성된 모든 적대자에 대해 최적화하기 위해 새로운 프로그램을 진화시키는 최소한의 자기 대전 메커니즘이 Digital Red Queen(DRQ) 알고리즘이다.
    • Core War를 자기 수정 Redcode 프로그램을 진화시키기 위한 샌드박스화된 튜링 완전 환경으로 활용하여, 복잡한 적대적 동역학을 위한 안전한 테스트베드를 제공한다.
    • GPT-4.1 mini 같은 대규모 언어 모델(LLM)을 MAP-Elites 품질-다양성 알고리즘 안의 지능적 변이 및 생성 연산자로 통합하여, 프로그램 합성을 안내하고 다양성을 유지한다.
    초록PDF
  45. 100ArchitecturearXiv:2512.24601

    Recursive Language Models

    재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다.

    재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다. 이 접근법은 사용자 프롬프트를 프로그래밍 환경 안의 외부 객체로 취급하여, 다양한 장기 과제에서 컨텍스트 윈도우 한계와 성능 저하를 완화한다.

    • 대규모 언어 모델(LLM)은 유한한 컨텍스트 윈도우에 제약을 받아, 수백만 토큰에 달하는 많은 실제 '장기 과제'에 적용하기 어렵다.
    • LLM은 '컨텍스트 부패(context rot)' 현상을 보이는데, 이는 고정된 컨텍스트 윈도우 안에서도 입력 길이가 증가할수록 성능이 저하되는 현상으로, 특히 밀집된 정보 접근이 필요한 과제에서 두드러진다.
    • 압축·요약이나 과제별 에이전트 시스템 같은 기존의 긴 컨텍스트 관리 방법은 정보 손실, 제한된 일반화 가능성, 또는 여전히 근본적인 LLM의 컨텍스트 윈도우 한계에 직면하는 등의 이유로 부적절한 경우가 많다.
    • 임의로 긴 사용자 프롬프트를 LLM의 컨텍스트 윈도우에 직접 입력하는 대신, 지속적인 REPL(Read-Eval-Print Loop) 프로그래밍 환경 안의 외부 객체로 취급한다.
    • LLM이 REPL 안에서 코드를 생성하여 외부 프롬프트의 일부를 프로그래밍 방식으로 검토, 변환, 분해하고 중간 값을 구축할 수 있게 한다.
    • 프로그래밍 방식의 기호적 재귀를 가능하게 하여, LLM이 프로그래밍 방식으로 구성한 프롬프트 변환에 대해 하위 RLM을 호출함으로써, 출력 길이 제한을 우회하고 복잡한 반복 처리를 가능하게 한다.
    초록PDF
  46. 099ArchitecturearXiv:2512.10938

    Stronger Normalization-Free Transformers

    Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

    Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

    • 전통적 정규화 계층(예: Batch Norm, Layer Norm)은 심층 신경망 학습을 안정화하지만, 오버헤드(메모리 접근, 동기화)와 배치 크기에 대한 민감성을 야기한다.
    • Dynamic Tanh(DyT) 같은 기존의 정규화 없는 방법은 정규화에 필적하는 성능을 달성했지만 이를 체계적으로 능가하지는 못해, 추가 개선의 여지를 남겼다.
    • 정규화 없는 Transformer에서 점별 함수의 본질적 속성이 학습 동역학과 모델 성능에 어떻게 영향을 미치는지에 대한 체계적 이해가 부족했다.
    • 점별 함수의 네 가지 본질적 속성(영점 중심성, 유계성, 중심 민감도, 단조성)을 체계적으로 분석하여, 효과적인 정규화 없는 Transformer 구성요소를 위한 설계 원칙을 도출했다.
    • 도출한 원칙을 바탕으로 점별 함수를 광범위하게 실증적으로 탐색했으며, 그 결과 오차 함수(erf)를 가장 성능이 우수한 설계로 식별했다.
    • 오차 함수에 스케일·이동·바이어스 파라미터를 적용해 'γ·erf(αx+s)+β' 형태로 매개변수화한 점별 함수 Dynamic erf(Derf)를 개발했으며, 이는 Transformer 아키텍처의 모든 정규화 계층을 직접 대체하는 통계 비의존적 대안으로 기능한다.
    초록PDF
  47. 098Cybersecurity / AgentsarXiv:2512.09882

    Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

    Stanford University와 Carnegie Mellon University의 연구진은 AI 에이전트 스캐폴드인 ARTEMIS를 개발하고, 실제 운영 중인 엔터프라이즈 네트워크 안에서 인간 사이버보안 전문가들과 침투 테스트 역량을 비교했다.

    Stanford University와 Carnegie Mellon University의 연구진은 AI 에이전트 스캐폴드인 ARTEMIS를 개발하고, 실제 운영 중인 엔터프라이즈 네트워크 안에서 인간 사이버보안 전문가들과 침투 테스트 역량을 비교했다. 이 연구에서 ARTEMIS는 상위권 인간 테스터에 필적하는 취약점 발견율을 달성했으며, 더 낮은 비용으로 운영되면서도 대부분의 인간 참가자와 기존 AI 에이전트를 능가했다.

    • 기존 AI 사이버보안 벤치마크는 추상화된 환경에서 수행되는 경우가 많아, 실제 운영 시스템의 운영적 현실성과 복잡성이 결여되어 있다.
    • 실제 환경에서 활성화된 엔터프라이즈 네트워크 침투 테스트에서 AI 에이전트의 성능을 인간 사이버보안 전문가와 실증적으로 비교하는 데에는 상당한 공백이 존재했다.
    • 공격적 보안을 위한 현재의 AI 에이전트 아키텍처는 동적인 운영 환경에서 컨텍스트 관리와 장기 과제에 어려움을 겪는 경우가 많다.
    • 대규모의 이질적인 실제 대학 엔터프라이즈 네트워크(호스트 8,000개, 서브넷 12개)에서 인간 사이버보안 전문가와 다양한 AI 에이전트를 비교 평가했다.
    • 복잡한 사이버보안 과제를 위해 설계한 새로운 멀티 에이전트 AI 스캐폴드 ARTEMIS를 도입했으며, 슈퍼바이저 에이전트, 서브 에이전트, 동적 프롬프트 생성, 트리아지 모듈을 특징으로 한다.
    • 기술적 복잡성과 가중치를 반영한 비즈니스 영향을 기반으로 취약점 발견을 정량화하는 통합 점수 체계를 개발하여, 참가자 간 직접 비교를 가능하게 했다.
    초록PDF
  48. 097Benchmarks / FactualityarXiv:2512.10791

    The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality

    Google이 주도한 연구 협업이 멀티모달 이해, 내부 지식 회상, 검색 증강 생성, 컨텍스트 기반 근거 확보 등 다양한 시나리오에서 대형 언어 모델(LLM)의 사실성을 평가하기 위해 Kaggle에 호스팅된 포괄적 벤치마크 모음 The FACTS Leaderboard를 도입한다.

    Google이 주도한 연구 협업이 멀티모달 이해, 내부 지식 회상, 검색 증강 생성, 컨텍스트 기반 근거 확보 등 다양한 시나리오에서 대형 언어 모델(LLM)의 사실성을 평가하기 위해 Kaggle에 호스팅된 포괄적 벤치마크 모음 The FACTS Leaderboard를 도입한다. 선두 모델인 Gemini 3 Pro는 전체 FACTS 점수 68.8%를 달성했는데, 이는 현재 LLM의 사실적 신뢰성에 개선의 여지가 상당함을 보여준다.

    • 대형 언어 모델(LLM)은 사실과 다른 부정확한 정보를 자주 생성하여, 실제 응용에서의 신뢰할 수 있는 배포를 저해한다.
    • LLM 사실성에 대한 기존 벤치마크는 흔히 좁은 능력(예: 컨텍스트 기반 또는 일반 지식 회상)에 집중하여 총체적 평가를 제공하지 못한다.
    • 실제 LLM 응용은 서로 다른 양식과 지식 소스에 걸친 사실적 능력의 조합을 요구하는데, 현재의 평가 프레임워크는 이를 적절히 다루지 못한다.
    • The FACTS Leaderboard는 FACTS Multimodal, FACTS Parametric, FACTS Search, FACTS Grounding v2의 네 가지 별개의 하위 리더보드로 구성되며, 각각 LLM 사실성의 특정 차원을 평가한다.
    • 이 벤치마크는 인간 주석과 비교해 엄밀히 검증된 정교한 자동 심판을 활용하여, 수천 개의 다양한 질문에 걸쳐 모델 응답을 평가한다.
    • 모든 평가는 Kaggle에 의해 공정하게 수행되며, 공개 및 비공개 데이터 분할을 갖추어 벤치마크의 무결성을 보장하고 과적합을 완화한다.
    초록PDF
  49. 096RAGarXiv:2511.18659

    CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning

    CLaRa 프레임워크는 문서를 연속적인 잠재 표현으로 압축하고 Straight-Through 추정기를 사용해 종단 간 미분 가능 최적화를 가능하게 함으로써 검색 증강 생성을 통합한다.

    CLaRa 프레임워크는 문서를 연속적인 잠재 표현으로 압축하고 Straight-Through 추정기를 사용해 종단 간 미분 가능 최적화를 가능하게 함으로써 검색 증강 생성을 통합한다. 이는 우수한 압축 효과를 입증하여 기준선 대비 최대 17.31%의 CEM 향상을 달성했으며, 경쟁력 있는 QA 성능과 함께 크게 개선된 검색 재현율(예: HotpotQA Recall@5에서 BGE-Reranker보다 10퍼센트포인트 앞섬)을 보였다.

    • 전통적인 검색 증강 생성(RAG) 시스템은 검색기와 생성기가 별도로 최적화되는 분리된 최적화 문제를 겪으며, 이로 인해 검색된 정보와 생성기의 실제 필요 사이에 불일치가 발생한다.
    • RAG 시스템은 흔히 길고 압축되지 않은 텍스트 컨텍스트를 처리하여 높은 추론 비용, 중복 텍스트 처리, LLM에서의 컨텍스트 오버플로, 그리고 임베딩 기반 검색과 원시 텍스트 기반 생성 간의 구조적 불일치를 초래한다.
    • 검색에서 문서 선택의 이산적 특성은 생성기로부터 검색기로의 직접적인 그래디언트 흐름을 막아, 진정한 종단 간 공동 학습과 검색기의 다운스트림 과제 정렬을 저해한다.
    • Salient Compressor Pretraining(SCP) 단계는 합성 QA 쌍과 패러프레이즈를 사용해 압축기가 문서를 핵심 정보를 보존하는 간결하고 의미적으로 풍부한 연속적 '메모리 토큰'으로 정제하도록 학습시킨다.
    • CLaRa는 사전 계산된 압축 문서 표현과 함께 언어 모델링 손실을 사용해 질의 추론기와 생성기를 공동으로 학습시킴으로써, 단일한 종단 간 미분 가능 프레임워크 내에서 검색과 생성을 통합한다.
    • 이산적인 상위 k개 문서 선택을 통과하는 그래디언트 흐름을 가능하게 하기 위해 Straight-Through(ST) 추정기를 사용하여, 질의 추론기가 생성기의 다운스트림 과제 목표로부터 약한 지도를 받도록 한다.
    초록PDF
  50. 095Code Generation / AgentsarXiv:2512.07921

    DeepCode: Open Agentic Coding

    DeepCode는 과학 논문으로부터 실행 가능한 코드 저장소를 자율적으로 생성하는 다단계 에이전트 프레임워크를 제시하며, PaperBench Code-Dev 벤치마크에서 73.5%의 재현 점수를 달성하고 박사급 인간 전문가의 성능을 능가한다.

    DeepCode는 과학 논문으로부터 실행 가능한 코드 저장소를 자율적으로 생성하는 다단계 에이전트 프레임워크를 제시하며, PaperBench Code-Dev 벤치마크에서 73.5%의 재현 점수를 달성하고 박사급 인간 전문가의 성능을 능가한다.

    • 기존 LLM 기반 코딩 에이전트는 길고 멀티모달한 과학 논문을 기능적 코드 저장소로 변환할 때 정보 과부하와 컨텍스트 병목에 어려움을 겪는다.
    • 흔한 실패 양상으로는 단편화된 사양의 보존, 모듈 전반의 전역 일관성 유지, 불충분하게 명시된 설계의 완성, 종단 간 실행 충실성 확보의 어려움이 있다.
    • 기존의 범용 및 특화된 과학 코드 에이전트는 자율 소프트웨어 공학 과제에서 재현 점수가 인간 전문가에 한참 미치지 못해 성공이 제한적이었다.
    • DeepCode는 다단계 프레임워크를 채택한다. Blueprint Generation은 원시 문서를 구조화된 사양으로 정제하여 정보 과부하를 완화한다.
    • Code Generation은 진화하는 코드베이스의 상태 유지형 구조적 인덱싱을 위해 CodeMem을 활용하여 전역 일관성을 보장하고, 고품질 코드 코퍼스로부터 조건부 지식 주입을 위해 CodeRAG를 사용한다.
    • Automated Verification and Refinement는 정적 분석과 샌드박스 실행 피드백을 통합해 폐쇄 루프 오류 수정을 수행함으로써, 합성된 저장소의 기능적 충실성을 보장한다.
    초록PDF