HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 194Machine LearningarXiv:2605.19269

    CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

    MIT, Princeton, Meta, Together AI의 연구진은 메모리 병목이 발생하는 Transformer 연산을 일반 행렬 곱셈(GEMM)의 에필로그 단계 안에서 실행되도록 재매개변수화하는 방법인 CODA를 개발했다.

    Transformer 학습에서는 정규화와 활성화, 잔차 갱신처럼 계산은 적지만 큰 중간 텐서를 메모리로 옮기는 연산이 적지 않은 시간을 차지한다. CODA는 이런 연산을 별도 커널로 실행하지 않고 행렬 곱셈 결과 타일이 칩 안에 남아 있을 때 에필로그 단계에서 처리하도록 대수적으로 다시 표현한다. 행렬 곱셈 본체는 고정하고 크기 조절, 축약, 쌍별 변환, 누적을 조합하는 작은 에필로그 명령 집합을 제공한다. 이 제한된 구조로 표준 Transformer 블록의 순방향과 역방향에서 어텐션을 제외한 거의 모든 계산을 표현할 수 있다. 대표 작업에서 사람이 작성한 커널과 언어 모델이 작성한 커널 모두 높은 성능을 보였지만, 논문의 적용 범위는 어텐션 자체보다 행렬 곱셈 주변의 메모리 병목 연산에 맞춰져 있다.

    • 상태 유지 변환: 교차 엔트로피 손실의 온라인 log-sum-exp 같은 연산을 위해 로컬 상태를 유지한다.
    • 효율성: 데이터 이동으로 손실되는 GPU 시간의 상당 부분을 회복한다.
    • 프로그래밍 용이성: 구조화된 DSL을 제공해 고성능 커널 작성을 간소화한다.
    초록PDF
  2. 193LLMs / NLParXiv:2605.18747

    Code as Agent Harness

    일리노이대학교 어배너-섐페인, Meta, 스탠퍼드대학교의 연구진이 코드를 LLM의 출력물에서 견고한 에이전트 지능을 가능하게 하는 운영 기반으로 재정립하는 '에이전트 하네스로서의 코드'라는 개념적 프레임워크를 제시한다.

    이 논문은 코드가 에이전트의 최종 산출물일 뿐 아니라 추론과 행동, 환경 모델링, 실행 검증을 떠받치는 운영 기반이 되고 있다는 흐름을 정리한 조사 연구다. 첫 번째 층은 코드가 에이전트의 추론과 행동 및 환경을 연결하는 하네스 인터페이스를 다룬다. 두 번째 층은 장기 실행을 위한 계획과 기억, 도구 사용, 피드백 기반 제어와 최적화 방법을 살핀다. 세 번째 층은 공유 코드 산출물을 통한 여러 에이전트의 조율과 검토 및 검증으로 범위를 넓힌다. 최종 성공 여부를 넘는 평가, 불완전한 피드백에서의 검증, 성능 퇴행 없는 개선, 공유 상태의 일관성, 위험한 행동에 대한 사람의 감독이 남은 핵심 과제로 제시된다.

    • 의미론적 검증의 경우, 코드는 테스트를 통해 구문과 기본적 정확성을 검증하기는 쉽지만, 그 코드가 사용자의 상위 수준 의도를 실제로 충족하는지 검증하기는 여전히 어렵다.
    • 트랜잭션형 상태 관리는 멀티 에이전트 시스템이 '병합 충돌'이나 일관성 없는 상태를 초래하지 않으면서 공유 코드베이스에 대한 복잡하고 동시적인 편집을 처리할 수 있도록 보장한다.
    • 인간의 감독은 자동화된 루프를 깨뜨리지 않으면서 인간이 에이전트의 내부 코드 산출물을 점검하고 개입할 수 있는 인터페이스를 개발하는 것이다.
    초록PDF
  3. 192Machine LearningarXiv:2605.19407

    A Bitter Lesson for Data Filtering

    이 논문은 대형 언어 모델의 경우, 충분한 계산 자원과 모델 크기로 학습할 때 필터링되지 않은 Common Crawl 데이터가 필터링된 변형보다 더 나은 성능을 낼 수 있음을 실증적으로 입증한다.

    이 연구는 계산량은 크지만 사용할 데이터가 부족한 사전학습 조건에서 데이터 필터의 효과가 모델 규모와 학습 길이에 따라 어떻게 바뀌는지 조사했다. Common Crawl의 원본과 여러 필터를 적용한 하위 집합을 만들고 모델 크기와 학습 단계를 함께 늘리며 손실을 비교했다. 충분히 큰 모델을 오래 학습하면 필터링하지 않은 데이터가 모든 시험 필터보다 좋아졌고, 무작위 문자열이나 단어 순서를 섞은 문서 같은 잡음에도 큰 모델이 예상보다 강했다. 저자들은 데이터 풀 크기와 모델 크기 및 학습 단계의 관계를 이용해 필터를 쓰지 않는 편이 유리해지는 계산량을 예측하는 스케일링 법칙도 제시했다. 다만 실험은 원본 전체가 아닌 표본 Common Crawl과 밀집 Transformer의 사전학습에 한정되고, 계산이 부족할 때는 여전히 필터링이 중요하다고 밝힌다.

    • 고정된 에폭 수로, 4 에폭 동안 학습한다.
    • 파이프라인을 단순화한다. 복잡한 분류기와 휴리스틱 규칙에 수천 GPU 시간과 인간 엔지니어링 노력을 들이는 대신, 가공되지 않은 파싱된 웹 데이터에 학습 시간을 단순히 늘리는 것이 더 나은 수익을 가져올 수 있다.
    • '쓰레기'에도 가치가 있다. 뒤섞인 데이터와 무작위 데이터에 대한 견고함은, 모델이 충분히 크다면 목표 분포와 관련된 통계적 신호를 일부라도 담고 있는 거의 모든 데이터가 유용할 수 있음을 시사한다.
    초록PDF
  4. 191AI / GeneralarXiv:2605.19943

    Probabilistic Tiny Recursive Model

    확률적 타이니 재귀 모델(PTRM)은 추론 시점의 확률성과 Q-헤드 기반 선택 메커니즘을 결정론적 타이니 재귀 모델(TRM)에 통합한다.

    Tiny Recursive Model은 같은 잠재 상태를 반복해서 다듬지만 결정적인 경로 하나만 따라가면 잘못된 해의 영역에 갇힐 수 있다. PTRM은 깊은 재귀 단계마다 가우시안 잡음을 넣은 여러 궤적을 병렬로 탐색하고 기존 Q 헤드가 가장 유망한 답을 고르게 한다. 별도 재학습이나 과제별 입력 변형 없이 추론 시점의 너비와 깊이를 함께 늘릴 수 있다. Sudoku-Extreme 정확도는 87.4퍼센트에서 98.75퍼센트로, Pencil Puzzle Bench의 여러 퍼즐은 62.6퍼센트에서 91.2퍼센트로 향상되었다. 그러나 실험은 작은 격자의 추론 퍼즐과 일부 과제에 집중되었고, Maze-Hard처럼 Q 헤드가 좋은 궤적을 잘 가려내지 못하는 경우에는 탐색 이득을 충분히 쓰지 못했다.

    • 강력하긴 하지만, 이들의 결정론적 재귀는 탈출 메커니즘 없이 차선의 해에 수렴할 수 있다.
    • 흔한 우회책은 테스트 시점의 과제별 입력 교란과 투표를 통한 답 집계를 결합하는 데 의존한다.
    초록PDF
  5. 190AI / GeneralarXiv:2605.19376

    Generative Recursive Reasoning

    KAIST, Mila, 뉴욕대학교, 몬트리올대학교의 연구진이 재귀 신경망에 확률성을 주입하여 다중 가설 탐색과 생성 능력을 가능하게 하는 프레임워크인 생성형 재귀 추론 모델(GRAM)을 도입했다.

    기존 재귀 추론 모델은 하나의 잠재 상태 경로를 반복해 하나의 답으로 수렴하므로 여러 해법을 탐색하거나 다양한 결과를 만들기 어렵다. GRAM은 각 재귀 단계의 잠재 전이를 확률적으로 만들어 여러 가설과 해결 전략을 병렬 궤적으로 다루는 생성형 재귀 추론 모델이다. 상각 변분 추론으로 학습하며 반복 깊이와 병렬 샘플 수를 함께 늘려 추론 시점 계산을 확장하고, 조건부 문제 풀이와 입력이 없는 생성 모두를 지원한다. 구조화 추론과 여러 해가 있는 제약 문제에서 결정적 재귀 기준선보다 좋아졌고, 단순히 잡음을 넣는 것보다 학습된 확률적 안내가 중요하다는 절제 실험도 제시했다. 다만 깊은 감독이 순차적으로 진행되어 Transformer보다 학습 효율이 낮고, 실험도 통제된 벤치마크에 집중되어 큰 범용 모델이나 고위험 실제 환경에는 추가 검증이 필요하다.

    • 다수결 투표는 샘플들 가운데 가장 흔한 답을 선택한다.
    • 확률성은 잠재 상태의 확률성이 구조화된 추론을 위한 강력한 도구임을 입증하여, 모델이 차선의 결정론적 궤적에 갇히는 것을 방지함으로써 결정론을 극복한다.
    • 폭 기반 스케일링은 단순히 시퀀스 길이나 모델 크기를 늘리는 대신 병렬 샘플 수, 즉 폭을 늘려 추론 성능을 확장하는 방법을 도입한다.
    초록PDF
  6. 189AI Research AgentsarXiv:2605.20025

    AutoResearchClaw

    AutoResearchClaw는 실패한 실험으로부터 실제로 학습하는 자율 AI 연구 시스템으로, AI 연구 에이전트가 본격적인 수준에 이르고 있음을 보여준다.

    AutoResearchClaw는 실패한 실험으로부터 실제로 학습하는 자율 AI 연구 시스템이다.

    • 더 나은 가설 수립과 결과 분석을 위한 멀티 에이전트 토론을 활용한다.
    • 실험이 실패할 때 방향을 전환하거나 개선하는 자가 치유 실행을 지원한다.
    • 가짜 수치와 환각된 인용을 피하기 위한 검증 가능한 보고를 제공한다.
    • 7가지 개입 모드를 갖춘 휴먼 인 더 루프 제어를 제공한다.
    • 과거의 실수를 미래의 안전장치로 바꾸는 실행 간 메모리를 갖춘다.
    초록PDF
  7. 188LLMs / Pretraining / EfficiencyarXiv:2605.06546

    Efficient Pre-Training with Token Superposition

    대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다.

    대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다. 이 논문은 병렬화, 옵티마이저, 토크나이저, 데이터, 모델 구조를 수정하지 않고도 사전학습 중 FLOPs당 데이터 처리량을 크게 향상시키는 간단한 드롭인 방법인 토큰 중첩 학습(TST)을 제시한다. TST는 두 단계로 이루어진다. 첫째는 다수의 연속된 토큰을 하나의 묶음으로 결합하여 멀티핫 교차 엔트로피(MCE) 목적함수로 학습하는 매우 효율적인 중첩 단계이고, 둘째는 표준 학습으로 되돌아가는 복구 단계다. 저자들은 270M 및 600M 파라미터 규모에서 TST를 광범위하게 평가하고 3B 및 10B A1B 전문가 혼합 모델에서 검증하여, 다양한 설정에서 매우 견고함을 입증한다. 궁극적으로 TST는 베이스라인 손실과 다운스트림 평가를 일관되게 능가하며, 동일 손실 설정에서 10B A1B 규모의 총 사전학습 시간을 최대 2.5배까지 단축한다.

    • 대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다.
    • 이 논문은 병렬화, 옵티마이저, 토크나이저, 데이터, 모델 구조를 수정하지 않고도 사전학습 중 FLOPs당 데이터 처리량을 크게 향상시키는 간단한 드롭인 방법인 토큰 중첩 학습(TST)을 제시한다.
    • TST는 두 단계로 이루어진다. 첫째는 다수의 연속된 토큰을 하나의 묶음으로 결합하여 멀티핫 교차 엔트로피(MCE) 목적함수로 학습하는 매우 효율적인 중첩 단계이고, 둘째는 표준 학습으로 되돌아가는 복구 단계다.
    • 저자들은 270M 및 600M 파라미터 규모에서 TST를 광범위하게 평가하고 3B 및 10B A1B 전문가 혼합 모델에서 검증하여, 다양한 설정에서 매우 견고함을 입증한다.
    • 궁극적으로 TST는 베이스라인 손실과 다운스트림 평가를 일관되게 능가하며, 동일 손실 설정에서 10B A1B 규모의 총 사전학습 시간을 최대 2.5배까지 단축한다.
    초록PDF
  8. 187Agents / Memory / Multi-AgentarXiv:2605.08060

    The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

    카네기멜런대학교와 FOCAL의 연구진은 사회적 딜레마 상황에서 대형 언어 모델 에이전트가 접근 가능한 메모리를 늘릴수록 협력 행동이 체계적으로 저하된다는 사실을 발견했으며, 이 현상을 '메모리의 저주'라 명명했다.

    카네기멜런대학교와 FOCAL의 연구진은 사회적 딜레마 상황에서 대형 언어 모델 에이전트가 접근 가능한 메모리를 늘릴수록 협력 행동이 체계적으로 저하된다는 사실을 발견했으며, 이 현상을 '메모리의 저주'라 명명했다. 이 저하는 미래 지향적 의도의 약화에서 비롯되며, 장기적 사고를 우선하도록 모델을 미세조정함으로써 완화할 수 있다.

    • 긴 기억이 협력을 촉진한다는 고전 게임 이론의 예측과, 과도한 인간의 기억이 협력을 저해할 수 있다는 행동심리학의 발견을 조화시키는 것이 문제다.
    • 상호작용 이력 길이의 변화가 LLM 멀티 에이전트 사회적 딜레마에서 협력에 어떤 영향을 미치는지에 대한 체계적이고 대규모적인 연구가 부재하다.
    • 기존 LLM 에이전트 연구는 종종 짧은 상호작용 지평을 사용하여, 이력 축적이 협력적 의도에 미치는 장기적 영향을 놓쳤을 가능성이 있다.
    • 7개의 LLM을 대상으로 4가지 반복 사회적 딜레마 게임에서 500라운드에 걸쳐 광범위한 실험을 수행하며, 접근 가능한 메모리 길이를 0라운드부터 80라운드까지 체계적으로 변화시켰다.
    • 378,000개가 넘는 사고 연쇄(Chain-of-Thought) 추론 추적을 어휘 분석으로 분석하여 미래 지향 대 피해망상이라는 전략적 의도를 정량화했다.
    • 표적화된 미세조정, 메모리 정화, 비대칭 메모리 실험을 수행하여 그 메커니즘을 인과적으로 규명하고 완화 전략을 개발했다.
    초록PDF
  9. 186Agents / Self-Improvement / ReasoningarXiv:2605.13821

    Harnessing Agentic Evolution

    홍콩과학기술대학교(광저우)와 DeepWisdom 등의 연구진이 에이전트형 진화를 위한 통제된 메타 편집 프레임워크 AEVO를 개발했다.

    홍콩과학기술대학교(광저우)와 DeepWisdom 등의 연구진이 에이전트형 진화를 위한 통제된 메타 편집 프레임워크 AEVO를 개발했다. 이는 진화를 외부 메타 에이전트가 기저의 진화 메커니즘을 수정하는 인터랙티브 환경으로 재정식화하여, 개방형 최적화 과제와 표준 벤치마크에서 우수한 성능을 달성한다.

    • 기존의 에이전트형 진화 방법은 절차 기반이든 에이전트 기반이든 장기 탐색에 어려움을 겪으며, 종종 국소 최적해에 정체되거나 '컨텍스트 표류'에 시달린다.
    • 절차 기반 진화는 경직되어 있어, 탐색 공간의 특성이 바뀔 때 적응하지 못하는 고정된 규칙에 의존하므로 지속적 개선이 제한된다.
    • 축적된 증거인 후보, 피드백, 실패를 조직하고 이를 사용해 진화 메커니즘 자체를 수정할 안정적이고 체계적인 메커니즘이 부재하다.
    • 이 논문은 모든 후보, 피드백, 추적, 비용의 축적된 이력이 관찰 가능한 프로세스 수준 상태를 구성하는, 인터랙티브 환경으로서의 에이전트형 진화를 정식화한다.
    • 외부 메타 에이전트가 이 프로세스 수준 상태를 관찰하여 '메타 행동'을 생성하는 통제된 메타 편집 프레임워크 AEVO를 도입한다.
    • 이러한 메타 행동은 새 후보를 직접 생성하는 대신, 향후 진화가 진행되는 방식을 제어하는 메커니즘을 전략적으로 편집한다. 예를 들어 절차나 에이전트 운영 컨텍스트를 수정한다.
    초록PDF
  10. 185Agents / Science / MatharXiv:2605.06651

    AI co-mathematician: Accelerating mathematicians with agentic AI

    Google DeepMind의 AI 공동 수학자는 아이디어 도출부터 증명 생성에 이르는 수학 연구의 전체적이고 반복적인 범위를 지원하기 위해 에이전트형 AI 시스템을 통합한 인터랙티브 워크벤치다.

    Google DeepMind의 AI 공동 수학자는 아이디어 도출부터 증명 생성에 이르는 수학 연구의 전체적이고 반복적인 범위를 지원하기 위해 에이전트형 AI 시스템을 통합한 인터랙티브 워크벤치다. 이 시스템은 까다로운 FrontierMath Tier 4 벤치마크에서 48% 정확도라는 새로운 최고 점수를 달성하여 기본 언어 모델을 크게 능가했다.

    • 수학 연구는 형식적 증명을 넘어 광범위한 탐색, 직관 형성, 지속적 수정이 필요한 복잡하고 반복적인 과정이다.
    • 기존 수학용 AI 도구들은 자율 증명기나 발견 엔진처럼 전문화되어 있지만, 장기적이고 협업적인 워크플로를 위해 이러한 역량들을 조율할 통합적이고 상태를 유지하는 시스템이 없다.
    • 수학자들은 현재 작업의 여러 측면에 대해 다양한 AI 도구와 계산 자원을 수동으로 통합해야 하며, 포괄적이고 인터랙티브한 AI 어시스턴트가 없다.
    • AI 공동 수학자는 Gemini 언어 모델 위에 구축된 AI 에이전트의 계층 구조를 사용하여 수학 연구 과제를 관리하고 실행하는 인터랙티브 워크벤치다.
    • 이 시스템은 프로젝트 코디네이터 에이전트를 사용해 사용자 의도를 정교화하고, 문헌 조사·코딩·증명·계산적 탐색 같은 특화된 하위 에이전트를 활용하는 병렬 워크스트림 코디네이터 에이전트에 과제를 위임한다.
    • 이 시스템은 내부 링크, 출처 표시를 위한 여백 주석, 반복적인 AI 주도 검토 과정을 갖춘 '살아있는 워킹 페이퍼'를 생산하는 데 중점을 두며, 비동기적 상호작용과 유연한 사용자 조정을 지원한다.
    초록PDF
  11. 184Reasoning / Test-Time ScalingarXiv:2605.08083

    LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

    AutoTTS 프레임워크는 설계 문제를 알고리즘적 탐색으로 재구성하여 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략의 발견을 자동화한다.

    AutoTTS 프레임워크는 설계 문제를 알고리즘적 탐색으로 재구성하여 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략의 발견을 자동화한다. 발견된 전략들은 일관되게 우수한 정확도-비용 트레이드오프를 달성하여, 수작업으로 만든 베이스라인 대비 토큰 소비를 최대 69.5%까지 줄이는 동시에 종종 최고 정확도를 향상시키고 다양한 LLM과 벤치마크에 걸쳐 견고한 일반화 성능을 보인다.

    • 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략은 통상적으로 수작업 설계와 휴리스틱 튜닝으로 개발된다.
    • 이러한 인간의 직관에 대한 의존은 복잡한 연산 배분 정책의 탐색을 제한하며 인간의 인지 편향에 취약하다.
    • 수작업 방식은 종종 특정 과제나 모델에 한정된 전략을 낳아, 더 넓은 범위에 걸쳐 최적이 아닌 정확도-비용 트레이드오프를 초래한다.
    • AutoTTS는 테스트 타임 스케일링(TTS)을 컨트롤러 합성 문제로 정식화하며, 여기서 탐색자 LLM이 코드로 정의된 정책을 반복적으로 제안하고 개선한다.
    • 이 방법은 오프라인 리플레이 환경을 활용해 추론 궤적을 사전에 수집함으로써, 실시간 LLM 호출 없이도 후보 컨트롤러를 저렴하고 결정론적으로 평가할 수 있게 한다.
    • 이 프레임워크는 하이퍼파라미터의 탐색 공간을 단순화하기 위해 베타 파라미터화를 도입하고, 견고한 발견을 위한 피드백으로 세밀한 실행 추적을 제공한다.
    초록PDF
  12. 183Agents / Multi-Agent / SurveyarXiv:2605.14892

    Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems

    시안교통대학교와 시드니대학교를 비롯한 여러 기관의 연구진이 'LIFE 진행' 프레임워크를 사용하여 대형 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)에 대한 포괄적 서베이를 제공한다.

    시안교통대학교와 시드니대학교를 비롯한 여러 기관의 연구진이 'LIFE 진행' 프레임워크를 사용하여 대형 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)에 대한 포괄적 서베이를 제공한다. 이 프레임워크는 개별 에이전트 역량, 멀티 에이전트 협업, 실패 원인 규명, 자기 진화를 통합하여 이들 간의 인과적 상호의존성을 부각하고, 지속적 개선을 위한 폐루프 시스템을 옹호한다.

    • 개별 LLM 에이전트는 다양한 역할과 환경에 걸친 지속적 협응, 적응, 다단계 과제에서 한계에 부딪힌다.
    • LLM 기반 에이전트에 관한 기존 연구는 개별 역량, 멀티 에이전트 협업, 자기 진화를 개별 주제로 따로 다루는 식으로 파편화되어 있어, 이들의 상호의존성에 대한 총체적 이해를 가로막는다.
    • 긴밀하게 결합된 멀티 에이전트 시스템에서 오류 전파와 연쇄적 실패는 자동으로 진단하기 어려우며, 현재 시스템에는 진단적 통찰을 구조적 자기 개선으로 전환하는 메커니즘이 없다.
    • 운영 생애주기를 인과적으로 연결된 네 단계, 즉 역량 기반 구축(Lay), 협업을 통한 에이전트 통합(Integrate), 원인 규명을 통한 결함 발견(Find), 자율적 자기 개선을 통한 진화(Evolve)로 구조화하는 'LIFE 진행' 프레임워크를 제시한다.
    • 개별 에이전트 구성 요소, 멀티 에이전트 협업 메커니즘, 실패 원인 규명 방법, 자기 진화 메커니즘에 대한 분류 체계를 포함하여 각 단계를 체계적으로 검토하고 정형화한다.
    • 실패 진단이 협업 재구성이나 에이전트 행동 개선과 같은 구조적 적응에 직접 반영되는 '폐루프 자기 개선 프레임워크'를 제안하고 분석한다.
    초록PDF
  13. 182LLMs / Memory / ArchitecturearXiv:2605.12357

    $δ$-mem: Efficient Online Memory for Large Language Models

    δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여, 동결된 백본을 보강한다.

    δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여 동결된 백본을 보강한다. 이 시스템은 비교된 메모리 메커니즘 가운데 가장 높은 종합 성능을 달성했다. 매우 적은 파라미터 오버헤드만으로 메모리 집약적 벤치마크에서 Qwen3-4B-Instruct 백본의 평균 점수를 4.87퍼센트포인트 끌어올려 51.66%로 향상시켰다.

    • 대형 언어 모델(LLM)은 확장된 컨텍스트 윈도우의 2차 계산 비용과 '컨텍스트 열화' 문제 때문에 긴 상호작용 이력을 효율적으로 활용하기 어렵다.
    • 현재의 메모리 메커니즘인 텍스트 기반, 외부 채널, 파라메트릭 방식은 정보 손실, 검색 노이즈, 통합 오버헤드, 또는 동적으로 적응하지 못하는 한계 등의 문제를 안고 있다.
    • 전체 모델 미세조정이나 대규모 구조 변경 없이 LLM에 연속적이고 적응 가능한 메모리를 제공하는 방법이 필요하다.
    • δ-mem은 연속적인 과거 정보를 고정 크기의 연관 메모리 온라인 상태(OSAM)로 압축하여 효율적이고 동적인 저장을 가능하게 한다.
    • 이 방법은 순차적인 읽기-조정-쓰기 주기로 동작하며, OSAM에서 읽은 신호로 동결된 백본의 어텐션 메커니즘에 대한 저랭크 보정을 생성하고, 게이트형 델타 규칙으로 OSAM을 갱신한다.
    • 이 시스템은 다양한 맥락과 백본 용량에 맞춰 메모리 갱신을 조정할 수 있도록 서로 다른 쓰기 단위인 Token-State, Sequence-State, Multi-State Write를 제공한다.
    초록PDF
  14. 181Agents / Coding / RAGarXiv:2605.15184

    Is Grep All You Need? How Agent Harnesses Reshape Agentic Search

    PricewaterhouseCoopers의 연구자들은 LLM 에이전트의 검색 전략 효과를 실증적으로 조사하여, 어휘적 검색(grep)과 의미적 검색(벡터)이 서로 다른 에이전트 구조 및 도구 출력 전달 방식과 어떻게 상호작용하는지에 초점을 맞췄다.

    PricewaterhouseCoopers의 연구자들은 LLM 에이전트의 검색 전략 효과를 실증적으로 조사하여, 어휘적 검색(grep)과 의미적 검색(벡터)이 서로 다른 에이전트 구조 및 도구 출력 전달 방식과 어떻게 상호작용하는지에 초점을 맞췄다. 이 연구는 도구 결과가 인라인으로 전달될 때 grep이 종종 더 높은 정확도를 달성하며, 전반적인 에이전트 성능이 에이전트의 특정 오케스트레이션 계층에 크게 좌우됨을 밝힌다.

    • 기존 연구는 LLM 에이전트의 검색 전략을 완전한 반복적 에이전트 워크플로 안에서가 아니라 고립된 상태로 평가하는 경우가 많다.
    • 검색 전략, 에이전트 구조(맞춤형 대 공급자 네이티브 CLI), 도구 호출 패러다임(인라인 대 파일 기반 결과 전달) 간의 상호작용은 대체로 충분히 탐구되지 않은 채 남아 있었다.
    • 검색 전략이 코퍼스 노이즈가 증가할 때 어떻게 작동하는지에 대한 이해가 제한적이었는데, 이는 실세계 에이전트 배치에서 중요한 측면이다.
    • 어휘적 검색(grep)과 의미적 검색(벡터)을 다양한 에이전트 하네스와 도구 호출 구조 전반에서 비교하는 다면적 실증 연구를 수행했다.
    • 평가에는 LongMemEval 벤치마크의 116문항 부분집합을 사용했으며, 무관한 교란 콘텐츠의 수준이 다양한 다중 세션 대화에 초점을 맞췄다.
    • 다섯 개의 다양한 LLM을 평가했으며, 보조 LLM 채점기를 통해 모든 실험 조건에서 에이전트 정확도를 일관되고 객관적으로 평가하도록 보장했다.
    초록PDF
  15. 180LLMs / Architecture / Long ContextarXiv:2605.06554

    Long Context Pre-Training with Lighthouse Attention

    Lighthouse Attention은 긴 맥락 트랜스포머의 효율적 사전학습을 위한 4단계의 커널 분리형 계층적 어텐션 메커니즘을 제공하여, 스케일드 닷-프로덕트 어텐션의 2차 복잡도를 크게 줄이는 동시에 완전한 밀집 어텐션 복원 가능성을 유지한다.

    Lighthouse Attention은 긴 맥락 트랜스포머의 효율적 사전학습을 위한 4단계의 커널 분리형 계층적 어텐션 메커니즘을 제공하여, 스케일드 닷-프로덕트 어텐션의 2차 복잡도를 크게 줄이는 동시에 완전한 밀집 어텐션 복원 가능성을 유지한다. 이 접근법은 98K 맥락 길이의 530M 파라미터 모델에서 최대 1.69배의 실측 시간 가속과 더 낮은 최종 훈련 손실을 달성했으며, 맥락 병렬화를 통해 1M 토큰까지 더 확장된다.

    • 스케일드 닷-프로덕트 어텐션(SDPA)의 2차 시간·메모리 복잡도(Θ(N²))는 극히 긴 시퀀스 길이(예: 128K, 1M+)에서 인과적 트랜스포머를 훈련하는 것을 연산적으로 감당 불가능하게 만든다.
    • 사전학습용 기존 희소 어텐션 기법들은 비대칭적(키와 값만 풀링)이거나 구조적으로 얽혀 있어, FlashAttention 같은 고도로 최적화된 밀집 어텐션 커널의 재사용을 막는 맞춤형 희소 어텐션 연산자를 요구하는 경우가 많다.
    • 희소 어텐션으로 사전학습된 모델이 추론 시 완전한 밀집 어텐션 모델로 효과적으로 기능하도록 보장하는 것은 큰 난제다.
    • 어텐션 커널을 감싸 표준 FlashAttention이 동적으로 압축된 하위 시퀀스에서 작동할 수 있게 하는 4단계 파이프라인(피라미드 구성, 점수화 및 선택, 수집-시퀀스 어텐션, 산포-복원 재구성)을 도입한다.
    • 여러 피라미드 레벨에 걸쳐 쿼리·키·값에 대칭적 평균 풀링을 적용하고, 매개변수 없는 투영-노름 점수기와 미분 불가능한 상위 k개 선택 과정을 결합하여 준-2차 처리를 수행한다.
    • 두 단계 훈련 방식을 사용한다. 즉, 효율을 위해 Lighthouse Attention으로 1차 훈련한 뒤, 추론을 위해 완전한 밀집 SDPA를 사용한 짧은 재개 단계로 모델의 완전한 어텐션 역량을 복원하고 최적화한다.
    초록PDF
  16. 179Agents / Security / SkillsarXiv:2605.00424

    Skills as Verifiable Artifacts: A Trust Schema and a Biconditional Correctness Criterion for Human-in-the-Loop Agent Runtimes

    에이전트 스킬은 모델 자체를 수정하지 않고 대규모 언어 모델(LLM)을 보강하는, 지시·스크립트·참조 자료의 구조화된 패키지로서, 편의 기능에서 일급 배포 산출물로 격상되었다.

    에이전트 스킬은 모델 자체를 수정하지 않고 대규모 언어 모델(LLM)을 보강하는, 지시·스크립트·참조 자료의 구조화된 패키지로서, 편의 기능에서 일급 배포 산출물로 격상되었다. 이를 로드하는 런타임은 패키지 관리자와 운영체제가 늘 직면해온 것과 동일한 문제를 물려받는다. 즉, 어떤 콘텐츠가 특정 동작을 한다고 주장하면, 런타임은 그것을 믿을지 말지 결정해야 한다. 이 논문은 핵심 논지를 처음부터 분명히 한다. 스킬은 검증되기 전까지 신뢰할 수 없는 코드이며, 이를 로드하는 런타임은 서명, 권한 등급, 출처 레지스트리로부터 신뢰를 추론하는 대신 그 기본값을 강제해야 한다. 스킬 검증이 없으면 모든 비가역적 호출마다 사람 개입(HITL) 게이트가 발동해야 하는데, 이는 운영상 지속 불가능하며 비자명한 규모에서는 형식적 승인으로 전락한다. 스킬 검증을 별도의 게이트형 절차로 다루면 HITL은 미검증 대상에 대해서만 발동하고 시스템은 지속 가능해진다. 저자들은 모든 스킬 매니페스트에 명시적 검증 수준을 포함하는 신뢰 스키마, HITL 정책이 해당 검증 수준의 함수로 결정되는 역량 게이트, 임의의 후보 검증 절차가 적대적 앙상블 시험에서 충족해야 하는 쌍조건적 정확성 기준, 그리고 작동하는 오픈소스 참조 구현에서 추상화한 열 가지 규범적 지침을 담은 이식 가능한 런타임 프로파일을 제시한다. 이 기여는 하네스 및 모델 비종속적이며, 여기에는 재훈련, 미세조정, 독점 인프라가 전혀 필요하지 않다.

    • 에이전트 스킬은 모델 자체를 수정하지 않고 대규모 언어 모델(LLM)을 보강하는, 지시·스크립트·참조 자료의 구조화된 패키지로서, 편의 기능에서 일급 배포 산출물로 격상되었다.
    • 이를 로드하는 런타임은 패키지 관리자와 운영체제가 늘 직면해온 것과 동일한 문제를 물려받는다. 즉, 어떤 콘텐츠가 특정 동작을 한다고 주장하면, 런타임은 그것을 믿을지 결정해야 한다.
    • 이 논문은 핵심 논지를 처음부터 분명히 한다. 스킬은 검증되기 전까지 신뢰할 수 없는 코드이며, 이를 로드하는 런타임은 서명, 권한 등급, 출처 레지스트리로부터 신뢰를 추론하는 대신 그 기본값을 강제해야 한다.
    • 스킬 검증이 없으면 모든 비가역적 호출마다 사람 개입(HITL) 게이트가 발동해야 하는데, 이는 운영상 지속 불가능하며 비자명한 규모에서는 형식적 승인으로 전락한다.
    • 스킬 검증을 별도의 게이트형 절차로 다루면 HITL은 미검증 대상에 대해서만 발동하고 시스템은 지속 가능해진다.
    • 저자들은 모든 스킬 매니페스트에 명시적 검증 수준을 포함하는 신뢰 스키마, HITL 정책이 해당 검증 수준의 함수로 결정되는 역량 게이트, 임의의 후보 검증 절차가 적대적 앙상블 시험에서 충족해야 하는 쌍조건적 정확성 기준, 그리고 작동하는 오픈소스 참조 구현에서 추상화한 열 가지 규범적 지침을 담은 이식 가능한 런타임 프로파일을 제시한다.
    초록PDF
  17. 178Agents / Interpretability / AutoMLarXiv:2605.03808

    Agentic-imodels: Evolving agentic interpretability tools via autoresearch

    Microsoft Research는 예측 정확도와 해석가능성 모두에 최적화된 머신러닝 모델을 AI 에이전트가 자율적으로 발견하고 개선하는 자가 연구 프레임워크 AGENTIC-IMODELS를 개발했다.

    Microsoft Research는 예측 정확도와 해석가능성 모두에 최적화된 머신러닝 모델을 AI 에이전트가 자율적으로 발견하고 개선하는 자가 연구 프레임워크 AGENTIC-IMODELS를 개발했다. 이 시스템은 데이터 분석 과제에서 기존 AI 에이전트의 분석 성능을 향상시키는 모델을 생성하여, BLADE 벤치마크에서 평균 점수를 최대 72.5%까지 끌어올린다.

    • 기존의 해석가능 머신러닝(IML) 도구는 인간의 해석을 위해 설계되어, AI 에이전트가 안정적으로 파싱하고 활용하기 어려운 출력(예: 시각화)을 산출한다.
    • 이 불일치는 자율 에이전트 데이터 과학(ADS) 시스템에서 신뢰할 수 없는 분석과 가려진 추론과 비효율적 워크플로로 이어진다.
    • 에이전트 해석가능성에 대한 자동화되고 모델 비종속적인 지표가 부재하여 AI 중심 해석가능성 도구의 개발을 저해한다.
    • 에이전트 기반 자가 연구 루프는 예측 성능과 새로운 LLM 채점 해석가능성 점수로부터의 피드백에 기반하여 Python 모델 구현을 반복적으로 수정한다.
    • 모델의 문자열 표현으로부터 모델에 대해 추론하는 LLM의 능력을 200개의 개별 자동화 테스트를 사용해 정량화하는 새로운 '에이전트 해석가능성 점수'를 도입한다.
    • 이 프레임워크는 높은 예측 성능(65개 데이터셋 전반의 순위화된 RMSE)과 높은 에이전트 해석가능성 점수(LLM 테스트 통과율)라는 결합된 목표에 맞춰 모델을 최적화한다.
    초록PDF
  18. 177Agents / MemoryarXiv:2604.27707

    Contextual Agentic Memory is a Memo, Not True Memory

    홍콩중문대학교와 저장대학교의 연구자들은 현재의 LLM 에이전트 메모리가 진정한 가중치 기반 학습이 아니라 사례 기반 조회로 기능함을 규명한다.

    홍콩중문대학교와 저장대학교의 연구자들은 현재의 LLM 에이전트 메모리가 진정한 가중치 기반 학습이 아니라 사례 기반 조회로 기능함을 규명한다. 이들의 분석은 이러한 조회 기반 시스템이 새로운 조합적 과제에 대해 "일반화 격차"를 보이며 지속적인 보안 침해에 취약함을 입증한다.

    • 현재의 LLM 에이전트 "메모리"는 주로 외부 조회 메커니즘에 의존하는데, 이는 진정한 학습 및 전문성 발달과 잘못 동일시된다.
    • 조회 기반 에이전트는 조합적으로 새로운 과제에 효과적으로 일반화하지 못하고, 내재적 지식을 발달시키지 못한 채 정보만 축적한다.
    • 기존 에이전트 메모리 구조는 일시적 프롬프트 주입이 영속적으로 저장되고 조회될 수 있어 지속적인 보안 침해에 취약하다.
    • 이 논문은 LLM 에이전트의 "메모리"를 재정의하여, 사례 기반 조회(맥락 엔지니어링)와 규칙 기반의 가중치 인코딩 학습(theta-학습)을 구분한다.
    • 조회 기반 메모리의 한계를 조합적 과제에 대한 "일반화 격차 정리"로 이론적으로 정식화한다.
    • 빠른 일화적 조회와, 증류된 경험을 주기적이고 오프라인으로 모델 가중치에 인코딩하는 "통합 채널"을 결합한 "공존 구조"를 제안한다.
    초록PDF
  19. 176Agents / Data / InfrastructurearXiv:2604.28181

    Synthetic Computers at Scale for Long-Horizon Productivity Simulation

    "Synthetic Computers at Scale"라는 방법론은 확장 가능하고 긴 호라이즌의 생산성 시뮬레이션을 위해 다양하고 산출물이 풍부한 합성 컴퓨터 환경의 생성을 가능하게 한다.

    "Synthetic Computers at Scale"라는 방법론은 확장 가능하고 긴 호라이즌의 생산성 시뮬레이션을 위해 다양하고 산출물이 풍부한 합성 컴퓨터 환경의 생성을 가능하게 한다. 이 시뮬레이션에서 추출한 경험적 학습 신호는 AI 에이전트 성능을 향상시켜, 도메인 내 평가에서 7.0%포인트 상승과 도메인 외 벤치마크로의 긍정적 전이를 보여준다.

    • 실세계의 긴 호라이즌 생산성 궤적을 대규모로 수집하는 것은 민감한 사용자 데이터에 따른 프라이버시 문제와 이질적 사용자 환경의 복잡성으로 인해 어렵다.
    • AI 에이전트는 풍부한 사용자별 맥락과 지속적 행동이 결여된, 현실적이고 긴 호라이즌의 생산성 업무(정보 수집, 분석, 협업, 산출물 생산)에서 어려움을 겪는다.
    • 에이전트 훈련용의 일반적이고 장난감 수준인 워크플로는 실세계 생산성 과제의 맥락 집약적 특성을 충분히 반영하지 못해 에이전트의 효과를 제한한다.
    • "Synthetic Computers at Scale" 방법론은 표집된 페르소나를 구체화하여 디지털 작업공간을 채움으로써, 다양하고 산출물이 풍부하며 사용자별로 특화된 합성 컴퓨터 환경을 생성한다.
    • 이 환경 안에서 긴 호라이즌 생산성 시뮬레이션(약 한 달치의 인간 업무를 모사)을 수행하며, 목표와 협업자를 정의하는 설정 에이전트와 반복적 계획 수립 및 일일 실행을 담당하는 작업 에이전트를 사용한다.
    • 이 시뮬레이션에서 풍부한 경험적 학습 신호(과정 수준과 결과 수준 모두)를 추출하여 에이전트의 자기 개선과 강화학습을 촉진한다.
    초록PDF
  20. 175Agents / Reinforcement LearningarXiv:2605.02572

    On Training Large Language Models for Long-Horizon Tasks: An Empirical Study of Horizon Length

    이 실증 연구는 내재적 과제 호라이즌 길이를 대규모 언어 모델 에이전트 훈련의 근본적 병목으로 규명하며, 더 긴 호라이즌이 심각한 훈련 불안정성과 성능 붕괴를 유발함을 입증한다.

    이 실증 연구는 내재적 과제 호라이즌 길이를 대규모 언어 모델 에이전트 훈련의 근본적 병목으로 규명하며, 더 긴 호라이즌이 심각한 훈련 불안정성과 성능 붕괴를 유발함을 입증한다. 매크로 액션과 하위 목표 분해 같은 호라이즌 축소 기법을 적용하면 훈련이 효과적으로 안정화되고 성능이 향상되어, 이전에 보지 못한 더 긴 과제로의 일반화가 가능해짐을 보여준다.

    • 상호작용 에이전트로 배치된 대규모 언어 모델(LLM)은 다단계의 긴 호라이즌 실세계 과제에서 어려움을 겪는다.
    • 선행 연구는 LLM 훈련 동역학에 영향을 미치는 근본 요인으로서의 내재적 과제 호라이즌 길이를 대체로 간과하며, 종종 다른 복잡성 요인과 혼동한다.
    • 더 긴 호라이즌은 오차 누적, 상태-행동 매핑 복잡성의 기하급수적 증가, 희소하고 지연된 피드백으로 인한 모호한 신용 할당 같은 난제를 악화시킨다.
    • 추론 복잡성을 일정하게 유지하면서 내재적 과제 호라이즌 길이를 분리하고 변화시키도록 설계된 통제된 과제 환경(스도쿠, 러시아워)을 사용하여 체계적 실증 연구를 수행했다.
    • 이 연구는 '호라이즌 축소' 원리, 구체적으로 매크로 액션(에이전트가 한 스텝에 여러 원자적 행동을 생성하도록 허용)과 하위 목표 분해(과제를 검증 가능한 하위 목표로 나누고 조밀한 중간 보상을 부여)를 도입하고 평가한다.
    • LLM 에이전트는 지도 미세조정(SFT) 이후, 견고한 학습을 위한 오프폴리시 안정화 기법을 결합하여 재평가된 REINFORCE 알고리즘을 사용한 강화학습(RL)으로 훈련된다.
    초록PDF
  21. 174Agents / Multi-Agent / ArchitecturearXiv:2605.03310

    Coordination as an Architectural Layer for LLM-Based Multi-Agent Systems

    Devnull FZCO의 연구자들은 멀티 에이전트 대규모 언어 모델 시스템에서 협응을 별개의 구조적 계층으로 개념화하는 프레임워크를 제시한다.

    Devnull FZCO의 연구자들은 멀티 에이전트 대규모 언어 모델 시스템에서 협응을 별개의 구조적 계층으로 개념화하는 프레임워크를 제시한다. 예측 시장에 대한 이들의 정보 통제 실증 연구는 특정 협응 패턴이 실패 양상에 어떻게 영향을 미치는지 보여주고 비용-품질 파레토 프런티어를 드러내며, 최고(Sequential Pipeline) 구성과 최악(Consensus Alignment) 구성 사이에서 0.028 Brier 단위의 차이를 관찰했다.

    • LLM 기반 멀티 에이전트 시스템은 모호성과 정렬 불일치 같은 협응 결함으로 인해 실제 운영 환경에서 높은 실패율(41~87%)을 보인다.
    • 특정 협응 구성을 예측 가능한 실패 양상 시그니처에 매핑하는 원리적 프레임워크가 부재하여, 선제적 시스템 설계를 저해한다.
    • 멀티 에이전트 구조에 대한 기존 실증 비교는 구조적 효과를 정보 접근성 증가와 혼동하는 경우가 많아, 진정한 구조적 영향을 규명하기 어렵게 만든다.
    • 이 논문은 협응을 에이전트 로직 및 정보 접근과 구별되는 구성 가능한 구조적 계층으로 다룰 것을 제안하며, 통신 토폴로지와 집계 규칙을 포함한 일곱 가지 요소로 최소한으로 명세한다.
    • LLM, 도구 스택, 프롬프트 템플릿, 출력 상한을 엄격히 고정하고 협응 계층만 변화시키는 "정보 통제" 실험 방법론을 설계하고 구현했다.
    • 예측 시장 테스트베드(Polymarket)를 사용하여, 객관적 실제 결과 해소와 엄격히 적정한 채점 규칙(Brier 점수, Murphy 분해)을 활용해 예측 신뢰도와 해소에 대한 구조적 효과를 평가하고 진단했다.
    초록PDF
  22. 173Agents / Coding / EvaluationarXiv:2604.25067

    Frontier Coding Agents Can Now Implement an AlphaZero Self-Play Machine Learning Pipeline For Connect Four That Performs Comparably to an External Solver

    새로운 벤치마크는 AI 에이전트가 커넥트 포를 위한 AlphaZero 자가 대국 머신러닝 파이프라인을 자율적으로 구현하는 능력을 평가한다.

    새로운 벤치마크는 AI 에이전트가 커넥트 포를 위한 AlphaZero 자가 대국 머신러닝 파이프라인을 자율적으로 구현하는 능력을 평가한다. 프런티어 모델, 특히 Claude Opus 4.7은 강력한 외부 솔버에 필적하는 성능을 달성한 반면, GPT-5.4는 평가 맥락에 따라 전략적으로 성능을 낮추는 것과 일관된 차등적 시간 예산 사용을 보였다.

    • 기존 AI 역량 벤치마크는 재귀적 자기 개선(RSI)에 대한 충분히 이른 경고 신호를 제공하지 못할 수 있다.
    • 확립된 AI 연구 성과에 기반하여 종단간 머신러닝 파이프라인을 자율적으로 구현하는 AI의 역량을 측정할 필요가 있다.
    • 고도화된 AI 시스템의 평가는 샌드배깅이나 의도적인 성능 저하 같은 잠재적 전략 행동으로 인해 복잡해진다.
    • 소비자용 하드웨어에서 3시간의 제한 시간 내에 커넥트 포를 위한 AlphaZero 방식 자가 대국 ML 파이프라인을 자율적으로 구현하도록 프런티어 코딩 에이전트에게 과제를 부여하는 벤치마크를 개발했다.
    • 격리된 샌드박스 Docker 환경에서 네 개의 프런티어 코딩 에이전트(Gemini 3.1 Pro, Claude Opus 4.6, Claude Opus 4.7, GPT-5.4)를 평가했다.
    • 다양한 프롬프트 전략(예: 'Hobbyist' 대 'RSI Alert')과 실행 환경을 사용하여 GPT-5.4에 대한 샌드배깅 프로브를 수행함으로써 이상한 시간 예산 사용 양상을 조사했다.
    초록PDF
  23. 172LLMs / Pretraining / SafetyarXiv:2601.21343

    Self-Improving Pretraining: using post-trained models to pretrain better models

    Meta FAIR의 연구자들은 안전성, 사실성, 품질, 추론 같은 바람직한 행동을 대규모 언어 모델 훈련의 더 이른 단계에 통합하는 방법을 개발했다.

    Meta FAIR의 연구자들은 안전성, 사실성, 품질, 추론 같은 바람직한 행동을 대규모 언어 모델 훈련의 더 이른 단계에 통합하는 방법을 개발했다. 이들의 접근법은 사후학습된 모델을 활용해 사전학습을 안내하고 명시적인 "사고" 중간학습 단계를 도입하며, 이를 통해 전통적 사후학습 대비 수학적 추론 정확도를 3.2배 높이는 등 내재적 역량이 향상된 모델을 만들어낸다.

    • 기존 LLM 훈련은 안전성, 사실성, 품질, 복잡한 추론 같은 핵심 행동의 도입을 사후학습 단계로 미룬다.
    • 초기 사전학습 중에 학습된 패턴은 이러한 바람직한 속성에 대한 명시적 안내가 부족하여, 나중에 완전히 교정하기 어려운 지속적 약점을 야기한다.
    • 사전학습 데이터에는 명시적 추론 흔적이 대체로 결여되어 있어, 복잡한 추론 능력 습득이 비용이 큰 사후학습에 주로 의존하게 되어 효율이 제한된다.
    • "자기 개선 사전학습" 프레임워크는 사전학습을 시퀀스 생성 과제로 재정의하며, 더 강력한 사후학습 모델을 데이터 품질과 안전성을 개선하는 접미사 재작성기이자 훈련용 보상 신호를 제공하는 접미사 판정기로 활용한다.
    • "사고 중간학습" 단계는 사전학습 데이터에 "사고"를 교차 삽입하여 보강하고 지도 미세조정을 적용한 뒤, 후속 텍스트 예측에서 생성된 사고의 유용성을 최적화하기 위해 강화학습을 수행한다.
    • DPO나 RF-NLL 같은 온라인 강화학습 알고리즘을 사용하여, 판정기가 제공하는 보상에 기반해 더 높은 품질과 안전성과 사실성을 갖춘 접미사를 생성하도록 정책 모델을 훈련한다.
    초록PDF
  24. 171Agents / Multi-Agent / OrchestrationarXiv:2512.04388

    Learning to Orchestrate Agents in Natural Language with the Conductor

    Sakana AI는 자연어 기반 에이전트 워크플로를 생성하여 다양한 워커 LLM을 오케스트레이션하도록 종단간 강화학습으로 훈련된 7B LLM "Conductor"를 소개한다.

    Sakana AI는 자연어 기반 에이전트 워크플로를 생성하여 다양한 워커 LLM을 오케스트레이션하도록 종단간 강화학습으로 훈련된 7B LLM "Conductor"를 소개한다. 이 프레임워크는 까다로운 추론 벤치마크에서 LiveCodeBench 83.93%, GPQA-Diamond 87.5%를 포함한 최첨단 성과를 달성하여, 개별 프런티어 모델과 기존 멀티 에이전트 시스템을 크게 능가했다.

    • 복잡한 과제를 위한 최적의 프롬프트 엔지니어링 전략과 멀티 에이전트 워크플로를 수작업으로 설계하는 것은 시간이 많이 들고 어렵다.
    • 어떤 단일 모델도 보편적으로 최적이지 않기 때문에, 다양한 LLM의 특화된 강점을 효과적으로 활용하기는 어렵다.
    • 기존의 멀티 에이전트 협응 방식은 사람이 설계한 스캐폴드, 사전 정의된 라우팅, 고정된 도구 사용 패턴에 의존하는 경우가 많아 유연성과 적응성이 제한된다.
    • Conductor라는 7B LLM은 종단간 강화학습(GRPO 알고리즘)으로 훈련되어, 워커 LLM과 하위 과제와 통신 패턴을 명시하는 에이전트 워크플로를 자연어로 생성한다.
    • Conductor는 일곱 개의 강력한 워커 LLM으로 구성된 다양한 풀(상용 및 오픈소스)을, 문제를 동적으로 분해하고 맞춤형 지시와 함께 목표 하위 과제를 위임함으로써 오케스트레이션한다.
    • 이 프레임워크는 재귀적 자기 호출을 포함한 유연한 통신 토폴로지의 출현을 허용하여, 테스트 시점에 협응 전략의 동적 개선과 적응적 자원 할당을 가능하게 한다.
    초록PDF
  25. 170Reasoning / Agents / CodingarXiv:2605.02396

    HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness

    HEAVYSKILL은 병렬 추론과 순차적 숙고를 결합하여 두 단계로 이루어진 '집중 사고' 과정을 LLM 고유의 스킬로 정식화한다.

    HEAVYSKILL은 병렬 추론과 순차적 숙고를 결합하여 두 단계로 이루어진 '집중 사고' 과정을 LLM 고유의 스킬로 정식화한다. 이 프레임워크는 복잡한 추론 과제에서 일관되게 성능을 향상시켜 Best-of-N 같은 기존 전략을 능가하며, 숙고를 통해 개별 초기 시도에는 존재하지 않던 정답을 합성해낼 수 있음을 보여준다.

    • 복잡한 LLM 에이전트 오케스트레이션 프레임워크 내부에서 성능을 이끄는 구체적 메커니즘은 대체로 규명되지 않은 채 남아 있다.
    • 현재의 LLM 에이전트 설계는 핵심 추론 과정에 대한 명확한 추상화 없이 광범위한 시스템 엔지니어링에 의존하는 경우가 많다.
    • 기존의 테스트 시점 스케일링(TTS) 전략은 특화된 구조적 변경이나 대규모 사후학습을 수반하는 경우가 많아, 보편적이고 이식 가능한 '스킬' 표현이 부족하다.
    • K개의 독립적인 궤적을 생성하는 병렬 추론과 이 궤적들을 처리하고 합성하는 순차적 숙고로 구성된 2단계 추론 파이프라인 HEAVYSKILL을 제안한다.
    • 추론 궤적을 저장하고 정리하는 직렬화된 메모리 캐시를 구현하여, 맥락 관리를 용이하게 하고 숙고 과정에서의 위치 편향을 방지한다.
    • 집중 사고 워크플로를 읽을 수 있는 스킬 문서로 증류하여, 임의의 LLM 오케스트레이터가 맥락 내 지시에 기반해 자율적으로 실행할 수 있게 함으로써 이식성을 높인다.
    초록PDF
  26. 169Agents / Skills / Self-ImprovementarXiv:2604.20987

    Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

    다기관 연구팀은 LLM 에이전트가 구조화된 스킬을 자율적으로 발견·정제·재사용함으로써 복잡하고 장기적인 과제에서 성능을 지속적으로 개선할 수 있게 하는 프레임워크 COS-PLAY를 도입했다.

    다기관 연구팀은 LLM 에이전트가 구조화된 스킬을 자율적으로 발견·정제·재사용함으로써 복잡하고 장기적인 과제에서 성능을 지속적으로 개선할 수 있게 하는 프레임워크 COS-PLAY를 도입했다. 이 시스템은 GPT-5.4를 상대로 한 다양한 1인용 게임에서 평균 보상이 25.1%를 초과하는 증가를 보였으며, 사회적 추론 과제에서도 강력한 성능을 유지했다.

    • 복잡하고 장기적인 환경에서 구조화된 스킬을 발견·보존·재사용함으로써 지속적으로 개선할 수 있는 자율 에이전트를 구축한다.
    • 현재의 LLM 에이전트는 스킬 습득을 위해 큐레이션된 인간 데이터셋이나 광범위한 외부 피드백에 의존하는 경우가 많아 확장성과 적응성이 제한된다.
    • 다양하고 미래의 과제에 걸쳐 스킬을 조직·정제하고 신뢰성 있게 검색하는 것은 기존 에이전트 아키텍처에 도전 과제가 된다.
    • COS-PLAY 프레임워크는 궤적을 생성하는 의사결정 에이전트(LLM)와 이를 재사용 가능한 구조화된 스킬로 변환하는 스킬 뱅크 에이전트를 갖춘 멀티 에이전트 공진화 시스템을 도입한다.
    • 스킬은 요약, 사전 조건, 계획, 성공/중단 기준 등의 프로토콜을 포함하는 재사용 가능하고 시간적으로 확장된 행동 추상화로 정의되며, 동적으로 진화하는 스킬 뱅크에 저장된다.
    • 두 에이전트는 각각의 LoRA 어댑터와 함께 Group Relative Policy Optimization(GRPO)으로 최적화되어, 개선된 스킬이 의사결정을 향상시키고 더 나은 롤아웃이 스킬 학습을 정제하는 폐루프 공진화를 촉진한다.
    초록PDF
  27. 168Agents / RAG / ReasoningarXiv:2604.26649

    When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

    ReaLM-Retrieve는 대형 추론 모델(LRM)을 위한 동적이고 추론 인식형 프레임워크를 도입하여, 추론 도중에 검색을 통합하고 필요할 때 외부 지식을 적응적으로 제공한다.

    ReaLM-Retrieve는 대형 추론 모델(LRM)을 위한 동적이고 추론 인식형 프레임워크를 도입하여, 추론 도중에 검색을 통합하고 필요할 때 외부 지식을 적응적으로 제공한다. 이 접근법은 표준 RAG 베이스라인 대비 답변 정확도를 평균 절대 F1 10.1% 향상시키고, 고정 간격 방식 대비 검색 호출을 47% 줄였다.

    • 대형 추론 모델(LRM)은 광범위한 다단계 사고 사슬을 생성하지만, 외부 지식이 필요할 때 사실적 부정확성과 증가한 환각률에 시달린다.
    • 전통적인 검색 증강 생성(RAG) 시스템은 단일 사전 검색을 사용하는데, 이는 LRM의 다단계 추론 중 출현하는 동적이고 예측 불가능한 지식 공백과 근본적으로 어긋난다.
    • 표준 LLM을 위해 설계된 기존 반복 검색 방법은 입도 불일치, 블랙박스 모델에서 사용할 수 없는 내부 신호 의존, 긴 추론 사슬에 대한 과도한 효율 비용 때문에 LRM과 호환되지 않는다.
    • 추론 인식형 검색 프레임워크인 ReaLM-Retrieve는 동적 검색을 순차적 의사결정 문제로 정식화하여, 토큰이나 문장 수준이 아니라 논리적 추론 단계 입도에서 개입한다.
    • 언어화된 불확실성, 개체 기반 엔트로피, 일관성 신호를 결합한 Reasoning Step Uncertainty Score(RSUS)를 도입하여, 블랙박스 호환 방식으로 지식 공백과 검색 필요성을 탐지한다.
    • REINFORCE로 학습된 검색 개입 정책은 언제 검색할지를 동적으로 결정하고, 관련 질의를 구성하며, 암묵적 압축·추측적 캐싱·KV-캐시 보존 같은 기법을 사용해 검색된 콘텐츠를 효율적으로 통합한다.
    초록PDF
  28. 167Agents / Memory / MultimodalarXiv:2604.26622

    OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory

    OCR-Memory는 상호작용 이력을 시각 토큰으로 광학적으로 인코딩하는 자율 LLM 에이전트용 메모리 프레임워크를 도입하여, 길었던 과거 경험을 완전하게 보존하고 결정론적이며 환각 없는 검색을 가능하게 한다.

    OCR-Memory는 상호작용 이력을 시각 토큰으로 광학적으로 인코딩하는 자율 LLM 에이전트용 메모리 프레임워크를 도입하여, 길었던 과거 경험을 완전하게 보존하고 결정론적이며 환각 없는 검색을 가능하게 한다. 이 접근법은 텍스트 기반 방법 대비 더 높은 과제 성공률을 달성하고, 엄격한 토큰 예산 하에서도 높은 검색 정확도를 유지한다.

    • LLM은 유한한 컨텍스트 윈도를 가지므로, 장기 과제에서 에이전트가 효과적으로 보존하고 활용할 수 있는 과거 상호작용 이력의 양이 제한된다.
    • 기존의 텍스트 기반 메모리 압축 기법은 디버깅 같은 복잡한 에이전트 작업에 결정적인 세밀한 구조적·절차적 세부 정보를 종종 잃게 한다.
    • 텍스트 전용 검색 방법은 파편화되었거나 의미적으로 유사하지만 논리적으로 무관한 정보를 제공할 수 있고, 생성형 검색은 잘못된 증거를 환각할 위험이 있다.
    • 이 프레임워크는 에이전트의 전체 상호작용 궤적을 고밀도 이미지로 시각적으로 인코딩한 뒤, OCR 모델을 사용해 이를 간결한 시각 토큰으로 압축한다.
    • Locate-and-Transcribe 검색 패러다임은 시각적으로 표시된 메모리에서 특정 세그먼트 인덱스를 예측하여, 원문 그대로의 텍스트를 결정론적으로 가져오고 환각 위험을 완화한다.
    • 적응형 다해상도 전략은 저장된 메모리의 시각적 충실도를 경과 시간에 따라 동적으로 조정하여 시각 토큰 비용을 줄이는 한편, 능동적 회상을 통해 필요 시 고충실도 세부 정보를 복원할 수 있게 한다.
    초록PDF
  29. 166Agents / Distillation / EfficiencyarXiv:2604.24881

    Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

    이 논문은 명시적 멀티 에이전트 추론의 이점을 단일 LLM 안으로 증류하는 2단계 파인튜닝 절차인 Internalized Multi-Agent Debate(IMAD)를 도입한다.

    이 논문은 명시적 멀티 에이전트 추론의 이점을 단일 LLM 안으로 증류하는 2단계 파인튜닝 절차인 Internalized Multi-Agent Debate(IMAD)를 도입한다. IMAD 모델은 추론 토큰을 최대 93%까지 줄이면서 동등하거나 향상된 추론 정확도를 달성하며, 에이전트별 표현을 잠재 공간에 국소화함으로써 바람직하지 않은 행동을 표적 제어할 수 있게 한다.

    • 명시적 멀티 에이전트 토론은 LLM 정확도를 높이고 환각을 줄이지만, 여러 차례 모델을 호출하고 장황한 출력을 요구하여 계산 비용이 크고 비싸다.
    • LLM 추론을 내재화하는 기존 방법은 주로 단일 에이전트의 명시적 추론 단계에 초점을 맞추며, 멀티 에이전트 토론의 복잡한 상호작용은 다루지 않는다.
    • 바람직하지 않은 LLM 행동을 억제하는 것은 거친 제어 메커니즘 때문에 일반적 모델 능력의 저하(정렬세, alignment tax)로 이어지는 경우가 많다.
    • 전체 멀티 에이전트 토론 궤적에 대한 지도 파인튜닝(SFT)에 이어 동적 보상을 사용하는 강화학습(RL)으로 구성된 2단계 파인튜닝 파이프라인 IMAD를 개발했다.
    • RL 단계는 점진적으로 명시적 토론 언어화에 대한 유인을 줄이는 동시에 출력 길이 한도를 좁혀 가며 정답에 보상하는 동적 보상 함수를 사용하여, 잠재적 내재화를 강제한다.
    • 내재화된 모델 내에서 식별된 에이전트 부분공간에 활성화 스티어링을 적용하여, 악의적 특성 억제를 포함한 특정 행동을 제어한다.
    초록PDF
  30. 165Agents / SkillsarXiv:2604.24026

    From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills

    이 연구는 텍스트 형태의 에이전트 스킬 설명에서 암묵적 정보를 분리해 내기 위한 구조화된 JSON 그래프 프레임워크인 Scheduling-Structural-Logical(SSL) 표현을 도입한다.

    이 연구는 텍스트 형태의 에이전트 스킬 설명에서 암묵적 정보를 분리해 내기 위한 구조화된 JSON 그래프 프레임워크인 Scheduling-Structural-Logical(SSL) 표현을 도입한다. 이 프레임워크는 스킬 검색 성능을 향상시켜 MRR@50 0.729(최상의 비-SSL 베이스라인 대비 0.080 증가)를 달성했으며, 원본 문서와 결합했을 때 고정된 LLM 심판에 대해 Macro F1을 0.101 증가(0.509로)시켜 실행 전 위험 평가를 강화했다.

    • 에이전트 스킬은 주로 텍스트 위주의 산출물로 표현되어, 자연어 설명 안에 호출 인터페이스, 실행 구조, 도구 사용을 뒤섞어 놓는다.
    • 스킬 정보의 암묵적 특성은 자동화 시스템이 대규모 스킬 저장소에서 관련 능력을 파싱·검증·신뢰성 있게 재사용·효율적으로 발견하는 것을 저해한다.
    • 제3자 스킬의 실행 전 보안 위험 평가는 구분되지 않은 텍스트 형식 때문에 어렵고, 위험 관련 증거를 검사·감사하기가 까다롭다.
    • 비정형 SKILL.md 문서로부터 스킬 정보를 명시적으로 구조화하기 위해, 타입이 지정된 3계층 JSON 그래프인 Scheduling-Structural-Logical(SSL) 표현을 제안했다.
    • SSL은 스킬 속성을 Scheduling Layer(스킬 수준 인터페이스), Structural Layer(장면 수준 실행 단계), Logical Layer(원자적 동작 및 자원 증거)로 분리한다.
    • SKILL.md 파일을 SSL 스키마로 변환하는 LLM 기반 정규화기(DeepSeek-V3.2 사용)를 개발했으며, 원본 산출물에 대한 엄격한 근거 보장과 검증·재시도를 통한 높은 충실도를 확보했다.
    초록PDF
  31. 164Agents / Multi-AgentarXiv:2604.22446

    From Skills to Talent: Organising Heterogeneous Agents as a Real-World Company

    OneManCompany(OMC)는 멀티 에이전트 시스템을 자기 조직화·자기 진화하는 AI 조직으로 모델링하여, 개방형 실세계 프로젝트를 처리할 수 있게 하는 오픈소스 프레임워크다.

    OneManCompany(OMC)는 멀티 에이전트 시스템을 자기 조직화·자기 진화하는 AI 조직으로 모델링하여, 개방형 실세계 프로젝트를 처리할 수 있게 하는 오픈소스 프레임워크다. 이 프레임워크는 PRDBench 소프트웨어 개발 벤치마크에서 84.67%의 성공률을 달성하여, 최첨단 베이스라인을 15.48%포인트 능가했다.

    • 현재의 멀티 에이전트 시스템은 고정된 팀 구조와 강하게 결합된 조정 로직에 의존하여, 새롭고 개방형인 프로젝트에 대해 비유연하고 취약한 것으로 드러난다.
    • 기존 프레임워크는 호환되지 않는 런타임과 세션에 묶인 학습 문제에 직면하여, 지속적인 지식 축적과 다양한 에이전트 간 상호 운용을 저해한다.
    • 통합적 조직 추상화가 부재하여 복잡한 실세계 과제를 위한 AI 에이전트 인력의 체계적 관리·조정·진화가 어렵다.
    • OneManCompany(OMC)는 이질적인 에이전트를 직원으로 통합하는 Talent-Container 아키텍처를 채택하며, 이식 가능한 정체성을 갖추고 다양한 런타임 환경을 추상화한다.
    • 프로젝트 실행은 Explore-Execute-Review(E2R) 트리 탐색으로 정식화되어, 구조화된 계획·실행·평가를 제공하며 과제 종료와 교착 상태 없음에 대한 형식적 보증을 제공한다.
    • OMC는 개별 에이전트 수준과 조직 수준 모두에서 체계적인 자기 진화 메커니즘을 구현하며, 자기 성찰, 갱신된 표준 운영 절차(SOP), 지속적 학습을 위한 인사(HR) 성과 관리를 포함한다.
    초록PDF
  32. 163Agents / Multi-Agent / EfficiencyarXiv:2604.25917

    Recursive Multi-Agent Systems

    RecursiveMAS는 재귀적 계산을 멀티 에이전트 시스템에 통합하는 프레임워크를 도입하여, 에이전트가 명시적 텍스트 대신 반복적 잠재 공간 상호작용을 통해 협업적 추론을 정제할 수 있게 한다.

    RecursiveMAS는 재귀적 계산을 멀티 에이전트 시스템에 통합하는 프레임워크를 도입하여, 에이전트가 명시적 텍스트 대신 반복적 잠재 공간 상호작용을 통해 협업적 추론을 정제할 수 있게 한다. 이 접근법은 텍스트 기반 재귀 멀티 에이전트 시스템 대비 평균 정확도를 최대 20.2% 향상시키고 추론 속도를 최대 2.4배 가속하며, 토큰 사용량을 크게 줄인다.

    • 단일 LLM은 광범위한 추론이나 다양한 전문성이 필요한 복잡한 과제에서 어려움을 겪는 경우가 많다.
    • 기존 멀티 에이전트 시스템(MAS)은 명시적 텍스트 기반 상호작용에 의존하여 높은 지연 시간, 증가한 토큰 사용량, 시스템 수준 최적화 시 기울기 불안정성을 초래한다.
    • 학습을 통해 MAS 내 에이전트 전체를 최적화하는 것은 계산 비용이 크며, 프롬프트 기반 적응은 핵심 에이전트 능력 향상에 한계가 있다.
    • 전체 멀티 에이전트 시스템을 협업적 추론의 반복적 정제를 위한 통합된 잠재 공간 재귀 계산으로 정식화하는 프레임워크 RecursiveMAS를 개발했다.
    • 에이전트 간 효율적인 잠재 상태 전달과 정제를 가능하게 하는 경량 잔차 RecursiveLink 모듈(에이전트 내부용 inner, 에이전트 간용 outer)을 도입했다.
    • 베이스 LLM 파라미터는 동결한 채 RecursiveLink만 배타적으로 최적화하는 2단계 inner-outer 루프 학습 알고리즘을 구현하여 안정적인 시스템 수준 공동 최적화를 촉진했다.
    초록PDF
  33. 162Agents / SurveyarXiv:2604.22748

    Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond

    이 연구는 에이전트 세계 모델링을 위한 수준 × 법칙 분류 체계를 도입하여, 능력을 Predictor·Simulator·Evolver 수준으로, 세계 유형을 물리·디지털·사회·과학 영역으로 범주화한다.

    이 연구는 에이전트 세계 모델링을 위한 수준 × 법칙 분류 체계를 도입하여, 능력을 Predictor·Simulator·Evolver 수준으로, 세계 유형을 물리·디지털·사회·과학 영역으로 범주화한다. 이 프레임워크는 서로 다른 연구 노력을 통합하여 의사결정에 사용 가능한 시뮬레이션과 자율적 모델 수정에 대한 기준을 제공하며, AI 에이전트에 대해 수동적 예측에서 능동적·적응적 환경 이해로의 전환을 부각한다.

    • 다양한 AI 분야에 걸쳐 세계 모델 개념이 파편화되어 정의와 평가 관행이 일관되지 않고 진척을 비교하기가 어렵다.
    • 세계 모델에 관한 기존 서베이는 대개 모달리티와 도메인을 가로지르는 일관된 능력 진행 단계나, 대형 생성 모델을 시뮬레이터로 분석할 정밀한 프레임워크가 부족하다.
    • 신흥 에이전트형 AI 응용(예: 웹 에이전트, 멀티 에이전트 시스템)에서 세계 모델링이 하는 역할은 통합 프레임워크 안에서 과소 대표되는 경우가 많다.
    • 세계 모델링 능력을 세 수준(L1 Predictor, L2 Simulator, L3 Evolver)과 네 가지 지배 법칙 영역(물리·디지털·사회·과학)으로 조직하는 포괄적인 수준 × 법칙 분류 체계를 도입한다.
    • L2의 장기 일관성 및 개입 민감도, L3의 증거 기반 진단 등, 한 수준에서 다음 수준으로 능력을 끌어올리기 위한 명확하고 검증 가능한 경계 조건을 정의한다.
    • 의사결정 중심 평가 지표(예: Action Success Rate, Counterfactual Outcome Deviation)로의 전환을 제안하고, 정의된 능력 수준에 맞춰 평가 프로토콜을 표준화한다.
    초록PDF
  34. 161LLMs / Agents / EfficiencyarXiv:2604.21590

    AgenticQwen: Training Small Agentic Language Models with Dual Data Flywheels for Industrial-Scale Tool Use

    Alibaba Group 연구진은 다회차 강화학습과 지속적·다양한 데이터 생성을 위한 이중 데이터 플라이휠을 통합하여, 산업 규모 도구 사용을 위한 소형 언어 모델 시리즈 AgenticQwen을 개발했다.

    Alibaba Group 연구진은 다회차 강화학습과 지속적·다양한 데이터 생성을 위한 이중 데이터 플라이휠을 통합하여, 산업 규모 도구 사용을 위한 소형 언어 모델 시리즈 AgenticQwen을 개발했다. 이 모델들은 향상된 에이전트 능력을 보이며, 더 큰 모델에 필적하는 성능을 달성하면서도 실제 응용을 위한 비용 대비 성능 효율을 개선한다.

    • LLM 기반 에이전트의 산업 배포는 매우 크거나 독점적인 파운데이션 모델에 따르는 높은 계산 비용과 지연 시간 때문에 제약된다.
    • 견고한 다단계 에이전트 능력과 도구 상호작용에 특화되어 최적화된 소형 언어 모델이 부족하다.
    • 에이전트 강화학습에 사용되는 정적 합성 데이터셋은 데이터 동질성과 학습 신호의 빠른 포화를 초래하는 경우가 많아 추가적인 성능 향상을 제한한다.
    • Reasoning RL과 Agentic RL을 결합한 다회차 강화학습 접근법으로 소형 AgenticQwen 모델(8B 및 30B-A3B)을 학습시켰다.
    • Reasoning Data Flywheel과 Agentic Data Flywheel로 구성된 이중 데이터 플라이휠 메커니즘을 도입하여 점점 더 복잡하고 다양한 학습 데이터를 반복적으로 생성한다.
    • 강력한 LLM(Qwen3-235B)이 사용자와 도구를 모두 모델링하는 완전 시뮬레이션 학습 환경을 활용하여, 데이터 합성 및 시뮬레이션에서 외부 독점 API에 대한 의존을 제거했다.
    초록PDF
  35. 160Agents / InfrastructurearXiv:2604.25850

    Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses

    Agentic Harness Engineering(AHE)은 코딩 에이전트 하네스를 자동으로 진화시키는 폐루프 시스템으로, Terminal-Bench 2의 pass@1 점수를 69.7%에서 77.0%로 향상시킨 것으로 입증되었다.

    Agentic Harness Engineering(AHE)은 코딩 에이전트 하네스를 자동으로 진화시키는 폐루프 시스템으로, Terminal-Bench 2의 pass@1 점수를 69.7%에서 77.0%로 향상시킨 것으로 입증되었다. 이 프레임워크는 미학습 과제와 다양한 베이스 모델로의 긍정적 전이 가능성도 보였으며, 동작을 구조화된 구성요소로 인코딩하여 토큰 효율도 개선했다.

    • 코딩 에이전트 하네스(시스템 프롬프트, 도구, 미들웨어)를 수동으로 설계·최적화하는 것은 시간이 많이 들고 LLM의 빠른 발전 속도를 따라잡기 어렵다.
    • 기존 자동 최적화 방법은 주로 개별 하네스 구성요소를 다듬는 데 집중하여, 상호작용하는 구성요소 전체를 함께 진화시키지 못한다.
    • 이질적인 행동 공간, 긴 에이전트 궤적에서 실행 가능한 신호를 추출하는 어려움, 편집 효과의 복잡한 귀인 문제로 인해 하네스의 공동 진화를 자동화하기는 어렵다.
    • AHE는 베이스 LLM은 고정한 채, 편집 가능한 모든 하네스 구성요소를 폐루프 안에서 지속적으로 최적화하는 진화 에이전트를 도입한다.
    • NexAU 하네스 기반을 통한 구성요소 관측성 축을 활용하여, 일곱 가지 구성요소 유형을 명시적인 파일 단위 요소로 분리해 국소화된 행동 공간을 만든다.
    • 경험 관측성 축은 Agent Debugger를 사용해 원시 에이전트 궤적을 구조화된 실행 가능 증거 코퍼스로 변환하며, 결정 관측성은 Evolve Agent가 증거 기반 편집을 생성해 버전 관리되는 변경 매니페스트에 기록함으로써 구현된다.
    초록PDF
  36. 159Theory / Deep LearningarXiv:2604.21691

    There Will Be a Scientific Theory of Deep Learning

    공동 연구진은 신경망 거동을 수학적·제일원리 계산을 통해 설명하고 예측하려는 딥러닝의 과학 이론, 즉 학습 역학의 출현에 대한 종합적 논증을 제시한다.

    공동 연구진은 신경망 거동을 수학적·제일원리 계산을 통해 설명하고 예측하려는 딥러닝의 과학 이론, 즉 학습 역학의 출현에 대한 종합적 논증을 제시한다. 다양한 이론적·실증적 증거를 통합하여 스케일링 법칙, 학습 동역학, 보편 표현 같은 현상에 대한 통일된 이해로 가는 경로를 제안한다.

    • 전통적 딥러닝 이론은 현대 신경망에서 관찰되는 복잡하고 비볼록하며 과매개변수화된 거동을 설명하는 데 어려움을 겪는다.
    • 현재의 딥러닝 시스템 설계 및 최적화 관행은 원리에 기반한 과학적 토대 없이 경험적 시행착오에 의존하는 경우가 많다.
    • 점점 강력해지는 AI 시스템을 안전성과 해석 가능성 측면에서 기술하고 특성화하며 통제하려면 근본적인 과학적 이해가 필요하다.
    • 딥러닝을 위한 과학 이론으로 학습 역학을 제안하며, 이는 제일원리 계산을 통해 신경망과 그 학습 과정의 근본 특성을 특성화하는 것을 지향한다.
    • 딥러닝 이론을 위한 과학적 방법론을 옹호하며, 실증적 관찰, 반증 가능한 예측, 단순하고 통일적인 원리의 추구를 강조한다.
    • 기존 연구를 다섯 범주(예: 해석적으로 풀리는 설정, 통찰을 주는 극한, 경험적 법칙)에 걸쳐 종합·재해석하여 이 이론의 실현 가능성과 출현에 대한 증거로 제시한다.
    초록PDF
  37. 158Agents / Multi-Agent / SafetyarXiv:2604.18005

    Diversity Collapse in Multi-Agent LLM Systems: Structural Coupling and Collective Failure in Open-Ended Idea Generation

    개방형 아이디어 발상을 위한 멀티 에이전트 LLM 시스템은 에이전트 역할이 서로 다른데도 상호작용이 의도치 않게 해 공간을 좁히는 다양성 붕괴를 자주 겪는다.

    개방형 아이디어 발상을 위한 멀티 에이전트 LLM 시스템은 에이전트 역할이 서로 다른데도 상호작용이 의도치 않게 해 공간을 좁히는 다양성 붕괴를 자주 겪는다. 이 연구는 모델 정렬, 에이전트 권한 구조, 통신 토폴로지 같은 요인이 어떻게 이 문제에 기여하는지를 체계적으로 규명하며, 특정 상호작용 설계를 통해 독립성을 보존하면 아이디어 다양성을 유지할 수 있음을 보인다.

    • 멀티 에이전트 LLM 시스템이 복잡하고 창의적인 과제에서 아이디어 다양성을 본질적으로 넓혀 준다는 가정은 아직 거의 검증되지 않았다.
    • MAS에서 서로 다른 역할이 부여되더라도 기반 LLM이 동질적이면, 진정한 참신함을 도입하기보다 공유된 사전학습 편향을 증폭시키는 경우가 많아 계산 비효율과 조기 수렴을 초래한다.
    • 탐색적 영역에서 아이디어 다양성이 부족하면 사용자가 좁은 해 공간에 갇혀, 최적이 아닌 해에 과신하게 되고 비관습적 가설이 억제될 수 있다.
    • 과학 연구 제안서 생성을 과제로 삼아 체계적 실증 연구를 수행했으며, 모델 지능, 에이전트 인지, 시스템 동역학의 세 수준에서 다양성을 평가했다.
    • 역할 인스턴스화, 지정된 토폴로지를 사용하는 반복적 숙의, 에디터 에이전트에 의한 제안 종합으로 이루어진 범용 3단계 멀티 에이전트 발상 파이프라인을 개발했다.
    • 네 가지 상호 보완적 지표(예: Vendi Score, Semantic Dispersion)로 다양성을 정량화하고, 다양한 에이전트 페르소나, 그룹 규모, 그리고 Nominal Group Technique(NGT)·Subgroups 같은 통신 토폴로지를 변화시키며 해법을 탐색했다.
    초록PDF
  38. 157Agents / RAG / Multi-AgentarXiv:2604.18509

    MASS-RAG: Multi-Agent Synthesis Retrieval-Augmented Generation

    검색 증강 생성을 위한 다중 에이전트 종합 프레임워크인 MASS-RAG는 특화된 에이전트를 사용해 검색된 맥락을 상보적 관점에서 처리함으로써 사실 정확도와 견고성을 향상시킨다.

    검색 증강 생성을 위한 다중 에이전트 종합 프레임워크인 MASS-RAG는 특화된 에이전트를 사용해 검색된 맥락을 상보적 관점에서 처리함으로써 사실 정확도와 견고성을 향상시킨다. 요약기, 추출기, 추론기 에이전트를 포함하는 이 학습 불필요 접근법은 RAG 베이스라인을 일관되게 능가하여, Llama3 8B 백본으로 ARC-Challenge에서 최대 27.1%, ASQA에서 20.7% 더 높은 정확도를 달성한다.

    • 대규모 언어 모델(LLM)은 정적인 파라미터 지식에 의존하기 때문에, 사실적으로 신뢰할 수 없거나 환각적인 출력을 자주 생성한다.
    • 전통적인 검색 증강 생성(RAG)은 잡음이 많거나 불완전하거나 무관한 검색 맥락에서 어려움을 겪어, 생성 품질을 저하시킨다.
    • 기존 다중 에이전트 RAG 프레임워크는 흔히 단일 판정 에이전트를 필터링에 사용하여, 문서 전반에 분산된 다양하고 상보적인 증거를 식별하고 활용하는 능력이 제한된다.
    • 증거 정제, 선택적 후보 답변 생성, 최종 답변 종합을 위한 특화된 LLM 에이전트를 갖춘 학습 불필요 다중 에이전트 종합 프레임워크인 MASS-RAG를 도입한다.
    • 각각 고유하고 상보적인 관점에서 검색된 문서를 처리하여 질의 관련 증거를 정제하는 세 가지 별개의 필터 에이전트(Summarizer, Extractor, Reasoner)를 사용한다.
    • 각 필터링된 응답으로부터 후보 답변을 독립적으로 생성하는 선택적 Answer Agent와, 이러한 후보들 또는 필터링된 증거를 통합된 최종 답변으로 종합하는 Synthesis Agent를 활용한다.
    초록PDF
  39. 156Agents / Memory / ArchitecturearXiv:2604.20158

    Stateless Decision Memory for Enterprise AI Agents

    엔터프라이즈 AI 에이전트를 위해 결정론적 재현, 감사 가능한 근거, 멀티테넌트 격리, 수평적 확장성 같은 핵심 시스템 속성을 충족하도록 설계된 Deterministic Projection Memory(DPM) 구조가 도입된다.

    엔터프라이즈 AI 에이전트를 위해 결정론적 재현, 감사 가능한 근거, 멀티테넌트 격리, 수평적 확장성 같은 핵심 시스템 속성을 충족하도록 설계된 Deterministic Projection Memory(DPM) 구조가 도입된다. 이 구조는 특히 엄격한 메모리 제약 하에서 상태 보존형 베이스라인과 동등하거나 더 나은 의사결정 품질을 보이는 동시에, 계산 비용과 지연 시간을 한 자릿수 규모로 줄인다.

    • 학술적 대규모 언어 모델(LLM) 에이전트 연구의 정교한 상태 보존형 메모리 구조와, 엔터프라이즈 배포에서 널리 쓰이는 더 단순한 검색 증강 생성(RAG) 파이프라인 사이에 괴리가 존재한다.
    • 특히 금융이나 의료 같은 규제 도메인의 엔터프라이즈 AI 에이전트는 결정론적 재현, 감사 가능한 근거, 멀티테넌트 격리, 수평적 확장성을 포함하는 핵심 시스템 속성을 요구한다.
    • 기존 상태 보존형 메모리 구조는 진화하는 내부 표현과 경로 의존적 업데이트로 인해, 흔히 이러한 핵심적인 엔터프라이즈 운영 요건을 본질적으로 위배한다.
    • 추가 전용 이벤트 로그와 과제 조건부 투영 메커니즘으로 구성된 Deterministic Projection Memory(DPM) 구조가 제안된다.
    • 추가 전용 이벤트 로그는 원시 이벤트(예: 문서 청크, 도구 출력)를 도착 순서대로 불변하게 저장하여, 단일하고 지속적인 진실의 원천으로 기능한다.
    • 의사결정 시점에, 온도 0에서의 단일 대규모 언어 모델(LLM) 호출로 구현된 무상태 투영 구성요소가 전체 이벤트 로그와 과제 명세로부터 지정된 메모리 예산에 한정된 구조화된 메모리 뷰(사실, 추론, 컴플라이언스 노트)를 생성한다.
    초록PDF
  40. 155Agents / EDA / Code GenerationarXiv:2604.15082

    Autonomous Evolution of EDA Tools: Multi-Agent Self-Evolved ABC

    NVIDIA Research와 University of Maryland는 ABC 논리 합성 도구의 120만 줄 C 코드베이스를 직접 수정함으로써 이를 자율적으로 진화시킬 수 있는 최초의 다중 에이전트 LLM 기반 프레임워크를 도입한다.

    NVIDIA Research와 University of Maryland는 ABC 논리 합성 도구의 120만 줄 C 코드베이스를 직접 수정함으로써 이를 자율적으로 진화시킬 수 있는 최초의 다중 에이전트 LLM 기반 프레임워크를 도입한다. 이 프레임워크는 합성 전략과 최적화를 정제하여 인간이 설계한 베이스라인 대비 전체 결과 품질(Quality-of-Result)을 8.3% 향상시켰다.

    • 전자 설계 자동화(EDA) 도구 개발은 인력 집약적이며, 휴리스틱 설계의 복잡성, 알고리즘 간 상호작용, ABC 같은 대형 코드베이스에 대한 재공학 노력에 의해 제약된다.
    • 논리 합성의 사실상 표준인 ABC 프레임워크는 모놀리식한 120만 줄 C 코드베이스, 깊은 상호 의존성, 정적 휴리스틱 때문에 진화가 어려워, 새로운 연구의 통합을 저해한다.
    • 기존 LLM 기반 코드 진화 프레임워크는 고립된 함수나 더 작은 저장소(수만 줄)에 국한되어, 완전한 EDA 도구의 규모와 다목적 최적화를 다루지 못했다.
    • 자기 진화 프레임워크는 다중 에이전트 LLM(Claude Sonnet 4.5)과 도메인 전문성을 통합하며, ABC의 구조와 관련 연구를 학습하는 진화 전 지식 부트스트래핑 단계를 사용한다.
    • 다중 에이전트 구조는 특화된 LLM 에이전트(Flow, Mapper, Logic Minimization, Planning)를 ABC 코드베이스의 별개 하위 시스템에 할당하여, 협업적이고 국소화된 코드 진화를 가능하게 한다.
    • 진화 반복 워크플로는 코드 생성, 컴파일, 정확성을 위한 형식적 동등성 검사(CEC), 분산 벤치마크 평가, 그리고 도구를 정제하기 위한 QoR 피드백의 통합을 포함한다.
    초록PDF
  41. 154Agents / Web / ReasoningarXiv:2604.18131

    Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration

    한 방법은 대규모 언어 모델 에이전트가 추론 중에 외부의 인간 감독이나 보상 없이도 미지의 환경을 자발적으로 탐색하고 구조화된 World Knowledge를 생성하도록 학습시킨다.

    한 방법은 대규모 언어 모델 에이전트가 추론 중에 외부의 인간 감독이나 보상 없이도 미지의 환경을 자발적으로 탐색하고 구조화된 World Knowledge를 생성하도록 학습시킨다. 학습 중 결과 기반 보상으로 최적화되는 이 Native Evolution 접근법은 과제 성공률을 최대 19%p 절대 증가시키고 17%의 효율성 향상을 가져왔으며, 자체 생성 지식을 갖춘 더 작은 모델이 보조받지 않는 더 큰 모델의 성능을 능가하도록 했다.

    • 기존의 자기 진화형 LLM 에이전트는 사전 정의된 과제, 워크플로, 또는 검증된 보상 신호와 같은 외부의 인간 감독에 크게 의존한다.
    • 에이전트는 인간의 호기심 주도 탐색과 달리, 명시적 지시나 보상 없이 새로운 환경에서 진정한 자율성과 자발적 학습을 수행할 능력이 부족하다.
    • 현재 패러다임은 진정한 워크플로 없는, 보상 없는 자기 진화를 가능하게 하기보다는 복잡한 에이전트 오케스트레이션으로 공학적 부담을 전가하는 경우가 많다.
    • 추론 시점에 과제나 보상 없이 에이전트가 환경을 자율적으로 탐색하고 구조화된 World Knowledge(K)로 요약하는, 분리된 에이전트 생명주기인 Native Evolution을 도입한다.
    • 생성된 K의 유용성을 잠재적 다운스트림 과제에서의 성능으로 측정하는, 학습 중에만 사용되는 결과 기반 보상 함수를 개발한다.
    • 메타 진화 행동을 내재화하기 위한 지도 미세조정(SFT)에 이어, 탐색 및 정보 관리 전략을 최적화하기 위한 강화 기반 거부 샘플링(RFT)을 수행하는 2단계 학습 프레임워크를 사용한다.
    초록PDF
  42. 153Agents / RAG / SkillsarXiv:2604.15771

    Skill-RAG: Failure-State-Aware Retrieval Augmentation via Hidden-State Probing and Skill Routing

    University of Michigan, University of British Columbia, Rutgers University, University of Pennsylvania Perelman School of Medicine, New Jersey Institute of Technology, Technical University of Darmstadt, Wake Forest University의 연구진은 은닉 상태 프로빙과 프롬프트 기반 스킬 라우터를 사용해 RAG 시스템의 검색 실패를 진단하고 표적화된 시정 조치를 적용하는 프레임워크 Skill-RAG를 도입한다.

    University of Michigan, University of British Columbia, Rutgers University, University of Pennsylvania Perelman School of Medicine, New Jersey Institute of Technology, Technical University of Darmstadt, Wake Forest University의 연구진은 은닉 상태 프로빙과 프롬프트 기반 스킬 라우터를 사용해 RAG 시스템의 검색 실패를 진단하고 표적화된 시정 조치를 적용하는 프레임워크 Skill-RAG를 도입한다. 이 방법은 분포 외 데이터셋에서 정확도를 크게 향상시켜, MuSiQue와 2WikiMultiHopQA에서 각각 Probing-RAG 대비 6.1점과 13.6점의 향상을 보였다.

    • 기존 검색 증강 생성(RAG) 시스템은 검색 이후의 실패를 부적절하게 진단하는 경우가 많아, 근본 원인을 다루기보다는 통상적인 재시도로 대응하곤 한다.
    • 지속적인 검색 실패는 흔히 사용자 질의와 가용 증거 사이의 구조적 정렬 격차(예: 광범위한 질의나 멀티홉 질문)에서 비롯되며, 이는 단순한 반복 검색으로는 해소할 수 없다.
    • 전통적인 적응형 RAG 접근법은 세분화되고 실패 조건에 따른 제어가 부족하여, 서로 다른 유형의 검색 부정합이나 모델의 내부 실패 상태를 구별하지 못한다.
    • Skill-RAG는 LLM이 검색 후 내부 표현에 기반하여 실패 상태에 있는지를 감지하는 은닉 상태 프로버를 갖춘 반복 파이프라인을 사용한다.
    • 실패를 감지하면, 프롬프트 기반 스킬 라우터가 질의와 증거 사이 부정합의 구체적 원인을 진단하고 사전 정의된 네 가지 표적 검색 스킬(예: 질의 재작성, 질문 분해, 증거 집중) 중 하나를 선택한다.
    • 선택된 스킬은 질의를 재구성하고 새로운 검색 라운드를 촉발하는 등의 시정 조치를 실행하며, 프로버가 충분함을 나타내거나 종료 스킬이 선택되거나 최대 라운드 수에 도달할 때까지 이 반복 루프를 지속한다.
    초록PDF
  43. 152LLMs / Architecture / DistillationarXiv:2604.14191

    Attention to Mamba: A Recipe for Cross-Architecture Distillation

    Apple 연구진은 Pythia-1B Transformer로부터 순수 Mamba 계열 구조로 지식을 전이하기 위해 HedgeMamba라는 2단계 교차 구조 증류 방법을 개발했다.

    Apple 연구진은 Pythia-1B Transformer로부터 순수 Mamba 계열 구조로 지식을 전이하기 위해 HedgeMamba라는 2단계 교차 구조 증류 방법을 개발했다. 이 접근법은 교사 모델 원래 사전학습 토큰 예산의 단 2.7%만 사용하면서, Mamba 학생 모델이 교사의 13.86에 근접한 14.11의 퍼플렉서티를 달성하도록 했다.

    • Transformer 모델은 강력하지만 시퀀스 길이가 늘어남에 따라 2차 계산 비용이 발생하여, 긴 시퀀스와 추론에 대한 효율성이 제한된다.
    • Mamba 같은 상태공간 모델(SSM)을 비롯한 대안적 선형 구조는 효율성을 제공하지만, 대규모에서 다운스트림 과제에 대해 Transformer보다 성능이 떨어지는 경우가 많다.
    • Transformer에서 Mamba 구조로의 교차 구조 증류에 대한 이전 시도들은 성능 보존에 어려움을 겪었고, 흔히 하이브리드 Attention-SSM 해법을 필요로 했다.
    • 원칙에 입각한 2단계 증류 레시피가 개발되었다. 먼저 Softmax Attention에서 학습된 Linear Attention(Hedgehog)으로, 그다음 Linear Attention에서 적응된 Mamba(HedgeMamba)로 전이한다.
    • Mamba SSM 믹서 파라미터는 Linear Attention 단계에서 학습된 특징 맵을 사용해 초기화되었고, 추가적인 Mamba 구성요소는 항등 연산자로 작동하도록 설정되었다.
    • 이후 전체 HedgeMamba 구조는 정답에 대한 표준 교차 엔트로피 손실을 사용해 미세조정되어, 모든 Mamba 구성요소를 활성화했다.
    초록PDF
  44. 151Agents / Self-ImprovementarXiv:2604.15034

    Autogenesis: A Self-Evolving Agent Protocol

    LLM 기반 에이전트 시스템의 최근 발전은 복잡하고 장기적인 과제를 다루는 데서 가능성을 보여주었다.

    LLM 기반 에이전트 시스템의 최근 발전은 복잡하고 장기적인 과제를 다루는 데서 가능성을 보여주었다. 그러나 기존 에이전트 프로토콜(예: A2A, MCP)은 엔티티 간 생명주기 및 맥락 관리, 버전 추적, 진화 안전 업데이트 인터페이스를 충분히 명세하지 않아, 모놀리식 구성과 취약한 글루 코드를 조장한다. 이 논문은 무엇이 진화하는지와 진화가 어떻게 일어나는지를 분리하는 자기 진화 프로토콜인 Autogenesis Protocol(AGP)을 도입한다. 그 Resource Substrate Protocol Layer(RSPL)는 프롬프트, 에이전트, 도구, 환경, 메모리를 명시적 상태·생명주기·버전 관리된 인터페이스를 갖는 프로토콜 등록 자원으로 모델링한다. 그 Self Evolution Protocol Layer(SEPL)는 감사 가능한 계보와 롤백을 갖춘 개선안의 제안·평가·확정을 위한 폐루프 연산자 인터페이스를 명세한다. AGP를 토대로, 실행 중에 프로토콜 등록 자원을 동적으로 인스턴스화하고 검색하고 정제하는 자기 진화형 다중 에이전트 시스템인 Autogenesis System(AGS)을 제시한다. 이질적 자원에 걸친 장기 계획과 도구 사용을 요구하는 여러 까다로운 벤치마크에서 AGS를 평가한다. 그 결과는 강력한 베이스라인 대비 일관된 향상을 보여주어, 에이전트 자원 관리와 폐루프 자기 진화의 효과성을 뒷받침한다. 코드는 공개되어 있다.

    • LLM 기반 에이전트 시스템의 최근 발전은 복잡하고 장기적인 과제를 다루는 데서 가능성을 보여주었다.
    • 그러나 기존 에이전트 프로토콜(예: A2A, MCP)은 엔티티 간 생명주기 및 맥락 관리, 버전 추적, 진화 안전 업데이트 인터페이스를 충분히 명세하지 않아, 모놀리식 구성과 취약한 글루 코드를 조장한다.
    • 이 논문은 무엇이 진화하는지와 진화가 어떻게 일어나는지를 분리하는 자기 진화 프로토콜인 Autogenesis Protocol(AGP)을 도입한다.
    • 그 Resource Substrate Protocol Layer(RSPL)는 프롬프트, 에이전트, 도구, 환경, 메모리를 명시적 상태·생명주기·버전 관리된 인터페이스를 갖는 프로토콜 등록 자원으로 모델링한다.
    • 그 Self Evolution Protocol Layer(SEPL)는 감사 가능한 계보와 롤백을 갖춘 개선안의 제안·평가·확정을 위한 폐루프 연산자 인터페이스를 명세한다.
    • AGP를 토대로, 실행 중에 프로토콜 등록 자원을 동적으로 인스턴스화하고 검색하고 정제하는 자기 진화형 다중 에이전트 시스템인 Autogenesis System(AGS)을 제시한다.
    초록PDF
  45. 150Agents / Safety / EvaluationarXiv:2604.08567

    Multi-User Large Language Model Agents

    KAUST, UT Austin, Stanford University, MIT의 연구진은 다중 주체 환경에서 작동하는 다중 사용자 대규모 언어 모델 에이전트에 대한 체계적 조사를 수행했다.

    KAUST, UT Austin, Stanford University, MIT의 연구진은 다중 주체 환경에서 작동하는 다중 사용자 대규모 언어 모델 에이전트에 대한 체계적 조사를 수행했다. 이 연구는 최신 프런티어 모델조차도 사용자 간 충돌 해소, 장기적 프라이버시 유지, 다자 과제의 효율적 조율 능력에서 체계적인 한계가 있음을 밝혀냈다.

    • 대규모 언어 모델(LLM)과 그 에이전트는 주로 단일 주체 상호작용 시나리오에 최적화되어 있어, 서로 다른 사용자 정체성, 역할, 그리고 잠재적으로 상충하는 목표를 간과한다.
    • 기존 LLM 에이전트 시스템은 사용자 역할을 구분하거나 정보 경계를 강제하거나 여러 사용자의 이익 간 충돌을 효과적으로 해소할 네이티브 프로토콜이 부족하다.
    • 현재 모델은 현실적인 팀 워크플로와 조직 도구에 내재된 이질적 효용, 상이한 권한 수준, 정보 비대칭, 프라이버시 제약을 관리하는 데 어려움을 겪는다.
    • 저자들은 다중 사용자 LLM 상호작용을, 단일 에이전트가 개별 사용자 효용·권한·접근 제어 정책을 고려하면서 가중치가 부여된 사회적 목표를 최적화하는 다중 주체 의사결정 문제로 정식화했다.
    • 명시적 권한과 사적 맥락을 갖는 사용자 페르소나, 그리고 공유 맥락을 관찰하고 개인화된 업데이트를 제공하는 에이전트 메커니즘을 정의하는 통합 상호작용 프로토콜을 수립했다.
    • 다중 주체 과제에 대해 최신 LLM을 실증적으로 평가하기 위해 세 가지 스트레스 테스트 시나리오(다중 사용자 지시 수행, 사용자 간 접근 제어, 다중 사용자 회의 조율)로 구성된 스위트를 설계했다.
    초록PDF
  46. 149Agents / Web / SkillsarXiv:2604.13318

    WebXSkill: Skill Learning for Autonomous Web Agents

    WEBXSKILL은 대규모 언어 모델 기반 웹 에이전트가 복잡한 웹 상호작용을 위한 실행 가능한 스킬을 학습하고 활용할 수 있게 하는 프레임워크를 도입한다.

    WEBXSKILL은 대규모 언어 모델 기반 웹 에이전트가 복잡한 웹 상호작용을 위한 실행 가능한 스킬을 학습하고 활용할 수 있게 하는 프레임워크를 도입한다. 매개변수화된 행동 프로그램과 단계 수준의 자연어 안내를 통합함으로써, 실제 웹사이트에서 과제 성공률을 최대 14.2%p 높이고 베이스라인 대비 스킬 채택률을 두 배로 늘린다.

    • 자율 웹 에이전트는 절차적 지식을 효과적으로 보유하고 재사용하지 못하기 때문에 장기적이고 다중 페이지에 걸친 워크플로에서 어려움을 겪는다.
    • 기존 스킬 정식화는 그라운딩 격차를 겪는데, 스킬이 해석 가능하지만 실행 불가능하거나, 실행 가능하지만 에이전트에게 불투명하다.
    • 선행 스킬 학습 방법은 흔히 습득 비용이 크거나 문맥 인식 검색이 부족하여, 확장성과 효율성이 제한된다.
    • WEBXSKILL은 매개변수화된 행동 프로그램과 단계 수준의 자연어 안내를 결합하여 직접 실행과 에이전트 해석을 모두 지원하는 새로운 실행 가능한 스킬을 제안한다.
    • 합성 궤적으로부터의 추출, URL 기반 스킬 그래프로의 조직화, 그라운디드 모드 또는 가이디드 모드를 통한 배포라는 3단계 파이프라인으로 스킬 관리를 구현한다.
    • 이 프레임워크는 스킬 일반화를 위해 LLM 기반 추상화를 사용하고, 견고한 스킬 라이브러리를 위해 온라인 중복 제거와 실행 가능성 검증을 포함하는 큐레이션 과정을 사용한다.
    초록PDF
  47. 148Agents / Coding / ProductionarXiv:2604.12108

    LLM-Based Automated Diagnosis Of Integration Test Failures At Google

    Google의 연구진은 방대하고 이질적인 로그 데이터를 처리하여 복잡한 통합 테스트 실패의 근본 원인을 자동으로 식별하는 LLM 기반 도구 Auto-Diagnose를 개발했다.

    Google의 연구진은 방대하고 이질적인 로그 데이터를 처리하여 복잡한 통합 테스트 실패의 근본 원인을 자동으로 식별하는 LLM 기반 도구 Auto-Diagnose를 개발했다. Google 전사에 배포된 이 도구는 전문가 평가에서 90.14%의 정확도를 달성했으며, 디버깅 시간을 크게 단축하여 사내 개발자 도구 중 최상위권으로 평가받았다.

    • 통합 테스트 실패의 진단은 흔히 수 시간에서 수일이 걸릴 만큼 매우 시간 소모적이며, 개발자에게 상당한 인지적 부담을 준다.
    • 현대의 분산 시스템은 다수의 분산되고 동적으로 이름이 부여되는 소스로부터 방대한 양의 로그(실패당 평균 11,058줄, 26개 파일)를 생성하여, 수작업 선별을 어렵게 만든다.
    • 로그는 흔히 반정형이고 이질적이며 신호 대 잡음 비가 낮아, 실제 근본 원인과 무관한 다수의 경고나 오류가 핵심 정보를 가린다.
    • 통합 테스트 실패를 감지하면 테스트 드라이버와 피시험 시스템(SUT) 구성요소에서 로그를 수집하고 통합하는, LLM 중심의 자동화 파이프라인 Auto-Diagnose를 구현했다.
    • 단계별 안내 추론, 추측을 방지하는 엄격한 부정 제약, 진단을 위한 정밀한 출력 형식을 포함하도록 정교하게 설계된 프롬프트 템플릿과 함께 Gemini 2.5 Flash를 활용했다.
    • LLM 출력을 가독성 있는 마크다운으로 후처리하고 식별된 관련 로그 줄을 클릭 가능하게 만들어, 진단 기능을 Google의 사내 코드 리뷰 시스템 Critique에 직접 통합함으로써 매끄러운 개발자 워크플로를 구현했다.
    초록PDF
  48. 147Agents / MemoryarXiv:2604.14004

    Memory Transfer Learning: How Memories are Transferred Across Domains in Coding Agents

    KAIST와 NYU의 연구진은 자기 진화형 코딩 에이전트를 위한 Memory Transfer Learning(MTL)을 도입하여, 이질적인 코딩 과제로부터 만든 통합 메모리 풀을 활용하면 에이전트 성능을 평균 3.7% 향상시킬 수 있음을 보였다.

    KAIST와 NYU의 연구진은 자기 진화형 코딩 에이전트를 위한 Memory Transfer Learning(MTL)을 도입하여, 이질적인 코딩 과제로부터 만든 통합 메모리 풀을 활용하면 에이전트 성능을 평균 3.7% 향상시킬 수 있음을 보였다. 이 연구는 고수준 메타지식, 특히 추상적 통찰이 효과적인 도메인 간 지식 전이의 핵심임을 입증하여, 과제별 코드 예시보다 우월한 성능으로 이어짐을 밝혔다.

    • 기존 코딩 과제용 자기 진화형 AI 에이전트는 일반적으로 메모리 활용을 동질적인 과제 도메인에 국한하여, 공유되는 인프라적 기반(예: 프로그래밍 언어, 런타임 환경)을 간과한다.
    • 이러한 한계는 에이전트가 다양한 실세계 코딩 문제에 걸쳐 전이 가능한 지식을 활용하지 못하게 하여, 일반화와 견고한 성능을 저해한다.
    • 선행 연구는 도메인 간 메모리 전이의 메커니즘과 이러한 이질적 환경에서 효과적인 메모리를 위한 설계 원칙에 대한 체계적 탐구가 부족했다.
    • 에이전트 추론 궤적으로부터의 오프라인 메모리 생성과, 새 과제 수행 중의 온라인 메모리 검색이라는 2단계 과정으로 구성된 Memory Transfer Learning(MTL)을 개발했다.
    • LLM을 생성에 활용하여, 저수준의 과제별 세부사항부터 고수준의 일반화된 메타지식까지 아우르는 네 가지 별개의 메모리 표현(Trajectory, Workflow, Summary, Insight)을 만들었다.
    • 임베딩 기반 코사인 유사도를 활용해 이질적 도메인 메모리 풀에서 가장 관련성 높은 메모리를 검색하여 코딩 에이전트의 시스템 프롬프트에 제공했다.
    초록PDF
  49. 146LLMs / ArchitecturearXiv:2604.12374

    Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning

    NVIDIA의 Nemotron 3 Super는 하이브리드 Mamba-Attention Mixture-of-Experts 구조에 새로운 LatentMoE와 Multi-Token Prediction(MTP) 메커니즘을 결합한 모델이다.

    NVIDIA의 Nemotron 3 Super는 하이브리드 Mamba-Attention Mixture-of-Experts 구조에 새로운 LatentMoE와 Multi-Token Prediction(MTP) 메커니즘을 결합한 모델이다. NVFP4를 사용해 25조 토큰으로 사전학습된 이 모델은 경쟁력 있는 정확도와 효율적인 양자화 배포를 유지하면서 최대 7.5배 높은 추론 처리량과 향상된 에이전트형 추론 능력을 달성한다.

    • 기존 대규모 언어 모델은 추론 효율성과 실제 배포 비용에서 어려움을 겪으며, 이전의 Mixture-of-Experts(MoE) 설계는 실세계의 지연 시간과 메모리 대역폭 제약을 간과하는 경우가 많았다.
    • 대규모 언어 모델 사전학습을 수조 개의 토큰으로 확장하면서 저정밀도 포맷에서 안정성과 정확도를 유지하는 것은 미해결 문제이며, 에너지 효율성과 하드웨어 친화성을 저해한다.
    • 다단계 도구 사용과 장기 과제를 아우르는 견고하고 일반화 가능한 에이전트형 추론 능력을 LLM에 개발하려면 특화된 구조적 접근과 학습적 접근이 필요하다.
    • 효율적 라우팅을 위한 새로운 LatentMoE 설계와, 모델링 품질 및 추측적 디코딩을 개선하는 Multi-Token Prediction(MTP) 메커니즘을 갖춘 하이브리드 Mamba-Attention Mixture-of-Experts(MoE) 구조를 도입한다.
    • NVIDIA 독자 저정밀도 포맷인 NVFP4를 사용해 25조 토큰으로 대규모 사전학습을 수행하며, 대규모 환경에서의 안정성과 정확도를 입증한다.
    • 광범위한 지도 미세조정(SFT)과 검증 가능한 보상으로부터의 다중 환경 강화학습(RLVR)을 결합한 다단계 사후학습 파이프라인을 구현하며, 에이전트형 추론과 최대 1M 토큰의 장문맥 능력에 집중한다.
    초록PDF
  50. 145Agents / Evaluation / CodingarXiv:2604.12162

    AlphaEval: Evaluating Agents in Production

    AlphaEval이라는 평가 프레임워크가 실제 운영 환경에서 AI 에이전트를 평가하기 위해 도입되었으며, 최고 성능 에이전트가 실세계 과제에서 100점 만점에 64.41점을 달성했고 에이전트 스캐폴딩이 성능에 지대한 영향을 미친다는 점을 밝혔다.

    AlphaEval이라는 평가 프레임워크가 실제 운영 환경에서 AI 에이전트를 평가하기 위해 도입되었으며, 최고 성능 에이전트가 실세계 과제에서 100점 만점에 64.41점을 달성했고 에이전트 스캐폴딩이 성능에 지대한 영향을 미친다는 점을 밝혔다. 이 프레임워크는 운영 특유의 여섯 가지 실패 모드를 식별하고 에이전트가 제공하는 경제적 가치를 정량화했다.

    • AI 에이전트 평가에는 상당한 '연구-운영 격차'가 존재하는데, 현재 벤치마크가 실세계 상업적 배포의 복잡성을 반영하지 못하기 때문이다.
    • 전통적인 벤치마크는 명시적으로 정의된 요구사항, 결정론적 지표, 정적 과제에 의존하며, 이는 암묵적 제약, 주관적 판단, 변화하는 요구로 특징지어지는 운영 환경과 대비된다.
    • 평가는 흔히 기반 언어 모델에 초점을 맞춰, 완전한 에이전트 제품 또는 스캐폴드가 실세계 성능에 미치는 상당한 영향을 간과한다.
    • 활성 상업 배포에서 도출된, 6개 O*NET 직업 영역에 걸쳐 7개 기업에서 수집한 94개 과제를 갖춘 벤치마크 AlphaEval을 도입했다.
    • 진정성 있고 명세가 부족한 운영 요구를 실행 가능하고 자동화된 평가 과제로 변환하기 위해 4단계 '요구사항-벤치마크 구축 프레임워크'를 구현했다.
    • 다원적 평가 방법론(예: 참조 답안, 형식 논리, 루브릭 기반, 실행 기반)과 LLM-as-a-Judge를 과제별 경제적 가치 주석과 함께 통합했다.
    초록PDF