HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,430자료 갱신일 Research Monitoring벤치마크RSS 구독
  1. 231Computer VisionarXiv:2605.26115

    TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction

    TriSplat은 방향성 삼각형 primitive를 사용해 단일 forward pass로 시뮬레이션 가능한 mesh를 직접 출력하는 feed-forward 3D 장면 복원 네트워크다. 별도의 후처리 mesh 추출 없이 물리 엔진에 바로 활용할 수 있다.

    TriSplat은 희소 뷰 이미지에서 oriented triangle primitive를 예측하여 시뮬레이션 준비가 완료된 mesh를 한 번의 forward pass로 생성하는 feed-forward 복원 네트워크다. 예측된 point map에서 기하학적 법선을 구성하고 이미지 조건부 normal head로 정제하며, mono-normal bootstrapping과 opacity/blur scheduling으로 학습을 안정화한다. RealEstate10K와 DL3DV에서 Gaussian 기반 baseline 대비 더 정확한 기하학 복원을 달성하면서도 경쟁적인 렌더링 품질을 보였다. 출력이 곧 mesh이므로 TSDF fusion 등 후처리가 필요 없어 물리 시뮬레이션과 게임 엔진에 즉시 활용 가능하다.

    • Gaussian 대신 oriented triangle을 primitive로 사용하여 렌더링 결과물이 곧 mesh가 되는 구조 제안
    • 예측된 point map에서 법선을 유도하고 image-conditioned U-Net으로 정제하여 삼각형 방향을 기하학에 고정
    • Mono-normal bootstrapping + validity-aware masking으로 초기 학습 안정화, opacity/blur scheduling로 점진적 표면 선명화
    • RealEstate10K·DL3DV에서 Gaussian feed-forward baseline 대비 우수한 geometry fidelity 및 경쟁적 NVS 품질 달성
    • Zero-shot ScanNet 평가로 cross-dataset 일반화 능력 확인
    • TSDF fusion 등 후처리 없이 physics engine·collision detector·표준 렌더링 파이프라인에 직접 활용 가능
    초록PDF
  2. 230Machine LearningarXiv:2605.23872

    Training-Free Looped Transformers

    텍사스 대학교 오스틴의 연구진은 고정된 트랜스포머 체크포인트에 순환 구조를 덧붙여 추론 시점에 대규모 언어 모델의 성능을 향상시키는 학습 불필요 방법을 제안했다.

    이 논문은 이미 학습된 트랜스포머의 연속된 중간 레이어 블록을 추론할 때 반복 실행하는 학습 불필요 래퍼를 제안한다. 사전 정규화 잔차 블록을 상미분방정식의 오일러 단계로 보고, 한 번의 큰 갱신을 감쇠된 작은 단계들로 나눠 같은 끝점을 더 잘 근사한다. 단순히 블록을 반복하면 성능이 흔히 나빠졌기 때문에 반복 위치, 감쇠 방식, 혼합 전문가 모델의 레이어별 실행과 캐시 복원이 중요했다. 일곱 개 모델 계열에서 Qwen3-4B-Instruct의 MMLU-Pro를 2.64%포인트 높이는 등 지식 중심 선택형 과제에서 개선을 보고했다. 고정된 설정에서 평가 조합의 87%가 개선되거나 중립이었지만, 일부 3B 미만 증류 모델에서는 손실이 집중되어 모든 모델과 과제에 이득이 보장되지는 않는다.

    • 일관된 성능 향상: 이 방법은 지식 집약적 벤치마크에서 일관된 개선을 제공했다. 예를 들어 Qwen3-4B-Instruct는 MMLU-Pro에서 2.64 퍼센트포인트가 상승했다.
    • 반복 횟수 K에 대한 안정성: 반복을 추가할수록 붕괴하는 단순 루핑과 달리, 감쇠 RK 방식은 K가 증가해도 안정적으로 유지되거나 계속 개선된다(그림 3 참조).
    • 연산 오버헤드: 추가 비용은 추가로 통과하는 레이어 수에 비례한다. 다만 작은 윈도(예: 4개 레이어)만 루핑하므로, 32레이어 모델에서 전체 디코드 루프를 돌릴 때의 총 실시간 오버헤드는 흔히 약 20% 수준에 그친다. 저자들은 또한 초기 프롬프트 처리 단계에서만 루핑하는 'bypass' 모드를 도입했는데, 이는 토큰 생성 중 오버헤드가 거의 0에 가깝다.
    초록PDF
  3. 229Computer VisionarXiv:2605.23903

    Geo-Align: Video Generation Alignment via Metric Geometry Reward

    USTC와 상하이 AI Lab의 연구진은 미터 기하 보상을 사용하여 목표 카메라 궤적을 정밀하게 따르는 새로운 시점의 영상을 합성하는, 카메라 제어 영상 생성용 강화학습 프레임워크인 Geo-Align을 개발했다.

    Geo-Align은 목표 카메라 경로를 따르는 새로운 시점의 영상을 만들기 위해 비디오 생성 모델을 강화학습으로 정렬하는 방법이다. 생성 영상에서 미터 단위 카메라 자세를 추정하는 3차원 평가기를 사용해 목표 경로와의 회전 및 이동 오차를 직접 보상에 반영한다. 실제 조건 영상과 합성 데이터에서 얻은 크기 정보가 있는 카메라 궤적을 조합해, 동기화된 실제 다중 시점 영상 쌍 없이도 학습할 수 있게 했다. DAVIS 기반 500개 시험 사례에서 기존 지도학습 기준보다 카메라 제어 정확도와 영상 충실도 및 일관성을 꾸준히 높였다. 다만 매우 빠른 회전과 큰 이동, 카메라 가까이의 큰 물체나 동적 물체가 많은 입력에서 실패와 깜박임이 생길 수 있고, 배치마다 여러 전체 영상을 생성하는 강화학습 비용도 크다.

    • 미터 모호성: 표준 학습 손실은 픽셀이나 추상적 특징을 비교한다. 이들은 미터나 도 같은 물리적 단위를 이해하지 못한다. 모델에게 카메라를 2미터 앞으로 이동하라고 지시하더라도, 손실 함수는 결과 픽셀이 참조와 달라 보일 때만 모델에 페널티를 부과한다. 이는 종종 스케일 드리프트로 이어지는데, 생성된 영상의 카메라가 일관되지 않은 속도로 움직이거나 장면의 깊이를 고려할 때 물리적으로 불가능한 경로를 따르게 된다.
    • 미터 인식: 3D 평가자를 사용함으로써 모델은 카메라 움직임을 물리적 단위로 이해하도록 학습하여, 영상 합성에서 오랫동안 문제였던 스케일 드리프트를 해결한다.
    • 확장 가능한 학습: 이 RL 프레임워크는 구하기 어려운 동기화된 다시점 영상의 필요성을 없애, 모델이 다양한 실세계 분포로부터 학습할 수 있게 한다.
    초록PDF
  4. 228Machine LearningarXiv:2605.23901

    LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws

    ByteDance Seed, 버지니아대학교, 캘리포니아대학교 버클리의 연구진은 대형 언어 모델(LLM) 학습을 노이즈가 있는 채널을 통한 정보 전송으로 모델링하여 단조적 및 비단조적 스케일링 거동을 모두 설명하는 이론적 프레임워크인 섀넌 스케일링 법칙(Shannon Scaling Law)을 제안했다.

    Shannon Scaling Law는 모델을 크게 하거나 학습 데이터를 늘려도 성능이 나빠질 수 있는 비단조 현상을 설명하려는 스케일링 법칙이다. 모델 매개변수를 통신 채널의 대역폭으로, 학습 토큰을 신호 세기로 대응시켜 대규모 언어 모델 학습을 잡음이 있는 정보 전달 과정으로 표현한다. 이 관점에서는 신호 대 잡음비를 충분히 유지하지 못한 확장이 잡음을 키워 손실 곡선을 U자형으로 바꿀 수 있다. Pythia와 OLMo2에 가우시안 잡음, 양자화, 여러 과제의 지도 미세조정을 적용한 실험에서 기존 단조 스케일링 법칙보다 손실 구간을 더 잘 맞췄다. 6.9B 이하 모델과 1,800억 토큰 이하 자료로 적합한 법칙이 보지 못한 12B 모델의 3,070억 토큰 지점까지 pooled R² 0.847로 예측해, 무조건적인 규모 확대보다 정보 밀도와 신호 대 잡음비 관리가 중요함을 시사한다.

    • 제거 불가능한 노이즈(e): Chinchilla류 법칙의 상수항에 해당하며, 스케일링과 무관하게 제거할 수 없는 근본적 구조적 한계 또는 시스템 엔트로피를 나타낸다.
    • 전략적 스케일링: U자형 곡선의 존재는 주어진 노이즈 수준에서 N과 D를 스케일링하는 최적의 스위트 스폿이 있음을 시사한다. 무차별적 스케일링이 항상 답은 아니며, 개발자는 자신의 학습 설정의 신호 대 잡음비를 고려해야 한다.
    • 노이즈 인식: 지수 분석 결과 데이터 노이즈가 종종 학습 신호보다 빠르게 증가하는 것으로(δ가 β보다 큼) 드러났다. 이는 데이터 큐레이션과 노이즈 완화의 결정적 중요성을 부각한다. 학습 데이터에 노이즈가 많다면 단순히 더 많이 추가하는 것은 결국 역효과를 낳는다.
    초록PDF
  5. 227ResearcharXiv:2605.23463

    StepAudio 2.5 Technical Report

    StepFun-Audio 팀은 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 실시간 음성 상호작용 전반에서 특화 시스템의 성능에 필적하거나 이를 능가하는 통합 오디오-언어 기반 모델 StepAudio 2.5를 선보인다.

    StepAudio 2.5는 음성 인식, 음성 합성, 실시간 음성 대화를 하나의 오디오-언어 기반 모델에서 처리하는 통합 시스템이다. 텍스트와 오디오의 공통 표현을 학습한 공유 백본에 과제별 데이터, 목적 함수, 디코딩 제약과 RLHF를 적용해 세 가지 운용 모드를 만든다. 음성 인식에는 검증 가능한 다중 토큰 디코딩을, 음성 합성에는 선호 기반 RLHF를, 실시간 대화에는 생성형 보상 모델을 사용한다. 평가에서 중국어 평균 글자 오류율 2.97%와 영어 평균 단어 오류율 3.68%를 기록했고, 32K 문맥으로 긴 음성에서도 강한 인식 성능을 보였다. 보고서는 특화 모델과 경쟁하는 결과를 제시하며, 하나의 백본도 서로 다른 최적화와 배포 방식을 통해 이해와 생성 및 실시간 상호작용을 모두 수행할 수 있음을 보여준다.

    • ASR 정확도: 모델은 중국어 벤치마크에서 평균 글자 오류율(CER) 2.97%를, 영어 벤치마크에서 단어 오류율(WER) 3.68%를 달성했다. 32K 컨텍스트 윈도우 덕분에 장형 오디오에서의 성능이 특히 강력하다.
    • 디코딩 효율: MTP-5 메커니즘 덕분에 모델은 실시간 계수(RTF) 0.0053을 달성하여 여러 특화 ASR 시스템보다 빠르다. MTP 토큰의 수용률은 약 0.9의 일관된 감쇠 계수를 보여, 다섯 개의 선행 분기를 선택한 것이 타당함을 입증했다.
    • TTS 선호도: 아레나 방식 평가에서 StepAudio 2.5 TTS는 ElevenLabs와 Gemini Flash TTS 같은 기존 경쟁자들을 상대로 전체 승률 67.6%를 달성했다.
    초록PDF
  6. 226Computer VisionarXiv:2605.23888

    GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction

    뮌헨공과대학교와 화웨이 테크놀로지스의 연구진은 객체 수준 생성 모델을 적응시켜 희소한 다시점 이미지로부터 3D 장면 전체의 고충실도, 완전, 재조명 가능한 PBR 메시를 재구성하는 방법인 GenRecon을 개발했다.

    GenRecon은 여러 시점의 RGB 이미지에서 편집과 재조명이 가능한 고품질 3차원 장면 메시를 복원하는 방법이다. 큰 장면을 서로 겹치는 공간 청크로 나누고, 각 청크를 강한 객체 생성 사전인 Trellis.2로 조건부 생성한 뒤 전역 장면으로 합친다. 카메라 자세가 있는 이미지 특징을 순서와 무관한 3차원 조건 표현으로 투영해 생성 결과를 실제 장면 위치에 고정한다. 합성 및 실제 실내 장면 평가에서 최신 복원 방법보다 16% 높은 결과를 보고했으며 PBR 재질을 포함한 완전한 메시를 만든다. 다만 유리와 거울 같은 비램버시안 표면에 약하고 약 5미터 높이의 실내 장면을 전제로 하며, 관측 증거가 약한 영역에서는 생성 사전이 내용을 만들어낼 수 있다.

    • 이러한 청크별 예측은 겹치는 영역의 값을 평균하여 전역 격자로 다시 병합된다.
    • 확장성: 청크 기반 생성은 이전에는 단일 객체에만 제한되었던 생성 모델을 크고 여러 방으로 이루어진 장면에 적용할 수 있게 한다.
    • 기하 제어: 공간에 기반한 조건화는 생성 모델의 환각이 카메라 자세와 입력 이미지로 정의된 물리적 실재에 고정되도록 보장한다.
    초록PDF
  7. 225AI / GeneralarXiv:2605.23904

    SkillOpt: Executive Strategy for Self-Evolving Agent Skills

    마이크로소프트 연구진은 대형 언어 모델을 위한 자연어 에이전트 스킬을 체계적으로 진화시키는 텍스트 공간 최적화 방법인 SkillOpt를 제안한다.

    SkillOpt는 동결된 에이전트의 자연어 스킬 문서를 학습 가능한 외부 상태로 보고 반복적으로 최적화하는 방법이다. 별도의 최적화 모델이 점수가 매겨진 실행 궤적을 분석해 추가, 삭제, 교체 편집을 제안하고, 편집 폭을 제한한 뒤 보류 검증 점수가 실제로 좋아질 때만 반영한다. 거부된 편집 기록과 느린 메타 갱신을 사용해 안정성을 높이며, 배포할 때는 최종 스킬만 사용하므로 추가 모델 호출이 없다. 여섯 벤치마크와 일곱 대상 모델 및 세 실행 환경의 52개 평가 조합에서 모두 최고 또는 공동 최고를 기록했고, 만든 스킬은 모델 크기와 실행 환경 및 가까운 수학 벤치마크 사이에서도 전이됐다. 다만 신뢰할 수 있는 자동 점수와 보류 검증 자료가 필요하고 최적화 단계의 추가 롤아웃 비용이 들기 때문에, 주관적이거나 일회성인 작업에는 적용 이점이 작을 수 있다.

    • 교차 모델 전이: 대형 모델(예: GPT-4o)에 최적화된 스킬을 더 작은 모델(예: GPT-4o-mini)에 성공적으로 적용할 수 있다. 작은 모델은 종종 성능 향상의 상당 부분을 포착하는데, 이는 스킬이 작은 모델의 가중치에 결여된 일반적 절차 지식을 제공함을 시사한다.
    • 교차 하네스 전이: 한 실행 환경(예: 기본 채팅 인터페이스)에서 학습된 스킬은 더 복잡한 에이전트 하네스(예: 코드 실행 샌드박스)로 옮겨졌을 때도 종종 유효하게 유지된다. 이는 학습된 규칙이 단지 학습 환경의 특정 형식적 특성을 이용하는 것이 아니라 과제 수준의 논리를 포착하고 있음을 나타낸다.
    • 교차 벤치마크 전이: 한 데이터셋(예: OlympiadBench)에서 학습한 절차가 관련은 있으나 별개인 데이터셋(예: Omni-MATH)에서도 성능을 향상시키는 것으로 나타났으며, 이는 SkillOpt가 단순히 특정 학습 예제 집합에 과적합되는 것이 아님을 추가로 입증한다.
    초록PDF
  8. 224LLMs / NLParXiv:2605.22675

    Self-Policy Distillation via Capability-Selective Subspace Projection

    자기 정책 증류(SPD) 프레임워크는 중간 표현을 추출하여 능력별 부분공간에 투영하는 새로운 방법을 활용함으로써, 외부 신호 없이 자기 증류를 통해 대형 언어 모델이 스스로 향상되도록 한다.

    Self-Policy Distillation은 외부 교사나 보상 및 실행 검증 없이 모델이 자신의 생성 결과로 특정 능력을 개선하는 자기 증류 방법이다. 정답을 결정하는 토큰의 기울기에서 저랭크 능력 부분공간을 추출하고, 자기 생성 중 키-값 활성화를 그 공간에 투영해 필요한 신호를 강조한다. 투영 훅으로 만든 원시 응답을 수집한 뒤 훅을 제거하고 원래 모델을 표준 다음 토큰 예측 손실로 미세조정한다. 코드 생성, 수학 추론, 객관식 질의응답 실험에서 기존 외부 신호 없는 자기 증류보다 최대 13%, 사전학습 기준보다 최대 16% 개선했으며 분포 밖 설정에서도 15% 높은 성능을 보고했다. 다만 세 능력 영역과 몇 가지 백본에서만 검증됐으므로 더 다양하고 안전이 중요한 과제에서의 효과는 아직 확인이 필요하다.

    • 독립성: 외부 교사나 보상 모델이 필요하지 않다.
    • 일반화 가능성: 이질적인 도메인 전반에서 작동하며 과제 간에 전이된다.
    • 선택성: 표면적 패턴이 아니라 그 기저의 능력 신호를 표적으로 삼는다.
    초록PDF
  9. 223Computer VisionarXiv:2605.23902

    PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion

    PiD는 잠재 디코딩을 조건부 픽셀 확산 과정으로 재정식화하여, 잠재-픽셀 매핑과 공간적 업샘플링을 단일 생성 모듈로 통합한다.

    PiD는 잠재 표현을 픽셀로 복원하는 과정을 조건부 픽셀 확산으로 바꿔 디코딩과 고해상도 업샘플링을 하나로 합친 모델이다. 잡음 수준을 아는 가벼운 어댑터가 잠재 정보를 픽셀 확산 백본에 주입해, 완전히 잡음 제거되지 않은 잠재에서도 이미지를 만들 수 있다. DMD2 증류로 추론을 네 단계로 줄였고 VAE 잠재뿐 아니라 SigLIP과 DINOv2 같은 의미 잠재에도 적용된다. RTX 5090에서 512×512 잠재를 2048×2048 픽셀로 1초 안에 디코딩했으며, 계단식 확산 초해상도 방식보다 약 6배 빠르면서 시각 품질도 높였다고 보고했다. 다만 잠재 확산을 너무 일찍 끝내면 의미 구조가 덜 형성되고, 생성형 디코더가 원래 잠재에 없던 세부 내용을 추가할 수 있어 종료 시점과 충실도 사이의 조절이 중요하다.

    • 픽셀 확산 사전: rectified-flow 목표를 사용하여 고해상도 합성에 최적화된 1.3B 파라미터 트랜스포머다.
    • 잠재 어댑터: 입력 잠재 변수 z를 처리하여 픽셀 트랜스포머의 공간 격자에 정렬하는 합성곱 네트워크다. 이 어댑터는 잠재 변수의 전역 구조와 의미 정보가 보존되도록 보장한다.
    • 시그마 인식 게이팅: 모델이 잠재 조건에 의존하는 정도와 자체 생성 사전에 의존하는 정도를 조절하는 핵심 혁신이다. 잠재 변수의 영향은 게이팅 함수를 사용해 그 노이즈 수준 σ에 따라 조절된다.
    초록PDF
  10. 222RoboticsarXiv:2605.22283

    Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action

    비전-언어-행동 모델용 프레임워크인 SOMA는 다시점 관측으로 구성된 지속적 공간 메모리를 통합하여, 처음부터 또는 일시적으로 카메라 시야 밖에 있는 물체에 대한 견고한 로봇 조작을 가능하게 한다.

    SOMA는 현재 카메라 화면 밖에 있는 물체도 다룰 수 있도록 비전-언어-행동 모델에 지속적인 공간 기억을 추가하는 프레임워크다. 움직이는 머리 카메라로 여러 방향을 관찰해 객체와 기하 관계를 하나의 공간-의미 기억으로 만들고, 새 관측으로 이를 갱신한다. 작업 지시와 관련된 기억만 현재 시각 특징에 불러와 물체가 보이지 않는 동안에도 위치를 추론하고 행동을 생성한다. 다섯 개의 실제 화면 밖 조작 과제에서 성공률을 높이고 목표 탐색 시간을 줄였으며, 완전히 보이는 RoboCasa와 SimplerEnv 설정에서도 기억 구조의 이점을 확인했다. 다만 현재 검증은 준정적인 탁상 장면 중심이고 기억의 의미 단위가 객체 수준이어서, 복잡한 상태 변화와 방 규모 환경 및 오래되어 틀린 기억을 안전하게 처리하는 문제가 남는다.

    • 기하 추정: 기하 사전 네트워크(VGGT)가 카메라 자세와 대략적인 장면 기하를 추정하여 전역 3D 좌표계를 확립한다.
    • 탐색 노력 감소: 목표 물체를 찾는 데 필요한 시간이 약 40~59% 감소했다.
    • 결단력 있는 움직임: 로봇은 시점 보정(헤드 카메라가 목표를 포착한 뒤 방향을 재조정해야 하는 경우)을 더 적게 보였는데, 이는 공간 메모리가 로봇이 파지를 결단하기에 충분히 신뢰할 만한 추정을 제공했음을 시사한다.
    초록PDF
  11. 221RoboticsarXiv:2605.22183

    Action with Visual Primitives

    [철회 논문] Action with Visual Primitives는 출판 전 추가 실험 개선을 위해 철회되었습니다.

    arXiv 최신 버전 v4는 Weilong Guo가 이 논문을 철회했다고 명시합니다. 공식 버전 이력상 철회일은 2026년 9월 20일입니다. 저자는 출판 전에 실험을 추가로 개선하고자 한다고 공개 사유를 밝혔습니다. 기존 방법과 성능 수치는 철회 전 주장이므로 현재 유효한 연구 성과나 도입 추천의 근거로 제시하지 않습니다. 공식 철회 안내와 버전 이력은 https://arxiv.org/abs/2605.22183 에서 확인할 수 있습니다.

    • [철회 논문] arXiv 최신 버전 v4는 Weilong Guo가 이 논문을 철회했다고 명시합니다.
    • 공식 버전 이력상 철회일은 2026년 9월 20일이며, 공개 사유는 출판 전 추가 실험 개선입니다.
    • 공식 사유: We wish to complete further experimental improvements before publishing this work.
    • 기존 방법과 성능 수치는 철회 전 주장이므로 현재 유효한 연구 성과나 도입 추천의 근거로 제시하지 않습니다.
    • 공식 철회 안내와 버전 이력: https://arxiv.org/abs/2605.22183 .
    초록PDF
  12. 220AI / GeneralarXiv:2605.22681

    Forecasting Scientific Progress with Artificial Intelligence

    이 연구는 엄격한 시간적 지식 제약 하에서 과학적 진보를 예측하는 AI의 능력을 평가하기 위해 다학제 벤치마크 CUSP를 제안한다.

    이 연구는 과학 문제를 잘 설명하는 능력이 미래의 과학 발전을 정확히 예측하는 능력과 같은지 평가한다. CUSP는 지식 기준 시점을 엄격히 제한한 상태에서 여덟 과학 분야의 4,760개 사건을 다루는 사건 수준 예측 평가 모음이다. 여섯 개 프런티어 모델은 미래 발전의 그럴듯한 원리는 자주 제시했지만, 실제 가능성 판단은 거의 우연 수준이었고 실현된 접근법과의 일치도 및 공개 시점 예측도 낮았다. 기준 시점 이전의 관련 지식을 더 제공하면 성능이 좋아졌지만 한계가 사라지지 않았고, 같은 정보 조건의 사람 비교에서도 모델은 가능성과 시점 예측에서 뒤처졌다. 따라서 연구 우선순위나 자원 배분에 AI 예측을 쓸 때는 과신, 방향 편향, 발전 시점을 늦게 보는 경향을 별도로 검증해야 한다.

    • 지식 격차: 모델이 컷오프 날짜 이전에 존재한 관련 정보에 접근할 수 있을 때 관찰되는 성능 향상이다. 이는 모델의 실패가 단순히 이미 알려진 사실을 몰라서 발생한 정도를 측정한다.
    • 예측 격차: 모델이 컷오프 이전 지식을 완전히 갖추었더라도 보이는 성능과 실제 결과 사이에 남아 있는 차이다. 이는 미지의 것을 예측하는 본질적 난이도를 나타낸다.
    • 과신: 모델들은 경험적 정확도가 낮을 때조차 자신의 예측에 일관되게 높은 확신을 보고했다. 이러한 보정 오류는 인간 연구자가 AI의 예측을 언제 신뢰해야 할지 판단하기 어렵게 만든다.
    초록PDF
  13. 219LLMs / NLParXiv:2605.22821

    Tokenisation via Convex Relaxations

    ETH 취리히와 Kensho Technologies의 연구진은 토큰화를 정수 계획법으로 정식화한 뒤 선형 계획법으로 완화하여 전역 최적해를 근사하는 토큰화 알고리즘 ConvexTok을 개발했다.

    ConvexTok은 탐욕적으로 토큰을 합치는 BPE와 달리 토크나이저 구성을 전역 최적화 문제로 다루는 알고리즘이다. 토큰 선택을 정수 계획으로 표현한 뒤 선형 계획으로 완화해 풀고, 분수 형태의 해를 세 가지 반올림 방식으로 실제 어휘로 바꾼다. 선형 계획의 값은 가능한 최적 압축률의 하한을 제공하므로 현재 토크나이저가 최적해에서 얼마나 떨어졌는지도 확인할 수 있다. 실험에서 여러 내재적 토큰화 지표와 언어 모델의 바이트당 비트 수를 개선했고, 일반적인 어휘 크기에서는 하한과 1% 이내의 압축 성능을 보였다. 다만 후속 과제의 성능 향상은 일관되지 않았고 압축 자체가 이미 포화에 가까워, 앞으로는 다른 목적 함수와 사전 토큰화 제약을 완화한 설정을 연구할 필요가 있다.

    • 정수해 전용(Int): 선형 계획법이 거의 확신한 토큰, 즉 값이 0.999 이상인 토큰만 선택한다. 이 방식은 종종 허용된 예산보다 작은 어휘를 생성한다.
    • 입증된 최적성 한계: 이제 압축을 위해 토큰화에서 짜낼 수 있는 여력이 얼마나 남았는지 알게 되었다. BPE는 이미 대규모에서 한계의 1% 이내에 도달해 있으므로, 연구자들은 압축보다는 언어 형태론이나 견고성 같은 다른 속성에 더 집중할 수 있다.
    • 비탐욕적 대안: ConvexTok은 전체 데이터셋을 한 번에 반영하여 어휘를 구축하는 방법을 제공하며, 이는 어휘 예산을 더 잘 활용하게 한다.
    초록PDF
  14. 218AI / GeneralarXiv:2605.22166

    Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents

    베이징대학교 연구진은 모델 파라미터를 수정하지 않고 런타임 인터페이스를 적응시켜 동결된 대형 언어 모델(LLM) 에이전트의 성능을 향상시키는 방법인 LIFE-HARNESS를 제안했다.

    Life-Harness는 모델 가중치를 바꾸지 않고 대규모 언어 모델 에이전트와 환경 사이의 실행 인터페이스를 개선하는 방법이다. 학습 궤적에서 반복되는 실패를 찾아 환경 계약, 절차 스킬, 실행 가능한 행동 변환, 궤적 회복의 네 계층 개입으로 바꾸고 평가 때는 이를 고정한다. τ-bench와 τ²-bench 및 AgentBench의 일곱 결정적 환경에서 18개 모델 백본의 126개 조합 중 116개를 개선했으며 평균 상대 향상은 88.5%였다. Qwen3-4B-Instruct의 궤적으로 만든 하네스가 다른 17개 모델에도 전이되어, 모델 고유 습관보다 재사용 가능한 환경 규칙을 포착했음을 보여준다. 다만 도구와 평가 규칙이 안정적인 결정적 환경을 전제로 하므로, 목표와 도구 및 성공 기준이 작업마다 바뀌는 개방형 환경으로 일반화하기는 어렵다.

    • 행동 실현 실패(33.3%): 모델이 올바른 의도를 가지고 있으나 이를 실행 가능한 형식으로 표현하지 못하는 경우다. 인자 누락, 잘못된 구분자, 또는 구조화된 도구 호출 대신 자유 형식 텍스트를 생성하는 경우가 이에 해당한다.
    • 환경 계약 불일치(23.2%): 모델이 구문적으로는 유효한 행동을 생성하지만 존재하지 않는 데이터베이스 컬럼에 접근하려 하거나 유효하지 않은 항공편 코드를 사용하는 등 도구나 API의 구체적 규칙을 위반하는 경우다.
    • 궤적 퇴화(33.6%): 에이전트가 동일한 무효 행동을 반복하거나, 진전 없이 정체되거나, 피드백을 받았음에도 오류에서 회복하지 못하는 등 퇴화된 상태에 빠지는 경우다.
    초록PDF
  15. 217AI / GeneralarXiv:2605.22763

    Advancing Mathematics Research with AI-Driven Formal Proof Search

    Google DeepMind, Aarhus University 및 Google 연구진은 대규모 언어 모델을 Lean 증명 보조기와 통합하여 수학의 여러 미해결 연구 수준 문제를 자율적으로 해결한 AI 기반 형식 증명 탐색 프레임워크인 AlphaProof Nexus를 개발했다.

    이 연구는 대규모 언어 모델이 만든 풀이를 Lean으로 검증하는 형식 증명 탐색이 실제 미해결 문제에도 통하는지 대규모로 평가했다. 가장 강한 에이전트는 에르되시 미해결 문제 353개 중 9개를 자율적으로 해결하고 OEIS 추측 492개 중 44개를 증명했다. 에르되시 문제 하나를 푸는 데 든 비용은 수백 달러 수준으로 보고되었다. 언어 모델의 생성과 Lean 검증을 번갈아 수행하는 기본 에이전트도 에르되시 문제에서 같은 성공을 재현했지만 어려운 문제일수록 비용이 더 많이 들었다. 결과는 조합론과 최적화 등 여러 수학 분야에서 형식 검증을 결합한 인공지능의 활용 가능성을 보여주는 동시에 비용과 에이전트 설계가 중요하다는 점을 드러낸다.

    • 보조정리 환각: 에이전트가 실제로는 틀린 보조정리를 문헌의 잘 알려진 결과라고 주장하는 경우가 가끔 있었다. 에이전트가 그 특정 보조정리를 형식적으로 증명하려 시도하지 않았기 때문에, 오류는 후반 단계에 이르러서야 발견되었다.
    • 필터로서의 형식화: 형식 증명 보조기는 AI가 생성한 수학을 연구자에게 유용하게 만드는 기준 진실을 제공한다. 이는 인간이 기본적인 논리적 오류를 점검할 필요를 없애 준다.
    • 전략 발견을 위한 AI: AI는 고수준 계획을 제안하거나 인간이 간과할 수 있는 후보 반례를 식별함으로써 수학자를 도울 수 있다.
    초록PDF
  16. 216Bioinformatics / GenomicsbioRxiv:2025.07.24.666556

    Scalable, Fast and Accurate Differential Gene Expression Testing from Millions of Cells of Multiple Patients

    다중 GPU 변분 추론을 사용하는 베이지안 프레임워크로, 단일 세포 차등 발현 분석의 통계적 의존성 문제를 해결하며 다수 환자에 걸쳐 1,000만 개가 넘는 세포로 확장된다.

    University of Trieste의 이 생물정보학 논문은 단일 세포 RNA 시퀀싱 데이터의 차등 유전자 발현 검정을 위한 베이지안 프레임워크를 도입한다. 전통적인 방법은 샘플 간 통계적 독립성을 가정하지만, 단일 세포 분석은 동일 개체에서 유래한 세포들이 상관되어 있어 이 가정을 위배한다. 저자들은 다중 GPU 인프라 상의 변분 추론을 사용하여 환자 수준에서 독립성을 회복함으로써 이 문제를 해결하며, 1,000만 개가 넘는 세포의 분석을 가능하게 한다. 이 프레임워크는 환자 간 변이를 진정한 전사적 차이로부터 분리하여, 수천 개의 샘플을 포함하는 대규모 임상 코호트, 세포 아틀라스 프로젝트, 약물 반응 스크리닝에 적합하다. 이는 단일 세포 차등 발현 분석을 대규모로 제약해 온 근본적인 계산 병목을 해결한다.

    • 핵심 문제: 단일 세포 RNA-seq 세포들은 통계적으로 의존적이어서, 독립적인 벌크 샘플을 위해 설계된 전통적 차등 발현 검정의 가정을 깨뜨린다.
    • 베이지안 프레임워크: 환자 수준에서 독립성 구조를 회복하여, 개체 간 변이를 진정한 전사적 차이로부터 깔끔하게 분리한다.
    • 다중 GPU 변분 추론: 임상 코호트, 아틀라스 프로젝트, 약물 반응 스크리닝의 수천 개 샘플에 걸쳐 1,000만 개가 넘는 세포로의 계산적 확장성을 가능하게 한다.
    • 실용적 영향: 기존 방법의 계산 병목이나 수학적 한계 없이 대규모 다중 환자 데이터셋을 마침내 통합할 수 있는 단일 세포 차등 발현 분석을 가능하게 한다.
    초록PDF
  17. 215AI Safety / TrustarXiv:2605.01428

    Hallucinations Undermine Trust; Metacognition is a Way Forward

    충실한 불확실성, 즉 모델이 말하는 바를 그것이 믿는 바와 일치시키는 것이야말로 단순히 지식을 확장하거나 오류를 줄이는 것을 넘어 신뢰할 수 있는 AI를 위한 빠진 조각이라고 주장한다.

    Google Research와 Tel Aviv University의 이 입장 논문은 대부분의 개선이 모델이 모르는 것에 대한 인식을 향상시키기보다 모델이 아는 것을 확장하는 데 그쳤기 때문에 LLM의 환각이 지속된다고 주장한다. 저자들은 모델이 진실과 오류를 완벽하게 분리할 변별력을 갖추지 못하여, 환각 제거와 유용성 보존 사이에 상충 관계가 발생한다고 추측한다. 이들은 충실한 불확실성, 즉 언어적 출력을 내부 확신도와 일치시키는 것을 제3의 길로 제안한다. 이는 환각을 모든 오류가 아니라 확신에 찬 오류로 재정의하는 것으로, 적절히 유보된 답변은 환각이 아니라 가설이라는 의미다. 논문은 이 프레임워크를 메타인지가 도구 사용, 탐색 결정, 신념 갱신의 제어 계층이 되는 에이전트 시스템으로 확장한다. 저자들은 메타인지적 프롬프팅, 불확실성 표현을 위한 파인튜닝, 그리고 더 나은 평가 벤치마크에 대한 연구를 촉구한다.

    • 핵심 논지: 대부분의 사실성 향상은 그 경계에 대한 인식, 즉 아는 것과 모르는 것을 구분하는 것을 개선하기보다 지식의 경계를 확장하는 데서 비롯된다.
    • 변별 격차: 모델은 진실과 오류를 완벽하게 분리하는 능력을 근본적으로 결여할 수 있으며, 이는 환각 제거와 유용성 보존 사이에 내재된 상충 관계를 만든다.
    • 충실한 불확실성: 언어적 불확실성, 즉 모델이 말하는 것을 본질적 불확실성, 즉 모델이 믿는 것과 일치시킬 것을 제안하며, 답하거나 유보하거나를 넘어선 제3의 길을 제시한다.
    • 에이전트를 위한 메타인지: 에이전트 시스템에서 불확실성 인식은 언제 탐색할지, 무엇을 신뢰할지, 검색된 정보를 어떻게 가중할지를 관장하는 제어 계층이 된다.
    • 실증적 증거: 진실성 탐침의 빈약한 일반화, 확신에 찬 환각, 그리고 정렬 기법의 실패는 모두 변별 격차의 존재를 뒷받침한다.
    본문초록PDF
  18. 214AI / GeneralarXiv:2605.22794

    MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems

    MOSS는 자율 에이전트가 하네스 수준에서 자신의 소스 코드를 재작성함으로써 스스로 진화할 수 있게 하는 시스템이다.

    배포된 에이전트는 보통 사용자와 상호작용해도 실행 코드가 바뀌지 않아 같은 구조적 실패를 반복한다. MOSS는 프롬프트나 메모리 파일만 고치는 대신 에이전트 하네스의 소스 코드를 직접 다시 쓰는 자기 진화 방식을 제안한다. 시스템은 실제 운영 실패 증거를 자동으로 묶고 정해진 여러 단계를 거쳐 외부 코딩 도구가 수정 후보를 만들도록 한다. 후보 코드는 임시 작업 환경에서 실패 사례를 다시 실행해 검증하며, 사용자 동의를 받은 교체와 상태 점검 기반 복구 절차도 둔다. OpenClaw의 네 가지 과제에서는 한 번의 진화 주기로 평균 평가 점수가 0.25에서 0.61로 올랐지만, 보고된 실증 범위는 이 단일 환경과 과제 묶음에 한정된다.

    • 비효율적인 배칭 패턴을 차단하기 위해 사전 호출 훅에 거부 게이트를 구현한다.
    • 근본 원인 해결: 하네스를 대상으로 삼음으로써, MOSS는 텍스트 기반 진화가 건드릴 수 없는 근본적인 아키텍처 결함을 수정할 수 있다.
    • 프로덕션 유용성 확보: 실패 배칭, 시험 검증, 안전한 컨테이너 교체의 통합은 자기 재작성이라는 개념을 실제 응용에서 실현 가능하게 만든다.
    초록PDF
  19. 213Machine LearningarXiv:2605.21768

    Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents

    Memory-R2는 다중 세션 환경에서 장기 지평선의 메모리 증강 LLM 에이전트에 대한 신용 할당을 강화하고 메모리 형성과 진화를 공동으로 최적화하는 훈련 프레임워크를 도입한다.

    여러 세션에 걸쳐 기억을 쓰고 지우는 에이전트는 각 실행의 중간 기억 상태가 달라져 단순한 궤적 비교가 불공정해질 수 있다. 이 문제는 GRPO 같은 그룹 상대 강화학습에서 장기 보상이 개별 기억 연산에 잘못 배분되는 원인이 된다. Memory-R2의 LoGo-GRPO는 전체 궤적 보상을 쓰는 전역 목표와 같은 중간 기억 상태에서 다시 실행하는 지역 비교를 결합한다. 사실 추출기와 기억 관리자는 하나의 언어 모델을 역할별 프롬프트로 함께 학습하며, 훈련 세션 길이는 8개에서 16개와 32개로 점차 늘린다. 이 설계는 장기 성과를 유지하면서 기억의 생성과 갱신에 더 공정하고 세밀한 학습 신호를 주려는 방법이다.

    • 데이터 효율성: 놀랍게도 이러한 성능 향상은 단 두 개의 전체 대화 궤적만으로 훈련하여 달성되었으며, 이는 RL 패러다임의 효과성을 입증한다.
    • 분포 외(OOD) 벤치마크: LongMemEval 및 MSC-Self-Instruct에서 높은 성능을 보인다.
    • 다양한 모델 규모: 3B 모델에서 관찰된 훈련 개선이 7B 모델로도 전이되었다.
    초록PDF
  20. 212Computer VisionarXiv:2605.21605

    GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation

    GenEvolve는 최선-최악 생성 궤적에서 구조화된 시각적 경험을 증류함으로써 외부 도구와 내부 지식을 조율하는 자기 진화형 이미지 생성 에이전트를 개발하며, 이를 통해 내부 및 외부 지식 집약적 이미지 생성 벤치마크 모두에서 성능을 향상시킨다.

    복잡한 이미지 생성 요청은 모델 내부 능력만으로 처리하기보다 검색과 참고 이미지, 생성 도구를 함께 조율해야 하는 경우가 많다. GenEvolve는 각 생성 시도를 증거 수집, 참고 자료 선택, 생성 기능 호출, 프롬프트 구성으로 이어지는 도구 사용 궤적으로 표현한다. 같은 요청에서 나온 좋은 궤적과 나쁜 궤적의 차이를 구조화된 시각 경험으로 만들고, 이를 정보가 더 많은 교사 분기에만 제공한다. 학생 모델은 자신의 현재 정책이 만든 결과를 따라가며 교사의 토큰별 분포를 학습해 검색과 참고 자료 선택 방식을 내부화한다. 공개 벤치마크와 새로 만든 GenEvolve-Bench에서 강한 기준 모델보다 큰 향상을 보였고, 성과는 이들 벤치마크 평가를 중심으로 보고되었다.

    • 실패 메모리는 실패 회피에 관한 교훈이다.
    • 프롬프트 풀은 2만 개의 요청을 사실과 사건 같은 지식 기반(Knowledge-Anchored)과 공간 구성, 텍스트 레이아웃 같은 품질 기반(Quality-Anchored)으로 나눈다.
    • 교사 궤적: 강력한 모델을 사용해 초기 성공 궤적을 생성한 뒤, 정확성을 위해 VLM 심판이 이를 검수한다.
    초록PDF
  21. 211AI / GeneralarXiv:2605.21997

    The Log is the Agent: Event-Sourced Reactive Graphs for Auditable, Forkable Agentic Systems

    Untapped Capital의 ActiveGraph는 LLM 에이전트를 위한 이벤트 소싱 기반 반응형 그래프 런타임을 도입하여, 추가 전용 이벤트 로그를 모든 에이전트 활동과 상태의 주된 진실 원천으로 삼아 시스템을 재설계한다.

    ActiveGraph는 대화형 언어 모델을 중심에 두는 대신 추가만 가능한 이벤트 로그를 에이전트 상태의 기준으로 삼는다. 현재 작업 그래프는 로그에서 결정적으로 다시 계산되며, 함수나 언어 모델 기반 동작은 그래프 변화에 반응해 새 이벤트를 기록한다. 이 구조는 과거 실행의 결정적 재생, 중간 지점에서의 저렴한 분기, 목표부터 개별 모델 호출까지 이어지는 계보 추적을 가능하게 한다. 논문은 재생을 성립시키는 결정성 규칙과 전체 원인을 로그만으로 복원할 수 있는 실사 사례를 제시한다. 다만 자기 개선 에이전트에 적합하다는 부분은 가능성으로 논의했을 뿐 실험으로 입증했다고 주장하지 않는다.

    • 신서사이저는 주장과 증거에 반응하여 최종 메모를 작성한다.
    • 감사 가능성: 모든 상태 변경에는 명확한 인과적 부모와 기록된 모델 및 도구 상호작용이 존재한다.
    • 디버깅 용이성: 개발자는 임의의 시점으로 이동하여 그래프를 검사하고, 수정안을 테스트하기 위해 실행을 분기할 수 있다.
    초록PDF
  22. 210AI / GeneralarXiv:2605.22791

    Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

    NVIDIA 연구진이 개발한 Gated DeltaNet-2는 메모리 삭제 연산과 쓰기 연산을 별도의 채널별 게이트를 통해 분리함으로써 선형 순환 어텐션 모델을 향상시킨다.

    선형 어텐션은 고정 크기 상태로 긴 문맥을 처리하지만 압축된 기억을 수정할 때 기존 정보가 뒤섞일 수 있다. 기존 델타 규칙 계열은 오래된 내용을 지우는 양과 새 값을 쓰는 양을 하나의 스칼라 게이트로 함께 조절했다. Gated DeltaNet-2는 채널별 지우기 게이트와 쓰기 게이트를 분리하고, 병렬 학습을 위한 청크 단위 알고리즘과 역전파 방법을 함께 제시한다. 1.3B 모델을 FineWeb-Edu 1000억 토큰으로 학습한 비교에서 Mamba-2, Gated DeltaNet, KDA, Mamba-3 변형보다 전반적으로 강한 결과를 냈다. 특히 긴 문맥의 다중 키 검색에서 장점이 컸으며, 보고된 비교 범위는 이 모델 규모와 기준 구조 및 벤치마크에 해당한다.

    • 다중 키 검색: 유사한 연관 관계가 여러 개 존재하는 상황에서 Gated DeltaNet-2는 상당한 우위를 보였다. 이는 분리된 게이트가 고정 크기 상태 내에서 경쟁하는 정보 조각들을 모델이 더 잘 구분하도록 해준다는 점을 확인시켜 준다.
    • 간섭 제어: 특정 채널을 선택적으로 삭제함으로써, 모델은 새로운 정보가 여전히 관련성이 있을 수 있는 기존 저장 데이터를 덮어쓰거나 흐리게 만드는 것을 방지한다.
    • SWA는 작은 고정 윈도우, 예를 들어 최근 2,000개 토큰 내에서 국소적이고 고세분성의 상호작용을 처리한다.
    초록PDF
  23. 209Machine LearningarXiv:2512.04695

    TRINITY: An Evolved LLM Coordinator

    경량 코디네이터(0.6B 모델과 1만 파라미터 헤드)가 Thinker, Worker, Verifier 역할을 할당해 다양한 LLM 간 협업을 조율하며, 진화 전략으로 최적화된다. LiveCodeBench에서 86.2%를 달성하고 분포 외 과제로도 일반화되며, ICLR 2026에 채택되었다.

    TRINITY는 서로 다른 파운데이션 모델을 가중치 병합 없이 추론 시점에 조합하는 경량 코디네이터 프레임워크다. 가중치 병합은 아키텍처 불일치와 폐쇄형 API 때문에 한계가 있는데, TRINITY는 소형 언어 모델(약 0.6B 파라미터)의 은닉 상태와 경량 라우팅 헤드(학습 파라미터는 2만 개 미만)로 구성된 코디네이터가 여러 LLM의 협업을 조율해 이 문제를 우회한다. 코디네이터는 매 턴마다 선택한 LLM에 Thinker, Worker, Verifier 중 하나의 역할을 부여하여, 복잡한 기술 습득을 코디네이터 자신이 아닌 외부 모델에 위임한다. 이진 보상의 신호가 약해 경사 기반 강화학습 최적화가 실패했기 때문에, 분리 가능한 공분산 행렬 적응 진화 전략(separable CMA-ES)으로 코디네이터를 최적화한다. 그 결과 코딩, 수학, 추론, 도메인 지식 전반에서 개별 모델과 기존 멀티 에이전트 기법을 일관되게 능가하고, LiveCodeBench에서 86.2% pass@1로 발표 시점 기준 SOTA를 기록했다. 또한 재학습 없이 AIME, BigCodeBench, MT-Bench, GPQA 등 미학습 과제로 제로샷 일반화하여 GPT-5, Gemini 2.5-Pro, Claude-4-Sonnet 같은 개별 모델을 앞섰다. 성능의 두 요인은 코디네이터 은닉 상태가 입력을 풍부하게 맥락화한다는 점, 그리고 고차원이고 엄격한 예산 제약 하에서 분리 가능한 CMA-ES가 블록-엡실론 분리 가능성을 활용해 강화학습, 모방 학습, 무작위 탐색보다 유리하다는 점이다. ICLR 2026 채택 논문이다.

    • 핵심 아이디어는 컴팩트한 코디네이터(0.6B LLM과 1만 파라미터 경량 헤드)가 매 턴마다 Thinker, Worker, Verifier 역할을 할당해 여러 LLM에 작업을 위임하는 것이다.
    • 분리 가능한 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화되어, 고차원성과 엄격한 예산 제약 하에서 RL, 모방 학습, 무작위 탐색을 능가한다.
    • LiveCodeBench 86.2%를 포함한 표준 벤치마크에서 SOTA를 달성하며, 코딩, 수학, 추론, 도메인 지식 전반에 걸쳐 개별 모델 및 기존 멀티 에이전트 기법을 일관되게 능가한다.
    • 코디네이터의 은닉 상태 표현이 풍부한 맥락화를 제공하며, 최적화 지형의 블록-엡실론 분리 가능성이 효율적인 진화 탐색을 가능하게 한다.
    • 과제별 튜닝 없이도 분포 외 과제로 견고하게 일반화된다.
    초록PDF
  24. 208Machine LearningarXiv:2605.21468

    You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

    이 논문은 검증 가능한 보상을 활용한 강화학습(RLVR) 훈련 과정에서 LLM 파라미터 궤적이 저랭크이며 선형적인 특성을 보인다는 점을 밝혀낸다.

    이 연구는 검증 가능한 보상을 쓰는 강화학습에서 모델 가중치의 이동 경로가 매우 낮은 랭크로 나타나는 현상을 분석했다. 성능 향상의 대부분은 파라미터 변화의 랭크 1 근사로 설명되며, 그 크기는 학습 단계에 따라 거의 선형으로 변했다. RELEX는 짧은 초기 학습 구간에서 이 한 방향을 추정한 뒤 선형 회귀로 미래 체크포인트를 계산해 추가 강화학습 비용을 줄인다. 세 가지 모델에서 전체 학습 단계의 15퍼센트만 관찰하고도 원래 강화학습과 비슷하거나 더 나은 내부 및 외부 분포 성능을 보였고, 관찰 구간보다 10배에서 20배 먼 단계까지 확장했다. 분석은 랭크를 늘리거나 비선형 모델을 쓰는 이득이 없었으며, 랭크 1 투영이 확률적 최적화 잡음을 줄이는 효과가 핵심이라고 설명한다.

    • 이 논문은 RLVR 가중치 궤적이 극도로 저랭크이며 매우 예측 가능하다는 점을 입증한다.
    초록PDF
  25. 207Computer VisionarXiv:2605.18746

    ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop

    ESI-BENCH는 체화된 공간 지능을 평가하기 위한 벤치마크로, 에이전트가 인식-행동 루프를 닫음으로써 공간 질의를 해결하기 위해 3D 환경과 능동적으로 상호작용하도록 요구한다.

    ESI-BENCH는 에이전트가 수동으로 화면만 보는 대신 이동과 조작을 선택해 필요한 공간 증거를 직접 모으도록 평가한다. OmniGibson 위에 핵심 공간 지식을 반영한 10개 과제 범주와 29개 하위 범주를 구성했다. 실험에서는 능동 탐색이 수동 관찰보다 좋았지만, 무작위로 시점을 많이 추가하면 이미지 수만 늘고 오히려 잡음이 생겼다. 주요 실패 원인은 시각 인식 자체보다 잘못된 행동이 나쁜 관찰을 만들고 이후 추론까지 무너뜨리는 행동 맹점이었다. 사람과 달리 모델은 반대 증거를 찾고 믿음을 고치기보다 이른 단계에 높은 확신으로 결론을 내리는 경향을 보여, 인식 개선만으로 해결되지 않는 자기 점검의 한계를 드러냈다.

    • 방향성 편향: AI 모델은 종종 확증 편향을 보이는데, 새로운 정보를 탐색하기보다 자신의 초기 인상을 확인하는 행동을 반복적으로 선택한다. 그 초기 인상은 틀렸을 수도 있다. 또한 증거가 충분한지 여부와 무관하게 과정 초반에 높은 확신을 가지고 답을 확정해 버리는 경우가 많다.
    • 지능적 행동 계획: 공간적 불확실성을 해소하기 위해 특화된 궤적을 계획할 수 있는 에이전트를 개발한다.
    • 불확실성 관리 및 보정: 자신에게 충분한 정보가 없을 때를 이해하고 그에 따라 확신도를 조정할 수 있는 모델을 만든다.
    초록PDF
  26. 206Machine LearningarXiv:2605.22817

    Vector Policy Optimization: Training for Diversity Improves Test-Time Search

    Vector Policy Optimization(VPO)은 벡터 값 보상 구조와 확률적 스칼라화를 활용해 대규모 언어 모델이 다양한 후보 해를 생성하도록 학습시킨다.

    일반적인 언어 모델 후학습은 하나의 보상을 최대화해 답변 분포를 좁히므로, 여러 후보를 탐색하는 추론 시점 검색에 필요한 다양성이 부족해질 수 있다. Vector Policy Optimization은 테스트 사례별 정답이나 여러 사용자 선호처럼 보상을 벡터로 표현하고 서로 다른 보상 절충에 특화된 해답 묶음을 만들도록 학습한다. 이 방식은 GRPO의 이점 추정 부분을 바꿔 넣을 수 있도록 설계되어 기존 강화학습 흐름에 적용하기 쉽다. 네 가지 과제에서 강한 단일 보상 기준선과 같거나 더 좋은 검색 성능을 냈고, 검색 예산이 커질수록 차이가 더 벌어졌다. 진화형 검색에서는 GRPO 모델이 풀지 못한 문제도 해결했으며, 결과는 다양한 후보 생성 자체를 후학습 목표로 삼을 필요성을 보여준다.

    • Maze Navigation은 에이전트가 위험 요소인 용암을 피하면서 금과 다이아몬드 같은 아이템을 모아야 하는 합성 과제다. 목표들이 의도적으로 상충하도록 설계되어 있어서, 예를 들어 금이 종종 용암 근처에 있다. 파레토 프론티어 커버리지를 검증하기에 완벽한 시험대가 된다.
    • MuSiQue는 다중 홉 QA 과제로, 최종 답변의 정확도와 중간 추론 단계에 대한 인용의 정확성 모두에 기반해 보상이 부여되는 질의응답 과제다.
    • ToolRL은 모델이 구조적 제약을 충족하면서 동시에 높은 속성 수준 정확도를 달성해야 하는 함수 호출 벤치마크다.
    초록PDF
  27. 205Computer VisionarXiv:2605.22718

    WorldKV: Efficient World Memory with World Retrieval and Compression

    WorldKV는 자기회귀 비디오 월드 모델을 위한 학습 불필요 프레임워크를 제시해, 실시간 추론 속도를 유지하면서 장시간에 걸쳐 지속적이고 일관된 탐색 가능한 세계를 유지할 수 있게 한다.

    자기회귀 비디오 세계 모델은 전체 KV 캐시를 유지하면 과거 장면을 일관되게 재현할 수 있지만 메모리와 계산량이 시간에 따라 늘어난다. 반대로 짧은 창만 쓰면 실시간 속도는 지키지만 오래전 장소의 정보를 잃는다. WorldKV는 창 밖으로 밀려난 캐시 조각을 GPU나 CPU 메모리에 보관하고 카메라와 행동의 대응 관계로 현재 장면에 맞는 조각만 다시 가져온다. 또한 기준 프레임과 비슷한 키 토큰을 제거해 조각당 저장량을 절반으로 줄이고 같은 예산에서 두 배의 이력을 담는다. Matrix-Game-2.0과 LingBot-World-Fast에서 추가 학습 없이 전체 캐시와 비슷하거나 더 좋은 기억 충실도를 약 두 배 처리 속도로 달성했다.

    • 토큰 가지치기: 유사도 점수가 높은 토큰은 중복으로 간주되어 폐기된다. 가장 변별력 있는 토큰(유사도 기준 하위 P%)만 유지된다.
    • LPIPS: 지각적 유사도를 측정한다(낮을수록 좋다).
    • PSNR 및 SSIM: 신호 및 구조적 유사도를 측정한다(높을수록 좋다).
    초록PDF
  28. 204Computer VisionarXiv:2605.22818

    MotiMotion: Motion-Controlled Video Generation with Visual Reasoning

    MotiMotion이라는 프레임워크는 시각적 추론과 신뢰도 인식 제어를 통합해 모션 제어 비디오 생성을 향상시키며, 희소한 사용자 궤적으로부터 복잡하고 물리적으로 타당한 동역학을 추론할 수 있게 한다.

    기존 동작 제어 영상 생성은 사용자가 준 희소하고 부정확한 궤적을 그대로 따라가면서 연쇄적으로 생기는 움직임을 놓치기 쉽다. MotiMotion은 먼저 시각 언어 모델이 주된 궤적 좌표를 다듬고 상식에 맞는 부차 동작을 추론한 뒤 영상을 생성한다. 계획의 신뢰도가 높을 때는 안내를 강하게 따르고 낮을 때는 생성 모델의 내부 지식을 더 활용하도록 제어 강도를 조절한다. 움직임으로 새 사건이 일어나는 상호작용 장면을 모은 MotiBench도 함께 만들어 논리적이고 물리적인 동작을 평가했다. 시각 언어 모델 평가와 사람 평가 모두 기존 방법보다 자연스러운 물체 행동과 상호작용을 보였으며 MotiMotion 결과를 더 선호했다.

    • 의미적 일관성: 비디오가 사용자의 상위 수준 의도와 얼마나 잘 일치하는지를 나타낸다.
    • 접근성: 프레임 단위 수동 애니메이션이나 정밀한 기술 사양의 필요성을 줄여 고급 비디오 제작을 더 폭넓은 사용자가 이용할 수 있게 한다.
    • 교육적 벤치마킹: MotiBench는 연구 커뮤니티가 단순한 시각적 충실도가 아니라 비디오 생성의 논리적·물리적 측면에 집중할 수 있도록 하는 전문 도구를 제공한다.
    초록PDF
  29. 203Machine LearningarXiv:2605.21486

    Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate

    한 정량적 프레임워크는 손실 예측 가능성, 전이 견고성, 점근적 손실 저하에 대한 지표를 사용해 대규모 신경망에서 하이퍼파라미터 전이 전략의 품질을 평가한다.

    이 연구는 작은 모델에서 찾은 최적 하이퍼파라미터를 큰 모델로 옮기는 품질을 세 가지 지표로 정량화한다. 지표는 스케일링 법칙의 적합도, 외삽 오차에 대한 견고성, 파라미터화 선택이 만드는 점근적 손실 불이익을 측정한다. AdamW 학습에서 최대 업데이트 파라미터화가 표준 파라미터화보다 잘 전이되는 가장 큰 이유는 임베딩 층 학습률을 충분히 크게 쓸 수 있기 때문으로 나타났다. 표준 파라미터화에서도 임베딩 학습률을 모델 너비만큼 키우면 학습 불안정이 줄고 전이 성능이 좋아졌다. 가중치 감쇠는 스케일링 법칙의 적합도를 높였지만 토큰 수를 파라미터 수에 맞춰 고정한 조건에서는 외삽 견고성을 낮추는 상반된 효과를 보였다.

    • LayerNorm LR: SP는 Θ(1/n)을 사용하고, μP는 Θ(1)을 사용한다.
    • 어텐션 스케일링: SP는 1/d를 사용하고, μP는 1/d를 사용한다.
    • 고정 스텝: 너비와 무관하게 일정한 반복 횟수로 학습한다.
    초록PDF
  30. 202Computer VisionarXiv:2605.22809

    Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving

    Waymo 연구진은 실제 단안 비디오를 360도 카메라 뷰와 LiDAR 포인트 클라우드를 포함한 고충실도 멀티모달 자율주행 차량 센서 로그로 변환하는 생성 프레임워크 Sensor2Sensor를 소개한다.

    자율주행 차량이 모은 센서 로그는 품질은 높지만 지역과 센서 구성, 드문 상황의 다양성이 제한적이고 일반 블랙박스 영상은 기존 자율주행 시스템 입력 형식과 맞지 않는다. Sensor2Sensor는 단안 블랙박스 영상을 여러 카메라 시점과 LiDAR 포인트 클라우드로 이루어진 차량 센서 로그로 바꾸는 생성 모델이다. 짝을 이룬 학습 데이터가 없다는 문제를 해결하기 위해 실제 차량 로그를 4D 가우시안 스플래팅으로 복원한 뒤 블랙박스 시점 영상으로 다시 렌더링한다. 이렇게 만든 대응 자료로 확산 모델을 학습해 반대 방향의 센서 변환을 수행한다. 논문은 생성 데이터의 충실도와 사실성을 정량 평가하고 인터넷과 블랙박스 영상 변환 사례를 보였지만, 실제 자율주행 안전 성능의 향상까지 입증한 것은 아니다.

    • 자율주행 차량(AV) 차량군이 수집한 독점 데이터는 고충실도이긴 하지만 규모, 센서 구성의 다양성, 그리고 지리적·롱테일 행동 커버리지 측면에서 제한적이다.
    초록PDF
  31. 201Computer VisionarXiv:2605.20743

    Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction

    Draw2Think 프레임워크는 "제안-그리기-검증" 루프를 통해 비전-언어 모델(VLM)을 외부 동적 기하 제약 엔진인 GeoGebra와 통합해, 중간 작도 단계에 대해 대수적으로 정확한 기하학적 보장을 제공한다.

    기존 비전 언어 모델의 기하 추론은 중간 관계가 글이나 그림 코드로만 남아 실제 제약을 만족하는지 확인하기 어렵다. Draw2Think는 모델을 GeoGebra 제약 엔진과 연결해 가설 제안, 작도, 검증을 반복하는 실행 가능한 작업 공간을 만든다. 엔진이 정확한 길이와 각도 및 관계를 돌려주므로 다음 추론은 검증된 작도 상태를 바탕으로 진행된다. GeoGoal에서는 개별 조건의 95.9퍼센트와 문제 전체의 84.0퍼센트가 엄격한 작도 검사를 통과했고, 평면과 입체 문제의 답 정확도도 각각 최대 4.1퍼센트와 16.4퍼센트 높아졌다. 이 결과는 중간 기하 상태를 외부 엔진으로 확인하는 이점을 보여주며, 보고된 평가는 작도와 답 및 렌더링 벤치마크 범위에 해당한다.

    • 작도 충실도: VLM이 의도한 구성이 문제의 요구사항과 일치하는지를 측정하는 모델 수준 속성이다.
    • 명시적 판독 채널: 관찰 결과 시스템이 도출한 정답의 74-91%가 엔진이 명시적으로 반환한 값을 최소 하나 이상 포함했다. 이는 VLM이 내부 사전지식에만 의존하지 않고 엔진을 진실의 원천으로 능동적으로 사용하고 있음을 확인해준다.
    • 수정 및 재계획 가능성: 오류 메시지를 받고 객체 삭제 도구를 사용할 수 있어 모델이 경로를 교정할 수 있다. 작도 경로가 모순이나 무효 상태로 이어지면, 모델은 마치 컴퍼스와 자를 사용하는 인간 수학자처럼 되돌아가 대안 전략을 시도할 수 있다.
    초록PDF
  32. 200Computer VisionarXiv:2605.18324

    Improved Baselines with Representation Autoencoders

    이 연구는 확산 모델을 위한 Representation Autoencoder(RAE)를 크게 향상시켜, 다층 인코더 특징을 활용하고 효율적인 자기 안내를 가능하게 함으로써 10배 이상 빠른 수렴과 향상된 생성·재구성 품질을 달성하는 RAEv2를 제시한다.

    Representation Autoencoder는 전통적인 VAE 대신 미리 학습된 시각 인코더의 표현을 확산 모델의 잠재 공간으로 쓴다. RAEv2는 인코더 마지막 층 하나가 아니라 마지막 여러 층의 합을 표현으로 사용해 별도 미세조정이나 특수 데이터 없이 재구성을 개선한다. 또한 RAE와 중간 확산 층에 표현을 맞추는 REPA가 서로 대체 관계가 아니라 보완 관계임을 대규모 실험으로 보였다. DiT 출력을 다시 매개변수화하면 REPA 신호를 추가 모델이 필요 없는 안내로도 활용할 수 있다. ImageNet-256에서 기존 RAE보다 열 배 넘게 빨리 수렴해 80에폭 만에 최고 수준의 생성 품질을 냈고, 텍스트 이미지 생성과 탐색 세계 모델에서도 개선을 확인했다.

    • 이 논문은 여러 설계 선택을 체계적으로 조사해 RAE를 단순화하고 개선하는 세 가지 통찰을 발견한다.
    • 첫째, 표현을 최종 인코더 층 하나만이 아니라 마지막 k개 인코더 층의 합으로 정의하는 일반화된 정식화를 연구한다.
    초록PDF
  33. 199Machine LearningarXiv:2605.21488

    Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

    Carnegie Mellon University의 연구진은 잠재 공간에서 작업 조건화된 어트랙터를 활용해 확장 가능하고 일반화 가능한 추론을 달성하는 반복적 모델 프레임워크인 Equilibrium Reasoners(EqR)를 개발했다.

    Equilibrium Reasoners는 반복 추론의 일반화가 정답에 해당하는 안정된 잠재 상태인 과제 조건부 어트랙터를 학습하는 데서 나온다고 본다. 모델은 반복 횟수를 늘리는 깊이 확장과 여러 초기 상태의 확률적 궤적을 합치는 너비 확장을 함께 사용하며 외부 검증기나 과제별 사전지식을 요구하지 않는다. 실험에서는 추론 시점 계산을 늘렸을 때의 성능 향상이 정답 어트랙터로 더 강하게 수렴하는 현상과 밀접하게 연결되었다. 쉬운 문제는 1회에서 5회 반복으로 수렴하고 어려운 문제는 더 많은 반복에서 계속 이득을 얻어 난이도에 따라 계산량을 조절할 수 있었다. Sudoku-Extreme에서는 최대 4만 개 층에 해당하는 반복으로 순방향 모델의 2.6퍼센트 정확도를 99퍼센트 이상으로 높였지만 그만큼 큰 추론 시점 계산이 필요할 수 있다.

    • Maze-Unique: 저자들은 작업의 모호성이 어트랙터 학습에 "독"이라는 사실을 발견했다. 여러 해가 존재하는 데이터셋(미로의 서로 다른 최단 경로 등)에서는 모델이 안정적인 어트랙터를 형성하기 어렵다. 경로가 유일하도록 미로 작업의 변형 버전을 만들어, EqR이 복잡한 30x30 미로를 높은 신뢰도로 풀 수 있을 만큼 확장됨을 입증했다.
    • 규모 일반화: 테스트 시점에 단순히 반복 횟수를 늘림으로써 학습 중에 본 복잡도를 훨씬 뛰어넘어 일반화한다.
    • 자가 진단: 고정점 잔차는 외부 검증기를 필요로 하지 않는 내장형 신뢰도 점수를 제공한다.
    초록PDF
  34. 198Computer VisionarXiv:2605.18740

    Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation

    Vision-OPD 프레임워크는 온-폴리시 자기 증류를 활용해 모델이 자신의 특권적 영역 인지로부터 학습하게 함으로써, 멀티모달 대규모 언어 모델이 세밀한 시각적 디테일을 식별하는 능력을 향상시킨다.

    멀티모달 언어 모델은 작은 영역만 잘라 보여주면 맞히는 세부 질문도 전체 이미지에서는 관련 증거에 집중하지 못해 틀리는 경우가 많다. Vision-OPD는 같은 모델을 확대 영역을 보는 교사와 전체 이미지를 보는 학생으로 나눠 이 영역 대 전체 인식 차이를 줄인다. 학생이 현재 정책으로 생성한 답의 각 토큰에서 교사와 학생의 다음 토큰 분포 차이를 줄이는 온-폴리시 자기 증류를 사용한다. 외부 교사 모델, 정답 라벨, 보상 검증기, 추론 시점 도구 없이도 확대 관찰의 이점을 전체 이미지 정책에 옮긴다. 여러 세밀 시각 이해 벤치마크에서 훨씬 큰 공개 및 비공개 모델과 이미지 도구를 쓰는 에이전트에 견줄 만하거나 더 좋은 성능을 보였다.

    • 질문 생성: 각 작은 영역에 대해 MLLM은 해당 영역 내부의 디테일을 봐야만 답할 수 있는 질문 q를 생성한다.
    • 전체 이미지로의 그라운딩: 영역의 바운딩 박스를 전체 이미지 I 위에 겹쳐 학생 입력 x를 만든다. 학생이 어디에 집중해야 하는지 알 수 있도록 질문에 공간적 지시문(예: "빨간 박스를 보라")을 추가한다.
    • 크롭 생성: 해당 영역을 잘라내어 크기를 조정(흔히 2배)해 교사 입력 x'를 만든다.
    초록PDF
  35. 197Computer VisionarXiv:2605.22819

    Cambrian-P: Pose-Grounded Video Understanding

    Cambrian-P라는 모델은 명시적 카메라 포즈 그라운딩을 통해 비디오 이해를 위한 멀티모달 대규모 언어 모델을 보강해 공간 추론의 한계를 해결한다.

    비디오용 멀티모달 언어 모델은 보통 프레임을 독립된 이차원 장면처럼 처리해 카메라 위치와 방향이 만드는 공통 공간 좌표를 충분히 쓰지 않는다. Cambrian-P는 프레임마다 학습 가능한 카메라 토큰과 포즈 회귀 헤드를 넣어 비디오 이해를 카메라 움직임에 연결한다. 설계된 샘플링 방식과 함께 학습했을 때 VSI-Bench 같은 공간 추론 평가에서 4.5퍼센트에서 6.5퍼센트의 향상을 보였다. 추가 여덟 개 공간 및 일반 비디오 질의응답 평가로 일반화했고 ScanNet의 스트리밍 포즈 추정에서도 최고 수준의 결과를 냈다. 실제 영상에 자동 생성한 포즈 주석을 더한 학습이 일반 비디오 질의응답까지 개선해 카메라 포즈가 공간 문제 밖에서도 유용한 감독 신호임을 보여준다.

    • 주석: 기성 포즈 추정기인 ViPE를 사용해 나머지 클립에 대한 외부·내부 카메라 파라미터를 생성한다.
    • 모델 크기: LLM 크기가 0.5B에서 7B 파라미터로 커질수록 VQA 성능과 포즈 정확도가 일관되게 향상되었다.
    • 데이터 크기: 학습 데이터의 양을 늘릴수록 포즈 그라운딩 모델과 베이스라인 간의 성능 격차가 벌어졌다.
    초록PDF
  36. 196Computer VisionarXiv:2605.18678

    Lance: Unified Multimodal Modeling by Multi-Task Synergy

    ByteDance의 Intelligent Creation Lab은 이미지·비디오 이해, 생성, 편집을 단일 프레임워크 안에 통합한 경량 통합 멀티모달 모델 Lance를 개발했다.

    Lance는 이미지와 비디오의 이해, 생성, 편집을 한 모델에서 처리하는 가벼운 통합 멀티모달 모델이다. 공유된 교차 멀티모달 시퀀스를 학습하면서도 이해와 생성의 처리 경로는 분리한 이중 스트림 전문가 혼합 구조를 쓴다. 서로 다른 시각 토큰 사이의 간섭을 줄이기 위해 모달리티 인식 회전 위치 인코딩도 도입했다. 학습은 능력별 목표와 데이터 양을 조절하는 단계적 다중 과제 방식으로 진행해 의미 이해와 시각 생성을 함께 강화한다. 실험에서는 강한 멀티모달 이해를 유지하면서 기존 공개 통합 모델보다 이미지와 비디오 생성 성능이 높았으며, 비교 주장은 공개 모델 범위를 기준으로 한다.

    • 이해를 돕는 생성: 반대로 비디오 편집 같은 생성 작업으로 학습하면 모델이 시간적 동역학과 공간적 관계를 더 깊이 이해하게 되며, 이는 비디오 이해 벤치마크에서의 성능을 향상시킨다.
    • 비디오 생성: VBench 벤치마크에서 Lance는 총점 85.11을 기록해 발표 시점 기준 통합 모델 중 최고였다. 객체 그라운딩과 시간적 일관성에서 강력한 성능을 보였다.
    • 멀티모달 이해: 시간적 인지와 비디오 추론을 평가하는 MVBench에서 Lance는 62.0점을 기록했다. 이는 차순위 통합 모델인 Show-o2(7B) 대비 11.3% 향상된 수치다.
    초록PDF
  37. 195LLMs / NLParXiv:2605.20613

    HRM-Text: Efficient Pretraining Beyond Scaling

    현재 대규모 언어 모델의 사전학습 패러다임은 방대한 데이터에 의존한다.

    HRM-Text는 언어 모델의 계산을 천천히 변하는 전략 층과 빠르게 변하는 실행 층으로 나눈 계층형 순환 구조다. 깊은 순환 학습을 안정시키기 위해 MagicNorm과 준비 단계의 깊은 신용 할당 방법을 넣었다. 일반 원문을 다음 토큰으로 예측하는 대신 지시와 응답 쌍만 사용하고 과제 완료 목표와 PrefixLM 마스킹으로 처음부터 학습했다. 10억 파라미터 모델을 고유 토큰 400억 개와 약 1500달러 예산으로 학습해 MMLU 60.7퍼센트와 GSM8K 84.5퍼센트 등 경쟁력 있는 점수를 보고했다. 표준 기준선보다 토큰은 약 100배에서 900배, 추정 계산량은 96배에서 432배 적게 쓰고 20억에서 70억 파라미터 공개 모델과 견줄 성능을 보여, 구조와 목표의 공동 설계가 사전학습 비용을 낮출 수 있음을 보였다.

    • 이와 대조적으로 생물학적 시스템은 전두두정 루프의 기능적 조직화처럼 다중 시간척도 처리를 통해 매우 표본 효율적인 학습을 보여준다.
    초록PDF
  38. 194Machine LearningarXiv:2605.19269

    CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

    MIT, Princeton, Meta, Together AI의 연구진은 메모리 병목이 발생하는 Transformer 연산을 일반 행렬 곱셈(GEMM)의 에필로그 단계 안에서 실행되도록 재매개변수화하는 방법인 CODA를 개발했다.

    Transformer 학습에서는 정규화와 활성화, 잔차 갱신처럼 계산은 적지만 큰 중간 텐서를 메모리로 옮기는 연산이 적지 않은 시간을 차지한다. CODA는 이런 연산을 별도 커널로 실행하지 않고 행렬 곱셈 결과 타일이 칩 안에 남아 있을 때 에필로그 단계에서 처리하도록 대수적으로 다시 표현한다. 행렬 곱셈 본체는 고정하고 크기 조절, 축약, 쌍별 변환, 누적을 조합하는 작은 에필로그 명령 집합을 제공한다. 이 제한된 구조로 표준 Transformer 블록의 순방향과 역방향에서 어텐션을 제외한 거의 모든 계산을 표현할 수 있다. 대표 작업에서 사람이 작성한 커널과 언어 모델이 작성한 커널 모두 높은 성능을 보였지만, 논문의 적용 범위는 어텐션 자체보다 행렬 곱셈 주변의 메모리 병목 연산에 맞춰져 있다.

    • 상태 유지 변환: 교차 엔트로피 손실의 온라인 log-sum-exp 같은 연산을 위해 로컬 상태를 유지한다.
    • 효율성: 데이터 이동으로 손실되는 GPU 시간의 상당 부분을 회복한다.
    • 프로그래밍 용이성: 구조화된 DSL을 제공해 고성능 커널 작성을 간소화한다.
    초록PDF
  39. 193LLMs / NLParXiv:2605.18747

    Code as Agent Harness

    일리노이대학교 어배너-섐페인, Meta, 스탠퍼드대학교의 연구진이 코드를 LLM의 출력물에서 견고한 에이전트 지능을 가능하게 하는 운영 기반으로 재정립하는 '에이전트 하네스로서의 코드'라는 개념적 프레임워크를 제시한다.

    이 논문은 코드가 에이전트의 최종 산출물일 뿐 아니라 추론과 행동, 환경 모델링, 실행 검증을 떠받치는 운영 기반이 되고 있다는 흐름을 정리한 조사 연구다. 첫 번째 층은 코드가 에이전트의 추론과 행동 및 환경을 연결하는 하네스 인터페이스를 다룬다. 두 번째 층은 장기 실행을 위한 계획과 기억, 도구 사용, 피드백 기반 제어와 최적화 방법을 살핀다. 세 번째 층은 공유 코드 산출물을 통한 여러 에이전트의 조율과 검토 및 검증으로 범위를 넓힌다. 최종 성공 여부를 넘는 평가, 불완전한 피드백에서의 검증, 성능 퇴행 없는 개선, 공유 상태의 일관성, 위험한 행동에 대한 사람의 감독이 남은 핵심 과제로 제시된다.

    • 의미론적 검증의 경우, 코드는 테스트를 통해 구문과 기본적 정확성을 검증하기는 쉽지만, 그 코드가 사용자의 상위 수준 의도를 실제로 충족하는지 검증하기는 여전히 어렵다.
    • 트랜잭션형 상태 관리는 멀티 에이전트 시스템이 '병합 충돌'이나 일관성 없는 상태를 초래하지 않으면서 공유 코드베이스에 대한 복잡하고 동시적인 편집을 처리할 수 있도록 보장한다.
    • 인간의 감독은 자동화된 루프를 깨뜨리지 않으면서 인간이 에이전트의 내부 코드 산출물을 점검하고 개입할 수 있는 인터페이스를 개발하는 것이다.
    초록PDF
  40. 192Machine LearningarXiv:2605.19407

    A Bitter Lesson for Data Filtering

    이 논문은 대형 언어 모델의 경우, 충분한 계산 자원과 모델 크기로 학습할 때 필터링되지 않은 Common Crawl 데이터가 필터링된 변형보다 더 나은 성능을 낼 수 있음을 실증적으로 입증한다.

    이 연구는 계산량은 크지만 사용할 데이터가 부족한 사전학습 조건에서 데이터 필터의 효과가 모델 규모와 학습 길이에 따라 어떻게 바뀌는지 조사했다. Common Crawl의 원본과 여러 필터를 적용한 하위 집합을 만들고 모델 크기와 학습 단계를 함께 늘리며 손실을 비교했다. 충분히 큰 모델을 오래 학습하면 필터링하지 않은 데이터가 모든 시험 필터보다 좋아졌고, 무작위 문자열이나 단어 순서를 섞은 문서 같은 잡음에도 큰 모델이 예상보다 강했다. 저자들은 데이터 풀 크기와 모델 크기 및 학습 단계의 관계를 이용해 필터를 쓰지 않는 편이 유리해지는 계산량을 예측하는 스케일링 법칙도 제시했다. 다만 실험은 원본 전체가 아닌 표본 Common Crawl과 밀집 Transformer의 사전학습에 한정되고, 계산이 부족할 때는 여전히 필터링이 중요하다고 밝힌다.

    • 고정된 에폭 수로, 4 에폭 동안 학습한다.
    • 파이프라인을 단순화한다. 복잡한 분류기와 휴리스틱 규칙에 수천 GPU 시간과 인간 엔지니어링 노력을 들이는 대신, 가공되지 않은 파싱된 웹 데이터에 학습 시간을 단순히 늘리는 것이 더 나은 수익을 가져올 수 있다.
    • '쓰레기'에도 가치가 있다. 뒤섞인 데이터와 무작위 데이터에 대한 견고함은, 모델이 충분히 크다면 목표 분포와 관련된 통계적 신호를 일부라도 담고 있는 거의 모든 데이터가 유용할 수 있음을 시사한다.
    초록PDF
  41. 191AI / GeneralarXiv:2605.19943

    Probabilistic Tiny Recursive Model

    확률적 타이니 재귀 모델(PTRM)은 추론 시점의 확률성과 Q-헤드 기반 선택 메커니즘을 결정론적 타이니 재귀 모델(TRM)에 통합한다.

    Tiny Recursive Model은 같은 잠재 상태를 반복해서 다듬지만 결정적인 경로 하나만 따라가면 잘못된 해의 영역에 갇힐 수 있다. PTRM은 깊은 재귀 단계마다 가우시안 잡음을 넣은 여러 궤적을 병렬로 탐색하고 기존 Q 헤드가 가장 유망한 답을 고르게 한다. 별도 재학습이나 과제별 입력 변형 없이 추론 시점의 너비와 깊이를 함께 늘릴 수 있다. Sudoku-Extreme 정확도는 87.4퍼센트에서 98.75퍼센트로, Pencil Puzzle Bench의 여러 퍼즐은 62.6퍼센트에서 91.2퍼센트로 향상되었다. 그러나 실험은 작은 격자의 추론 퍼즐과 일부 과제에 집중되었고, Maze-Hard처럼 Q 헤드가 좋은 궤적을 잘 가려내지 못하는 경우에는 탐색 이득을 충분히 쓰지 못했다.

    • 강력하긴 하지만, 이들의 결정론적 재귀는 탈출 메커니즘 없이 차선의 해에 수렴할 수 있다.
    • 흔한 우회책은 테스트 시점의 과제별 입력 교란과 투표를 통한 답 집계를 결합하는 데 의존한다.
    초록PDF
  42. 190AI / GeneralarXiv:2605.19376

    Generative Recursive Reasoning

    KAIST, Mila, 뉴욕대학교, 몬트리올대학교의 연구진이 재귀 신경망에 확률성을 주입하여 다중 가설 탐색과 생성 능력을 가능하게 하는 프레임워크인 생성형 재귀 추론 모델(GRAM)을 도입했다.

    기존 재귀 추론 모델은 하나의 잠재 상태 경로를 반복해 하나의 답으로 수렴하므로 여러 해법을 탐색하거나 다양한 결과를 만들기 어렵다. GRAM은 각 재귀 단계의 잠재 전이를 확률적으로 만들어 여러 가설과 해결 전략을 병렬 궤적으로 다루는 생성형 재귀 추론 모델이다. 상각 변분 추론으로 학습하며 반복 깊이와 병렬 샘플 수를 함께 늘려 추론 시점 계산을 확장하고, 조건부 문제 풀이와 입력이 없는 생성 모두를 지원한다. 구조화 추론과 여러 해가 있는 제약 문제에서 결정적 재귀 기준선보다 좋아졌고, 단순히 잡음을 넣는 것보다 학습된 확률적 안내가 중요하다는 절제 실험도 제시했다. 다만 깊은 감독이 순차적으로 진행되어 Transformer보다 학습 효율이 낮고, 실험도 통제된 벤치마크에 집중되어 큰 범용 모델이나 고위험 실제 환경에는 추가 검증이 필요하다.

    • 다수결 투표는 샘플들 가운데 가장 흔한 답을 선택한다.
    • 확률성은 잠재 상태의 확률성이 구조화된 추론을 위한 강력한 도구임을 입증하여, 모델이 차선의 결정론적 궤적에 갇히는 것을 방지함으로써 결정론을 극복한다.
    • 폭 기반 스케일링은 단순히 시퀀스 길이나 모델 크기를 늘리는 대신 병렬 샘플 수, 즉 폭을 늘려 추론 성능을 확장하는 방법을 도입한다.
    초록PDF
  43. 189AI Research AgentsarXiv:2605.20025

    AutoResearchClaw

    AutoResearchClaw는 실패한 실험으로부터 실제로 학습하는 자율 AI 연구 시스템으로, AI 연구 에이전트가 본격적인 수준에 이르고 있음을 보여준다.

    AutoResearchClaw는 실패한 실험으로부터 실제로 학습하는 자율 AI 연구 시스템이다.

    • 더 나은 가설 수립과 결과 분석을 위한 멀티 에이전트 토론을 활용한다.
    • 실험이 실패할 때 방향을 전환하거나 개선하는 자가 치유 실행을 지원한다.
    • 가짜 수치와 환각된 인용을 피하기 위한 검증 가능한 보고를 제공한다.
    • 7가지 개입 모드를 갖춘 휴먼 인 더 루프 제어를 제공한다.
    • 과거의 실수를 미래의 안전장치로 바꾸는 실행 간 메모리를 갖춘다.
    초록PDF
  44. 188LLMs / Pretraining / EfficiencyarXiv:2605.06546

    Efficient Pre-Training with Token Superposition

    대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다.

    대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다. 이 논문은 병렬화, 옵티마이저, 토크나이저, 데이터, 모델 구조를 수정하지 않고도 사전학습 중 FLOPs당 데이터 처리량을 크게 향상시키는 간단한 드롭인 방법인 토큰 중첩 학습(TST)을 제시한다. TST는 두 단계로 이루어진다. 첫째는 다수의 연속된 토큰을 하나의 묶음으로 결합하여 멀티핫 교차 엔트로피(MCE) 목적함수로 학습하는 매우 효율적인 중첩 단계이고, 둘째는 표준 학습으로 되돌아가는 복구 단계다. 저자들은 270M 및 600M 파라미터 규모에서 TST를 광범위하게 평가하고 3B 및 10B A1B 전문가 혼합 모델에서 검증하여, 다양한 설정에서 매우 견고함을 입증한다. 궁극적으로 TST는 베이스라인 손실과 다운스트림 평가를 일관되게 능가하며, 동일 손실 설정에서 10B A1B 규모의 총 사전학습 시간을 최대 2.5배까지 단축한다.

    • 대형 언어 모델의 사전학습은 대규모에서 종종 엄청나게 비싸고 비효율적이며, 높은 데이터 처리량을 달성하기 위해 복잡하고 침습적인 수정이 필요하다.
    • 이 논문은 병렬화, 옵티마이저, 토크나이저, 데이터, 모델 구조를 수정하지 않고도 사전학습 중 FLOPs당 데이터 처리량을 크게 향상시키는 간단한 드롭인 방법인 토큰 중첩 학습(TST)을 제시한다.
    • TST는 두 단계로 이루어진다. 첫째는 다수의 연속된 토큰을 하나의 묶음으로 결합하여 멀티핫 교차 엔트로피(MCE) 목적함수로 학습하는 매우 효율적인 중첩 단계이고, 둘째는 표준 학습으로 되돌아가는 복구 단계다.
    • 저자들은 270M 및 600M 파라미터 규모에서 TST를 광범위하게 평가하고 3B 및 10B A1B 전문가 혼합 모델에서 검증하여, 다양한 설정에서 매우 견고함을 입증한다.
    • 궁극적으로 TST는 베이스라인 손실과 다운스트림 평가를 일관되게 능가하며, 동일 손실 설정에서 10B A1B 규모의 총 사전학습 시간을 최대 2.5배까지 단축한다.
    초록PDF
  45. 187Agents / Memory / Multi-AgentarXiv:2605.08060

    The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

    카네기멜런대학교와 FOCAL의 연구진은 사회적 딜레마 상황에서 대형 언어 모델 에이전트가 접근 가능한 메모리를 늘릴수록 협력 행동이 체계적으로 저하된다는 사실을 발견했으며, 이 현상을 '메모리의 저주'라 명명했다.

    카네기멜런대학교와 FOCAL의 연구진은 사회적 딜레마 상황에서 대형 언어 모델 에이전트가 접근 가능한 메모리를 늘릴수록 협력 행동이 체계적으로 저하된다는 사실을 발견했으며, 이 현상을 '메모리의 저주'라 명명했다. 이 저하는 미래 지향적 의도의 약화에서 비롯되며, 장기적 사고를 우선하도록 모델을 미세조정함으로써 완화할 수 있다.

    • 긴 기억이 협력을 촉진한다는 고전 게임 이론의 예측과, 과도한 인간의 기억이 협력을 저해할 수 있다는 행동심리학의 발견을 조화시키는 것이 문제다.
    • 상호작용 이력 길이의 변화가 LLM 멀티 에이전트 사회적 딜레마에서 협력에 어떤 영향을 미치는지에 대한 체계적이고 대규모적인 연구가 부재하다.
    • 기존 LLM 에이전트 연구는 종종 짧은 상호작용 지평을 사용하여, 이력 축적이 협력적 의도에 미치는 장기적 영향을 놓쳤을 가능성이 있다.
    • 7개의 LLM을 대상으로 4가지 반복 사회적 딜레마 게임에서 500라운드에 걸쳐 광범위한 실험을 수행하며, 접근 가능한 메모리 길이를 0라운드부터 80라운드까지 체계적으로 변화시켰다.
    • 378,000개가 넘는 사고 연쇄(Chain-of-Thought) 추론 추적을 어휘 분석으로 분석하여 미래 지향 대 피해망상이라는 전략적 의도를 정량화했다.
    • 표적화된 미세조정, 메모리 정화, 비대칭 메모리 실험을 수행하여 그 메커니즘을 인과적으로 규명하고 완화 전략을 개발했다.
    초록PDF
  46. 186Agents / Self-Improvement / ReasoningarXiv:2605.13821

    Harnessing Agentic Evolution

    홍콩과학기술대학교(광저우)와 DeepWisdom 등의 연구진이 에이전트형 진화를 위한 통제된 메타 편집 프레임워크 AEVO를 개발했다.

    홍콩과학기술대학교(광저우)와 DeepWisdom 등의 연구진이 에이전트형 진화를 위한 통제된 메타 편집 프레임워크 AEVO를 개발했다. 이는 진화를 외부 메타 에이전트가 기저의 진화 메커니즘을 수정하는 인터랙티브 환경으로 재정식화하여, 개방형 최적화 과제와 표준 벤치마크에서 우수한 성능을 달성한다.

    • 기존의 에이전트형 진화 방법은 절차 기반이든 에이전트 기반이든 장기 탐색에 어려움을 겪으며, 종종 국소 최적해에 정체되거나 '컨텍스트 표류'에 시달린다.
    • 절차 기반 진화는 경직되어 있어, 탐색 공간의 특성이 바뀔 때 적응하지 못하는 고정된 규칙에 의존하므로 지속적 개선이 제한된다.
    • 축적된 증거인 후보, 피드백, 실패를 조직하고 이를 사용해 진화 메커니즘 자체를 수정할 안정적이고 체계적인 메커니즘이 부재하다.
    • 이 논문은 모든 후보, 피드백, 추적, 비용의 축적된 이력이 관찰 가능한 프로세스 수준 상태를 구성하는, 인터랙티브 환경으로서의 에이전트형 진화를 정식화한다.
    • 외부 메타 에이전트가 이 프로세스 수준 상태를 관찰하여 '메타 행동'을 생성하는 통제된 메타 편집 프레임워크 AEVO를 도입한다.
    • 이러한 메타 행동은 새 후보를 직접 생성하는 대신, 향후 진화가 진행되는 방식을 제어하는 메커니즘을 전략적으로 편집한다. 예를 들어 절차나 에이전트 운영 컨텍스트를 수정한다.
    초록PDF
  47. 185Agents / Science / MatharXiv:2605.06651

    AI co-mathematician: Accelerating mathematicians with agentic AI

    Google DeepMind의 AI 공동 수학자는 아이디어 도출부터 증명 생성에 이르는 수학 연구의 전체적이고 반복적인 범위를 지원하기 위해 에이전트형 AI 시스템을 통합한 인터랙티브 워크벤치다.

    Google DeepMind의 AI 공동 수학자는 아이디어 도출부터 증명 생성에 이르는 수학 연구의 전체적이고 반복적인 범위를 지원하기 위해 에이전트형 AI 시스템을 통합한 인터랙티브 워크벤치다. 이 시스템은 까다로운 FrontierMath Tier 4 벤치마크에서 48% 정확도라는 새로운 최고 점수를 달성하여 기본 언어 모델을 크게 능가했다.

    • 수학 연구는 형식적 증명을 넘어 광범위한 탐색, 직관 형성, 지속적 수정이 필요한 복잡하고 반복적인 과정이다.
    • 기존 수학용 AI 도구들은 자율 증명기나 발견 엔진처럼 전문화되어 있지만, 장기적이고 협업적인 워크플로를 위해 이러한 역량들을 조율할 통합적이고 상태를 유지하는 시스템이 없다.
    • 수학자들은 현재 작업의 여러 측면에 대해 다양한 AI 도구와 계산 자원을 수동으로 통합해야 하며, 포괄적이고 인터랙티브한 AI 어시스턴트가 없다.
    • AI 공동 수학자는 Gemini 언어 모델 위에 구축된 AI 에이전트의 계층 구조를 사용하여 수학 연구 과제를 관리하고 실행하는 인터랙티브 워크벤치다.
    • 이 시스템은 프로젝트 코디네이터 에이전트를 사용해 사용자 의도를 정교화하고, 문헌 조사·코딩·증명·계산적 탐색 같은 특화된 하위 에이전트를 활용하는 병렬 워크스트림 코디네이터 에이전트에 과제를 위임한다.
    • 이 시스템은 내부 링크, 출처 표시를 위한 여백 주석, 반복적인 AI 주도 검토 과정을 갖춘 '살아있는 워킹 페이퍼'를 생산하는 데 중점을 두며, 비동기적 상호작용과 유연한 사용자 조정을 지원한다.
    초록PDF
  48. 184Reasoning / Test-Time ScalingarXiv:2605.08083

    LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

    AutoTTS 프레임워크는 설계 문제를 알고리즘적 탐색으로 재구성하여 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략의 발견을 자동화한다.

    AutoTTS 프레임워크는 설계 문제를 알고리즘적 탐색으로 재구성하여 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략의 발견을 자동화한다. 발견된 전략들은 일관되게 우수한 정확도-비용 트레이드오프를 달성하여, 수작업으로 만든 베이스라인 대비 토큰 소비를 최대 69.5%까지 줄이는 동시에 종종 최고 정확도를 향상시키고 다양한 LLM과 벤치마크에 걸쳐 견고한 일반화 성능을 보인다.

    • 대형 언어 모델(LLM)을 위한 테스트 타임 스케일링(TTS) 전략은 통상적으로 수작업 설계와 휴리스틱 튜닝으로 개발된다.
    • 이러한 인간의 직관에 대한 의존은 복잡한 연산 배분 정책의 탐색을 제한하며 인간의 인지 편향에 취약하다.
    • 수작업 방식은 종종 특정 과제나 모델에 한정된 전략을 낳아, 더 넓은 범위에 걸쳐 최적이 아닌 정확도-비용 트레이드오프를 초래한다.
    • AutoTTS는 테스트 타임 스케일링(TTS)을 컨트롤러 합성 문제로 정식화하며, 여기서 탐색자 LLM이 코드로 정의된 정책을 반복적으로 제안하고 개선한다.
    • 이 방법은 오프라인 리플레이 환경을 활용해 추론 궤적을 사전에 수집함으로써, 실시간 LLM 호출 없이도 후보 컨트롤러를 저렴하고 결정론적으로 평가할 수 있게 한다.
    • 이 프레임워크는 하이퍼파라미터의 탐색 공간을 단순화하기 위해 베타 파라미터화를 도입하고, 견고한 발견을 위한 피드백으로 세밀한 실행 추적을 제공한다.
    초록PDF
  49. 183Agents / Multi-Agent / SurveyarXiv:2605.14892

    Beyond Individual Intelligence: Surveying Collaboration, Failure Attribution, and Self-Evolution in LLM-based Multi-Agent Systems

    시안교통대학교와 시드니대학교를 비롯한 여러 기관의 연구진이 'LIFE 진행' 프레임워크를 사용하여 대형 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)에 대한 포괄적 서베이를 제공한다.

    시안교통대학교와 시드니대학교를 비롯한 여러 기관의 연구진이 'LIFE 진행' 프레임워크를 사용하여 대형 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)에 대한 포괄적 서베이를 제공한다. 이 프레임워크는 개별 에이전트 역량, 멀티 에이전트 협업, 실패 원인 규명, 자기 진화를 통합하여 이들 간의 인과적 상호의존성을 부각하고, 지속적 개선을 위한 폐루프 시스템을 옹호한다.

    • 개별 LLM 에이전트는 다양한 역할과 환경에 걸친 지속적 협응, 적응, 다단계 과제에서 한계에 부딪힌다.
    • LLM 기반 에이전트에 관한 기존 연구는 개별 역량, 멀티 에이전트 협업, 자기 진화를 개별 주제로 따로 다루는 식으로 파편화되어 있어, 이들의 상호의존성에 대한 총체적 이해를 가로막는다.
    • 긴밀하게 결합된 멀티 에이전트 시스템에서 오류 전파와 연쇄적 실패는 자동으로 진단하기 어려우며, 현재 시스템에는 진단적 통찰을 구조적 자기 개선으로 전환하는 메커니즘이 없다.
    • 운영 생애주기를 인과적으로 연결된 네 단계, 즉 역량 기반 구축(Lay), 협업을 통한 에이전트 통합(Integrate), 원인 규명을 통한 결함 발견(Find), 자율적 자기 개선을 통한 진화(Evolve)로 구조화하는 'LIFE 진행' 프레임워크를 제시한다.
    • 개별 에이전트 구성 요소, 멀티 에이전트 협업 메커니즘, 실패 원인 규명 방법, 자기 진화 메커니즘에 대한 분류 체계를 포함하여 각 단계를 체계적으로 검토하고 정형화한다.
    • 실패 진단이 협업 재구성이나 에이전트 행동 개선과 같은 구조적 적응에 직접 반영되는 '폐루프 자기 개선 프레임워크'를 제안하고 분석한다.
    초록PDF
  50. 182LLMs / Memory / ArchitecturearXiv:2605.12357

    $δ$-mem: Efficient Online Memory for Large Language Models

    δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여, 동결된 백본을 보강한다.

    δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여 동결된 백본을 보강한다. 이 시스템은 비교된 메모리 메커니즘 가운데 가장 높은 종합 성능을 달성했다. 매우 적은 파라미터 오버헤드만으로 메모리 집약적 벤치마크에서 Qwen3-4B-Instruct 백본의 평균 점수를 4.87퍼센트포인트 끌어올려 51.66%로 향상시켰다.

    • 대형 언어 모델(LLM)은 확장된 컨텍스트 윈도우의 2차 계산 비용과 '컨텍스트 열화' 문제 때문에 긴 상호작용 이력을 효율적으로 활용하기 어렵다.
    • 현재의 메모리 메커니즘인 텍스트 기반, 외부 채널, 파라메트릭 방식은 정보 손실, 검색 노이즈, 통합 오버헤드, 또는 동적으로 적응하지 못하는 한계 등의 문제를 안고 있다.
    • 전체 모델 미세조정이나 대규모 구조 변경 없이 LLM에 연속적이고 적응 가능한 메모리를 제공하는 방법이 필요하다.
    • δ-mem은 연속적인 과거 정보를 고정 크기의 연관 메모리 온라인 상태(OSAM)로 압축하여 효율적이고 동적인 저장을 가능하게 한다.
    • 이 방법은 순차적인 읽기-조정-쓰기 주기로 동작하며, OSAM에서 읽은 신호로 동결된 백본의 어텐션 메커니즘에 대한 저랭크 보정을 생성하고, 게이트형 델타 규칙으로 OSAM을 갱신한다.
    • 이 시스템은 다양한 맥락과 백본 용량에 맞춰 메모리 갱신을 조정할 수 있도록 서로 다른 쓰기 단위인 Token-State, Sequence-State, Multi-State Write를 제공한다.
    초록PDF