HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 394Computer VisionarXiv:2606.09967

    ABot-Earth 0.5: Generative 3D Earth Model

    위성 사진만으로 전 세계 3D 환경을 10분/km 이하로 생성하는 3D Gaussian Splatting 기반 생성 모델 ABot-Earth 0.5를 발표한다.

    알리바바 AMAP CV Lab이 발표한 ABot-Earth 0.5는 위성 사진을 조건으로 대규모 3D 환경을 직접 생성하는 3DGS 기반 생성 프레임워크다. 실제 도시 재구축 데이터로 학습되어 1km2당 10분 미만의 속도로 사실적인 3D 장면을 합성한다. 다중 LOD 구조로 웹 기반 지도 엔진에서 실시간 탐색을 지원하며, 300개 도시 190개국을 커버한다. UAV 내비게이션 등 Embodied AI 시뮬레이션 환경으로의 활용이 기대된다.

    • 3D Gaussian Splatting(3DGS) 표현을 직접 사용하는 최초의 대규모 생성 모델, 위성 사진만으로 3D 장면 합성
    • 1km2당 10분 미만 생성 속도, 기존 photogrammetry 파이프라인(수개월~수년) 대비 압도적 효율
    • 위성/항공/도시 3종 데이터 소스 통합, ABot-3DGS 재구축 엔진으로 고품질 학습 데이터 구축
    • 네이티브 multi-LOD 계층 구조로 조 단위 Gaussian 원시체 실시간 스트리밍, 웹 지도에서 행성→거리 레벨 줌
    • 300개 도시 190개국 커버, Google Earth 대비 미학적 점수 우위(단 정밀 기하/텍스처는 아직 열위)
    • 랜드마크 고품질 재구축 모델과 생성 배경을 합성하는 하이브리드 접근으로 편집 가능한 플랫폼 제공
    초록PDF
  2. 393Machine LearningarXiv:2606.09821

    Rethinking the Divergence Regularization in LLM RL

    LLM RL에서 trust region 제어를 위해 DPPO의 hard mask를 smooth quadratic regularizer로 대체한 DRPO를 제안해 안정성과 효율성을 개선한다.

    LLM 강화학습에서 PPO의 비율 클리핑은 장꼬리 어휘에서 분포 이동을 제대로 포착하지 못한다. DPPO는 이를 발산 기반 마스크로 해결하지만, 경계를 넘으면 기울기가 단절되는 문제가 있다. 이 논문은 DRPO(Divergence Regularized Policy Optimization)를 제안하여 hard mask를 이점 가중 적용된 매끄러운 이차 정규화항으로 대체한다. Binary-TV 기하학을 유지하면서도 경계 너머에서 교정 신호를 제공하며, Qwen3-4B/30B 등에서 GRPO, DPPO, SPO 대비 일관된 성능 향상을 보인다.

    • DPPO의 hard mask를 advantage-weighted l2_2 정규화항으로 대체하여 매끄러운 기울기 보장
    • Binary-TV trust region 기하학 유지: 발산 기반의 안정성 + SPO류 매끄러움 결합
    • 경계 내에서는 정책 기울기 유지, 경계 너머에서는 교정적 기울기(정책을 행동 정책 방향으로 당김) 제공
    • Qwen3-4B, Qwen3-30B-A3B (MoE)에서 BF16/FP8 설정 교차 검증, GRPO/DPPO/SPO 대비 일관된 우위
    • 절대 어드밴티지 |A_t| 가중치가 trust region 경계를 보상 척도와 독립적으로 안정화함이 ablation으로 확인
    • KL/TV/chi2 등 다른 발산 정규화보다 DRPO가 우수하며, 이는 기울기 형태가 목적함수 형태보다 중요함을 시사
    초록PDF
  3. 392LLMs / NLParXiv:2606.11926

    Toward Generalist Autonomous Research via Hypothesis-Tree Refinement

    가설 트리 정제(HTR) 기반의 자율 연구 프레임워크 Arbor를 제안해, 에이전트가 장기적으로 누적되는 연구를 수행하게 한다.

    과학적 발견의 핵심인 탐색-실험-추상화 루프를 AI 에이전트가 자율적으로 수행하도록 설계된 Arbor 프레임워크를 제안한다. 장기 코디네이터와 단기 실행자, 그리고 가설-산출물-증거-인사이트를 연결하는 Hypothesis Tree Refinement(HTR)가 핵심이다. 모델 훈련, 하니스 엔지니어링, 데이터 합성 등 6개 실제 연구 과제에서 Codex와 Claude Code 대비 평균 2.5배 이상의 held-out 개선을 달성했으며, MLE-Bench Lite에서 86.36% Any Medal을 기록했다.

    • Autonomous Optimization(AO) 설정: 인간의 단계적 감독 없이 초기 산출물을 반복 실험으로 개선하는 과제 정의
    • 가설 트리에 각 노드가 가설-산출물 버전-실험 증거-정제된 인사이트를 바인딩하여 누적 연구 상태 구현
    • 코디네이터-실행자 분리: 전역 전략은 코디네이터, 개별 실험은 격리된 worktree에서 실행자가 담당
    • 6개 실제 연구 과제(모델 훈련/하니스/데이터 합성)에서 Codex, Claude Code 대비 2.5x+ 평균 상대 이익
    • MLE-Bench Lite에서 GPT-5.5 기반 86.36% Any Medal 달성, ablation에서 HTR+인사이트 전파가 핵심임 확인
    • BrowseComp 최적화 하니스가 미가시 search-agent 과제로 전이되는 등 일반화 능력 입증
    초록PDF
  4. 391LLMs / NLParXiv:2606.09659

    End-to-End Context Compression at Scale

    encoder-decoder 구조의 Latent Context Language Model(LCLM)을 350B 토큰으로 학습해 KV cache 압축 대비 정확도-효율 Pareto frontier를 개선한다.

    긴 문맥 LLM 추론에서 KV cache 메모리가 병목인 문제를 해결하기 위해, encoder-decoder 방식의 Latent Context Language Model(LCLM)을 제안한다. 0.6B encoder와 4B decoder를 1:4, 1:8, 1:16 압축비로 350B 토큰 학습했다. LCLM은 RULER, LongBench 등에서 기존 KV cache 압축 방법론보다 빠르고 정확하며, 에이전트가 압축된 문맥을 훑고 필요 부분을 선택적 확장하는 시스템도 시연했다.

    • 0.6B encoder + 4B decoder(Qwen3-4B 기반)를 1:4/1:8/1:16 압축비로 각각 350B+ 토큰 학습
    • 대규모 아키텍처 서치로 encoder-decoder 설계 최적화: pooling 방식, adapter 구조, 학습 단계 설계 등
    • RULER 4K에서 8.8배, LongBench 64K에서 5.2배 빠른 TTFT 달성하며 정확도 우위
    • 에이전트가 압축된 전체 컨텍스트를 한번에 읽고 EXPAND 도구로 필요 청크만 원문 확장하는 agentic harness 제안
    • 최대 1M 토큰까지 거의 선형에 가까운 메모리 스케일링, vLLM/SGLang 등 표준 추론 엔진과 호환
    초록PDF
  5. 390Machine LearningarXiv:2606.11722

    ICA Lens: Interpreting Language Models Without Training Another Dictionary

    ICA(독립성분분석)를 활용해 SAE 학습 없이도 LLM 활성화에서 해석 가능한 방향을 효율적으로 추출하는 워크플로우 ICALens를 제안한다.

    Sparse Autoencoder(SAE)는 LLM 해석 가능성 연구의 표준 도구지만, 층마다 대형 사전을 학습·저장·평가해야 하는 비용이 크다. 이 논문은 고전적 방법인 ICA를 GPU 병렬화와 LLM 특화 안정화 기법으로 실용화한 ICALens를 제안한다. GPT-2 Small, Gemma 2 2B, Qwen 3.5 2B Base에서 ICA가 인간 해석 가능한 방향을 효율적으로 복원하며, SAEBench에서 공개 SAE와 경쟁력 있는 성능을 보인다. 특히 적은 컴포넌트 예산에서는 SAE를 능가한다.

    • GPU 병렬 FastICA + 행 정규화 + p95-LIM 수렴 기준으로 GPT-2 Small에서 수락 층 수 400% 증가, 반복 횟수 21.5% 감소
    • ICA 방향은 무작위 투영보다 비정규성이 유의미하게 높으며, 깊은 층으로 갈수록 문맥 의존성이 증가하는 패턴(ERF) 확인
    • SAEBench Sparse Probing에서 공개 SAE와 경쟁력 있으며, Targeted Probe Perturbation에서 소~중규모 예산으로 SAE 능가
    • ICA 컴포넌트는 어휘 형태, 국소 통사, 담화 맥락, 의미 중의성, 장거리 반복 등 다양한 언어 구조를 포착
    • SAE 대체재가 아닌 '첫 번째 렌즈'로서의 보완적 역할을 제안하며, 비용 효율적인 탐색 도구로 포지셔닝
    초록PDF
  6. 389AgentsarXiv:2604.11548

    SemaClaw: A Step Towards General-Purpose Personal AI Agents through Harness Engineering

    OpenClaw 기반 멀티에이전트 프레임워크로, harness engineering이라는 패러다임을 정식 제안하고 DAG Teams 오케스트레이션, PermissionBridge 안전 시스템, 3-tier 컨텍스트 관리를 통합한 논문이다.

    Midea AIRC에서 OpenClaw 기반으로 구축한 SemaClaw 프레임워크 논문이다. harness engineering이라는 개념을 정식화하여, 모델 능력 외에 에이전트 시스템의 오케스트레이션·안전·메모리 인프라가 핵심 차별화 요소임을 주장한다. DAG Teams(동적 DAG 생성 + 결정론적 실행), PermissionBridge(런타임 수준 권한 제어), 3-tier 컨텍스트 관리, Agentic Wiki(지식 축적 인프라)를 통합 제안한다. 2-layer 아키텍처(sema-code-core + semaclaw)로 재사용 가능한 런타임과 애플리케이션 harness를 분리했다.

    • AI 엔지니어링이 프롬프트/컨텍스트 엔지니어링에서 harness engineering으로 전환되는 패러다임 시프트를 정식화했다. 모델 능력이 수렴함에 따라 harness layer가 아키텍처 차별화의 핵심 영역이 되고 있다.
    • DAG Teams: LLM이 태스크 그래프(DAG)를 동적 생성하면 결정론적 스케줄러가 실행하는 2-phase 하이브리드 오케스트레이션 방식을 제안했다. 유연성과 실행 추적가능성을 동시에 확보한다.
    • PermissionBridge: 고위험 작업(파일 수정, 외부 API 호출, 코드 실행) 전에 런타임 수준에서 인가 체크포인트를 거치는 행동 안전 시스템이다. 도구 단위 래퍼가 아닌 네이티브 런타임 프리미티브다.
    • 3-tier 컨텍스트 관리: 압축 작업 메모리 + 검색 기반 외부 메모리 + SOUL.md 앵커 페르소나 파티션으로 구성된 계층적 메모리 아키텍처를 도입했다.
    • Agentic Wiki: 작업 파생 지식을 Markdown 파일 기반 사용자 소유 지식베이스로 외부화하여, 향후 에이전트 세션에서 검색·활용 가능한 개인 지식 인프라를 제안했다.
    • LangChain 실험에서 모델을 고정하고 harness만 개선했을 때 태스크 완료율이 52.8%에서 66.5%로 13.7%p 향상되어, harness 설계가 에이전트 성능의 주요 결정 요인임을 실증했다.
    초록PDF
  7. 388RoboticsarXiv:2606.09215

    MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

    실시간 휴머노이드 loco-manipulation을 위한 MotionWAM. 비디오 월드 모델의 중간 denoising 특징으로 정책을 구동하며, 통합 모션 잠재 변수로 전신 제어를 단일 공간에서 수행한다.

    MotionWAM은 단일 egocentric 카메라에서 실시간으로 휴머노이드 전신 loco-manipulation을 수행하는 World Action Model이다. 비디오 DiT의 중간 denoising 특징으로 모션 DiT를 구동하고, 상하체 분할 대신 통합 모션 잠재 변수로 보행·몸통·높이 조절·발 상호작용·손 조작을 단일 공간에서 예측한다. 3단계 학습으로 점진적으로 특화한다. Unitree G1의 9개 실제 태스크에서 VLA 베이스라인 대비 30% 이상 높은 성공률을 달성하며 4.9Hz로 실시간 구동한다.

    • 비디오 DiT 중간 denoising 특징을 정책 조건으로 활용, 전체 비디오 생성 불필요로 실시간 달성
    • 상하체 분할 대신 통합 모션 잠재 변수로 전신을 단일 공간에서 제어
    • 3단계 학습: egocentric 비디오 사전학습(2136시간) → 크로스 바디 후학습 → 전신 파인튜닝
    • Unitree G1에서 9개 태스크 평균 76.1% 성공률 (최강 VLA 베이스라인 43.9% 대비 32%p+ 향상)
    • 태스크 구동 발 상호작용(공 차기, 페달 밟기) 가능, 분할 정책으로는 불가능한 행동
    • NVIDIA A100에서 4.9Hz, Cosmos Policy(0.7Hz) 대비 7배 빠른 실시간 구동
    초록PDF
  8. 387Machine LearningarXiv:2606.11087

    Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning

    행동 복제로 학습된 flow 정책을 테스트 시간에 critic gradient로 가이드하는 QGF(Q-Guided Flow). 학습 시간 RL의 불안정성 없이 경쟁력 있는 성능을 달성한다.

    QGF는 flow 정책의 denoising 과정에서 가치 함수의 gradient를 활용해 높은 가치의 행동을 생성하는 테스트 시간 RL 알고리즘이다. 행동 복제로 학습된 참조 정책과 TD 학습으로 학습된 critic을 별도로 준비한 뒤, 추론 시 critic의 gradient로 정책의 denoising 단계를 가이드한다. noisy action에 대한 backpropagation이나 학습 시간 actor-critic의 불안정성을 피하면서, offline RL 벤치마크에서 기존 테스트 시간 방법들을 능가하고 state-of-the-art 학습 시간 알고리즘과 경쟁력 있는 성능을 보여준다.

    • 테스트 시간에만 정책 최적화를 수행하는 QGF(Q-Guided Flow) 알고리즘 제안
    • 단일 Euler step 근사로 clean action의 critic gradient를 denoising에 활용, BPTT 불필요
    • 학습 시간 actor-critic의 불안정성 회피, 모델 크기 증가에 따른 유리한 스케일링
    • Best-of-N 대비 훨씬 적은 FLOPs로 더 나은 성능 달성
    • goal-conditioned RL에서 어려운 태스크일수록 기존 방법 대비 일관된 우위
    • QAM critic 사용 시 QAM 자체보다도 우수한 정책 추출 성능
    초록PDF
  9. 386RoboticsarXiv:2606.08737

    Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

    촉각 센서를 월드 액션 모델에 통합한 Dream-Tac. 시각-촉각 융합으로 접촉 집약적 로봇 조작에서 정확도를 31.7% 평균 향상시킨다.

    Dream-Tac은 비전에만 의존하는 기존 월드 액션 모델의 한계를 극복하기 위해 촉각을 통합한 최초의 Tactile World Action Model이다. contact-gated visuotactile fusion으로 접촉이 감지될 때만 선택적으로 촉각 신호를 통합하고, contact-aware attention bias로 모달리티 간 상호작용을 조절한다. 이중 수준 가속 전략으로 학습 2.9배, 추론 1.8배 가속을 달성하며, 6개 접촉 집약 조작 태스크에서 평균 31.7% 정확도 향상을 보여준다.

    • 비전+촉각을 통합 예측하는 최초의 unified Tactile World Action Model
    • contact-gated fusion: 촉각 변화가 큰 순간에만 촉각 신호를 강조하는 게이트 메커니즘
    • contact-aware attention bias로 비전-촉각-행동 간 크로스모달 상호작용 조절
    • FlashAttention 기반 게이트 최적화로 학습 2.94배 가속, diffusion-step caching으로 추론 1.8배 가속
    • 6개 접촉 집약 태스크에서 평균 31.7% 정확도 향상, Cosmos Policy 대비 31.6% 우위
    • OOD 일반화(테이블 높이, 공간, 객체, 배경 변화)에서도 강건한 성능
    초록PDF
  10. 385RoboticsarXiv:2606.09827

    MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models

    VLA 모델에 인지과학 영감의 메모리(과거)와 상상(미래) 메커니즘을 통합한 MemoryVLA++. 과거 상호작용 기억과 미래 상태 예측으로 장기 시계열 로봇 조작을 개선한다.

    MemoryVLA++는 인지과학에서 영감받아 작업 기억, 해마체 에피소드 메모리, 내부 모델(상상)을 VLA에 통합한 전체 시간 모델링 프레임워크다. Perceptual-Cognitive Memory Bank가 과거 상호작용의 저수준/고수준 정보를 저장하고, world model이 잠재 공간에서 미래 상태를 상상하며, 이를 통합한 토큰으로 diffusion action expert가 시간적으로 일관된 행동을 예측한다. 5개 시뮬레이션 벤치마크와 3개 실제 로봇 실험에서 강력한 성능을 보이며, 실제 로봇에서 메모리 의존 태스크 +26%, 상상 의존 태스크 +28% 향상을 달성했다.

    • 인지과학 영감의 전체 시간 모델링: 작업 기억 + 에피소드 메모리 + 미래 상상(world model)
    • Perceptual-Cognitive Memory Bank: 저수준 세부사항과 고수준 의미를 통합 저장, 중복 인식 갱신
    • 잠재 공간 world model로 미래 상태를 부분 denoising만으로 상상, 픽셀 수준 예측 불필요
    • Libero 98.4%, SimplerEnv 74.0% 달성, 실제 로봇에서 일반 +9%, 메모리 +26%, 상상 +28% 향상
    • Calvin 4.29, Mikasa-Robo 44.4%로 장기 시계열 태스크에서 특히 강력
    • RTX 4090에서 66.4 Hz 추론 속도로 실시간 배포 가능 수준
    초록PDF
  11. 384RoboticsarXiv:2606.10340

    OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

    휴머노이드 전신 제어를 위한 omni-modal 모션 생성 프레임워크 OMG. 언어·오디오·인간 모션 참조를 조건으로 전신 궤적을 생성하는 diffusion 기반 접근이다.

    OMG는 확장 가능한 모션 생성 브레인과 반응형 모션 추적 소뇌의 계층 구조를 통해 휴머노이드 전신 제어를 일반화한다. 1000시간 이상의 OMG-Data 코퍼스를 큐레이션하고, OMG-DiT라는 diffusion transformer 백본이 언어, 오디오, 인간 참조 모션과 그 조합을 로봇 실행 가능 궤적으로 매핑한다. 새로운 모달리티는 경량 인코더로 확장 가능하며, 제로샷 조합, 모델 스케일링, few-shot 적응 등 파운데이션 모델 특성을 보여준다.

    • 모션 생성 브레인 + 모션 추적 소뇌의 계층 구조로 휴머노이드 전신 제어 일반화
    • OMG-Data: 1174.66시간의 omni-modal 휴머노이드 모션 코퍼스 (언어/오디오/인간 모션)
    • OMG-DiT: 언어·오디오·인간 참조를 조건으로 하는 diffusion transformer, 새 모달리티 확장 가능
    • 텍스트-모션에서 FID 6.03(OMG-XL), 기존 방법 대비 대폭 향상
    • 제로샷 조합성: 학습되지 않은 언어+오디오 조합을 추론 시 결합 가능
    • 모델 스케일링(B/L/XL)에 따른 일관한 성능 향상 확인
    초록PDF
  12. 383Computer VisionarXiv:2606.11187

    Next Forcing: Causal World Modeling with Multi-Chunk Prediction

    자기회귀 비디오 생성에서 단일 청크 예측의 myopic supervision 문제를 해결하는 Next Forcing 프레임워크. 다중 청크 예측으로 학습 수렴을 2.3배 가속화한다.

    Next Forcing은 자기회귀 비디오 월드 모델의 학습 목표를 단일 청크에서 다중 청크(next1, next2, next3)로 확장하는 프레임워크다. 경량 보조 MCP 모듈이 주 모델의 중간 특징을 융합해 미래 청크를 동시에 예측하며, 이를 통해 밀집된 다중 스케일 시간 감독을 제공한다. RoboTwin 벤치마크에서 94.1/93.5%로 새로운 SOTA를 수립했고, 50fps에서 LingBot-VA 대비 2.3배 빠른 수렴을 달성한다. 추론 시 MCP 모듈을 유지하면 2배 가속도 가능하다.

    • 다중 청크 예측(MCP)으로 자기회귀 비디오 생성의 myopic supervision 문제 해결
    • 인과적 MCP 체인으로 near-future 예측이 far-future 예측에 정보 제공, 주 모델에 밀집 감독 전달
    • RoboTwin SOTA 달성: Clean 94.1%, Random 93.5%
    • 50fps에서 LingBot-VA 대비 93.1% 상대 향상, 2.3배 학습 가속
    • 일반 비디오 사전학습에서도 FVD 50% 이상 감소로 로봇 특화 데이터 이상의 일반성 입증
    • 추론 시 MCP 모듈 유지로 2배 추론 가속, 정확도 유지
    초록PDF
  13. 382Computer VisionarXiv:2606.10651

    Kwai Keye-VL-2.0 Technical Report

    Kwai의 오픈소스 MoE 멀티모달 모델 Keye-VL-2.0-30B-A3B 기술 보고서. DeepSeek Sparse Attention을 GQA 기반 멀티모달 아키텍처에 최초 적용해 256K 컨텍스트를 무손실 처리한다.

    Keye-VL-2.0-30B-A3B은 3B 활성 파라미터를 가진 30B급 MoE 멀티모달 기반 모델로, 시간 단위 비디오 이해와 에이전트 지능을 목표로 한다. DeepSeek Sparse Attention(DSA)을 GQA 기반 멀티모달 아키텍처에 최초로 적용하여 256K 컨텍스트를 무손실 처리하며, Cross-Modal Multi-Teacher On-Policy Distillation(MOPD)을 통해 다중 태스크 정렬 시의 catastrophic forgetting을 극복한다. TimeLens, Video-MME-v2, LongVideoBench 등에서 동급 모델 대비 최고 수준 성능을 달성했다.

    • 30B MoE 구조(3B 활성 파라미터)로 효율적 배포 가능한 멀티모달 기반 모델
    • GQA 기반 아키텍처에 DeepSeek Sparse Attention 최초 적용으로 256K 무손실 컨텍스트
    • Cross-Modal MOPD로 비디오·코드·도구·검색 역량을 하나의 MoE 백본에 통합
    • Context-RL + Video-RL로 시각 hallucination 감소 및 장문 의사결정 안정화
    • TimeLens(ActivityNet 58.5 mIoU), LongVideoBench(74.1) 등에서 동급 SOTA 달성
    • 에이전트 벤치마크(LiveCodeBench v6 64.2, OJBench 71.5)에서도 강력한 성능
    초록PDF
  14. 381AI / GeneralarXiv:2606.08432

    Trajectory-Refined Distillation

    On-policy distillation의 구조적 한계인 prefix failure를 규명하고, trajectory-level 정제를 통해 이를 해결하는 TRD(Trajectory-Refined Distillation) 방법을 제안했다.

    On-policy distillation(OPD)에서 학생 모델의 롤아웃이 잘못된 추론 경로를 따르면 teacher 분포가 bimodal mixture가 되어 token-level loss 개선만으로는 해결할 수 없는 prefix failure가 발생한다. TRD는 권한 정보(privileged information)를 활용해 학생의 원시 롤아웃을 정제된 궤적으로 수정한 뒤 이를 distillation에 사용한다. 수학·코드 벤치마크 전반에서 일관된 성능 향상을 보이며, 특히 AMOBench에서 Qwen3-8B 기준 ~50% 상대 향상을 달성했다.

    • OPD의 prefix failure 문제를 최초로 공식화 — 토큰 수준 개선으로는 근본 해결 불가
    • TRD: trajectory-level 정제로 on-policy 지지 영역 내에서 궤적 수정 후 distillation 수행
    • OPD와 OPSD(self-distillation) 모두에 적용 가능, Qwen3 모델군 전반에서 일관된 성능 향상
    • AMOBench에서 Qwen3-8B 기준 ~50% 상대 향상(Pass@16), 정제된 궤적 길이 ~9배 압축
    • 기존 토큰 수준 loss 개선(clip, reweight, top-K) 방법들을 능가하는 trajectory-level 접근
    초록PDF
  15. 380LLMs / NLParXiv:2606.09498

    Self-Harness: Harnesses That Improve Themselves

    LLM 에이전트가 스스로 자신의 harness(프롬프트, 도구, 런타임 메커니즘)를 개선하는 Self-Harness 프레임워크를 제안했다. 약점 마이닝→수정 제안→회귀 테스트의 반복 루프로 모델별 맞춤 harness를 자동 생성한다.

    Self-Harness는 LLM 에이전트가 외부 도움 없이 자신의 운영 harness를 스스로 개선하는 새로운 패러다임이다. 실행 트레이스에서 반복되는 실패 패턴을 군집화해 모델별 약점을 식별하고, 이에 대응하는 최소한의 harness 수정을 제안한 뒤 회귀 테스트를 통과한 것만 승인한다. Terminal-Bench-2.0에서 MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5 세 모델 모두에서 유의미한 성능 향상을 보였으며, 특히 held-out 태스크에서 최대 21.4%p 절대 향상을 달성했다.

    • 에이전트가 자신의 harness를 스스로 개선하는 Self-Harness 패러다임 제안 (Weakness Mining → Harness Proposal → Proposal Validation)
    • 3개 모델(MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5)에서 held-out pass rate 각각 40.5%→61.9%, 23.8%→38.1%, 42.9%→57.1% 향상
    • 모델별로 서로 다른 harness 변경이 생성됨 — generic instruction 추가가 아닌 모델 특화 수정
    • regression test 기반 acceptance rule로 overfitting 방지, 수정 내역이 작고 감사 가능(auditable)
    • SemaClaw/OpenClaw 등 기존 harness 시스템과 직접적으로 관련된 연구
    • 에이전트의 자기개선(Self-Improvement) 연구 라인과 연결되는 의미 있는 진전
    초록PDF
  16. 379Computer VisionarXiv:2606.09056

    MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

    비디오 생성의 장기 일관성 문제를 계층적 latent 공간에서 coarse-to-fine rollout으로 해결하는 MilliVid를 제안했다. Minecraft 장기 비디오에서 기존 대비 현저히 개선된 장거리 일관성을 보여준다.

    MilliVid는 비디오 생성의 장기 일관성 문제를 고정 transformer 시퀀스 길이 하에서 해결한다. 먼저 프레임을 계층적 토큰으로 압축하는 autoencoder를 학습한다. coarsest 레벨은 프레임당 4개 토큰으로 장면 구조와 의미를 포착하고, finer 레벨은 텍스처와 외관 디테일을 추가한다. 이어서 coarse-to-fine rollout으로 비디오를 생성하는데, coarse 레벨에서 많은 프레임을 커버해 장기 구조 일관성을 확보한 뒤 점진적으로 fine 레벨로 디테일을 채운다. Minecraft 긴 비디오 데이터셋에서 FramePack 및 기존 autoregressive 방법 대비 현저히 우수한 장기 일관성을 달성한다. 단순 다운샘플링이 아닌 학습된 계층적 토큰화가 핵심이다.

    • 프레임당 토큰 수가 계층별로 다른 hierarchical autoencoder 설계
    • Coarsest 레벨(4토큰/프레임)에서 장면 구조와 객체 영속성 포착
    • Coarse-to-fine rollout으로 고정 시퀀스 길이 내 최대 시간적 커버리지 확보
    • 학습된 계층적 토큰화가 단순 다운샘플링보다 우수한 압축 품질
    • 멀리 미래를 예측하도록 모델을 훈련해 장기 context 의존성 유도
    • Minecraft 장기 비디오에서 FramePack 대비 현저한 일관성 개선
    초록PDF
  17. 378AI / GeneralarXiv:2606.06741

    OpenSkill: Open-World Self-Evolution for LLM Agents

    LLM 에이전트가 태스크 프롬프트와 오픈월드 자원만으로 스킬과 검증 신호를 동시에 자가 구축하는 OpenSkill 프레임워크를 제안했다. 타겟 태스크 감독 없이도 기존 baseline 대비 최대 +8.9% 향상을 달성한다.

    OpenSkill은 배포 후 LLM 에이전트가 인간 큐레이션 스킬이나 타겟 태스크 피드백 없이 자가 진화하는 open-world self-evolution 설정을 다룬다. 3단계 파이프라인으로 구성된다: (1) 문서, 저장소, 웹에서 근거 지식과 검증 앵커를 획득하고, (2) 이를 전이 가능한 스킬로 합성해 self-built virtual task로 refining하며, (3) zero-shot으로 타겟 에이전트에 배포한다. leakage barrier로 학습 중 타겟 정답이 스킬 구축에 유입되지 않도록 보장한다. SkillsBench 등 3개 벤치마크에서 최고 pass rate를 달성하며, 스킬이 모델 간 전이되고 자가 구축 verifier가 88.9%의 ground-truth 테스트 의도를 커버한다.

    • 태스크 프롬프트만으로 스킬과 검증 신호를 동시 구축하는 open-world self-evolution 정의
    • 오픈월드에서 근거 지식과 verification anchor를 독립 획득
    • Self-built virtual task로 스킬 refining, 타겟 감독 완전 차단
    • SkillsBench에서 기존 최강 baseline 대비 +8.9% 향상
    • 스킬이 모델 간 전이 가능하여 약한 모델에도 효과 적용
    • 자가 구축 verifier가 ground-truth의 88.9% 테스트 의도 커버
    초록PDF
  18. 377Software EngineeringarXiv:2606.07297

    SWE-Explore: Benchmarking How Coding Agents Explore Repositories

    코딩 에이전트의 리포지토리 탐색 능력을 독립적으로 평가하는 SWE-Explore 벤치마크를 제안했다. 848개 이슈, 10개 언어에 걸쳐 라인 수준 평가를 수행하며, 파일 찾기는 강하지만 핵심 라인 발견은 여전히 큰 과제임을 보여준다.

    SWE-Explore는 기존 SWE-bench의 통합 pass/fail 평가에서 탐색 능력을 분리해 독립 평가한다. 성공한 에이전트 궤적에서 실제로 참조한 코드 라인을 ground truth로 추출하고, 탐색기가 반환한 ranked region list를 라인 수준에서 coverage, ranking, context-efficiency로 평가한다. 848개 이슈, 10개 언어, 203개 리포지토리를 포괄하며, sparse retriever부터 코딩 에이전트까지 다양한 방법을 동일한 라인 예산 하에 비교한다. 에이전트 기반 탐색이 classical retrieval을 명확히 상회하지만, 파일 수준 localization이 강한 반면 라인 수준 recall은 여전히 낮은 것이 핵심 발견이다.

    • 리포지토리 탐색을 패치 생성과 분리해 독립 평가하는 새로운 벤치마크
    • 성공한 에이전트 궤적에서 trajectory-grounded line-level ground truth 도출
    • 848개 이슈, 10개 언어, 203개 리포지토리로 다양한 코딩 환경 포괄
    • 에이전트 탐색이 classical retrieval 대비 명확한 상위 티어 형성
    • 파일 수준 hit은 강하지만 핵심 라인 recall은 0.14~0.19 수준으로 병목
    • 핵심 context 누락이 잡음 context보다 패치 성공에 더 치명적
    초록PDF
  19. 376AI / GeneralarXiv:2606.08702

    ConMem: Structured Memory-Guided Adaptation in Training-Free Multi-Agent Systems

    LLM 기반 다중 에이전트 시스템에서 과거 경험을 타입드 서명 카드와 관계 그래프로 구조화해 추가 학습 없이 적응하는 ConMem 프레임워크를 제안했다. 50% 이상의 후보를 pruning하면서도 일관된 성능 향상을 달성한다.

    ConMem은 다중 에이전트 적응을 위해 과거 상호작용 궤적을 typed signed memory card로 증류하고, 이를 관계 인식 메모리 그래프로 구성한다. 각 카드는 상태-계획-실행-평가 정보를 인코딩하며 positive/negative 서명이 부여된다. 런타임에 작업 요구에 맞게 카드를 검색하고, 관계 그래프를 통해 전략 충돌 해결과 의존성 복구를 수행한 뒤 컨텍스트 예산 내에서 프롬프트를 구성한다. 4개 벤치마크, 3개 MAS 호스트에서 기존 메모리 아키텍처 대비 일관된 향상을 보이며, 확장 후보 50% 이상을 pruning하고 계획 오버헤드를 80% 이상 감소시킨다.

    • 과거 궤적을 typed signed memory card로 증류해 재사용 가능한 전략 단위 생성
    • Supports/satisfies/conflicts/constrains 관계를 갖는 typed 그래프로 카드 구성
    • Needs-aware retrieval로 작업 요구에 맞는 카드 검색
    • 관계 그래프 기반 충돌 해결 및 의존성 복구로 일관된 지침 생성
    • 컨텍스트 예산 제어로 50% 이상 후보 pruning 및 80% 계획 오버헤드 감소
    • 호스트 모델 가중치나 오케스트레이션 수정 없이 training-free 적용
    초록PDF
  20. 375LLMs / NLParXiv:2606.07502

    Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

    LLM의 unembedding matrix에 고빈도 토큰을 embedding 공간에 주입하는 잠재 부분공간이 존재함을 발견하고, 이를 필터링하는 EmbedFilter로 zero-shot 텍스트 임베딩 성능을 최대 14.1% 향상시켰다.

    LLM을 텍스트 임베딩 모델로 사용할 때 성능이 저하되는 원인을 mechanistic interpretability 관점에서 분석했다. Logit Lens 분석을 통해 텍스트 임베딩이 의미적으로 무의미한 고빈도 토큰에 정렬되는 representation collapse 현상을 발견했고, 이의 원인이 unembedding matrix의 edge spectrum 부분공간임을 규명했다. 이 부분공간을 단순 선형 변환(EmbedFilter)으로 제거하면 MTEB에서 최대 14.1% 향상을 달성하며, 자연스러운 차원 축소로 인덱스 저장과 검색 속도 개선도 함께 얻을 수 있다.

    • LLM 임베딩이 고빈도 무의미 토큰에 정렬되는 representation collapse 발견
    • Unembedding matrix의 edge spectrum 부분공간이 원인임을 규명
    • EmbedFilter: 단순 선형 변환으로 해당 부분공간 필터링, 추가 학습 불필요
    • MTEB에서 최대 14.1% 성능 향상, 다양한 LLM backbone에 적용 가능
    • 거리 보존 차원 축소로 저장 공간 절감 및 검색 속도 향상 효과
    • BERT-whitening 등 기존 보정 방법 대비 무감독 설정에서 우수
    초록PDF
  21. 374RoboticsarXiv:2606.09811

    AHA-WAM:Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing

    로봇 조작에서 비디오 world model과 action model의 시간 스케일을 분리해 저빈도 세계 계획과 고빈도 액션 실행을 비동기화하는 AHA-WAM을 제안했다. RoboTwin 92.80% 달성 및 24.17Hz 제어 주파수를 기록했다.

    AHA-WAM은 기존 world-action model이 비디오 예측과 액션 실행을 같은 시간 해상도에 묶던 한계를 극복한다. Video DiT를 저빈도 world planner로, Action DiT를 고빈도 실행기로 분리해 각각의 기능에 최적화된 시간 스케일을 할당한다. Planner는 rolling KV memory로 과거 관측을 누적하고 layerwise latent context를 제공하며, Executor는 OVCR(Observation-Guided Video-Context Routing)으로 최신 관측에 맞춰 context를 동적 라우팅한다. RoboTwin 2.0에서 92.80%, 실제 로봇 태스크에서 78.3% 성공률을 달성하면서 기존 대비 4.59~10.82배 빠른 제어 주파수를 기록했다.

    • Video DiT(저빈도 planner)와 Action DiT(고빈도 executor)의 비동기 분리 설계
    • Rolling KV memory로 planner의 시간적 context 누적 유지
    • OVCR로 최신 관측 기반 planner context 동적 라우팅 및 업데이트
    • Horizon-adaptive offset training으로 임의 planner-executor 위상 관계 학습
    • RoboTwin 92.80%, 실세계 78.3% 성공률로 SOTA 수준 달성
    • 최대 56.9Hz 제어 주파수로 Fast-WAM 대비 10.82배 속도 향상
    초록PDF
  22. 373Machine LearningarXiv:2606.09079

    FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention

    DeepSeek-V4 아키텍처 기반으로 초장문맥 추론 시 GPU 메모리를 86.5% 절감하면서 정확도를 유지하는 Lookahead Sparse Attention(LSA) 방식을 제안했다. 프로젝트 리더의 퇴사로 개발이 중단된 상태다.

    FlashMemory-DeepSeek-V4는 기존 LLM 디코딩 시 전체 KV cache를 GPU에 유지하는 비효율을 해결한다. Neural Memory Indexer가 주기적으로 미래 context 수요를 예측해 쿼리에 필수적인 KV chunk만 GPU에 적재하는 Lookahead Sparse Attention(LSA)을 도입했다. Indexer를 dual-encoder로 분리해 backbone 모델 로딩 없이 독립 훈련하는 것이 핵심 혁신이다. LongBench-v2, LongMemEval, RULER 평가에서 평균 13.5% 메모리만 사용하면서 +0.6% 정확도 향상을 달성했으나, MRCR 벤치마크에서는 76%에서 48%로 크게 저하되는 한계도 존재한다.

    • 미래 context 수요를 예측해 필수 KV chunk만 GPU에 적재하는 LSA 패러다임
    • Indexer를 backbone과 완전 분리해 단일 H20 GPU 1시간 훈련 가능
    • Sigmoid threshold 기반 동적 chunk 리콜로 고정 Top-k 대체
    • 평균 13.5% KV cache로 baseline 대비 +0.6% 정확도 향상
    • 500K 길이에서 90% 메모리 절감, 오히려 정확도 +1.9% 향상
    • MRCR 밀집 검색 벤치마크에서 76%에서 48%로 심각한 저하 한계 존재
    초록PDF
  23. 372AI / GeneralarXiv:2606.09669

    SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks

    다중모달 에이전트의 실제 3D 환경에서 공간 추론 능력을 평가하는 통합 벤치마크 SpatialWorld를 제안했다. GPT-5도 17.4% 성공률에 그쳐 현재 모델의 한계를 명확히 드러낸다.

    SpatialWorld는 8개의 이기종 시뮬레이터(AI2-THOR, CARLA, VirtualHome 등)를 통합 인터페이스로 묶어, 760개의 인간 어노테이션 태스크로 다중모달 에이전트의 공간 추론을 평가한다. 에이전트는 1인칭 시야만으로 부분 관측 환경에서 능동적으로 정보를 수집하고 text-based 액션으로 의사결정해야 한다. 15개 최신 모델 평가 결과 GPT-5가 17.4%로 최고 성능이었으나 여전히 낮은 수준이었고, 도메인별 성능 편차가 컸다. 작업 성공과 실행 효율성 간 불일치도 발견되었다.

    • 8개 시뮬레이터를 통합한 simulator-agnostic 평가 프로토콜 설계
    • 가구일, 여행, 사회협력, 디지털 게임 등 6개 도메인 760개 태스크 구축
    • 1인칭 vision-only 관측 + text-based 액션으로 MLLM 네이티브 인터페이스 제공
    • GPT-5 최고 17.4%, Qwen-3.5 14.1%로 공간 추론 여전히 큰 과제
    • 도메인별 리더가 달라지는 현상: 가구일은 GPT-5, 게임은 Gemini-3.1-Pro 우세
    • 작업 성공률과 실행 효율성 간 불일치 발견
    초록PDF
  24. 371Computer VisionarXiv:2606.09828

    Latent Spatial Memory for Video World Models

    비디오 월드 모델의 3D 공간 일관성 유지를 위해 RGB 대신 diffusion latent 공간에 직접 3D 메모리를 구축하는 Mirage 프레임워크를 제안했다. 기존 RGB 포인트클라우드 대비 최대 10.57배 빠른 속도와 55배 적은 GPU 메모리를 달성했다.

    기존 비디오 월드 모델은 3D 공간 일관성을 위해 RGB 포인트클라우드 메모리를 사용했으나, 렌더링-인코딩 과정이 연산 병목이자 정보 손실의 원인이었다. Mirage는 depth 기반 역투영으로 latent token을 3D 공간에 직접 적재하고, 타겟 뷰를 latent 해상도에서 투영해 읽어오는 방식으로 이 문제를 해결한다. ControlNet 스타일 side branch를 통해 diffusion backbone에 주입하며, 동적 객체 필터링으로 장기 롤아웃 안정성을 확보한다. WorldScore에서 SOTA를 달성하고 RealEstate10K에서 강한 재구성 품질을 보여준다.

    • Latent 공간에 직접 3D spatial memory를 구축해 pixel-space 왕복 비용 제거
    • Depth-guided back-projection으로 latent token을 3D world-space에 적재
    • Occlusion-aware latent-resolution projection으로 타겟 뷰 획득
    • 동적 객체와 하늘을 메모리 업데이트에서 제외해 장기 안정성 향상
    • RGB 캐시 대비 end-to-end 10.57배 속도, 55배 GPU 메모리 절감
    • 2-stage 훈련으로 side branch와 LoRA 안정적 수렴 유도
    초록PDF
  25. 370RoboticsarXiv:2606.06556

    Robots Need More than VLA and World Models

    로봇 지능이 단순한 정책 스케일링이 아니라 그라운딩 문제임을 주장하며, 물리적 경험을 로봇 학습 가능한 감독으로 변환하는 4대 필수 인터페이스를 제안한 포지션 페이퍼다.

    이 포지션 페이퍼는 일반적 로봇 지능이 단순히 더 많은 로봇 데이터와 더 큰 VLA 모델로 해결되지 않음을 주장한다. 핵심 병목은 정책 학습이 아니라 세계의 풍부한 비정형 행동 데이터를 로봇이 사용 가능한 감독으로 변환하는 메커니즘의 부재다. 데이터 자동라벨링을 위한 물리 데이터 엔진, 인간 모션을 로봇 행동으로 리타겟팅하는 embodiment 인터페이스, 물리 기반 3D 추론을 위한 세계 모델 인터페이스, 비디오와 언어에서 과제 진행을 추론하는 보상 인터페이스의 4가지 필수 구성 요소를 제안한다.

    • VLA 모델을 물리 지능 스택의 한 레이어로 재정의하고 상하류 그라운딩 메커니즘이 필수적임을 주장한다
    • 비정형 물리 경험을 로봇 사용 가능한 감독으로 변환하는 그라운딩 중심 파이프라인으로의 전환을 제창한다
    • 4대 필수 인터페이스로 물리 데이터 엔진, embodiment 리타겟팅, 물리 기반 세계 모델, 과제 조건부 보상 그라운딩을 제안한다
    • 배포 루프에서 성공, 실패, 인간 수정을 구조적 감독으로 활용하는 자기 개선 시스템의 비전을 제시한다
    • 로봇 네이티브 데이터, 비디오 기반 방법, 시뮬레이션, 세계 모델 등 최신 연구를 그라운딩 병목 관점에서 재조명한다
    초록PDF
  26. 369Computer VisionarXiv:2606.07433

    Watch, Remember, Reason: Human-View Video Understanding with MLLMs

    비디오 이해를 보기, 기억하기, 추론하기 세 가지 핵심 능력으로 체계화한 종합 서베이로, MLLM 기반 비디오 시스템의 전 영역을 통합 프레임워크로 정리한다.

    이 서베이는 MLLM 기반 비디오 이해를 인간 관점에서 보기, 기억하기, 추론하기 세 가지 핵심 기능 능력으로 체계화한다. 보기는 미세한 시공간 지각, 종합 지각, 시청각 지각, 효율적 처리를 다루고, 기억하기는 오프라인 및 스트리밍 메모리 메커니즘을 포함하며, 추론하기는 텍스트 기반 및 비디오와 함께 생각하기 방법을 에이전트와 비에이전트로 구분하여 다룬다. 자아중심, 스포츠, 의료, 내러티브 등 응용 도메인과 학습 데이터셋, 평가 벤치마크까지 포괄한다.

    • 비디오 이해를 관찰, 기억, 추론의 기능적 과정으로 정식화하여 지각 표현, 메모리 상태, 추론 트레이스, 최종 예측의 통합 공식을 제안한다
    • 보기 영역에서 미세 지각, 종합 지각, 시청각 지각, 효율적 처리의 4가지 하위 영역을 체계적으로 정리한다
    • 기억에서 오프라인 메모리와 스트리밍 메모리를 구분하여 장비디오의 중복성과 증거 희소성 사이의 긴장을 분석한다
    • 추론에서 에이전트형과 비에이전트형, 텍스트 전용과 비디오 포함 등 다양한 추론 패러다임을 통합 분류한다
    • 자아중심, 스포츠, 지시, 의료, 내러티브 등 5개 응용 도메인과 주요 학습 데이터셋 및 평가 벤치마크를 망라한다
    초록PDF
  27. 368Machine LearningarXiv:2606.06624

    Principles and Practice of Deep Representation Learning: or a Mathematical Theory of Memory

    딥 표현 학습의 수학적 원리를 기억의 수학적 이론 관점에서 체계적으로 정리한 교과서로, PCA부터 Transformer까지 통합 프레임워크로 설명한다.

    이 책은 고차원 공간에서 데이터의 저차원 분포를 학습하고 표현하는 문제를 기억의 관점에서 수학적으로 정식화한다. PCA, ICA, Dictionary Learning 같은 고전적 방법부터 ResNet, CNN, Transformer 같은 현대적 심층 신경망을 압축이라는 통합 원리 아래 설명한다. 오토인코딩 아키텍처의 필연성, 폐루프 전사 프레임워크를 통한 자기수정, 학습된 표현을 활용한 베이즈 추론과 생성까지 다룬다. 고전적 접근과 현대적 데이터 주도 접근을 통합하는 이론적 프레임워크를 제시한다.

    • 데이터 압축을 PCA, 디노이징, 스코어매칭, 정보이득 최대화 등 모든 표현 학습 방법의 통합 원리로 제시한다
    • ResNet, CNN, Transformer를 반복 최적화 알고리즘으로 수학적으로 해석하여 아키텍처 설계 원리를 규명한다
    • 인코더-디코더 구조가 표현의 정확성과 일관성을 보장하기 위한 필연적 설계임을 폐루프 전사 프레임워크로 증명한다
    • v2.0에서 대조 학습과 DINO의 이론적 정당화, 인과적 CRATE 트랜스포머 도출, 분포 학습과 표현 학습의 관계를 추가했다
    • 시각, 모션, 텍스트 데이터의 대규모 실제 응용에서 이론적 원리의 실천적 효용을 단계별로 입증한다
    초록PDF
  28. 367Computer VisionarXiv:2606.06476

    Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

    VLM이 세계 시뮬레이터와 상호작용하며 상상된 시각 증거를 능동적으로 획득하는 에이전트 공간 추론 프레임워크 Astra를 제안했다.

    Astra는 VLM이 세계 시뮬레이터와 상호작용하며 능동적으로 상상된 시각 증거를 획득하는 에이전트 공간 추론 프레임워크다. Astra-VL(RL 훈련된 VLM 정책)과 Astra-WM(Bagel 기반 세계 시뮬레이터)로 구성된다. Astra-WM은 뷰 일관성 튜닝으로 자세 및 콘텐츠 일관성을 향상시키고, Astra-VL은 세계 시뮬레이터-인-더-루프 2단계 RL 커리큘럼으로 시뮬레이터 호출 시점과 방법을 학습한다. MMSI-Bench에서 Qwen3-VL 백본을 29.8에서 38.8로, MindCube에서 36.8에서 42.7로 향상시켰다.

    • 공간 추론을 상호작용적 증거 획득 문제로 정식화하여 VLM이 능동적으로 상상된 시각 증거를 요청하고 활용하도록 설계했다
    • Astra-WM에 뷰 일관성 튜닝을 적용하여 기존 이미지 생성 모델의 공간적 일관성 부족 문제를 해결했다
    • 2단계 RL 커리큘럼으로 1단계에서 유효한 시뮬레이터 호출을 학습하고 2단계에서 선택적 상상을 장려한다
    • 단순히 Qwen3-VL에 시뮬레이터를 연결하면 성능이 저하되지만 RL 훈련 후에는 유의미한 향상이 발생함을 입증했다
    • 상상이 유용하려면 세계 시뮬레이터의 품질과 언제 어디서 어떻게 상상할지를 결정하는 에이전트 정책이 모두 필요함을 보였다
    초록PDF
  29. 366Computer VisionarXiv:2606.07100

    LARA: Latent Action Representation Alignment for Vision-Language-Action Models

    잠재 행동 모델(LAM)과 VLA 모델을 표현 정렬로 공동 최적화하는 LARA 프레임워크로, 로봇 학습에서 평균 ~10% 향상을 달성했다.

    LARA는 잠재 행동 모델(LAM)과 비전-언어-액션(VLA) 모델 간의 표현 정렬을 통해 양방향 최적화를 가능하게 하는 플러그앤플레이 프레임워크다. LAM은 실제 행동 궤적으로 그라운딩되어 허위 시각 변화 학습을 줄이고, VLA는 LAM의 전방 동역학으로 정규화되어 기능적으로 무효한 궤적 할루시네이션을 감소시킨다. 사전학습, 포스트트레이닝, LAM 정제 세 가지 활용 방식에서 각각 ~10%, ~5%, ~15%의 성능 향상을 3개 시뮬레이션 및 1개 실제 로봇 벤치마크에서 입증했다.

    • LAM과 VLA를 양방향 표현 정렬 손실로 공동 최적화하여 기존 분리된 훈련 파이프라인의 한계를 극복했다
    • LAM은 실제 행동 궤적으로 그라운딩되어 배경 및 조명 등 허위 시각 변화 학습을 억제한다
    • VLA는 LAM의 전방 동역학 예측으로 정규화되어 운동학적으로 가능하나 기능적으로 오류인 궤적 할루시네이션을 감소시킨다
    • DiT 레이어 L-2에서 정렬 삽입이 최적이며 심층부에서의 정렬이 효과적임을 확인했다
    • 3개 시뮬레이션 벤치마크와 실제 로봇 조작 환경에서 일관된 성능 향상을 달성했다
    초록PDF
  30. 365LLMs / NLParXiv:2606.07229

    MMAE: A Massive Multitask Audio Editing Benchmark

    지시기반 오디오 편집의 첫 범용 벤치마크로, 7개 오디오 모달리티와 6단계 복잡도를 아우르는 2,000개 샘플과 17,741개 평가 루브릭을 구축했다.

    MMAE는 범용 지시기반 오디오 편집 시스템을 평가하기 위한 최초의 종합 벤치마크다. 소리, 음성, 음악 및 그 혼합을 포함한 7개 모달리티, 기본 수정부터 다중 홉 추론과 다중 라운드 편집까지 6단계 복잡도, 국소 및 전역 세분성, 8개 연산 유형을 체계적으로 분류했다. 자유형태 작업을 검증 가능한 17,741개 루브릭으로 분해하는 평가 패러다임을 제안하여 정밀한 다차원 평가를 가능하게 했다. 5개 최신 모델 평가 결과 정확 일치율이 5% 미만이며 복잡한 혼합 모달리티에서는 0%로 떨어져 현재 시스템의 한계를 명확히 드러냈다.

    • 오디오 편집 최초로 7개 모달리티와 6단계 복잡도, 8개 연산 유형을 아우르는 통합 분류 체계를 수립했다
    • 자유형태 편집 작업을 검증 가능한 다차원 루브릭으로 분해하는 평가 패러다임을 도입하여 객관적이고 해석 가능한 평가를 실현했다
    • 2,000개 고품질 샘플과 17,741개 평가 루브릭을 인간-에이전트 협업 파이프라인으로 엄선하여 구축했다
    • 최신 5개 모델 평가에서 EMR 5% 미만, 복잡 혼합 모달리티에서 0%를 기록하여 현재 시스템의 근본적 한계를 폭로했다
    • 외부 에이전트 플래너 도입이 일관된 개선을 가져오지 못하며 이해와 생성 양쪽 모두에서 병목이 존재함을 확인했다
    초록PDF
  31. 364AI / GeneralarXiv:2606.07080

    dots.tts Technical Report

    2B 파라미터 연속 잠재 공간 기반 end-to-end 자유회귀 TTS 모델로, 기존 오픈소스 시스템 대비 최고 수준의 안정성과 제로샷 음성 클로닝 품질을 달성했다.

    dots.tts는 이산 토큰 대신 연속 잠재 공간에서 음성을 모델링하는 2B 파라미터 TTS 파운데이션 모델이다. 핵심 혁신은 세 가지다. 첫째, WavLM 정렬 손실과 멀티태스크 다운스트림 블록으로 의미적으로 구조화된 AudioVAE를 구축했다. 둘째, 전체 히스토리 컨디셔닝을 적용한 자유회귀 flow-matching 헤드로 장거리 일관성을 유지한다. 셋째, 리워드 없는 자기수정 포스트트레이닝으로 음향 품질을 향상시켰다. 150만 시간 음성 데이터로 학습하여 Seed-TTS-Eval에서 오픈소스 SOTA를 달성했고, MeanFlow 증류로 첫 패킷 지연시간 54ms를 달성했다.

    • 48kHz 음성을 25Hz 128차원 잠재 공간으로 인코딩하는 고해상도 AudioVAE를 WavLM 정렬 손실과 함께 훈련하여 의미적 구조를 부여했다
    • 시맨틱 인코더, LLM, AR flow-matching 헤드의 3모듈 분리 구조로 장거리 오차 누적 문제를 완화했다
    • 리워드 모델 없이 flow-matching 헤드를 자체 추론 오류에 노출시키는 SOAR 자기수정 정렬을 도입했다
    • CFG-aware MeanFlow 증류로 NFE 2~4단계 추론을 가능하게 하여 RTF 0.231과 첫 패킷 지연 54ms를 H800에서 달성했다
    • Seed-TTS-Eval에서 WER 2.92, SIM 79.2로 오픈소스 SOTA를 기록하고 Apache 2.0으로 전체 공개했다
    초록PDF
  32. 363Machine LearningarXiv:2606.07082

    On the Geometry of On-Policy Distillation

    온정책 증류(OPD)가 SFT와 RLVR 사이의 단순한 중간점이 아니라, 고유한 파라미터 공간 기하학을 형성한다는 것을 처음으로 규명한 연구다.

    On-policy distillation(OPD)의 파라미터 공간 훈련 역학을 SFT 및 RLVR과 비교 분석했다. OPD는 SFT보다 적은 가중치를 업데이트하고 주성분 방향을 더 강하게 회피하는 relaxed off-principal regime에 위치하며, 훈련 초기에 저차원 서브스페이스에 락인되는 subspace locking 현상을 보인다. 이 서브스페이스는 기능적으로 충분하여 랭크-16 제약을 걸어도 OPD 성능이 유지되지만 SFT는 크게 저하된다. 목적 함수 구성(objective composition)이 서브스페이스 락을 제어하는 핵심 요인임을 확인했다.

    • OPD는 SFT(주성분 정렬)와 RLVR(비주성분 국소화) 사이의 완화된 비주성분 체제(relaxed off-principal regime)에 위치한다
    • 훈련 시작 직후 업데이트가 좁은 저차원 채널에 락인되는 subspace locking 현상을 발견했다
    • 랭크-16 투영 제약 하에서 OPD는 성능을 유지하지만 SFT는 크게 저하되어 락인된 서브스페이스가 기능적으로 충분함을 입증했다
    • 토큰 희소화와 오프정책 롤아웃은 랭크 궤적을 보존하지만 목적 함수 혼합은 궤적을 변화시켜 목적 함수 구성이 핵심 제어 축임을 확인했다
    • Qwen3-8B 기반 제어 실험에서 업데이트 희소성, 스펙트럼 드리프트, 주성분 회전 등 다차원 진단 지표를 활용했다
    초록PDF
  33. 362AI / GeneralarXiv:2606.05661

    Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments

    LLM 기반 에이전트가 순차적 경험을 통해 실제로 학습하는지 측정하는 최초의 전문가 검증 벤치마크를 제안한다.

    CL-BENCH는 소프트웨어 엔지니어링, 신호처리, 질병 발생 예측, 데이터베이스 쿼리, 전략 게임, 수요 예측 6개 도메인에서 에이전트가 경험을 통해 학습하는 능력을 평가한다. 각 태스크는 사전 지식으로 해결할 수 없는 잠재 구조를 포함하며, 개념 드리프트도 도입하여 적응력을 테스트한다. gain 메트릭을 통해 기본 모델 능력과 온라인 학습을 분리하여 측정한다.

    • 6개 실제 도메인에서 전문가가 검증한 고품질 태스크로, 각 태스크는 사전학습으로 해결 불가능한 잠재 구조를 포함한다
    • gain 메트릭을 도입하여 기본 모델 능력과 경험 기반 학습을 분리 측정하는 평가 방법론 제안
    • 단순 ICL(In-Context Learning)이 전용 메모리 시스템(Mem0, ACE 등)보다 대부분의 태스크에서 우수한 성능을 보인다
    • 최고 시스템도 25.4%의 정규화 gain에 그쳐, 현재 프론티어 모델의 지속 학습 능력이 여전히 제한적임을 시사한다
    • 메모리 모듈이 오히려 허위 일반화와 진부한 신념을 생성하여 성능을 저하시키는 경우가 빈번하게 관찰된다
    • 비용 대비 효율성에서도 ICL이 우위이며, 고비용 시스템이 비용에 비례한 성능 향상을 보여주지 못한다
    초록PDF
  34. 361Information RetrievalarXiv:2606.06260

    OneReason Technical Report

    생성형 추천 모델에 CoT 추론을 성공적으로 부여한 OneReason 프레임워크다. itemic token의 지각(perception) 정렬과 인지 강화(cognition) CoT 포맷을 결합하여, Kuaishou 실서비스에서 thinking mode가 non-thinking mode를 일관되게 능가한다.

    기존 생성형 추천 모델(OneRec)에 LLM의 think-before-answer 패러다임을 적용하려 했으나, thinking mode가 non-thinking mode를 능가하지 못하는 문제가 있었다. OneReason은 이 원인을 두 가지로 진단한다: itemic token과 자연어 간 정렬(perception) 부족, CoT 품질(cognition) 부족. 이를 해결하기 위해 (1) pre-training에서 강한 itemic token 지각 학습, (2) R0-R3 3수준 인지 강화 CoT 포맷으로 SFT, (3) specialize-then-unify RL 훈련 레시피를 제안한다. Kuaishou의 단비디오·라이브·광고·전자상거래 실서비스 벤치마크에서 thinking mode가 non-thinking mode를 일관되게 능가하며, CoT supervision이 non-thinking inference까지 향상시키는 전이 효과도 관찰된다.

    • 생성형 추천에서 thinking mode가 non-thinking mode를 능가하지 못하는 문제의 원인을 perception + cognition 두 축으로 분석
    • Pre-training에서 itemic tokenizer와 4-granularity 학습으로 강한 itemic token 지각 확보
    • R0(Perception) → R1(Derivation) → R2(Evolution) → R3(Recommendation) 3수준 인지 강화 CoT SFT
    • Specialize-then-unify RL: 태스크별 전문화 후 통합하여 thinking 능력 강화
    • Kuaishou 실서비스 멀티도메인 벤치마크에서 thinking mode > non-thinking mode 일관 달성
    • CoT supervision이 non-thinking inference까지 향상시키는 전이 효과 발견
    • OneReason-8B 및 0.8B 모델 오픈소스 예정
    초록PDF
  35. 360RoboticsarXiv:2606.06155

    AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding

    Affordance 예측을 구조적 중간 표현으로 도입하여 VLM 의미 공간과 3D 물리 행동 공간 간 격차를 해소하는 VLA 프레임워크다. Which2Act-Where2Act-How2Act 3단계 점진적 모델링이 핵심이며, 실제 로봇에서 Basic 88.3%, Complex 82.9% 성공률을 달성한다.

    기존 VLA 모델은 VLM의 의미 공간과 3D 물리 행동 공간 간 구조적 불일치로 정밀한 지각-행동 매핑 학습이 어려웠다. AffordanceVLA는 객체 중심 그라운딩(Which2Act, visual latent prediction), 2D 상호작용 위치 파악(Where2Act, affordance map), 3D 기하학적 추론(How2Act)을 점진적으로 모델링하는 구조적 affordance 예측을 중간 표현으로 제안한다. Mixture-of-Transformer 아키텍처에 Understanding/Affordance Generation/Action 세 전문가를 배치하고, progressive data curriculum의 3단계 훈련과 자동 affordance 데이터 증강 파이프라인을 활용한다. LIBERO·CALVIN 벤치마크와 실제 로봇 실험에서 강건한 성능을 보이며, 특히 시각적 혼동 상황에서 언어 지시 구분 능력이 Pi0 대비 크게 향상되었다.

    • VLM 의미 공간과 3D 물리 행동 공간 간 격차 해소를 위한 구조적 affordance 중간 표현 도입
    • Which2Act(visual latent prediction) → Where2Act(2D affordance map) → How2Act(3D 기하) 점진적 모델링
    • MoT 아키텍처: Understanding/Affordance Generation/Action 3개 전문가 모듈
    • 3-stage progressive training + 자동 affordance annotation 파이프라인으로 라벨 희소성 해결
    • 실제 로봇 Basic task 88.3%, Complex task 82.9% 성공률 (Pi0 대비 Complex +38.1%p)
    • Affordance가 VLM backbone의 시각-언어 능력을 보존하는 semantic anchor 역할 수행 가설
    초록PDF
  36. 359RoboticsarXiv:2606.06194

    ActiveMimic: Egocentric Video Pretraining with Active Perception

    에고센트릭 인간 영상에서 인간의 시점 재배치(active perception)를 모델링하여 로봇 조작으로 전이하는 사전학습 프레임워크다. 로봇 데이터 기반 SOTA와 동등한 성능을 달성하며, active perception이 에고센트릭 사전학습에서 기원함을 실증한다.

    기존 에고센트릭 영상 기반 로봇 사전학습은 로봇 데이터 기반 모델에 미치지 못했는데, 본 논문은 이 격차의 원인이 인간의 시점 재배치(active perception) 신호 누락임을 밝힌다. ActiveMimic은 단일 body-worn RGB 카메라에서 VGGT와 SAM-3D-Body를 활용해 카메라·손목 궤적을 복원하고, 카메라-손목 커플링을 해결하여 27차원(카메라 9D + 양손 각 9D) 통합 행동 표현을 구축한다. Ego4D에서 flow matching으로 능동 지각과 조작을 동시 학습한 후 타겟 로봇에 적응한다. 4개 실제 로봇 과제에서 로봇 데이터 기반 π0와 동등하거나 우월한 성공률(Restocking 90.1%, Finding 91.7%)을 달성했다.

    • 에고센트릭 영상의 카메라 모션을 noise가 아닌 viewpoint action으로 재해석
    • VGGT + SAM-3D-Body로 단일 RGB에서 카메라·손목 궤적 복원, 27차원 통합 행동 표현 구축
    • Ego4D 대규모 데이터셋에서 flow matching으로 active perception과 조작 동시 학습
    • 실제 로봇 4과제 평가: Restocking 90.1%, Finding 91.7% 등 π0 대비 동등 또는 우월
    • Active perception 능력이 로봇 fine-tuning이 아닌 에고센트릭 사전학습에서 기원함을 실증
    • 카메라 모션 supervision이 인간→로봇 표현 전이를 촉진함을 layer-level 분석으로 확인
    초록PDF
  37. 358Computer VisionarXiv:2606.03746

    Qwen-Image-Flash: Beyond Objective Design

    Qwen-Image-2.0 기반으로 T2I 생성과 이미지 편집을 통합한 few-step distillation 모델로, 4 NFE만으로 고품질 생성·편집을 달성한다. 핵심은 distillation objective뿐 아니라 훈련 파이프라인 전체의 설계에 달려 있다는 실증적 분석이다.

    본 논문은 few-step distillation에서 objective 설계 외에 훈련 레시피가 학생 모델 성능에 미치는 영향을 체계적으로 분석한다. Qwen-Image-2.0을 교사 모델로 DMD(Distribution Matching Distillation)를 적용하여 세 가지 핵심 발견을 도출했다. 첫째, 데이터 다양성 증가가 오히려 성능을 저하시키고 단일 카테고리의 일관된 데이터가 비예상적으로 잘 전이된다. 둘째, 보완적 강점을 가진 교사 모델들을 step-wise multi-teacher guidance로 결합하여 안정성을 확보한다. 셋째, T2I:Edit 비율이 균형잡혀야 최고 성능이 나오며, 편집 supervision이 T2I 생성 품질까지 향상시킨다.

    • DMD(Distribution Matching Distillation) 기반 Qwen-Image-2.0 → 4 NFE 학생 모델 distillation
    • 데이터 구성의 반직관적 발견: 다양성 증가가 성능 저하 유발, 단일 카테고리 일관 데이터가 더 잘 전이됨
    • Step-wise multi-teacher guidance로 보완적 교사 모델 강점 결합 및 훈련 안정화
    • T2I:Edit 균형 비율에서 최고 통합 성능 달성, 편집 supervision이 생성 품질까지 향상
    • Qwen-Image-Flash: 포스터 생성 등 다양한 시나리오에서 4 NFE로 고품질 결과
    초록PDF
  38. 357Computer VisionarXiv:2606.05769

    Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction

    비디오 미래 예측에서 텍스트 대신 연속 잠재 비주얼 토큰으로 중간 추론을 수행하는 FUTURE-L1 프레임워크로, FutureBench에서 61.0→85.4로 대폭 향상시켰다.

    기존 비디오 MLLM은 중간 추론을 텍스트로 verbalization하여 미세한 모션·기하학·상호작용 단서를 잃는다. FUTURE-L1은 autoregressive 디코딩 중 언어 토큰과 연속 잠재 비주얼 토큰을 번갈아 생성하는 interleaved latent visual reasoning을 제안한다. SFT 단계에서는 visual-gain 데이터 큐레이션으로 구성한 FUTURE-L1-50K로 잠재 상태를 미래 프레임 임베딩에 정렬하고, RL 단계에서는 LA-DAPO로 outcome-contrastive·temporal-diversity 보상으로 잠재 궤적을 최적화한다. FutureBench에서 Qwen3-VL-8B를 61.0에서 85.4로 향상시키고, TwiFF-Bench에서도 2.44→3.04를 달성했다.

    • 언어 토큰과 연속 latent visual 토큰을 교차 생성하는 interleaved latent visual reasoning 구조 제안
    • visual-gain 데이터 큐레이션으로 미래 시각 힌트가 예측에 실제로 도움이 되는 50K 고품질 학습 데이터 구축
    • LA-DAPO: 잠재 인식 RL 목표함수로 outcome-contrastive 보상과 temporal-diversity 보상을 결합
    • FutureBench에서 Qwen3-VL-8B 61.0→85.4, 기존 최고 Video-CoE 대비 +10.4 포인트
    • TwiFF-Bench 평균 2.44→3.04, 추론 깊이가 깊어질수록 latent span 사용량이 적응적으로 증가
    • 동일 데이터로 text-only SFT는 65.0에 그친 반면 interleaved latent SFT는 73.2로, 향상이 추가 지도에서 비롯된 것이 아님을 실증
    초록PDF
  39. 356AI / GeneralarXiv:2606.05818

    Benchmarks in Leipzig

    49명의 연구 수학자가 직접 출제한 100개의 연구 수준 수학 문제로 LLM의 수학적 추론 능력을 평가한 결과, 3단계 평가 후 미해결 문제가 41개에서 2개로 줄어 LLM의 능력이 인상적임을 보였다.

    2026년 4~5월, 라이프치히 막스 플랑크 수학연구소에서 49명의 수학자가 협업해 대수기하학, 조합론, 표현론 등 다양한 분야의 연구 수준 수학 문제 100개를 구성했다. 3단계 평가에서 Stage 1(5개 모델 단일 시도) 후 41문제 미해결, Stage 2(20회 반복) 후 16문제 미해결, Stage 3(heavy-thinking 모델 3회 시도) 후 단 2문제만 미해결로 떨어졌다. GPT-5.5가 단일 시도에서 44문제를 해결하며 최고 성능을 보였고, 모델 간·실행 간 편차가 매우 크게 나타났다.

    • 49명 수학자(35명 워크숍 직접 참여)가 출제한 연구 수준 수학 문제 100개, 대수기하·조합론·표현론 등 25개 세부 분야
    • 3단계 평가 파이프라인: Stage 1 (5모델×1회) → Stage 2 (3모델×20회) → Stage 3 (2모델×3회 heavy-thinking)
    • 미해결 문제가 41→16→2로 급감, 연습 스타일 벤치마크는 최고 성능 모델의 한계에 도달했음을 시사
    • GPT-5.5 단일 시도 44문제 해결로 최고 성능, 모델 간 성능 격차가 극심 (Grok 4.3은 6문제만 해결)
    • 동일 모델의 반복 실행 간에도 성능 편차가 매우 크게 나타나, 수학 추론의 결정론적 한계 존재
    • ScienceBench 플랫폼 기반 공개 벤치마크로, LLM 리뷰 과정에서 3개 문제 오류 발견·제거
    초록PDF
  40. 355Machine LearningarXiv:2606.05254

    Flash-WAM: Modality-Aware Distillation for World Action Models

    World-Action Model의 추론을 비디오·액션 각각 1스텝으로 압축하는 모달리티 인식 증류 프레임워크로, 8.1초 지연을 348ms로 단축하여 실시간 로봇 제어를 가능하게 한다.

    World-Action Model(WAM)은 비디오와 로봇 액션을 동시에 생성하지만, 수십 단계의 디노이징으로 인해 8.1초의 청크 지연이 발생해 실시간 제어가 불가능하다. 기존 consistency distillation을 WAM에 적용하면 비디오와 액션 스트림의 서로 다른 SNR 노이즈 분포로 인해 액션 정확도가 급격히 붕괴한다(23.9%). Flash-WAM은 각 모달리티의 노이즈 regime에 맞춰 서로 다른 consistency function을 선택하는 모달리티 인식 증류를 제안한다. LingBot-VA에 적용 시 1스텝 디노이징으로 RoboTwin 2.0 85.5%, LIBERO 95.7% 성능을 유지하며 23× 속도 향상을 달성했다.

    • 비디오-액션 joint diffusion에서 기존 consistency distillation이 실패하는 구조적 원인 규명: 비대칭 노이즈 스케줄로 인한 gradient signal 소멸
    • 모달리티별 consistency function 선택: 액션용 linear-gradient-scaling + 비디오용 variance-preserving parametrization
    • 23× 속도 향상으로 per-chunk 지연을 8.1초에서 348ms로 단충, 실시간 제어 가능
    • RoboTwin 2.0에서 85.5% 성공률 유지, LIBERO에서 95.7% 유지 (1v/2a 기준)
    • Unitree G1 휴머노이드 실제 환경에서 60% 성공률 달성, naive LCM 24% 대비 대폭 개선
    • consistency function family의 구조적 분석으로 gradient scaling의 한계를 이론적으로 규명
    초록PDF
  41. 354AI / GeneralarXiv:2606.03883

    Reasoning Structure of Large Language Models

    대형 추론 모델의 추론 트레이스를 검증 가능한 클레임 그래프로 변환하고, 추론 효율성 메트릭 η를 제안하여 정답률·토큰 수로는 포착할 수 없는 추론 구조의 질적 차이를 정량화한다.

    기존 평가 메트릭(정답률, 토큰 수)은 동일한 점수 뒤에 숨겨진 서로 다른 추론 구조를 구분하지 못한다. 이 논문은 21종의 2D 그리드 논리 퍼즐 벤치마크와 비정형 추론 트레이스를 검증 가능한 의존성 그래프로 변환하는 파이프라인을 제안한다. 핵심 기여인 추론 효율성 메트릭 η는 모델의 논리적 흐름이 최소 클레임 집합에 얼마나 집중되어 있는지를 측정한다. 분석 결과 추가 토큰은 주로 검증 오버헤드로 변환되며, η는 토큰 수와 상관관계가 거의 없어(r=-0.05) 토큰 수가 추론 품질의 대리 지표로 부적합함을 보였다.

    • 21종의 2D 그리드 논리 퍼즐 기반 확장 가능한 벤치마크 구축, 4단계 난이도로 제어된 스케일링 연구 가능
    • 비정형 텍스트 추론 트레이스를 원자적 클레임-의존성 그래프로 자동 변환하는 파이프라인 개발
    • 추론 효율성 메트릭 η 제안: 집중된 추론과 확산된 탐색을 구분하는 위상 기반 척도
    • 토큰 수는 추론 품질의 부적절한 대리 지표임을 실증 (η와의 상관계수 r=-0.05), 추가 토큰은 주로 검증 오버헤드로 소비
    • 오픈소스 추론 모델 분석에서 최고 난이도는 모든 모델이 큰 토큰 예산에도 거의 해결하지 못해 단순 compute 확장의 한계 확인
    • 조기 오류가 비효율적 트레이스와 강한 연관 (r=0.28), 오류 발생 시점이 늦을수록 η가 높아짐
    초록PDF
  42. 353Machine LearningarXiv:2606.04662

    Why Muon Outperforms Adam: A Curvature Perspective

    곡률 관점에서 Muon이 Adam보다 어떻게 더 큰 loss 감소를 달성하는지 Normalized Directional Sharpness(NDS)를 핵심 메커니즘으로 규명한다.

    Muon optimizer가 LLM 학습에서 Adam보다 약 2배 효율적인 것으로 알려져 있으나 그 국소적 기하학적 원인은 불명확했다. 본 논문은 2차 테일러 전개를 통해 두 optimizer의 1차 이득은 비슷하지만 Muon의 곡률 페널티가 일관되게 작음을 보인다. 이 페널티 차이는 업데이트 크기가 아니라 업데이트 방향에 의해 결정되는 NDS에서 기인하며, 데이터 불균형이 클수록 Muon의 NDS 우위가 증폭된다. 이질적 곡률을 갖는 2차 문제에서도 Muon이 GD보다 낮은 평균 NDS와 더 큰 loss 감소를 달성함을 이론적으로 증명한다.

    • 2차 테일러 전개로 Muon과 Adam의 loss 감소를 분해 — 1차 이득은 비슷, 2차 곡률 페널티에서 차이 발생
    • 업데이트 노름은 비슷하지만 Muon의 NDS(정규화 방향 샤프니스)가 낮아 곡률 비용이 작음
    • Zipf-PCFG 통제 실험으로 데이터 불균형이 Muon의 NDS 우위를 증폭시킴을 입증
    • 학습 중후반에 Muon의 낮은 NDS는 주로 within-layer 곡률 감소에서 기인
    • 이질적 곡률 2차 문제에서 Muon이 high/low-curvature 방향에 균등한 업데이트 에너지를 배분
    • 곡률 이질성이 충분히 클 때 Muon이 GD보다 낮은 loss를 달성함을 엄밀히 증명
    초록PDF
  43. 352RoboticsarXiv:2606.05979

    World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis

    월드 모델링, 언어 추론, 행동 합성을 단일 autoregressive transformer로 통합한 WLA(World-Language-Action) 모델 클래스를 제안한다.

    WLA는 텍스트 지시·이미지·로봇 상태를 입력받아 텍스트 하위 작업과 물리 역학을 예측한 뒤 실행 가능한 행동을 생성하는 새로운 embodied foundation model이다. 기존 WAM의 bidirectional diffusion transformer와 달리 AR transformer 백본을 사용해 언어 생성 능력을 보존하며, World Expert와 Action Expert의 이중 구조로 미래 상태 예측이 행동 생성을 암시적으로 안내한다. WLA-0(2B 활성 파라미터)는 RTX 5090에서 40ms 추론으로 RoboTwin2.0 Clean 92.94%, RMBench 56.5%를 달성하고, 행동 주석 없는 타 로봇 영상에서도 새 태스크를 학습한다.

    • WAM의 미래 상태 예측과 VLA의 언어 추론을 단일 AR transformer로 통합
    • World Expert(시각 예측)와 Action Expert(행동 생성)의 메타-쿼리 기반 이중 구조
    • World Expert는 추론 시 비활성화 가능 — 40ms 추론으로 실시간 제어 가능
    • Test-time scaling으로 로봇 제어 정확도를 추가로 향상
    • RoboTwin2.0 Clean 92.94%, RMBench 56.5%로 SOTA 달성
    • Cross-embodiment 영상에서 행동 주석 없이 새 태스크 학습 가능 — 확장 가능한 로봇 학습 방향
    초록PDF
  44. 351RoboticsarXiv:2606.01955

    WALL-WM: Carving World Action Modeling at the Event Joints

    고정 길이 청크 대신 의미적 행동 이벤트를 학습 원자 단위로 사용하여 비디오-행동 학습의 정합성을 높인 월드 액션 모델 WALL-WM을 제안한다.

    기존 WAM은 고정 길이 행동 청크를 최적화 단위로 사용해 언어·비전·행동의 시간적 해상도 불일치 문제가 있었다. WALL-WM은 도달·파지·이동 등 의미적으로 응집된 행동 이벤트를 원자 단위로 삼아 event-grounded VLA 사전학습을 수행한다. Event mode(가변 길이 실행)와 Unified mode(Staircase Decoding 기반 고정 길이 청크) 두 가지 추론 모드를 지원하며, 대규모 실제 로봇 평가에서 SOTA를 달성했다.

    • Chunk-centric에서 event-grounded 최적화로 패러다임 전환 — 언어·비디오·행동의 자연스러운 경계 정합
    • Event caption과 cluster-balanced sampling으로 구성된 데이터 생태계 구축
    • Event mode(가변 길이 이벤트 실행)와 Unified mode(Staircase Decoding 고정 청크)의 이중 추론
    • Muon optimizer 기반 대규모 사전학습 인프라로 확장 가능한 학습 레시피 제공
    • 언어·장면·태스크 전반에 걸친 강력한 일반화 능력 입증
    • 물리적 비디오 예측과 실행 가능 제어 모두에서 기존 WAM 대비 우위 확인
    초록PDF
  45. 350Machine LearningarXiv:2606.06021

    OPRD: On-Policy Representation Distillation

    온-정책 증류를 출력 공간에서 hidden-state 공간으로 끌어올려 학생-교사 격차를 완전히 해소하는 OPRD(On-Policy Representation Distillation)를 제안한다.

    기존 온-정책 증류(OPD)는 출력 분포만 매칭하여 대어휘 샘플링 분산과 LM-head 정보 병목이라는 두 가지 근본적 한계가 있었다. OPRD는 교사의 중간 hidden state를 정렬 대상으로 삼아 분산을 제거하고, 층별·위치별 구조적 정보를 결정론적으로 전달한다. 수학 추론 벤치마크(AIME 2024/2025, AIMO)에서 학생-교사 격차를 완전히 해소했으며, top-k OPD 대비 1.44배 빠른 학습과 최대 54% 적은 GPU 메모리를 달성했다.

    • 출력 공간 매칭에서 hidden-state 공간 매칭으로 증류를 상향 — 기존 모든 OPD 변종의 구조적 한계를 극복
    • Qwen ~150K 어휘처럼 대어휘 모델에서 Monte Carlo KL 추정의 분산 문제를 결정론적 MSE로 제거
    • LM-head 투영이 폐기하던 교사의 층별·위치별 중간 표현을 직접 학생에 전달
    • AIME 2024/2025, AIMO 세 경쟁 수학 벤치마크에서 학생-교사 격차 완전 해소
    • 동일 하드웨어에서 top-k OPD 대비 1.44× 빠른 학습, 최대 54% 적은 actor-update 메모리
    • 다중 모델 RL 병합, 온-정책 자기 증류(OPSD) 등 확장 시나리오에서 메모리·분산 이점이 특히 큼
    초록PDF
  46. 349Machine LearningarXiv:2606.06096

    OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation

    평균 보상이 아닌 순서 통계량(VaR, CVaR, trimmed mean, top-m 등) 목표함수를 최적화하는 OrderGrad를 제안하여, 기존 정책 경사에 단순한 보상 변환만으로 적용할 수 있다.

    OrderGrad는 순서 통계량 기반 목표함수를 위한 불편 그래디언트 추정기 제품군으로, 정렬된 보상에 가중치를 부여하는 L-통계량을 최적화한다. 순위 가중치를 변경하는 것만으로 VaR, CVaR, trimmed mean, 중앙값, top-m/best-of-K 등 다양한 분포적 목표를 표현할 수 있으며, 기존 likelihood-ratio 및 reparameterization 그래디언트에 보상-변환 형태로 간단히 적용된다. 실험에서 Top-M@K 목표함수로 LLM 수학 사후 학습을 수행한 결과, MaxPO(max@K 특수사례) 대비 pass@1을 5.7% 향상시키고 pass@256을 2.6% 향상시켰다. 또한 Top-M에 정답 보상, Bottom-M에 길이 페널티를 결합하는 다중 보상 설정에서 GRPO의 스칼라화 방식이 붕괴하는 것과 달리 정답률을 유지하면서 응답 길이를 크게 단축했다.

    • 순서 통계량(L-통계량) 기반 목표함수에 대한 불편 그래디언트 추정기를 제안하며, 순위 가중치 변경만으로 다양한 분포적 목표(VaR, CVaR, trimmed mean, best-of-K 등)를 표현한다.
    • 기존 likelihood-ratio 및 reparameterization 업데이트에 보상 변환 형태로 한 줄 코드로 적용 가능한 plug-and-play 설계다.
    • Top-M@K가 기존 Max@K(max@K, m=1 특수사례)보다 pass@1 및 pass@256에서 일관된 향상을 보여준다.
    • Top-M에 정답 보상, Bottom-M에 길이 페널티를 결합하는 방식이 GRPO의 단순 스칼라화보다 훨씬 효과적으로 응답 길이를 단축한다.
    • K(목표 크기)와 m(상위 랭크 수)의 선택이 탐색-활용 trade-off를 조절하며, K가 클수록 pass@256이 향상되고 pass@1은 감소하는 경향을 보인다.
    • O(N log N) 정렬 비용으로 사실상 무시할 수 있는 오버헤드를 가진다.
    초록PDF
  47. 348LLMs / NLParXiv:2606.06447

    Latent Reasoning with Normalizing Flows

    LLM의 chain-of-thought 추론을 이산 텍스트 토큰 대신 연속 잠재 공간에서 수행하면서도 자기회귀 생성, 확률적 샘플링, KV-cache 호환성, 가능도 평가를 모두 보존하는 NF-CoT 프레임워크를 제안한다.

    NF-CoT는 normalizing flow를 LLM의 인과적 스트림 내부에 배치하여 연속 chain-of-thought에 텍스트 토큰과 동등한 모델링 지위를 부여한다. 기존 latent reasoning 방법이 자기회귀 생성, 확률적 샘플링, KV-cache 디코딩, 가능도 추정 중 일부를 포기하는 문제를 해결하며, NF head가 연속 사고 위치를 생성하고 LM head가 텍스트 위치를 생성하는 통합 아키텍처를 제안한다. 학습은 명시적 CoT 감독을 연속 사고로 증류하는 지도 가능도 학습과 잠재 추론 공간에서의 policy-gradient 최적화를 모두 지원한다. MBPP, HumanEval, LiveCodeBench 등 코드 생성 벤치마크에서 명시적 CoT 및 기존 latent reasoning 베이스라인 대비 패스율을 향상시키면서 중간 추론 비용을 크게 절감한다.

    • Normalizing flow를 LLM 백본 내부에 배치하여 연속 CoT에 대한 정확한 가능도를 제공하고, 좌-우 디코딩과 KV-cache를 그대로 지원한다.
    • 연속 사고 위치는 NF head가, 텍스트 위치는 LM head가 담당하며, 동일한 인과적 스트림에서 공동으로 처리된다.
    • 지도 가능도 학습과 policy-gradient 최적화를 통합된 인터페이스에서 모두 지원한다.
    • 잠재 공간에 가우시안 섭동을 가해도 pass@1이 거의 유지되어, 학습된 연속 사고 공간이 국소적으로 매끄럽고 기능적으로 강인함을 보여준다.
    • 코드 생성 벤치마크에서 명시적 CoT와 기존 latent reasoning(LaDiR 등) 대비 정확도 향상과 추론 비용 절감을 동시에 달성한다.
    초록PDF
  48. 347Computer VisionarXiv:2606.02800

    Cosmos 3: Omnimodal World Models for Physical AI

    NVIDIA가 언어, 이미지, 비디오, 오디오, 액션 시퀀스를 단일 mixture-of-transformers 아키텍처에서 공동 처리·생성하는 옴니모달 월드 모델 Cosmos 3를 발표한다. 오픈소스 Text-to-Image 및 Image-to-Video 최고 성능을 기록했다.

    Cosmos 3는 Physical AI를 위한 옴니모달 월드 모델 제품군으로, 언어·이미지·비디오·오디오·액션을 단일 mixture-of-transformers(MoT) 아키텍처에서 처리한다. 비전-언어 모델, 비디오 생성기, 월드 시뮬레이터, 월드-액션 모델을 하나의 프레임워크로 통합하며, 듀얼-타워 레이어와 듀얼-스트림 joint attention을 특징으로 한다. 모델은 이해(reasoner)와 생성(generator) 두 변종으로 제공되며, Super와 Nano 두 규모로 공개된다. 평가 결과 다양한 이해·생성 태스크에서 새로운 SOTA를 달성했고, Artificial Analysis 기준 최고의 오픈소스 Text-to-Image 및 Image-to-Video 모델로 선정되었으며, RoboArena에서 최고의 정책 모델로 평가되었다. 코드, 모델 가중치, 합성 데이터셋, 평가 벤치마크가 Linux Foundation OpenMDW-1.1 라이선스로 공개된다.

    • 단일 mixture-of-transformers 아키텍처로 언어, 이미지, 비디오, 오디오, 액션의 입력-출력을 유연하게 지원하는 옴니모달 설계다.
    • 듀얼-타워 레이어 구조와 듀얼-스트림 joint attention으로 멀티모달 정보를 효과적으로 결합한다.
    • 이해(reasoner)와 생성(generator) 두 역할을 모두 수행하며, Super/Nano 두 규모로 공개된다.
    • 합성 데이터셋(SDG-PhyxSim, SDG-RobotSim, SDG-DriveSim 등)을 대규모로 구축하여 학습에 활용한다.
    • Artificial Analysis 기준 최고의 오픈소스 Text-to-Image, Image-to-Video 모델이자 RoboArena 최고의 정책 모델로 평가되었다.
    • 코드, 체크포인트, 데이터셋, 평가 벤치마크를 Linux Foundation OpenMDW-1.1 라이선스로 완전 공개한다.
    초록PDF
  49. 346Machine LearningarXiv:2606.06080

    On Advantage Estimates for Max@K Policy Gradients

    max@K 정책 경사 추정에서 advantage를 정확히 중심화(centering)하는 Leave-Two-Out 베이스라인을 도입한 MaxPO를 제안하여, 기존 비중심화 방법 대비 그래디언트 분산을 크게 줄인다.

    이 논문은 LLM 사후 학습에 널리 사용되는 pass@K 및 max@K 정책 최적화에서 advantage 추정의 품질을 개선한다. 기존 선도 방법인 PKPO의 advantage 추정기가 정책 경사에서는 불편이지만 중심화되지 않아 불필요한 분산이 남는 문제를 지적하고, Leave-Two-Out(L2O) 베이스라인을 도입하여 불편성을 유지하면서 실현 배치 advantage를 정확히 중심화하는 MaxPO를 제안한다. 또한 유한 배치 max@K에 대한 정준(canonical) advantage 형태를 유도하여 기존 추정기들을 비중심화·정준·정규화 정준의 세 클래스로 통일적으로 분류한다. Llama-3.2-3B-Instruct에서 PKPO 대비 77.4%의 그래디언트 분산 감소를 달성하고, Qwen2.5-Math-7B에서는 5개 수학 추론 벤치마크 평균 pass@256을 5.2% 향상시켰다.

    • 기존 PKPO의 advantage 추정기가 정책 경사에서는 불편이지만 중심화되지 않음을 수학적으로 증명하고, Leave-Two-Out(L2O) 베이스라인으로 이를 해결한다.
    • 유한 배치 max@K에 대한 정준(canonical) advantage ui-vi를 유도하여, 기존 pass@K/max@K 추정기를 통일된 프레임워크에서 분류한다.
    • O(B^2) 시간 복잡도의 벡터화 구현으로 효율적이며, 그룹 기반 RL 파이프라인에 자연스럽게 통합된다.
    • Llama-3.2-3B-Instruct에서 그래디언트 분산을 PKPO 대비 77.4% 감소시키고, Qwen2.5-Math-7B에서 pass@256을 5.2% 향상시킨다.
    • GRPO, Entropy-Adv 등 강력한 LLM 사후 학습 베이스라인 대비 일관된 성능 향상을 보여준다.
    초록PDF
  50. 345AI / GeneralarXiv:2606.05405

    Agents' Last Exam

    AI 에이전트가 실제 산업 환경에서 경제적 가치가 있는 워크플로를 수행할 수 있는지 평가하는 960개 전문가 제작 태스크, 55개 디지털 산업 분야를 아우르는 대규모 벤치마크 ALE를 제안한다.

    ALE(Agents' Last Exam)는 250명 이상의 산업 전문가와 협력하여 구축된 벤치마크로, O*NET/SOC 2018 직업 분류 체계에 기반해 13개 산업 클러스터, 55개 하위 분야, 1,490개 태스크 인스턴스를 포함한다. 각 태스크는 실제 전문가가 완료한 프로젝트에서 수집되었으며, 다단계 품질 관리를 거쳐 결정론적 스크립트와 구조화된 루브릭으로 자동 평가된다. 실험 결과, 최첨단 에이전트 구성(Codex + GPT-5.5)조차 가장 쉬운 티어에서 50% 미만, 가장 어려운 티어에서 10% 미만의 통과율을 기록하여 현재 AI 시스템의 한계를 명확히 보여준다. ALE는 벤치마크 성공과 GDP 수준 경제적 임팩트 사이의 간극을 좁히기 위한 도구로 설계되었다.

    • O*NET/SOC 2018 직업 분류에 기반한 55개 하위 분야, 13개 산업 클러스터, 1,490개 태스크 인스턴스를 포함하는 대규모 벤치마크다.
    • 태스크는 실무 전문가가 이미 완료한 프로젝트에서 수집하며, 결정론적 스크립트와 구조화된 루브릭으로 자동 평가하여 인간 평가자 의존을 제거했다.
    • 태스크 난이도에 따라 Near-Term(59개), Full-Spectrum(55개), Last-Exam(36개) 세 티어로 분류하여 다양한 수준의 에이전트 평가를 지원한다.
    • 실패 원인 분석 결과, 도메인 지식 부족(understanding/approach)이 전체 실패의 약 75%를 차지하며, 실행 능력보다 지식이 주요 병목임을 보여준다.
    • 모델 선택이 에이전트 harness 선택보다 약 3배 더 큰 성능 차이를 만들어내며, 더 많은 리소스 소비가 항상 더 나은 성능으로 이어지지는 않는다.
    • 최강 구성(Codex + GPT-5.5)도 평균 통과율 2.6%에 불과하여, 벤치마크가 여전히 포화 상태와 거리가 멀음을 시사한다.
    초록PDF