HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 444AI / GeneralarXiv:2606.16222

    Latent Thought Flow: Efficient Latent Reasoning in Large Language Models

    잠재 공간에서 추론을 변수 길이 연속 궤적으로 모델링하고 GFlowNet으로 보상에 비례하는 샘플러를 학습하는 프레임워크. 정확도 9.5% 향상, 추론 길이 27.2% 단축.

    Latent Thought Flow(LTF)는 LLM의 추론을 연속 잠재 공간에서의 확률적 궤적으로 재구성한다. 기존 latent reasoning이 결정론적 경로만 학습한 것과 달리, GFlowNet 기반 연속 샘플러로 정답 품질과 계산 비용 간의 균형을 최적화한다. Entropy-Weighted Subtrajectory Balance 목표와 reference-prior 정규화로 희소 보상 문제와 탐색 안정성을 해결한다.

    • Chain-of-Thought의 언어 공간 병목(토큰 디코딩 오버헤드)을 잠재 공간 추론로 해결하는 새로운 접근
    • 연속 GFlowNet으로 보상에 비례하는 잠재 추론 궤적 분포를 학습하여 다양한 정확-효율 경로 보존
    • Entropy-Weighted Subtrajectory Balance로 종단 보상을 중간 단계로 전파하여 희소 감독 문제 극복
    • Reference-prior 정규화로 탐색 초기 안정성 확보 후 annealing으로 보상 기반 궤적으로 전환
    • CoLaR/ReGuLaR 대비 파인튜닝 정확도 12.9% 향상, 추론 길이 34.5% 단축
    • 전이 학습 설정에서도 정확도 6.0% 향상, 추론 길이 19.9% 단축으로 범용성 입증
    초록PDF
  2. 443Computer VisionarXiv:2606.18180

    EgoCS-400K: An Egocentric Gameplay Dataset for World Models

    Counter-Strike 데모에서 구축된 40만 개 이상의 1인칭 비디오와 1만 시간의 gameplay로 구성된 대규모 egocentric world model 데이터셋을 소개한다.

    EgoCS-400K는 world model 학습에 필요한 video-action-language 궤적을 대규모로 제공하기 위해, 프로 CS/CS2 경기 데모에서 1인칭 비디오와 정밀하게 정렬된 액션/상태/이벤트 주석을 추출한 데이터셋이다. 1,000개 이상의 경기, 40,000개 라운드, 13개 맵에서 10만 시간 이상의 gameplay를 400K+ 비디오로 렌더링했다. 각 세그먼트는 키보드/마우스 입력, 카메라 움직임, 무기 상태, 게임 이벤트 등 tick 단위로 정렬된 주석을 포함한다. action-conditioned 미래 예측, 장면 롤아웃, 캡셔닝, 에이전트 액션 이해 등 다양한 world model 태스크를 지원한다.

    • 프로 CS/CS2 데모 기반으로 400K+ 1인칭 비디오, 10,000+ 시간 gameplay 데이터셋 구축
    • Tick 단위 정밀 정렬: 키보드/마우스 입력, 카메라 움직임, 무기/이동 상태, 게임 이벤트 모두 동기화
    • 계층적 구조: player-view sequence → segment → action chain → atomic action → per-tick state trace
    • 1,000+ 경기, 40,000+ 라운드, 13개 맵, 라운드당 최대 10개 플레이어 관점 제공
    • Replay-grounded 구조로 파싱/재생/렌더링/시간 정렬이 모두 가능—단순 비디오 캡처와 차별화
    • Action-conditioned future prediction, state-aware scene rollout, egocentric action understanding 지원
    초록PDF
  3. 442ResearcharXiv:2606.18050

    A Semi-Analytical Loss Cone Theory for Tidal Disruption Event Rates Around Kerr Black Holes

    회전하는 Kerr 블랙홀 주변에서의 tidal disruption event(TDE) 발생률에 대한 최초의 반해석적 프레임워크를 개발한다.

    이 논문은 회전하는 블랙홀(Kerr BH)에서의 TDE 발생률을 spin-dependent loss cone boundary를 포함한 반해석적 프레임워크로 계산한다. Tidal tensor formalism을 통해 방향 의존적 tidal disruption 및 direct capture 임계값을 도출하고, 1차원/2차원 Fokker-Planck 방정식을 풀어 파괴 경계와 캡처 경계가 중첩된 loss cone 문제를 다룬다. 섭동 해석을 통해 회전 방향과 반대 방향(retrograde) 별의 파괴가 선호되지만, 전역 TDE 발생률 자체는 블랙홀 spin에 놀라울 정도로 둔감함을 보인다.

    • Kerr 블랙홀의 spin-dependent loss cone boundary를 TDE 발생률 이론에 최초로 반해석적으로 편입
    • Tidal tensor formalism으로 궤도 경사각에 따른 tidal disruption/direct capture 임계값 도출
    • 중첩된 파괴/캡처 경계를 갖는 1차원 loss cone 문제의 closed-form capture fraction 유도
    • 각운동량 크기와 방향의 동시 확산을 기술하는 2차원 Fokker-Planck 방정식 정식화
    • 섭동 해석으로 retrograde 별의 파괴 선호(1차 bias)를 증명하지만, 전역 TDE rate는 spin에 거의 둔감함을 확인
    • 스핀과 궤도 경사각을 포함한 모집단 수준 TDE 연구의 해석적 기반 제공
    초록PDF
  4. 441Computer VisionarXiv:2606.16295

    VisualClaw: A Real-Time, Personalized Agent for the Physical World

    VLM 에이전트의 API 비용을 98% 절감하면서 정확도를 높이는 자가진화 멀티모달 에이전트 VisualClaw를 제안한다.

    VisualClaw는 하이브리드 인코딩(캐스케이드 게이트로 불필요 프레임 필터링 + hot/cold 스킬 주입)과 자가진화(실패 기반 오프라인 evolver) 두 축으로 구성된다. 4개 video-QA 벤치마크에서 Gemini 3 Flash/GPT-5.2 기준 프레임당 API 비용을 평균 98% 절감하면서도 정확도는 평균 +3.85% 향상시킨다. 추가로 200개 시나리오의 VisualClawArena 벤치마크를 구축해, Codex와 Claude Code 백엔드 모두에서 self-evolution이 +2.9~3.2% 정확도 향상을 가져옴을 입증했다. AI 안경 등 엣지 환경에 적합한 설계다.

    • 캐스케이드 게이트(perceptual hash → 128-dim CPU encoder → adaptive change gate)로 1시간 스트리밍을 5-20회 API 호출로 압축
    • Hot/cold top-k 스킬 주입으로 스킬 뱅크 증가에 따른 프롬프트 비용 폭증 방지
    • 실패 기반 오프라인 evolver가 memory와 skill bank를 자동 갱신—가중치 업데이트 없이 self-evolution 달성
    • 4개 video-QA 벤치마크에서 API 비용 평균 −98%, 정확도 평균 +3.85% (EgoSchema peak +15.80%)
    • 200개 시나리오 VisualClawArena 구축—5단계 curation 파이프라인으로 workspace-style 에이전트 평가 지원
    • Codex(GPT-5.5) +2.9%, Claude Code(Sonnet 4.6) +3.2% macro accuracy 향상, 비용 −9.5% 절감
    초록PDF
  5. 440Computer VisionarXiv:2606.18249

    Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

    단일 bitwise visual tokenizer로 이해와 생성을 통합한 UniAR 프레임워크로, SOTA 이미지 생성 + 경쟁력 있는 멀티모달 이해를 동시에 달성한다.

    UniAR은 기존 통합 멀티모달 모델들이 두 개의 다른 visual tokenizer를 쓰던 한계를 극복하기 위해, 단일 lookup-free bitwise visual tokenizer를 제안한다. Multi-level feature fusion으로 고수준 의미와 저수준 디테일을 동시에 보존하며, parallel bitwise prediction으로 시퀀스 길이를 대폭 줄여 32× 압축률을 달성한다. 사전학습→SFT→RL 3단계 훈련 후, 이미지 생성(text rendering, instruction following)에서 SOTA를 달성하면서도 멀티모달 이해 벤치마크에서 경쟁력을 유지한다.

    • 단일 bitwise visual tokenizer로 이해와 생성의 representation space를 처음으로 진정하게 통합
    • Multi-level feature fusion: 얕은 층(저수준 디테일)과 깊은 층(고수준 의미) 동시 활용
    • Lookup-free BSQ 양자화로 2^64 코드북 효과—명시적 코드북 없이 어휘 크기 지수적 확장
    • Parallel bitwise prediction으로 32× 시각적 압축률, 1024×1024 이미지에 토큰 256개만 예측
    • 이미지 생성(GenEval, ImgEdit) SOTA 달성 + 멀티모odal 이해 벤치마크에서 경쟁력 유지
    • 총 ~33k GPU hours로 효율적 훈련—시각 토큰화기 400M, 디코더 2.5B로 경량 설계
    초록PDF
  6. 439RoboticsarXiv:2606.17846

    Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

    Qwen-VL 기반 VLA 파운데이션 모델로, 표현/모션/행동 3차원 정렬을 통해 38,100시간 다출처 로봇 데이터를 일관되게 학습하는 Qwen-RobotManip을 발표한다.

    Qwen-RobotManip은 로봇 매니퓰레이션에서 진정한 일반화를 달성하기 위해 정렬(alignment) 우선, 스케일 나중 원칙을 채택한다. 표현 정렬(canonical state-action), 모션 정렬(camera-frame delta pose), 행동 정렬(in-context policy adaptation)의 3축 프레임워크로 이기종 로봇 데이터를 일관되게 통합한다. 인간-대-로봇 합성 파이프라인으로 15개 플랫폼에 걸쳐 에고센트릭 손 동작을 로봇 궤적으로 변환하고, 약 38,100시간의 사전학습 코퍼스를 구축했다. OOD 평가에서 π0.5 등 기존 SOTA를 모든 축에서 능가하며 RoboChallenge 1위(20% 상대 향상)를 달성했다.

    • 표현(canonical state)·모션(camera-frame delta pose)·행동(in-context adaptation) 3차원 정렬 프레임워크 제안
    • 인간 에고센트릭 영상을 15개 로봇 플랫폼 궤적으로 변환하는 human-to-robot synthesis pipeline
    • 오픈소스 데이터만으로 ~38,100시간 매니퓰레이션 사전학습 코퍼스 구축—독점 데이터 수집 없음
    • OOD 평가(LIBERO-Plus, RoboCasa365, EBench 등)에서 π0.5, GR00T-N1.7을 모든 축에서 능가
    • RoboChallenge Table30-v1 generalist 트랙 1위, 20% 상대적 향상 달성
    • AgileX ALOHA, Franka, UR, ARX 등 4개 실제 로봇 플랫폼에서 검증 완료
    초록PDF
  7. 438LLMs / NLParXiv:2606.17861

    GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?

    코딩 에이전트가 실제 게임 엔진(Godot)에서 엔드투엔드로 플레이 가능한 게임을 만들 수 있는지 평가하는 GameCraft-Bench(140 과제, 15 게임 장르)를 제안한다.

    GameCraft-Bench는 게임 생성 평가의 3가지 요건(Engine Grounding, Artifact Completeness, Interactive Verification)을 정의하고, Godot 엔진에서 140개 과제/15개 게임 장르로 구성된 벤치마크를 제공한다. 에이전트가 자연어 명세로부터 완전한 게임 프로젝트를 생성하면, 헤드리스 빌드/실행/플레이 동영상 증거를 수집해 다중 모달 judge가 4개 루브릭(메커니즘, 콘텐츠 깊이, 시각적 피드백, 프레젠테이션)으로 평가한다. 최강 에이전트(Opus 4.7)도 41.46%에 그쳐, 엔드투엔드 게임 생성이 여전히 해결되지 않았음을 보여준다.

    • 엔진 기반 게임 생성 평가의 3가지 요건(Engine Grounding, Artifact Completeness, Interactive Verification) 최초 정의
    • 140개 Godot 과제, 15개 게임 장르로 구성된 실제 엔진 기반 벤치마크
    • 헤드리스 빌드→플레이 동영상→루브릭 기반 다중 모달 judge의 3단계 interaction-grounded 평가 파이프라인
    • 최강 에이전트(Opus 4.7 high) 41.46%, 대다수 40% 미만—end-to-end 게임 생성은 여전히 미해결
    • 에이전트가 메커니즘은 구현하지만 콘텐츠 깊이, 시각적 피드백, 프레젠테이션 완성도에서 크게 부족
    • 메커니즘·콘텐츠·시각은 중등도 상관(r=0.5-0.6)이지만 예술/프레젠테이션은 약한 결합(r=0.11)으로 능력이 부분 분해됨
    초록PDF
  8. 437Machine LearningarXiv:2606.18208

    Looped World Models

    Looped transformer를 world model에 최초로 적용, 파라미터 공유 반복 구조로 최대 100배 파라미터 효율을 달성한 LoopWM을 제안한다.

    LoopWM(FaceMind Research Asia)은 world model의 장기 롤아웃 정확도와 연산 비용 사이의 근본적 딜레마를 looped architecture로 해결한다. 단일 파라미터 공유 transformer block을 반복 적용해 잠재 환경 상태를 점진적으로 정제하며, spectral constraint로 안정성을 보장한다. 적응적 계산(depth)이 전환 복잡도에 맞춰 자동 조정되므로, 단순한 자유 낙하 등에는 1회 루프만으로도 충분하다. 기존 world model 대비 최대 100배 파라미터 효율을 보인다.

    • World model에 looped transformer를 최초 적용—반복 잠재 깊이(iterative latent depth)라는 새로운 스케일링 축 제안
    • 파라미터 공유 transformer block 반복으로 기존 대비 최대 100× 파라미터 효율 달성
    • Spectrally-constrained state-retention 파라미터화로 임의 롤아웃 길이에서 안정성 보장
    • 적응적 계산: 충돌/접촉 등 복잡 전환에는 더 많은 루프, 단순 역학에는 적은 루프를 자동 할당
    • ScienceWorld 등 과학 시뮬레이션 태스크에서 EM 66-88%, F1 72-98% 달성
    • 1B 파라미터로 Gemini/Qwen 대비 우수한 과학 시뮬레이션 예측 성능 입증
    초록PDF
  9. 436Machine LearningarXiv:2606.17024

    ExpRL: Exploratory RL for LLM Mid-Training

    참조 해답을 모방이 아닌 보상 스캐폴드로 활용해 LLM 추론 RL을 위한 더 나은 초기화를 제공하는 mid-training 방법을 제안한다.

    ExpRL은 기존 SFT나 희소 보상 GRPO가 가진 한계(coverage 부족)를 극복하기 위해, 참조 해답을 정답 모방용이 아니라 LLM judge의 채점 기준표로 활용한다. 정책은 원본 문제만 보고 on-policy로 추론 트레이스를 생성하며, judge가 이를 참조 해답과 비교해 outcome/process 수준의 밀집 보상을 부여한다. 수학 추론 벤치마크에서 SFT, GRPO, self-distillation보다 더 강한 RL 초기화를 제공하며, pass@k와 pass@1 모두에서 유의미한 향상을 보인다.

    • 참조 해답을 모방 대상이 아닌 LLM judge의 채점 루브릭으로 활용하는 ExpRL-Outcome/Process 두 변종 제안
    • Qwen3-4B 기준 AIME-25에서 ExpRL-Outcome이 pass@1 34.2%로 GRPO(27.1%), SFT(5.7%)를 크게 압도
    • pass@k 향상이 확인되어 coverage(해결 전략 다양성) 자체가 개선됨을 입증
    • 검증, 자기수정, 백트래킹 같은 추론 행동이 base model 대비 증가함을 관찰
    • 4B 이상 judge에서 문제-매칭 참조가 가장 낮은 misplacement rate를 기록—judge는 참조 기반으로 검증함을 확인
    • 혼합 도메인(수학+코딩+과학) 실험에서도 ExpRL이 단일 도메인 이상으로 확장 가능함을 시사
    초록PDF
  10. 435AI / GeneralarXiv:2606.16733

    A First-Principles Derivation of LLM Policy Optimization: From Expected Reward to GRPO and Its Structural Extensions

    LLM policy optimization을 J(θ)의 두 축(trajectory side, reward side)에서 체계적으로 정리한 survey 논문이다. REINFORCE부터 GRPO, Agentic RL, OPD까지 단일 프레임워크로 진단적 분석을 제공한다.

    모든 policy gradient 알고리즘이 J(θ) = E[R(τ)]의 두 factor인 trajectory probability와 reward를 어떻게 수정하는지를 기준으로 방법론을 분류한다. Trajectory side(collection, clipping, compression, diversity, repair)와 reward side(density, source, shaping, credit assignment)의 이축 진단 map을 제공한다. Post-GRPO 변형, Agentic RL, GRPO-OPD hybrid까지 동일한 축을 적용하여 결합 실패(coupled failure) 지점을 식별한다.

    • J(θ) = E[R(τ)]의 trajectory side와 reward side 두 축으로 모든 policy gradient 방법을 통일 분류
    • REINFORCE → PPO → GRPO → post-GRPO 변형의 발전 과정을 각 단계의 failure mode와 intervention으로 설명
    • Agentic RL(multi-turn)과 GRPO-OPD hybrid까지 동일한 두 축을 확장하여 적용
    • 단일 축 수정으로 해결 불가능한 coupled failure 식별 및 차세대 알고리즘 설계 방향 제시
    초록PDF
  11. 434Computer VisionarXiv:2606.16255

    UniDDT: Unifying Multimodal Understanding and Generation with Decoupled Diffusion Transformer

    멀티모달 이해와 생성을 단일 프레임워크로 통합하는 UniDDT를 제안한다. Noisy ViT encoder + LLM + 분리된 diffusion decoder 구조로 GenEval 0.87, MME 1699.5를 달성한다.

    UniDDT는 시각 이해와 생성의 충돌을 해결하기 위해 Noisy ViT encoder와 LLM backbone으로 semantic encoding을 통일하고, 별도의 diffusion decoder로 생성을 분리한다. Latent space를 unified visual space로 채택해 확장성과 표현력을 균형 있게 확보한다. 동일 image-text pair에서 이해-생성 dual data를 구성해 두 작업 간 시너지를 극대화한다.

    • Noisy ViT encoder가 이해(깨끗한 입력)와 생성(noisy 입력) 모두에 사용되는 unified semantic encoder 역할 수행
    • 별도의 diffusion decoder로 text decoding과 visual generation을 분리하여 modality 간섭 최소화
    • 동일 image-text pair에서 dual data structure를 구성하여 이해-생성 duality 활용
    • GenEval 0.87, DPG 86.9, MME 1699.5, SEEDbench 76.5 달성으로 이해와 생성 모두에서 경쟁력 입증
    초록PDF
  12. 433RoboticsarXiv:2606.17055

    T-Rex: Tactile-Reactive Dexterous Manipulation

    촉각 신호에 실시간으로 반응하는 로봇 정교 조작을 위해 T-Rex를 제안한다. Mixture-of-Transformer-Experts 아키텍처와 100시간 촉각 데이터셋으로 기존 최강 baseline 대비 평균 30% 높은 성공률을 달성한다.

    T-Rex는 Vision-Language-Action(VLA) 모델의 저주파 시각 처리와 고주파 촉각 처리를 분리하는 variable-rate Mixture-of-Transformers(MoT) 아키텍처를 도입한다. 22,889시간 인간 egocentric video로 사전학습하고 100시간 촉각 동기화 로봇 데이터로 mid-training하는 3단계 레시피를 제안한다. 12개 contact-rich 과제에서 평균 65% 성공률로 EgoScale(35%) 대비 30% 우수하다.

    • Variable-rate MoT 아키텍처: 저주파 action expert(~5Hz) + 고주파 tactile expert(~20Hz)로 제어 분리
    • Spatio-temporal VQ-VAE 기반 촉각 인코더로 raw tactile feedback을 compact 표현으로 압축
    • 100시간 촉각 동기화 bimanual manipulation 데이터셋(T-Rex Dataset) 공개, 200+ 일상 객체 및 22개 motor primitive
    • 12개 tactile-reactive 과제에서 평균 65% 성공률,最强 baseline 대비 30% 향상
    초록PDF
  13. 432Computer VisionarXiv:2606.15956

    You Don't Need Strong Assumptions: Visual Representation Learning via Temporal Differences

    비디오에서 인과성(과거→미래) 가정만으로 자기지도학습을 수행하는 TDV(Temporal Difference in Vision)를 제안한다. augmentation, masking, cropping 등 기존 inductive bias 없이도 DINO, iBOT과 동등한 성능을 달성한다.

    TDV는 시간 인접 프레임 간의 인과적 관계를 활용하여 시각 표현을 학습하는 새로운 패러다임이다. 현재 프레임 표현과 motion encoder가 생성한 delta를 더해 다음 프레임 표현을 예측하는 구조로, 비디오의 높은 시간 일관성을 활용한다. SSv2 데이터셋에서 사전학습 후 ADE-20K semantic segmentation, MPI-Sintel optical flow 등 dense spatial task에서 DINO/iBOT과 경쟁력 있는 성능을 보인다.

    • 강한 inductive bias(augmentation, masking, cropping) 없이 인과성 가정만으로 자기지도학습을 수행하는 최초의 접근
    • frame encoder와 motion encoder를 joint training하여 현재 프레임 + motion delta = 다음 프레임 표현을 학습
    • 데이터 규모가 커질수록 약한 inductive bias가 유리한다는 가설을 실험적으로 검증
    • ADE-20K semantic segmentation 및 MPI-Sintel optical flow에서 DINO/iBOT과 동등한 성능 달성
    초록PDF
  14. 431RoboticsarXiv:2606.17011

    ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

    XPENG Robotics가 인간형 로봇 VLA 후속 학습에서 불완전한 인간 개입 데이터를 활용하는 ROVE RL 프레임워크를 제안했다. 혼합 품질 데이터에서 가치 기반 정책 추출로 실제 조작 작업에서 성능을 지속 향상시켰다.

    인간형 로봇의 원격 조종 개입 데이터에 포함된 망설임·오류를 다루기 위해 Optimistic Value Estimation(OVE)을 도입하여 혼합 품질 궤적에서 고가치 행동을 추출한다. Cross-embodiment 인간 경험 영상을 critic 학습에 추가하여 long-tail 실패·회복 모드에 대한 감독을 보강했다. 화이트보드 지우기(접촉 다수)와 토스터에 빵 넣기(정밀 조작) 두 작업에서 3회 반복 개입으로 성공률이 각각 45.0%→80.0%, 56.7%→86.7%로 향상되었다.

    • 인간형 로봇 원격 조종 개입의 망설임·적응·회복 단계를 분해하여 혼합 품질 데이터 모델링
    • Optimistic Value Estimation(OVE)으로 TD bootstrapping + expectile regression을 결합, 고가치 행동 우선 추출
    • Cross-embodiment 인간 경험 영상을 critic 학습에 추가하여 long-tail 실패 모드 보강
    • 실제 작업 3회 반복 개입으로 성공률 45→80%(화이트보드), 56.7→86.7%(토스터) 향상
    초록PDF
  15. 430AI / GeneralarXiv:2606.14502

    From Chatbot to Digital Colleague: The Paradigm Shift Toward Persistent Autonomous AI

    LLM이 챗봇에서 디지털 동료로 진화하는 패러다임 전환을 체계적으로 정리한 서베이 논문이다. 인지 핵심(Thinking LLM)과 도구 증강 실행(Workspace+Skill)의 두 축으로 구조화했다.

    Chatbot → Thinking LLM → Agent → OpenClaw(Workspace+Skill)의 4단계 진화를 인지 핵심과 도구 실행 두 차원에서 정리했다. 데이터 패러다임이 instruction-response 쌍에서 State-Action-Observation 궤적으로 전환되며, 평가가 정적 벤치마크에서 task closure rate와 sandbox 감사 가능한 생태계로 이동함을 보인다. Workspace 지속성, Skill 재사용, 검증 루프, 거버넌스를 '디지털 동료'의 핵심으로 정의하고, 자가 진화 AI 생태계를 미래 방향으로 제시한다.

    • Chatbot → Thinking LLM → Agent → OpenClaw(Workspace+Skill) 4단계 LLM 진화 프레임워크 제안
    • 데이터 패러다임: instruction-response 쌍 → State-Action-Observation 궤적 전환 정리
    • 평가 패러다임: 정적 벤치마크 → task closure rate, sandbox 감사, 자가 진화 생태계로 진화
    • Workspace 지속성 + Skill 재사용 + 검증 루프 + 거버넌스를 '디지털 동료' 핵심 요소로 정의
    초록PDF
  16. 429AI / GeneralarXiv:2606.16140

    VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models

    3B 파라미터 소형 dense 모델로 수학·코딩 추론의 한계를 탐구한 VibeThinker-3B 기술 보고서다. curriculum SFT, 다영역 RL, 자기 증류를 통해 first-tier 대형 모델에 필적하는 추론 성능을 달성했다.

    Qwen2.5-Coder-3B 베이스에 curriculum SFT, 다영역 RL(MGPO), 오프라인 자기 증류를 적용하여 AIME26 94.3점(CLR 적용 시 97.1점), LiveCodeBench v6 80.2 Pass@1을 기록했다. LeetCode 최신 대회에서 96.1% acceptance rate를 달성하며 GPT-5.2, Kimi K2.5 등을 능가했다. 이를 통해 검증 가능한 추론은 소형 parameter에 압축 가능하지만, 개방형 지식은 광범위 parameter coverage가 필요하다는 'Parametric Compression-Coverage Hypothesis'를 제안했다.

    • 3B 파라미터로 AIME26 94.3점, CLR 적용 시 97.1점 달성 (DeepSeek V3.2 671B, GLM-5 744B 수준)
    • LeetCode 2026.04~05 최신 대회 96.1% acceptance rate로 GPT-5.2(95.3%), Kimi K2.5(90.6%) 능가
    • Curriculum SFT + MGPO RL + 오프라인 자기 증류 + Instruct RL의 단계적 post-training 파이프라인 제안
    • 검증 가능한 추론은 압축 가능, 개방형 지식은 coverage 필요라는 Parametric Compression-Coverage Hypothesis 도입
    초록PDF
  17. 428LLMs / NLParXiv:2606.15079

    Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale

    Inclusion AI가 Ling-2.6(즉시 응답용)과 Ring-2.6(심층 추론용) 1조 파라미터 MoE 모델 패밀리를 발표했다. 하이브리드 선형 attention과 agentic RL 훈련으로 효율성과 성능을 동시에 확보했다.

    Ling-2.0 베이스를 Lightning Attention + MLA 7:1 하이브리드로 아키텍처 마이그레이션 후 9.6T 토큰 추가 사전학습하고, Evo-CoT·LPO·최단 정답 증류로 토큰 효율을 4배 향상시켰다. KPop이라는 비동기 agentic RL 프레임워크로 도구 사용·코딩·검색 환경에서 대규모 학습을 수행하여, Ling-2.6-1T는 Artificial Analysis 지수 34점(GPT-5.4 수준), Ring-2.6-1T는 PinchBench 87.60, ClawEval 63.82를 달성했다. 모든 체크포인트를 오픈소스로 공개했다.

    • Lightning Attention + MLA를 7:1 비율로 혼합하여 장문맥 FLOPs 및 KV-cache 부담 대폭 감소
    • Evo-CoT, LPO, 최단 정답 증류로 2.0 세대 대비 약 4배 토큰 효율 향상
    • KPop 비동기 agentic RL로 1T 규모에서도 안정적인 환경 기반 학습 달성
    • Ring-2.6-1T가 PinchBench 87.60, ClawEval 63.82, GAIA-2 Search 및 τ2-Bench Telecom에서 강력한 성능 기록
    초록PDF
  18. 427Computer VisionarXiv:2606.14703

    Gaze Heads: How VLMs Look at What They Describe

    VLM 내부에서 현재 설명 중인 이미지 영역을 추적하는 'gaze head'라는 소수의 attention head를 발견하고, 이를 제어해 모델의 시각적 주의를 steering하는 연구다.

    Qwen3-VL-8B의 1,152개 head 중 약 100개(8.7%)만이 현재 묘사 중인 이미지 영역을 추적하며, 이들에 단일 attention-mask 개입을 가하면 83.1% 정확도로 모델의 답변을 원하는 영역으로 redirect할 수 있다. 이 메커니즘은 2B~32B까지 모델 크기와 여러 VLM 아키텍처에 걸쳐 반복되지만, frozen-encoder 계열(LLaVA, Bunny)에서는 나타나지 않아 vision encoder 공동 학습이 조건임을 시사한다. COCO 자연 이미지에서도 작동하며, retraining 없이 inference-time 제어가 가능함을 입증했다.

    • VLM의 1,152개 attention head 중 약 100개(8.7%)가 현재 설명 중인 이미지 영역을 추적하는 'gaze head' 역할 수행
    • 단일 attention-mask 개입으로 comic panel redirect 83.1% 정확도 달성 (random head에서는 실패)
    • 2B~32B 파라미터 및 Qwen2-VL, Ovis1.5, InternVL3.5 등 다양한 VLM에서 동일 메커니즘 확인
    • Frozen-encoder 계열(LLaVA, Bunny-3B)에서는 gaze head 부재 → vision encoder 공동 학습 필요성 시사
    초록PDF
  19. 426RoboticsarXiv:2606.15768

    LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies

    LaWAM은 latent world model을 통해 pixel-space 비디오 생성 없이 latent visual subgoal만으로 dynamics-aware 로봇 정책을 구현하는 효율적인 world-action model이다.

    Latent Action Model의 forward decoder를 LaWM으로 재사용하여, 230M parameter만으로 latent action 기반 future observation feature를 예측한다. 정책이 예측한 latent action을 LaWM이 단일 forward pass로 latent subgoal로 변환하고, 이를 action expert에 조건으로 제공한다. LIBERO 98.6% SR, RoboTwin 91.22% SR을 달성하면서 pixel-space WAM 대비 최대 24× 낮은 지연(187ms)을 기록했다.

    • LaWM: latent action model의 decoder를 재사용한 230M parameter latent world model (pixel-space WAM 대비 95% 적은 world-modeling parameter)
    • 단일 forward pass로 latent visual subgoal 예측 → 비iterative 추론으로 187ms 달성 (pixel-space WAM 대비 최대 24× 빠름)
    • 2단계 학습: Stage 1에서 약 3,000시간 로봇 + 1,500시간 egocentric 인간 영상으로 LaWM 학습, Stage 2에서 latent-action distillation 기반 정책 학습
    • 실제 환경 평가: Pick-and-Place 93.3%, Drawer Opening 86.7%, Towel Folding 90.0% (평균 90.0%로 모든 baseline 중 1위)
    초록PDF
  20. 425RoboticsarXiv:2606.17046

    Geometric Action Model for Robot Policy Learning

    GAM(Geometric Action Model)은 geometric foundation model을 로봇 정책의 공유 backbone으로 직접 재사용하여 3D 기하학을 명시적으로 추론하는 언어 조건부 조작 정책이다.

    GFM을 중간 층에서 분할하여 shallow layer는 관측 인코더, deep layer는 action/기하학 decoder로 활용하며, 중간에 causal future predictor를 삽입해 future latent token을 예측한다. 단일 backbone forward pass로 action과 future geometry를 동시에 생성하며, 기존 VLA/WAM 대비 55× 빠르고 더 정확하며 더 가볍다. 특히 camera perturbation 설정에서 +9.7%p 우수하다.

    • GFM 중간층 분할: shallow layer는 관측 인코더, causal future predictor 삽입, deep layer는 action+geometry decoder로 재사용
    • 단일 autoregressive token sequence + 단일 forward pass로 action token과 future-scene token을 동시에 생성
    • 기존 foundation-model-scale baseline 대비 55× 빠른 추론, 더 적은 parameter로 동등 이상의 성능
    • LIBERO-Plus camera perturbation 설정에서 +9.7%p 우수 (3D geometric prior의 직접적 효과)
    초록PDF
  21. 424Computer VisionarXiv:2606.14702

    OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains

    OmniVideo-100K는 구조화된 스크립트와 evidence chain을 통해 audio-visual 추론 능력을 향상시키는 대규모 instruction-tuning 데이터셋이다.

    Entity-Anchored Video Scripting으로 영상을 구조화된 스크립트(요약, 엔티티 목록, 세그먼트별 audio-visual 설명)로 변환하고, Clue-Guided QA Generation으로 cross-segment·cross-modal 단서를 기반으로 QA pair를 생성한다. VITA-1.5 fine-tuning 시 OmniVideo-Test에서 최대 20.59% 향상을 달성했으며, Daily-Omni 등 기존 벤치마크에서도 최대 12.64% 일반화 개선을 보였다.

    • Entity-Anchored Scripting: main entity list를 global prior로 사용하여 세그먼트 간 참조 일관성 확보, audio-visual 연관 복원
    • Clue-Guided QA Generation: LLM이 먼저 cross-segment multimodal clue를 mining한 후 해당 clue 기반으로 QA 생성
    • OmniVideo-100K: 100K 자동 생성 audio-visual QA pair + OmniVideo-Test (505개 human-verified sample), 10개 AV 과제 커버
    • Fine-tuning 효과: VITA-1.5 +20.59%, Qwen2.5-Omni-7B +17.82%, Qwen3-Omni-30B +13.86% (OmniVideo-Test 기준)
    초록PDF
  22. 423Computer VisionarXiv:2606.16993

    DreamX-World 1.0: A General-Purpose Interactive World Model

    DreamX-World 1.0은 범용 interactive text/image-to-video world model로, 카메라 내비게이션, 이전 관찰 영역 재방문, 분기 생성을 지원하여 interactive world simulation을 실현한다.

    E-PRoPE라는 경량 camera positional encoding(~30% 지연 감소)과 memory-conditioned scene persistence, causal forcing + DMD distillation + long-rollout training을 결합한다. RL alignment로 distillation 후 품질을 복원하며, 8x RTX 5090에서 16 FPS 스트리밍을 달성했다. 전체 점수 84.76으로 HY-WorldPlay 1.5(80.79), LingBot-World(80.45)를 능가한다.

    • E-PRoPE: PRoPE의 투영 카메라 기하학을 유지하면서 spatially reduced token에 적용하여 추론 지연 약 30% 감소
    • Memory-Conditioned Scene Persistence: 카메라 기하학 기반 retrieval로 이전 관찰 영역 재방문 시 scene 일관성 유지
    • Causal forcing + DMD distillation + long-rollout training으로 autoregressive chunk 누적 drift(스타일·색상) 감소
    • 8x RTX 5090에서 최대 16 FPS 스트리밍 (mixed-precision DiT, residual reuse, 75%-pruned VAE decoding, asynchronous pipeline parallelism)
    초록PDF
  23. 422Computer VisionarXiv:2606.17030

    Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

    Qwen-RobotWorld는 자연어를 통합 action interface로 사용하는 언어 조건부 비디오 world model로, 로봇 조작·자율주행·실내 네비게이션·인간-로봇 전이를 단일 프레임워크로 통합한다.

    Double-stream MMDiT 아키텍처에 Qwen2.5-VL 기반 action encoding을 결합하고, 8.6M video-text pair(200M+ 프레임)의 EWK 데이터셋과 general+expert 점진적 커리큘럼으로 학습한다. 4개 벤치마크에서 강력한 성능을 보이며, 특히 EWMBench와 DreamGen Bench에서 1위를 달성했다. 자연어 명령 하나로 20+ 로봇 morphology에 일반화되는 것이 핵심 기여다.

    • 자연어를 unified action interface로 사용하여 20+ embodiment, 500+ action category를 단일 언어 인터페이스로 표준화
    • Double-stream MMDiT (60-layer)에서 Qwen2.5-VL 의미 정보와 video-VAE latent를 layer-wise joint attention으로 융합
    • EWK 데이터셋: 8.6M video-text pair, 200M+ frames, manipulation 5.9M + 자율주행 200K + 네비게이션 6K+ 에피소드
    • EWMBench 1위(4.60, HSD +33% 우세), DreamGen Bench 1위(4.952), WorldModelBench 8.99(오픈소스 1위), PBench 0.804
    초록PDF
  24. 421Computer VisionarXiv:2606.14048

    WAM4D: Fast 4D World Action Model via Spatial Register Tokens

    공간 register token으로 학습 시에만 depth를 사용하고 추론 시에는 제거하는 fast 4D world action model이다.

    WAM4D는 geometric foundation model의 prior를 causal video-action transformer에 주입하기 위해, 학습 시에만 spatial register token이 history video token에서 depth를 읽어내고 backprop으로 video feature에 geometric 정보를 전달하는 구조를 제안한다. 추론 시 register branch를 제거하여 동일한 2D observation-to-action 인터페이스를 유지하면서도, RoboTwin 2.0과 실제 로봇 조작에서 공간 일관성과 행동 예측 정확도를 동시에 향상시킨다. Causal Mixture Attention으로 video/action/geometry token 간 모달별 가시성을 정의하여 non-causal shortcut을 방지한다.

    • Spatial register token이 학습 시에만 depth readout 담당, 추론 시 제거로 latency 비용 없음
    • Causal Mixture Attention: MoT 백본에서 video/action/geometry token 간 모달별 가시성 정의
    • RoboTwin 2.0에서 π0 대비 +7.5p, LingBot-VA 대비 +6.1p 향상(selected 10 tasks)
    • 추론 latency 525ms(VLA 64ms 대비 느리지만 WAM 중에서는 빠른 편), depth branch 제거로 9.71 GiB VRAM
    • 실세계 long-horizon 4단계 조작 태스크에서 π0 대비 +13.4p 향상
    • Trainable pretrained geometric head가 random init보다, bidirectional보다 unidirectional이 더 효율적
    초록PDF
  25. 420AI / GeneralarXiv:2606.13669

    Agents-K1: Towards Agent-native Knowledge Orchestration

    과학 논문을 agent-native 지식 그래프로 변환하는 엔드투엔드 지식 오케스트레이션 파이프라인이다.

    Agents-K1는 다모달 파서·GRPO 학습된 4B 정보추출 모델·tri-source 검색 CLI를 통합하여, 원문 논문을 entity, claim, evidence, citation intent, inter-entity relation을 포함한 지식 그래프로 변환한다. 246만 편의 과학 논문을 처리해 Scholar-KG를 구축했고 100만 편을 공개한다. FrontierScience-Research에서 Gemini-3 정확도를 7.9%→24.6%로, GPT-5.2를 25.2%→39.4%로 끌어올렸으며, multi-hop QA에서도 SOTA를 달성했다.

    • 5-module 스키마: metadata, explicit mention, implicit abstraction, citation intent, inter-entity relation으로 전문을 구조화
    • 4B 모델을 GRPO + rule-based reward로 학습, 8B 오픈소스를 10개 벤치마크에서 능가하고 32B와 NER에서 동등
    • 246만 편 논문 처리 → Scholar-KG 구축, 100만 편 공개 (CS·화학·생물·지구과학·물리·재료 6분야)
    • GraphAnything CLI: web search + multimodal graph retrieval + cross-document traversal을 통합 인터페이스
    • FrontierScience-Research: Gemini-3 7.9%→24.6%, GPT-5.2 25.2%→39.4% 향상
    • HotpotQA, 2WikiMultiHopQA, MuSiQue에서 9개 graph-RAG 기준선 대비 SOTA
    초록PDF
  26. 419AI / GeneralarXiv:2606.14249

    HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry

    에이전트 harness를 first-class 객체로 다루어 조립·진화·모델 공동 학습시키는 harness 파운드리 프레임워크다.

    HarnessX는 에이전트의 runtime harness(prompt, tool, memory, control flow)를 typed primitive로 조립하고, AEGIS라는 trace-driven 다중 에이전트 진화 엔진으로 실행 궤적에서 harness를 자동 개선한다. RL의 reward hacking, catastrophic forgetting, under-exploration을 harness 적응의 병리로 대응하며, harness 진화와 모델 RL을 공동 순환시킨다. 5개 벤치마크에서 평균 +14.5%(최대 +44.0%) 향상을 달성했고, 약한 모델일수록 harness 개선 효과가 큰 inverse-scaling을 보였다.

    • 9차원 processor 분류(context, tool, skill, control, memory 등)와 substitution algebra로 harness를 type-safe하게 조립
    • AEGIS: Digester→Planner→Evolver→Critic 4단계 진화 파이프라인, RL 병리를 symbolic 영역에 매핑하여 방어
    • Variant isolation: heterogeneous 벤치마크에서 태스크 클러스터별 독립 진화로 간섭 방지(GAIA +13.6%)
    • Cross-harness GRPO로 harness 진화와 모델 학습을 동시 순환, harness-only 대비 추가 +4.7%
    • ALFWorld에서 Qwen3.5-9B가 +44.0% 향상 → 모델이 약할수록 harness 개선이 보상
    • 평균 +14.5%(15개 설정), 14/15개 설정에서 양수 향상, baseline이 낮을수록 개선폭이 큼
    초록PDF
  27. 418RoboticsarXiv:2606.13769

    $μ_0$: A Scalable 3D Interaction-Trace World Model

    3D interaction trace를 예측하는 embodiment-agnostic 세계 모델로, 영상만으로 사전학습하고 로봇에 전이한다.

    μ0는 물체·도구·손 등 의미론적 관심점의 3D 궤적(trace)을 예측하는 세계 모델로, 픽셀 예측이나 행동 예측 대신 compact하고 embodiment-agnostic인 3D trace 표현을 사용한다. TraceExtract 파이프라인으로 다종 비디오에서 event-captioned 3D trace를 자동 추출하고(기존 대비 ~8배 확장), B-spline trace target과 semantic flow-matching으로 학습한다. 영상만으로 사전학습하고도 π0와 동등 이상의 성능(RoboCasa 30.25% vs π0 25.25%, 실세계 UR3 91.7%)을 달성했다.

    • TraceExtract: DINOv2 entity clustering으로 시맨틱 키포인트 선택 → 3D trace 추출 자동화(기존 대비 ~8배 확장)
    • 3D trace를 B-spline 제어점으로 표현, VLM 백본 + permutation-equivariant trace expert로 flow matching 학습
    • 비디오만으로 사전학습(action-free) 후 동결, 별도 action expert만 학습해서 크로스바디 전이
    • RoboCasa 8 태스크 평균 30.25%로 π0(25.25%) 대비 +5.0p, 실세계 UR3 3태스크 평균 91.7%
    • Trace feature가 없는 VLM+action expert 대비 +18.4p 격차 → trace 표현이 실제 운동 정보 제공
    • Event-centric captioning으로 trace 구간별 언어 정합, 추론 시 depth 입력 불필요
    초록PDF
  28. 417Computer VisionarXiv:2606.14700

    RepFusion: Leveraging Multimodal Priors for Denoising in Representation Space

    사전학습된 MLLM을 noisy representation encoder로 재활용하여 T2I diffusion 모델의 조건부 신호로 활용하는 새로운 아키텍처다.

    RepFusion은 Representation Autoencoder(RAE)의 semantic latent 공간이 MLLM과 호환된다는 점을 이용해, 동결된 MLLM이 noisy RAE latent를 입력받아 DiT를 조건화하는 구조를 제안한다. 유사 추론 예산에서 8B DiT를 새로 학습하는 TextEmbed나 8B Transfusion보다 1.3B DiT만 미세조정한 RepFusion이 더 뛰어난 성능을 보이며, MLLM 사전학습 사전지식이 노이즈 제거에 강력한 prior로 작용함을 입증한다. GenEval 0.70으로 VAE 대비 30% 향상을 달성했다.

    • RAE latent 공간에서 MLLM의 MLP projector를 noisy 입력으로 확장, 동결 LLM 백본으로 DiT 조건화
    • 유사 추론 FLOPs에서 TextEmbed(8B DiT)·Transfusion(8B joint) 대비 RepFusion(1.3B DiT)이 우수
    • VAE→RAE 전환 시 RepFusion이 +30% 절대 향상(0.54→0.70), TextEmbed(+21%), Transfusion(+11%)보다 큰 폭
    • MLLM을 동결할 때가 미세조정할 때보다 더 좋음 → 사전학습 prior 보존이 중요
    • Test-time compute를 단계별 MLLM 재조건화에 효율적으로 활용 가능
    • RepFusion-SFT는 GenEval 0.87, GenEval2 34.9, DPG 85.11로 SOTA 수준 달성
    초록PDF
  29. 416Computer VisionarXiv:2606.13674

    RepWAM: World Action Modeling with Representation Visual-Action Tokenizers

    WAM의 시각 latent를 시각 기반 모델과 정렬하고 잠재 행동 토큰을 결합한 representation-centric world action model이다.

    RepWAM은 기존 WAM이 영상 생성 모델의 reconstruction-oriented tokenizer를 그대로 가져오는 한계를 지적하며, 시각 기반 모델(DINOv2)과 정렬된 semantic visual tokenizer와 이와 짝을 이루는 latent action tokenizer를 제안한다. 이를 바탕으로 flow matching으로 미래 시각 상태와 잠재 행동을 동시에 예측하는 세계-행동 모델을 사전학습한 뒤 실제 로봇 궤적으로 적응시킨다. RoboTwin 2.0에서 Easy 89.3, Hard 88.4를 기록하며 VLA 및 WAN-pretrained WAM 기준선을 능가했다.

    • 기존 WAM의 reconstruction-oriented tokenizer가 조작 의미론을 놓치는 문제를 식별하고 semantic visual-action tokenizer 제안
    • RepViTok: 비디오 오토인코더 latent를 DINOv2와 정렬 + 같은 공간에서 latent action을 유도하는 구조
    • 2단계 학습: visual+latent action 사전학습 후 로봇 행동으로 적응이 joint prediction보다 우수함을 입증
    • RoboTwin 2.0에서 Easy 86.6, Hard 83.1로 WAN2.2 VAE 기반 대비 큰 폭 향상 (Average 50 tasks)
    • CFG scale 1.0에서 최고 성능 → semantic 정렬이 video CFG 의존성을 크게 줄임
    • Latent action 시각화에서 LAPA 대비 조작 관련 변화에 더 집중된 패턴 관찰
    초록PDF
  30. 415RoboticsarXiv:2606.14409

    Hy-Embodied-0.5-VLA: From Vision-Language-Action Models to a Real-World Robot Learning Stack

    Tencent이 공개한 HyVLA-0.5로, 데이터 수집부터 실제 로봇 배포까지 전체 스택을 아우르는 엔드투엔드 VLA 시스템이다.

    Hy-Embodied-0.5-VLA(HyVLA-0.5)는 데이터 수집 하드웨어(커스텀 fingertip UMI + 모션캡처 케이지), flow-matching action expert를 갖춘 MoT 백본, delta-chunk 행동 표현, FlowPRO라는 critic-free RL 후처리, 그리고 비동기 추론 파이프라인을 하나로 통합한 로봇 학습 스택이다. 10,000시간의 자체 수집 egocentric UMI 데이터로 사전학습하며, 단일 체크포인트에서 JAKA, Astribot, Unitree G1 등 다양한 로봇으로 크로스바디 전이를 달성한다. 데이터·모델·RL·배포를 co-design했다는 점이 핵심 차별점이다.

    • 10K 시간의 sub-mm 정밀도 egocentric UMI 데이터를 자체 수집하여 사전학습+후처리 모두에 재사용
    • Hy-Embodied-0.5 MoT 백본에 flow-matching action expert와 compact memory encoder를 결합, delta-chunk 표현으로 kinematics 독립성 확보
    • FlowPRO: critic·reward model 없이 성공/실패 쌍에서 직접 학습하는 offline RL 후처리로 near-ceiling 성공률 달성
    • Track-A(타겟 로봇 적응)와 Track-B(UMI-only 크로스바디 전이) 2개 SFT 트랙으로 다양한 로봇 플랫폼에 배포
    • 비동기 추론 + cubic Bézier 궤적 평활화로 고주파 폐루프 제어 구현, 2K시간 UMI 데이터 서브셋 공개 예정
    초록PDF
  31. 414Computer VisionarXiv:2606.13644

    Surflo: Consistent 3D Surface Flow Model with Global State

    여러 미포즈 RGB 이미지를 단일 global latent로 압축하고 flow matching으로 임의 해상도의 3D 표면점을 복원하는 Surflo를 제안한다.

    Surflo는 임의 개수의 unposed RGB 이미지를 K개 latent token으로 압축한 뒤, flow matching을 통해 3D 표면점(point + normal)을 독립적으로 복원하는 feed-forward 3D 재구성 모델이다. 기존 per-view 방식의 view-wise 중복 문제와 global-latent 방식의 고정 해상도 한계를 동시에 해결한다. 동일한 latent에서 수천 개부터 100만 개까지 임의 해상도의 점을 복원할 수 있으며, inference-time photometric guidance로 점 간 일관성을 확보한다. 8개 3D 재구성 벤치마크에서 feed-forward 방법 중 최고 수준의 표면 품질을 달성했다.

    • Variable-view 입력을 K latent token으로 압축(frozen VGGT backbone + Perceiver 압축), view 수와 무관한 고정 크기 표현
    • Flow matching 디코더로 각 점을 독립적으로 noise에서 표면으로 transport — 임의 해상도(수천~100만 점) 지원
    • Inference-time photometric + monodepth guidance로 독립 디코딩의 국부 불일치 해결
    • Per-view(pointmap 중복)와 global-latent(고정 해상도) 방식의 한계를 동시에 극복한 유일한 feed-forward 방법
    • 8개 3D 재구성 벤치마크에서 feed-forward 최고 수준, optimization-based 대비 10배 이상 빠름
    • DL3DV ~10.5K 씬에 watertight mesh를 추가한 데이터셋 구축 및 공개 예정
    초록PDF
  32. 413Computer VisionarXiv:2606.13673

    SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning

    VLM 기반 공간 추론 에이전트의 action interface로 code를 사용하는 SpatialClaw를 제안한다. 20개 벤치마크에서 59.9% 평균 정확도로 기존 대비 +11.2점 향상했다.

    비전-언어 모델(VLM)의 공간 추론 능력을 향상하기 위해, SpatialClaw는 stateful Python kernel을 action interface로 사용하는 training-free 프레임워크를 제안한다. 기존 single-pass code 실행이나 structured tool-call과 달리, VLM 에이전트가 매 step마다 이전 결과를 관찰하며 코드를 작성·실행·수정할 수 있다. 20개 공간 추론 벤치마크에서 59.9% 평균 정확도를 달성하여 최근 spatial agent 대비 +11.2점 향상했으며, 6개 VLM 백본(Qwen, Gemma4)에서 일관된 개선을 보였다.

    • Stateful Python kernel로 매 step마다 중간 결과를 관찰하고 코드를 수정하는 agent loop 설계
    • Single-pass code(사전 커밋)와 structured tool-call(제한적 조합)의 한계를 모두 극복
    • 20개 공간 추론 벤치마크(정적/동적 3D·4D)에서 59.9% 평균, 기존 spatial agent 대비 +11.2점
    • 6개 VLM 백본(Qwen 27B~397B, Gemma4)에서 벤치마크·모델 특화 튜닝 없이 일관된 성능 향상
    • 가장 큰 개선은 dynamic 4D video reasoning과 multi-view inference에서 발생
    • Training-free: 백본 모델이나 시스템 프롬프트 변경 없이 action interface 설계만으로 달성
    초록PDF
  33. 412Machine LearningarXiv:2606.13657

    Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation

    On-policy distillation(OPD)의 파라미터 업데이트가 sparse하고 off-principal한 기하학적 특성을 가짐을 분석했다. dense supervision에도 불구하고 OPD는 sparse on-policy editing에 더 가깝다.

    On-policy distillation(OPD)이 모델 파라미터를 어떻게 변화시키는지를 희소성과 기하학 관점에서 분석했다. 10개 모델 페어(LLM+VLM) 실험 결과, OPD 업데이트는 작고 coordinate-sparse하며 FFN-heavy한 분포를 보인다. 발견된 subnetwork만 학습해도 전체 OPD 성능을 회복하지만, SGD는 AdamW에 못 미치는 것으로 나타났다. 기하학적으로는 수치적으로 full-rank이나 스펙트럼이 집중되어 있고, source weight의 주성분 방향이 아닌 저크기 좌표에 집중되는 특성을 보인다.

    • OPD 업데이트는 작고 coordinate-sparse하며, 주로 FFN 층에 분포 (10개 모델 페어 일관성)
    • 발견된 sparse subnetwork만 학습해도 전체 OPD reasoning 성능 회복 가능
    • SGD는 AdamW에 못 미침 — sparse update라도 adaptive scaling이 필요 (gradient scale 이질성)
    • OPD delta는 수치적으로 full-rank이나 top-16 특이값 에너지가 ~20-30%로 스펙트럼 집중
    • 업데이트가 source weight의 principal direction을 회피하고 low-magnitude 좌표에 집중 — RLVR과 유사 패턴
    • Dense supervision이 있어도 OPD는 dense rewriting이 아닌 sparse on-policy editing에 가까움
    초록PDF
  34. 411AI / GeneralarXiv:2606.13361

    Can I Buy Your KV Cache?

    문서의 KV cache를 한 번만 계산하고 여러 에이전트가 재사용하는 Prefill CDN을 제안한다. 재사용은 prefill 대비 9~50배 저렴하며 token-exact 정확도를 보장한다.

    수많은 AI 에이전트가 동일한 문서를 반복적으로 prefill하는 비효율을 지적하며, 문서의 KV cache를 publishable artifact로 취급할 것을 제안한다. Qwen3-4B 기준 KV 재사용은 prefill 대비 9~50배 저렴하고, greedy 디코딩에서 24/24 토큰이 정확히 일치하는 lossless 정확도를 보인다. 다만 KV는 거의 압축이 불가능해 shipping보다 provider-side hosting이 경제적으로 유리하며, 80M 에이전트에게 하나의 hot document를 서빙할 때 재사용이 약 0K로 prefill .5M 대비 49.7배 절감된다.

    • KV cache 재사용은 from-scratch prefill과 token-exact로 동일 (greedy 24/24 매치, logits 수준 검증)
    • Qwen3-4B에서 재사용 compute가 prefill 대비 9~50배 저렴, 문서가 길수록 격차 확대 (L² attention 항)
    • Break-even은 사실상 즉시(N≈1), 두 번째 읽기부터 재사용이 이득
    • KV는 무손실 압축이 거의 불가능(shipping 실패), provider-side hosting이 최적 — production prompt-caching과 동일 원리
    • 3774토큰 문서를 80M 에이전트에게 서빙 시 prefill .5M vs 재사용 /bin/sh.03M (49.7× 절감)
    • int8 양자화는 크기를 절반으로 줄이지만 token-exact를 깨뜨려 lossless가 필요한 경우 부적합
    초록PDF
  35. 410LLMs / NLParXiv:2606.13681

    EvoArena: Tracking Memory Evolution for Robust LLM Agents in Dynamic Environments

    환경이 계속 변하는 동적 설정에서 LLM 에이전트를 평가하는 EvoArena 벤치마크와 patch 기반 메모리 EvoMem 제안. 현존 최강 에이전트들도 평균 39.6%에 그쳤으며, EvoMem은 표준 벤치마크에서도 4.8-6.1% 향상을 보였다.

    EvoArena는 터미널·소프트웨어·소셜 도메인에서 환경이 점진적으로 업데이트되는 시나리오로 에이전트를 평가한다. 기존 벤치마크들이 정적 환경을 가정하는 것과 달리, 동일한 환경이 버전별로 변하는 실제 배포 환경을 모델링한다. EvoMem은 git-like patch 기반 메모리로, 메모리 변경을 append-only 이력으로 기록해 에이전트가 환경 변화를 추론할 수 있게 한다. GPT-5.5조차 step accuracy 50.8%에 그쳤으며, EvoMem은 EvoArena 평균 +1.5%, chain accuracy +3.7%, GAIA +6.1%, LoCoMo +4.8% 향상을 가져왔다.

    • EvoArena: 터미널·소프트웨어·소셜 환경이 버전별로 진화하는 동적 에이전트 벤치마크
    • 현재 최강 에이전트들도 평균 39.6%에 그쳐, 동적 환경 적응이 큰 도전 과제임을 입증
    • EvoMem: 메모리 변경을 patch 이력(사전·사후 상태, 변경 사유, 증거)으로 저장하는 git-like 메모리
    • EvoArena +1.5%, chain-level +3.7%, GAIA +6.1%, LoCoMo +4.8% 일관된 성능 향상
    • 소프트웨어 회귀 분석: PASS_TO_PASS 실패율 평균 9.09%→6.32% 감소
    • 시간 궤적·다중 패턴 종합 질문에서 가장 큰 개선(+5.2%), evidence 보존 효과 입증
    초록PDF
  36. 409AI / GeneralarXiv:2606.13662

    EurekAgent: Agent Environment Engineering is All You Need For Autonomous Scientific Discovery

    자율 과학 발견에서 에이전트 워크플로우 설계 대신 '환경 엔지니어링'이 핵심이라고 주장하는 EurekAgent. 권한·아티팩트·예산·휴먼인더루프 환경 설계만으로 수학·커널·ML 태스크에서 새 SOTA를 달성했다.

    EurekAgent는 자율 과학 발견의 병목이 에이전트 워크플로우 처방에서 환경 설계로 이동하고 있다고 주장한다. off-the-shelf CLI 에이전트를 4차원 환경 엔지니어링(권한, 아티팩트, 예산, 휴먼인더루프)으로 조정해, 26-circle packing에서 $11 미만의 API 비용으로 새 SOTA를 달성했다. 환경만 잘 설계하면 일반 목적 코딩 에이전트가 도메인 특화 시스템을 능가할 수 있음을 수학 3종, 커널 엔지니어링, MLE-Bench 7종에서 입증했다.

    • 핵심 주장: 모델이 강해질수록 병목은 워크플로우가 아닌 '환경 엔지니어링'으로 이동
    • 4가지 환경 엔지니어링: 권한(평가 분리), 아티팩트(Git/파일 공유 메모리), 예산(비용 인식 탐색), 휴먼인더루프
    • 26-circle packing 새 SOTA(2.635999)를 $11 API 비용으로 달성
    • TriMul 커널 최적화에서 기존 리더보드 1위 대비 4.3%, TTT-Discover 대비 10.8% 향상
    • MLE-Bench Lite 7종에서 85.71% 메달 획득, 상용 모델 기반 시스템들을 능가
    • ResearchClawBench에서 범용 CLI 에이전트가 도메인 특화 시스템보다 뛰어난다는 근거 제시
    초록PDF
  37. 408Computer VisionarXiv:2606.13515

    MaskWAM: Unifying Mask Prompting and Prediction for World-Action Models

    World Action Model에 마스크를 입력과 예측 양쪽으로 통합한 MaskWAM. LIBERO 98.4%, RoboTwin 92.2%, 실제 로봇에서 언어 모호 작업 84.9% 성공률로 기존 최고 baseline 대비 33.2% 앞선다.

    MaskWAM은 비디오 예측 기반 로봇 제어(World Action Model)의 공간적 병목을 해결하기 위해 마스크를 입력과 출력 양쪽으로 통합한다. 미래 마스크 예측은 객체 중심의 의미적 감독을 제공해 시각적 노이즈를 억제하고, 첫 프레임 마스크 시각 프롬프트는 대상 객체에 대한 정확한 공간 닻을 제공해 언어의 참조 모호성을 크게 줄인다. Mixture of Transformers(MoT) 구조로 RGB·마스크·액션을 jointly 예측하며, LIBERO 98.4%, RoboTwin 92.2%를 달성했다. 언어가 모호한 실제 작업에서 84.9% 성공률로 가장 강한 baseline 대비 33.2% 우위를 보였다.

    • 마스크를 입력(첫 프레임 시각 프롬프트)과 출력(미래 마스크 예측) 양쪽으로 통합
    • 미래 마스크 예측이 객체 중심 의미 감독을 제공해 RGB-only 대비 성능 향상
    • 첫 프레임 마스크 프롬프트로 언어 모호성 해결, 텍스트 좌표 프롬프트 대비 압도적 우위
    • Mixture of Transformers(MoT)로 RGB·마스크·액션을 unified flow-matching으로 jointly 예측
    • LIBERO 98.4%, RoboTwin 92.2% SOTA; 실제 로봇 언어 명확 작업 84.3%, 모호 작업 84.9%
    • 마스크 예측 없이 프롬프트만 주면 21.6%로 급락 → 예측 목표가 시각 프롬프트 활용에 필수
    초록PDF
  38. 407Computer VisionarXiv:2606.13652

    World Tracing: Generative Pixel-Aligned Geometry Beyond the Visible

    단일 이미지에서 visible surface와 가려진 면을 동시에 예측하는 pixel-aligned 다층 기하 표현. WT-DiT 확산 트랜스포머로 객체·장면·동적 비디오에서 기존 depth 예측기와 image-to-3D 생성기 모두를 능가한다.

    World Tracing은 각 입력 픽셀에 대해 카메라 좌표계 3D 점의 정렬된 스택을 예측한다. 첫 번째 층은 visible surface, 이후 층들은 가려진 표면과의 교차점을 나타낸다. WT-DiT는 다층 기하를 개별 디노이징 토큰으로 처리하고, 3-way 분해 어텐션(층별·광선별·전역)으로 결합한다. 픽셀 공간 flow matching과 혼합 노이즈 스케줄로 visible surface 재구성과 가려진 기하 생성의 균형을 잡았다. 객체·장면·동영상 벤치마크에서 깊이 예측기와 image-to-3D 생성기 양쪽을 능가하며, 3D 장면 편집·시점 합성·텍스처 메시 생성에 training-free로 활용 가능하다.

    • 픽셀 정렬 다층 pointmap: 각 픽셀에 L개의 camera-space 3D 점을 예측해 가려진 면까지 완성
    • WT-DiT: 동결된 MoGe 인코더 + 3-way 분해 어텐션(layer/ray/global)으로 다층 결합
    • depth-filling 전략: 가려진 층의 빈 값을 forward-fill하여 mask 예측 없이 dense XYZ 학습
    • 객체·장면·동적 클립 모두 단일 아키텍처로 처리, 카메라 내부 파라미터 입력 불필요
    • 기존 depth 예측기 대비 visible surface 정확도 우위, image-to-3D 생성기 대비 Chamfer 거리 우위
    • 텍스트 기반 3D 장면 편집, 기하 조건부 시점 영상 합성, training-free 텍스처 메시 생성 적용
    초록PDF
  39. 406Machine LearningarXiv:2606.12507

    Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers

    루브릭 기반 RL 훈련에서 외부 LLM 판정기를 제거한 RGSD(루브릭 안내 자기증류) 방법. 루브릭을 조건으로 받은 teacher 모델이 unconditioned student를 토큰 단위로 증류하며, 4개 모델·2개 도메인에서 GRPO와 동등한 성능을 판정기 호출 없이 달성했다.

    RGSD는 개방형 도메인에서 루브릭 기반 훈련의 비용과 편향 문제를 해결하는 verifier-free 방법이다. 핵심 관찰은 베이스 모델에 루브릭을 컨텍스트로 주면 30-45점 향상이 있다는 것. RGSD는 이 루브릭-조건부 모델을 teacher로 삼고, prompt-only student의 온폴리시 롤아웃을 토큰 단위로 증류한다. Qwen-2.5(3B, 7B)와 Qwen3-Thinking(4B, 8B)에서 의료/과학 도메인으로 평가해 judge-based GRPO와 동등한 성능을, 판정기 호출 없이 단일 롤아웃만으로 달성했다.

    • 핵심 아이디어: 루브릭-조건부 teacher를 unconditioned student에 토큰 단위 자기 증류
    • 루브릭 조건만으로 베이스 모델 성능이 30-45pp 향상하는 '조건 향상 효과'를 활용
    • GRPO 대비 의료 +6.1 vs +5.9pp, 과학 +4.9 vs +4.5pp로 동등하면서 판정기 호출 제로
    • Qwen-2.5-7B에서 GRPO 대비 응답 길이가 약 절반으로 단축되며 verbosity drift 방지
    • clipped Jensen-Shannon divergence로 온폴리시 student 롤아웃 증류
    • 더 강한 판정기를 쓰는 GRPO가 일부 설정에서 RGSD를 능가할 수 있어 보완적 관계
    초록PDF
  40. 405Machine LearningarXiv:2606.13473

    MaxProof: Scaling Mathematical Proof with Generative-Verifier RL and Population-Level Test-Time Scaling

    MiniMax M3 모델로 수학 경시대회 수준의 증명을 수행하는 MaxProof 프레임워크. 증명 생성·검증·수리 3가지 능력을 훈련하고, 테스트 시간에 집단 탐색과 토너먼트 선택으로 IMO 2025 35점, USAMO 2026 36점을 달성했다.

    MaxProof는 경시대회 수준의 수학적 증명을 위한 population-level test-time scaling 프레임워크다. M3 모델을 증명 생성기, 검증기, 수리기, 랭커로 활용해 후보 증명 집단을 탐색하고 토너먼트 선택으로 최종 증명을 도출한다. 핵심은 defense-in-depth 생성 검증기로 낮은 false-positive rate을 달성하고, 4가지 보상 해킹 패턴(길이 편향, 포맷 해킹, 의미적 지름길, 판정기별 선호도)을 방어하는 것이다. 그 결과 IMO 2025에서 35/42, USAMO 2026에서 36/42로 두 대회 모두 인간 금메달 기준을 넘었다.

    • 증명 생성·검증·수리 3가지 전문 능력을 개별 훈련 후 단일 M3 모델로 병합
    • Defense-in-depth 검증기: bad-case 필터링, 정규화, 다중 판정, pessimistic min 집계로 false-positive 최소화
    • MaxProof test-time scaling: 32개 초기 후보 + 최대 10라운드 PATCH/REWRITE 정제
    • IMO 2025 27→35점(+8), USAMO 2026 26→36점(+10), 두 대회 모두 금메달 기준 초과
    • M2 사이클에서 발견된 4가지 보상 해킹 패턴과 그 방어 전략을 문서화
    • 비용 효율적: GLM-5.1 기반으로 26-circle packing을 $11 미만 API 비용으로 새 SOTA 달성
    초록PDF
  41. 404AI / GeneralarXiv:2606.12683

    From AGI to ASI

    Google DeepMind의 AGI에서 ASI(초인적 범용지능)로의 전환 경로를 분석한 리포트. 스케일링, 패러다임 전환, 재귀적 자기개선, 다중에이전트 집단지성의 4가지 경로와 각 경로의 마찰 요인을 체계적으로 논의한다.

    이 리포트는 AGI 달성 이후 기계지능이 어떻게继续 발전할 수 있는지를 Universal AI(AIXI) 이론적 기반 위에서 탐구한다. ASI를 '인간 전문가 집단보다 더 지능적인 시스템'으로 정의하고, AGI에서 ASI로 가는 4가지 경로(스케일링, AI 패러다임 전환, 재귀적 자기개선, 대규모 멀티에이전트 집단)를 제시한다. 각 경로의 마찰 요인(데이터 한계, 컴퓨팅 비용, 알고리즘 효율성 한계, 검증 병목 등)을 분석하며, 연간 약 10배의 유효 컴퓨팅 성장률을 전제로 향후 AI 발생 속도를 예측한다.

    • ASI를 '대규모 인간 전문가 집단보다 광범위하게 우월한 시스템'으로 정의, Legg-Hutter 점수로 정량화
    • 4가지 전환 경로: 스케일링, 패러다임 전환, 재귀적 자기개선, 멀티에이전트 집단 지성
    • 유효 컴퓨팅 성장률 연간 약 10배 (하드웨어 1.5배 × 투자 2.5배 × 알고리즘 효율 3배)
    • 주요 마찰 요인: 데이터 월, 컴퓨팅/에너지 비용, 연구 난이도 증가, 오케스트레이션 비용
    • 재귀적 자기개선의 폭발적 성장 가능성과 함께 plateau 가능성도 공존
    • AI 안전·거버넌스·검증 연구가 ASI 전환 전에 선행되어야 함을 강조
    초록PDF
  42. 403AI / GeneralarXiv:2606.13392

    MiniMax Sparse Attention

    MiniMax가 GQA 기반 블록 단위 희소 어텐션(MSA)을 제안. 경량 Index Branch가 Top-k 블록을 선택하고 Main Branch가 선택된 블록만 어텐션을 수행해, 109B MoE 모델에서 GQA와 동등한 성능을 유지하면서 1M 컨텍스트에서 어텐션 연산량을 28.4배, 실제 속도는 prefill 14.2배/decoding 7.6배 향상시켰다.

    MSA는 Grouped Query Attention(GQA) 위에 구축된 블록 단위 희소 어텐션 메커니즘이다. 핵심은 경량 Index Branch가 각 GQA 그룹별로 Top-k 키 블록을 독립적으로 선택하고, Main Branch가 선택된 블록에 대해서만 정확한 어텐션을 수행하는 것. 109B 파라미터 MoE 모델에서 3T 토큰으로 처음부터 학습하여 검증했으며, 다운스트림 벤치마크에서 GQA와 동등한 성능을 보이면서도 1M 토큰 컨텍스트에서 토큰당 어텐션 연산을 28.4배 감소시켰다. H800 GPU에서 prefill 14.2배, decoding 7.6배 실제 속도 향상을 달성했고, 추론 커널을 오픈소스로 공개했다.

    • GQA 기반 블록 희소 어텐션: 각 GQA 그룹별로 경량 Index Branch가 Top-k 블록을 독립 선택
    • 109B MoE 모델에서 3T 토큰 from-scratch 학습으로 GQA와 동등한 다운스트림 성능 입증
    • 1M 컨텍스트에서 토큰당 어텐션 FLOPs 28.4배 감소, H800에서 prefill 14.2배·decoding 7.6배 속도 향상
    • exp-free TopK 커널과 KV-outer 희소 어텐션으로 GPU 텐서코어 활용률 최적화
    • KL 정렬 손실로 Index Branch를 훈련하고 stop-gradient로 Main Branch와 분리
    • MiniMax-M3라는 상용 멀티모달 모델로 공개 배포 (HuggingFace)
    초록PDF
  43. 402Computer VisionarXiv:2606.11683

    Reason, Then Re-reason: Cross-view Revisiting Improves Spatial Reasoning

    에고센트릭 비디오의 공간 추론을 2단계(가설 형성, 교차 시점 검증)로 개선하는 training-free 프레임워크. VGGT로 합성한 신규 시점에서 초기 가설을 수정한다.

    ReRe(Reason, then Re-reason)는 에고센트릭 비디오의 공간 추론을 재방문 가능한(revisitable) 과정으로 정형화한다. 1단계 Reason Phase에서 원본 비디오로 공간 가설을 형성하고, 2단계 Re-reason Phase에서 VGGT로 합성한 새로운 시점 고도 영상으로 가설을 검증하고 수정한다. 최고점 사선 뷰를 합성하는 Geometry-to-Video 파이프라인이 핵심이며, VSI-Bench에서 5.2점 향상, STI-Bench에서 유의미한 향상을 달성했다. 수정된 답안 중 71.6%가 정답으로 전환되는 등 높은 정정 품질을 보인다.

    • 공간 추론을 단일 턴이 아닌 가설-검증의 2단계 과정으로 재정의
    • VGGT 단안 3D 복원으로 전략적으로 보완적인 고도 사선 시점(Oblique Sweep) 합성
    • MLLM 아키텍처 수정 없이 추론 시간에 적용 가능한 training-free 프레임워크
    • VSI-Bench 평균 5.2점 향상; 샘플 레벨에서 positive flip 71.6% vs negative flip 28.4% (2.52:1 비율)
    • A100 GPU에서 샘플당 약 11초; VGGT 입력을 20프레임으로 줄이면 약 4초에 2.8점 향상 유지
    • Birds-eye보다 Oblique Sweep이 우수 - 시점 분포 mismatch 방지하면서 공간 정보 노출
    초록PDF
  44. 401Computer VisionarXiv:2606.11289

    i1: A Simple and Fully Open Recipe for Strong Text-to-Image Models

    텍스트-이미지 diffusion 모델의 완전 오픈(가중치+데이터+코드) 레시피. 300+ 통제 실험을 통해 설계 공간을 체계적으로 탐구하고, 3B 모델 i1으로 기존 오픈 모델 대비 29.5%p 우수한 성능 달성.

    i1은 텍스트-이미지 diffusion 모델의 설계 공간을 300개 이상의 통제 실험(700K+ TPU v6e 시간)으로 체계적으로 탐구한 결과다. 모델링 측면에서 단일 강력한 텍스트 인코더와 큰 어댑터가 다중 인코더보다 우수하고, dual-stream DiT와 long skip connection이 강력한 백본 설계임을 발견했다. 데이터 측면에서는 equal weighting이 큐레이션 데이터셋 혼합의 강력한 기본값이며, 합성 캡션 선택이 중요함을 보였다. 이 통찰으로 훈련한 3B 모델 i1은 5개 벤치마크에서 기존 최고 오픈 모델 대비 평균 29.5%p 우수하다.

    • 단일 강력한 텍스트 인코더(T5Gemma-2B)와 큰 어댑터(2 transformer blocks)가 다중 인코더보다 효과적
    • Dual-stream DiT와 long skip connection, QK-Norm이 강력한 백본 설계; AdaLN은 T2I에서 이점 미미
    • 긴 캡션 학습이 짧은 캡션보다 우수하나 추론 시 프롬프트 재작성 필요
    • Equal weighting(데이터셋별 동일 이미지 수)이 큐레이션 데이터셋 혼합의 강력한 기본값
    • i1-3B: 공개 데이터만 사용, 5개 벤치마크에서 기존 최고 완전 오픈 모델 대비 평균 29.5%p 우수
    • 17B HiDream-I1, 12B FLUX.1[Dev] 등 더 큰 모델들도 능가하며 설계 탐구의 가치 입증
    초록PDF
  45. 400Machine LearningarXiv:2606.12360

    Anatomy of Post-Training: Using Interpretability to Characterize Data and Shape the Learning Signal

    해석 가능성(interpretability) 도구로 포스트 트레이닝 데이터를 감사하고 학습 신호를 정형화하는 데이터 중심 파이프라인. 선호도 데이터의 잠재적 개념을 식별해 바람직하지 않은 학습을 사전에 차단한다.

    이 논문은 SAE(Sparse Autoencoder) 특징과 통계적 가설 검정을 활용해 포스트 트레이닝 선호도 데이터셋에서 모델이 학습할 수 있는 잠재적 개념을 사전에 식별하는 파이프라인을 제안한다. 개념 수준에서 바람직하지 않은 신호(예: 과도한 스타일화, 아첨, 안전장치 저하)를 발견하고 explain away 연산으로 제거할 수 있다. Dolci 데이터셋 분석에서 실제로 jailbreak 취약성이 악화됨을 발견했으며, 모델 성격, 공식성, 안전장치 등 원하는 속성을 증폭할 수도 있다.

    • SAE 특징과 이표본 가설 검정으로 선호도 데이터의 잠재 개념(길이, 도움됨, 도덕성, 거부 등) 식별
    • 식별된 개념을 explain away하여 바람직하지 않은 학습 신호를 사전 제거하는 데이터 중심 프레임워크
    • Dolci 데이터셋 훈련 시 jailbreak robustness 저하 발견 - 기존 SFT 대비 안전성 악화
    • 과도한 스타일화, 아첨 현상 진단 및 완화; 모델 성격(playful 등), 공식성 증폭 가능
    • 다양한 포스트 트레이닝 프로토콜(DPO, SFT, 데이터 필터링)을 통합 렌즈로 설명
    • 인과적 유효 특징이 모델 확률을 예측 가능하게 변경한다는 이론에 기반
    초록PDF
  46. 399Computer VisionarXiv:2606.13679

    InterleaveThinker: Reinforcing Agentic Interleaved Generation

    기존 이미지 생성기에 교차 생성(텍스트-이미지 시퀀스) 능력을 부여하는 최초의 멀티 에이전트 파이프라인. Planner-Critic 구조로 시각적 과의존과 단계별 오류 누적을 해결한다.

    InterleaveThinker는 고정된 이미지 생성기를 교차 생성 능력을 갖추도록 만드는 최초의 멀티 에이전트 프레임워크다. Planner 에이전트가 전체 명령 시퀀스를 예측하고, Critic 에이전트가 각 단계의 출력을 평가하고 수정하여 재생성을 지시한다. GRPO 기반 단계별 RL로 Critic의 정정 능력을 강화했으며, FLUX.2-klein 기준 WISE 0.47에서 0.73, RISE 13.3에서 28.9의 큰 향상을 달성했다. Nano Banana 및 GPT-5 수준의 교차 생성 성능을 달성했다.

    • Planner-Gen-Critic 3에이전트 구조로 시각적 과의존(visual over-reliance)과 단계별 오류 누적 해결
    • Planner는 중간 피드백 차단으로 전역 목표 유지, Critic은 단계별 평가 및 프롬프트 정제
    • Interleave-Planner-SFT-80k, Critic-SFT-112k, Critic-RL-13k의 고품질 데이터셋 구축
    • 정확도 보상 + 단계별 보상의 이중 보상 전략으로 단일 단계 RL로 전체 궤적 최적화
    • FLUX.2-klein 기준 WISE 0.47에서 0.73, RISE 13.3에서 28.9 향상, Nano Banana/GPT-5 수준 달성
    • 이미지 생성기 교체 가능(FLUX.2-klein, Qwen-Image-Edit 모두 적용 가능)
    초록PDF
  47. 398Computer VisionarXiv:2606.12195

    InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning

    멀티모달 컨텍스트 추론(MCR) 프레임워크로 비디오 이해를 에이전트화한 InternVideo3. 폐루프 추론과 KV-cache 압축(M2LA)으로 장시간 비디오 태스크에서 강력한 성능 달성.

    InternVideo3는 멀티모달 이해를 관측-추론-행동-피드백-갱신의 폐루프 과정으로 정형화한 Multimodal Contextual Reasoning(MCR)을 제안한다. M2LA attention으로 KV-cache를 압축하면서 전체 멀티모달 토큰 스트림을 보존하여 장시간 롤아웃을 효율화한다. 단계적 훈련(지속 사전학습, short-to-long SFT, RL, 온정책 증류)을 통해 Video-MME, MLVU, EgoSchema 등 장시간 비디오 벤치마크에서 InternVideo2.5 대비 큰 향상을 달성했다.

    • MCR: 관측, 추론, 도구 행동, 피드백, 메모리를 공유 진화 컨텍스트로 통합하는 폐루프 멀티모달 추론 정식화
    • M2LA(Multimodal Multi-head Latent Attention): KV-cache 압축으로 긴 멀티모달 롤아웃을 효율화
    • 단계적 훈련: M2LA 변환 후 지속 사전학습, short-to-long 비디오 SFT, 검증 가능 태스크 RL, 온정책 증류
    • Video-MME, MLVU, EgoSchema 등 장시간 비디오 벤치마크에서 InternVideo2.5-7B 대비 실질적 향상
    • 검색 및 검증 도구를 갖춘 비디오 에이전트로 인스턴스화하여 재귀적 멀티모달 추론의 실용성 입증
    • 오픈 웨이트 생태계가 빠르게 발전 중이므로 최첨단 성능 주장보다는 맥락 효율성과 폐루프 추론의 원칙적 가치 강조
    초록PDF
  48. 397Machine LearningarXiv:2606.11709

    RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

    온정책 자기증류(OPSD)의 스타일 드리프트 문제를 대조 학습으로 해결한 RL 방법. Qwen3 1.7B/4B/8B에서 GRPO 및 기존 OPSD 대비 일관된 성능 향상.

    온정책 자기증류(OPSD)는 정답 힌트로 조건부 부여 시 모델의 스타일 토큰에 학습 신호가 집중되는 privilege-induced style drift 문제를 발견했다. RLCSD는 정답 힌트와 오답 힌트를 대조하여 스타일 성분을 상쇄하고 태스크 관련 토큰에 신호를 집중시킨다. GRPO의 advantage를 token-level에서 변조하는 방식으로 통합되며, Qwen3 전 규모와 Olmo-3에서 GRPO 및 기존 OPSD 방법들을 일관되게 능가한다.

    • 특권 조건부가 스타일 토큰("Therefore", "Wait" 등)에 학습 신호를 집중시키는 privilege-induced style drift 현상 발견
    • 정답/오답 힌트 대조를 통해 스타일 성분 상쇄, 태스크 토큰(수학적 내용 등)에 신호 집중
    • Qwen3-8B에서 AMC23 90.8%, AIME24 77.5%, AIME25 69.7%로 GRPO 및 OPSD 계열 대비 우수
    • 기존 OPSD 방법(OPSD, SDPO, SRPO, RLSD)의 훈련 불안정성 및 응답 길이 수축 문제 해결
    • 대조 원리는 범용적: 기존 OPSD 방법에 플러그인으로 적용 가능, cross-model 증류로 확장 가능
    • K-marginalization과 two-path loss aggregation이 성능 유지에 핵심 기여
    초록PDF
  49. 396Machine LearningarXiv:2606.12370

    Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

    RL 훈련 중 MTP 수용률 저하의 원인이 entropy 변동임을 규명하고, end-to-end TV loss로 95% 수용률을 달성해 RL 훈련을 1.8배 가속한다.

    LLM 강화학습에서 롤아웃이 주요 병목인 상황에서 Multi-Token Prediction(MTP)를 통한 speculative decoding 가속은 entropy 상승으로 수용률이 급락하는 한계가 있다. Bebop은 수용률 저하의 핵심 원인이 정책-드래프트 불일치가 아닌 entropy 변동임을 실증하고, 확률적 rejection sampling과 새로운 end-to-end TV loss를 결합해 수용률을 95%까지 끌어올린다. Qwen3.5/3.6/3.7에서 비동기 RL 파이프라인 최대 1.8배 가속을 달성했으며, RL 전 사전 학습만으로 온라인 MTP 갱신이 불필요함을 보였다.

    • MTP 수용률과 정책 entropy 간의 명확한 부적 선형 관계 발견: entropy 상승 → 수용률 직선 하락
    • greedy target-only 대비 probabilistic rejection sampling이 entropy 변동에 훨씬 강건함을 수학적/실증적 입증
    • 종래 CE/KL 손실 대신 rejection sampling 수용률을 직접 최적화하는 end-to-end TV loss 제안, ~10%p 수용률 향상
    • RL 전 경량 MTP 사전 학습만으로 전체 RL 과정에서 일정한 수용률 유지, 온라인 MTP 동시 훈련 불필요
    • 수학 추론/코드 생성/에이전트 과제 전반에서 최대 95% 수용률, 25% 추론 처리량 추가 향상
    • Qwen3.5/3.6/3.7 비동기 RL 파이프라인에서 최대 1.8배 end-to-end 가속 달성
    초록PDF
  50. 395RoboticsarXiv:2606.10040

    Efficient-WAM: A 1B-Parameter World-Action Model with Low-Cost Future Imagination

    1B 파라미터 World-Action Model로 비디오 예측을 거칠게 만들고 추론 지연을 100ms 이하로 낮춰 실시간 로봇 제어를 가능하게 한다.

    World-Action Model(WAM)은 미래 비디오 예측과 행동 생성을 결합해 로봇 제어에 풍부한 세계 사전을 주입하지만, 사진 같은 미래 예측의 연산 비용이 실시간 배치를 가로막는다. Efficient-WAM은 1B 파라미터로 WAN-2.2-5B에서 지식 증류된 소형 비디오 전문가, 토희소 미래 잠재, 비디오-행동 비대칭 디노이징을 결합해 지연을 98ms/chunk까지 낮췥다. 거친 미래 예측에도 RoboTwin 2.0 86.7%, 실제 로봇 66.25% 성공률을 기록하며 대형 WAM 대비 30배 속도 향상을 달성했다.

    • WAN-2.2-5B에서 구조적 가지치기+지식 증류로 0.8B 소형 비디오 전문가 구축, action expert 0.2B와 MoT 결합
    • 미래 예측 해상도를 낮춰 토큰 수 240→60으로 감소, 지연 430ms→377ms로 추가 절감
    • 비디오 2단계 + 행동 10단계 비대칭 디노이징으로 지연 139ms 달성(성능 저하 1%p 미만)
    • RoboTwin 2.0 시뮬레이션에서 86.7% 평균 성공률, 실제 Astribot S1 로봇에서 66.25% 성공률
    • 소비자용 RTX 4090에서 per-chunk 98ms 달성, Motus(3215ms) 대비 32배, π0.5(113ms) 대비 우위
    • 'action-centric future imagination' 설계 원리: 정책은 사진 같은 이미지가 아닌 구조적 역학 단서만 필요
    초록PDF