HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 595Computer VisionarXiv:2607.09657

    Scalable Visual Pretraining for Language Intelligence

    과학 문서를 텍스트로 변환하지 않고 시각적으로 직접 사전학습하는 Visual Pretraining(VP)이 텍스트 전용 사전학습보다 우수함을 입증한다.

    상하이AI랩의 연구는 PDF 문서를 이미지로 렌더링해 시각적 잠재 공간에서 next-latent prediction을 수행하는 Visual Pretraining(VP)이 같은 말뭉치의 텍스트 전용 사전학습(TP)보다 일관되게 우수함을 보인다. Qwen3.5, Qwen3, Llama3.2, Llama3.1 등 4개 백본에서 GPQA Diamond +3.22, MMLU-Pro +2.1 점 향상을 기록했다. VP는 텍스트 토큰의 25%만 사용하면서도 더 높은 성능을 달성하며, 시각적 구조 밀도가 높은 문서일수록 gains이 크다. 이는 시각 사전학습이 언어 지능의 확장 가능한 경로임을 시사한다.

    • 문서를 텍스트로 파싱하지 않고 원본 시각 패치에서 직접 next-latent prediction으로 사전학습하는 VP 프레임워크 제안
    • GPQA Diamond 최대 +3.22, MMLU-Pro +2.1 — 4개 백본에서 TP 대비 일관된 우위 입증
    • 토큰 예산 25%로 동등 이상 성능 달성 — 시각 표현이 텍스트보다 압축 효율적
    • 시각 구조 밀도가 높은 문서(그림, 수식, 표)에서 VP gains이 가장 큼 — 정보 손실 회복 효과
    • 멀티모달 모델뿐 아니라 언어 전용 모델에서도 VP가 유효 — 아키텍처 비종속적
    • 동결된 비전 인코더 + 학습 가능한 투영층만으로 autoregressive 백본에 시각 스트림 통합
    초록PDF
  2. 594Machine LearningarXiv:2607.09375

    Mach-Mind-4-Flash Technical Report

    35B MoE(3B 활성) 파라미터로 100B급 모델에 필적하는 성능을 달성한 agentic 모델의 포스트트레이닝 기술 보고서이다.

    Mach-Mind-4-Flash는 35B MoE(3B 활성) 모델을 대상으로 포스트트레이닝만으로 100B+급 성능에 도달한 사례다. 핵심은 세 단계 파이프라인이다: (1) 통합 RL/OPD 훈련 인프라와 연산자 수준 가속으로 17% 속도 향상, (2) Reasoning/General/Agent 트랙별 전문가를 독립 학습 후 MOPD(Multi-Teacher On-Policy Distillation)로 융합, (3) HMPO로 추론 사슬을 19~46% 압축. AIME'26 92.70, IFBench 82.82, Behavioral-SafetyBench 80.74 등 다양한 벤치마크에서 10~30배 큰 모델과 경쟁한다.

    • 35B MoE(3B 활성) 모델이 포스트트레이닝만으로 100B+급 성능 달성 — 사전학습 컴퓨트 확장 없이
    • MOPD(Multi-Teacher On-Policy Distillation): 도메인별 RL 전문가를 독립 학습 후 routed reverse-KL로 융합, 혼합 보상 RL의 시소 현상 제거
    • HMPO: 단일 단계 토큰 효율 최적화로 추론 사슬 19~46% 압축, 정확도 손실 0.7pp 이하
    • AIME'26 92.70, BFCL-v4 75.80, ClawBench 84.20 — 3B 활성 파라미터로 1T급 모델과 경쟁
    • SonicMoE GEMM 커널 + 세그먼트 공유 전문가 융합으로 17% end-to-end 훈련 가속
    • 토큰 효율성에서도 Pareto frontier를 재구성 — 유사 정확도에 토큰 사용량 대폭 절감
    초록PDF
  3. 593Computer VisionarXiv:2607.09024

    Video Generation Models are General-Purpose Vision Learners

    비디오 생성 모델을 사전학습 백본으로 활용해 다양한 비전 인식 태스크를 수행하는 통합 모델 GenCeption을 제안한다.

    Google DeepMind의 GenCeption은 사전학습된 비디오 확산 모델을 백본으로 사용해 깊이, 법선, 카메라 포즈, 세그먼테이션, 3D 키포인트 등 다양한 비전 태스크를 단일 아키텍처로 수행하는 범용 인식 모델이다. 기존 전용 모델들(DepthAnything3, SAM3, D4RT 등)과 동등하거나 더 나은 성능을 달성하면서도 학습 데이터는 7~500배 적게 사용한다. 합성 데이터로만 학습했음에도 실제 영상과 분포 외 객체(동물, 로봇)로 일반화되는 창발적 행동도 보여준다.

    • 비디오 생성 확산 모델을 다용도 비전 인식의 사전학습 패러다임으로 제안 — NLP의 next-token prediction에 해당하는 비전의 촉매 역할
    • 반복적 디노이징을 단일 순방향 패스로 변환해 depth, normal, segmentation, pose, keypoint 등을 텍스트指令로 제어
    • D4RT, VGGT-Ω 등 최고 성능 전용 모델과 동등하거나 우수하면서 학습 데이터는 7~500배 적게 요구
    • V-JEPA, VideoMAE V2 등 기존 사전학습 방식 대비 확산 기반 사전학습이 우수함을 실험적으로 입증
    • 합성 human 비디오만으로 학습해도 실제 영상·OOD 객체로 zero-shot 일반화 발생 — 세계 모델 내재의 증거
    • 전용 헤드·손실 없이 통합 backbone+head+loss 구조로 태스크 확장이 데이터 포맷 설계만으로 가능
    초록PDF
  4. 592AI AgentsarXiv:2607.01942

    Atomic Task Graph: A Unified Framework for Agentic Planning and Execution

    LLM 에이전트의 계획-실행을 DAG 기반 Atomic Task Graph로 통합해 의존성을 명시하고, 병렬 실행·국소 수리로 효율과 성공률을 동시에 끌어올린 프레임워크다.

    기존 LLM 에이전트는 선형 텍스트 궤적으로 subtask 간 입출력 의존성을 암묵적으로만 표현해, 중간 결과 재사용이 어렵고 에러가 전파되는 문제가 있었다. ATG는 계획 단계에서 재귀적으로 태스크를 분해해 DAG 시퀀스를 구성하고, 실행 단계에서 의존성 기반 병렬 실행과 최소 필요 subgraph 수리를 수행한다. ALFWorld·WebShop·ScienceWorld 3개 벤치마크에서 7B-8B 백본만으로 GPT-3.5-Turbo ReAct를 능가했으며, 환각 행동 비율을 42.86%에서 12.14%로, 평균 실행 스텝을 최대 41.6% 줄였다.

    • 핵심 아이디어: 에이전트 태스크 해결을 atomic tool-use 노드와 입출력 의존성 edge로 구성된 DAG로 표현
    • Interface-preserving recursive graph compilation: coarse 태스크를 atomic 단위까지 재귀 분해하면서 부모 노드의 입출력 인터페이스를 보존해 그래프 진화를 추적 가능
    • Dependency-aware execution: 독립 브랜치를 병렬 실행해 평균 스텝을 ReAct 대비 ALFWorld 31.42→18.36, ScienceWorld 47.35→29.72로 단축
    • Minimal necessary subgraph repair: 에러 발생 시 검증된 영역을 보존하고 영향받은 최소 subgraph만 수리 → Mistral-7B에서 수리 제거 시 ALFWorld 7.72점 하락
    • Pre-execution thought experiment: 실행 전 경량 검증으로 위험 계획을 사전 감지(24.6%~27.4% 위험 계획 탐지, 74%+ 정밀도)
    • 환각 행동 비율 12.14% (ReAct 42.86% 대비 71.7% 상대 감소), 3개 벤치마크 평균 성공률 25.51→56.10 (Mistral-7B 기준)
    초록PDF
  5. 591Computer VisionarXiv:2607.08127

    Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio

    비디오 기반 로봇 행동 모델(VAM)에서 compositional generalization 격차를 분석하고, attention 기반 지표인 Temporal Ratio(TR)를 통해 이를 진단·완화하는 연구다.

    생성형 비디오 파운데이션 모델이 강한 compositional prior를 가지고 있어도, 로봇 행동 데이터로 파인튜닝하면 이 능력이 사라지는 현상을 Video-Action Generalization(VAG) gap으로 정의했다. 저자들은 action head가 미래 예측 latent에 얼마나 의존하는지를 측정하는 attention 기반 지표 Temporal Ratio(TR)를 제안했는데, TR이 높을수록 compositional generalization 능력이 강하다는 것을 발견했다. TR은 task phase에 따라 자연스럽게 변하는데, planning 단계에서는 올라가고 정밀 조작 단계에서는 내려간다. 이를 활용한 TR-Adaptive Guidance를 적용하면 inference 시점에서 OOD 성능을 크게 향상시킬 수 있다.

    • VAG gap: 비디오 파운데이션 모델의 compositional prior가 로봇 행동 파인튜닝 후 상실되는 현상을 체계적으로 정의하고 분석
    • Temporal Ratio(TR): action head의 attention이 현재 프레임 대비 미래 latent rollout에 얼마나 집중하는지를 측정하는 지표로, compositional generalization 능력의 예측 변수로 작동
    • TR은 task phase에 따라 동적 변화: planning 단계에서 상승, 정밀 manipulation 단계에서 하강 — 이는 자연스러운 attention 패턴
    • TR-Adaptive Guidance: planning 구간에서 compositional conditioning 신호를 적응적으로 증폭하는 inference-time 기법
    • LIBERO 벤치마크에서 OOD 평균 성공률을 기존 VAM 대비 5배 이상 향상 (기존 ~10% → 가이드 적용 59.4%)
    • 실제 bimanual 로봇 작업(YAM)에서도 평균 83.3% 달성, π0(36.7%)과 π0.5(55.0%)를 크게 상회
    초록PDF
  6. 590AI / GeneralarXiv:2607.08393

    Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

    파인튜닝으로 주입한 지식이 추론에 쓰이지 않는 '아는-쓰는 갭'을 self-patching 기법으로 기계적 해석 가능성 관점에서 분석한 연구.

    LLM 파인튜닝 시 새 지식을 빠르게 암기하지만 추론에 활용하지 못하는 '아는-쓰는 갭(Knowing-Using Gap)'을 정식화하고, self-patching이라는 개입 기법으로 내부 어느 층에서 지식이 갇혀있는지 추적한다. 지식이 저장 계층(초기/후기 층)에는 있지만 추론 회로가 있는 중간 층으로 라우팅되지 않는 '지식-회로 미정렬'이 원인임을 밝혔다. 고정 휴리스틱만으로 오라클 개선의 58-75%를 회복하며, 6개 모델 × 2도메인 교차 검증으로 견고성을 확인했다.

    • '아는-쓰는 갭(Knowing-Using Gap)' 정식화: 암기는 거의 완벽하지만 일반화(다단계 추론)는 크게 뒤처지는 현상
    • self-patching 기법 도입: 특정 층의 표현을 다른 위치로 이동시켜 일반화 실패를 즉시 회복하는 인과적 진단 도구
    • 지식-회로 미정렬 가설: 암기된 표현이 초기/후기 층에는 있지만 중간 추론 층으로 라우팅되지 않아 실패 발생
    • Qwen-2.5(1.5B~7B), LLaMA-3.2(1B~8B) 6개 모델 × 생의학/학술 2개 도메인 교차 검증으로 견고성 입증
    • 고정 휴리스틱(전체 층의 0.8L→0.5L, 0.1L→0.5L 두 쌍만 사용)으로 오라클 개선의 58-75% 회복
    • CoT 프롬프팅이나 무관련 패칭보다 self-patching이 월등히 우수하여 구조적 원인임을 지지
    초록PDF
  7. 589AI / GeneralarXiv:2607.08716

    Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

    장기 과제에서 에이전트가 이전 정보를 잊는 '행동 상태 붕괴'를 해결하기 위해, 별도 메모리 에이전트가 능동적으로 개입하는 플러그앤플레이 구조를 제안한 Meta AI의 연구.

    장기 과제 수행 중 의사결정에 필요한 정보가 맥락에서 사라지는 '행동 상태 붕괴(behavioral state decay)' 문제를 해결하기 위해, 행동 에이전트와 별도로 동작하는 메모리 에이전트를 제안한다. 메모리 에이전트는 궤적에서 구조화된 메모리를 갱신하고, 필요한 순간에만 타겟팅된 리마인더를 주입하거나 침묵한다. Terminal-Bench 2.0에서 +8.3pp, τ²-Bench에서 +6.8pp 개선을 달성했으며, 오픈웨이트 모델(Qwen3.5-27B) 훈련으로도 +3.5pp 전이를 확인했다.

    • '행동 상태 붕괴(behavioral state decay)' 개념 정의: 정보가 맥락에 있어도 행동에 영향을 주지 못하는 실패 모드
    • 별도 메모리 에이전트가 구조화된 메모리 뱅크를 유지하며 선택적 개입 여부를 결정하는 2단계 플러그앤플레이 아키텍처
    • Terminal-Bench 2.0에서 Sonnet 4.5 성능 37.6%→45.9% (+8.3pp), τ²-Bench에서 55.0%→61.8% (+6.8pp) 달성
    • 상위 모델(Opus 4.6)에서도 +2.4~2.5pp 개선 효과가 유지되어 강한 모델에서도 유효
    • 능동적 개입이 수동적 메모리 노출, 항상 주입, 어드바이저 모델, Mem0 검색보다 우수함을 폐널레이션으로 입증
    • Qwen3.5-27B를 SFT+GRPO로 훈련한 오픈웨이트 메모리 에이전트도 Terminal-Bench에서 +3.5pp transfer 달성
    초록PDF
  8. 588LLMs / NLParXiv:2607.08046

    What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness

    LLM 예측 모델의 내부 표현을 프로빙하여 언어화된 신뢰도보다 훨씬 정확한 교정을 달성하고, CoT의 불성실성을 감지하며, 추론 전 답이 정해져 있음을 발견한 연구.

    LLM 예측 모델(EF-8B)의 내부 활성화에 가벼운 프로브를 훈련시켜 모델이 말하는 신뢰도보다 훨씬 정확한 교정(ECE 0.044 vs 0.093)을 달성했다. CoT가 증거 변화를 반영하지 않는 불성실 사례(23%, ρ=0.22)를 프로브가 감지하며, 방향 정확도 84%로 행동 변화를 예측한다. forced answering 실험에서 예측의 대부분이 추론 시작 전에 이미 결정되어 있으며, 이를 활용한 라우팅으로 30-47% 토큰을 절약한다.

    • 내부 프로브가 언어화 신뢰도보다 ECE를 절반 수준(0.044 vs 0.093)으로 낮춰 교정 성능 대폭 향상
    • CoT 증거 제거 시 23% 사례에서 예측은 바뀌지만 추론 과정은 변하지 않는 불성실성 발견 (ρ=0.22)
    • 프로브의 행동 변화 추적 정확도(ρ=0.57)가 CoT(ρ=0.22)를 크게 상회하며, CoT가 숨기는 영향도 84% 방향 정확도로 감지
    • forced answering 실험에서 예측 답안의 상당 부분이 추론 시작 전에 이미 결정되어 있음을 확인
    • 사전 추론 답 분포의 엔트로피로 질문을 3단계 분류해 30-47% 토큰 절감, 정확도 손실 없음
    • GLM-4.7-Flash, GLM-4.5-Air에서도 프로브 only 교정이 유효하여 가중치 업데이트 없이 교정 개선 가능
    초록PDF
  9. 587Machine LearningarXiv:2607.07386

    Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

    Gated DeltaNet의 dense 상태 업데이트를 희소화하여 상태 크기를 수천 배 확장한 선형 RNN 아키텍처. 동일 FLOPs에서 풀 어텐션보다 낮은 학습 손실 달성.

    Sparse Delta Memory(SDM)는 Gated DeltaNet(GDN)의 dense key-value 외적을 product-key memory 기반의 희소 읽기/쓰기로 대체하여, 상태 메모리를 수천 배 확장하면서도 토큰당 연산량은 일정하게 유지하는 선형 RNN 아키텍처이다. 8B 규모, 1조 토큰 이상 학습에서 GDN은 물론 full softmax attention보다 낮은 학습 손실을 기록했으며, RULER 장문 맥락 회상 벤치마크에서도 압도적 우위를 보였다. 추가로 학습 가능한 초기 상태(learned initial state)를 도입하면 대용량 메모리가 사전학습 지식을 저장하는 매개체로 작동하여 공통 지식·추론 태스크 성능이 추가 향상된다.

    • Product-key memory 희소 addressing으로 GDN 대비 ~4,000× 더 큰 상태 메모리 확장 (8B 기준)
    • 동일 FLOPs, 동일 파라미터에서 GDN 및 full attention 대비 우수한 학습 손실 달성
    • RULER 장문 회상: 128k에서 GDN 20.0% → SDM 31.2% (1.4B, +11.2%p 절대 향상)
    • 학습 가능한 초기 상태(learned M₀)로 사전학습 지식 저장, 공통 지식·추론 태스크 성능 추가 향상
    • 8B 규모에서 GDN 대비 추론 1.49× 느리지만 full attention 대비 6× 빠른 디코딩
    • 읽기/쓰기 분포가 가용 용량에 적응적으로 변화: 쓰기는 집중, 읽기는 분산 패턴
    초록PDF
  10. 586Computer VisionarXiv:2607.07033

    AnchorPrune: Relevance-Anchored Contextual Expansion for Visual Token Pruning

    비전-언어 모델에서 핵심 질의 증거를 먼저 보호한 후 문맥을 확장하는 training-free 비주얼 토큰 가지치기 프레임워크. 2,880개 중 160개만으로 97.6% 성능 유지.

    AnchorPrune은 비전-언어 모델의 추론 비용을 줄이기 위해, 쿼리와 직접 관련된 핵심 증거를 '릴레반스 앵커'로 보호하고 그 위에 중요도 가중 새로움으로 보완적 문맥을 추가하는 training-free 가지치기 방법이다. 기존 관련성-다양성 통합 방식이 극단 압축에서 핵심 증거를 놓치거나 파편화하는 문제를 순차적 설계로 해결한다. CLIP 정렬/비정렬 및 이미지/비디오 VLM 모두에 적용 가능하며, LLaVA-NeXT-7B에서 2,880개 토큰 중 160개만으로 full-token 성능의 97.6%를 유지했다.

    • 릴레반스 앵커 구성 후 문맥 확장이라는 순차적 설계로 비대체적 쿼리 증거를 우선 보호
    • 토큰의 novelty 프로파일에서 앵커 크기를 자동 적응 결정 (고정 비율 할당 아님)
    • CLIP 정렬/비정렬, 이미지/비디오 VLM 모두에 적용 가능한 아키텍처 인식 설계
    • LLaVA-NeXT-7B에서 160/2,880 토큰(5.6%)만으로 full 성능의 97.6% 유지
    • 극단 압축(32 토큰)에서 기존 relevance-diversity 통합 방식 대비 3.7~5.7%p 높은 성능
    • 훈련 불필요, 아키텍처 수정 없이 기존 VLM에 바로 적용 가능한 경량 프레임워크
    초록PDF
  11. 585RoboticsarXiv:2607.08639

    Native Video-Action Pretraining for Generalizable Robot Control

    로봇 제어를 위해 처음부터 설계된 비디오-액션 파운데이션 모델. 시각-액션 통합 토크나이저와 인과적 사전학습으로 225Hz 실시간 폐루프 제어를 달성한다.

    LingBot-VA 2.0은 기존 비디오 생성 모델을 로봇 제어에 재사용하는 방식의 한계를 극복하고, 처음부터 embodied control을 목표로 설계된 비디오-액션 파운데이션 모델이다. 핵심 설계는 네 가지: (1) 시각 표현과 액션을 공유 잠재 공간에 정렬하는 의미론적 시각-액션 토크나이저(SemVAE), (2) 양방향→인과 변환 시 치명적 망각을 피하는 처음부터의 인과적(causal) 사전학습, (3) 모델 용량을 확장하면서도 효율성을 유지하는 sparse MoE 백본, (4) 예측과 실행을 병렬화하고 최신 관측으로 재정렬하는 Foresight Reasoning 비동기 추론이다. 실제 로봇 환경에서 10-15개 데모만으로 새 작업에 적응하며, π0.5 및 기존 LingBot-VA를 큰 폭으로 상회하는 성능을 보였다.

    • 의미론적 시각-액션 토크나이저(SemVAE)로 시각 표현과 액션을 공유 잠재 공간에 정렬
    • 인과적(causal) 사전학습으로 양방향 아키텍처 적용 시의 치명적 망각 회피, 처음부터 scratch 학습
    • Sparse MoE 백본으로 모델 용량 확장하면서도 스텝당 활성 연산량은 유지
    • Foresight Reasoning 비동기 추론으로 225Hz 실시간 폐루프 제어 달성 (baseline 35Hz에서 6.5× 속도 향상)
    • 10-15개 데모로 few-shot 일반화 달성, π0.5 및 LingBot-VA 대비 시뮬레이션·실제 평가 모두 우수
    • 멀티청크 예측(MCP)으로 단기 시각 연속성이 아닌 궤적 수준 역학 학습 유도
    초록PDF
  12. 584RoboticsarXiv:2607.07459

    EmbodiedGen V2: An Agentic, Simulation-Ready 3D World Engine for Embodied AI

    자연어 → sim-ready 3D 환경 자동 생성 엔진. 96.5% 인간 수용률과 sim-to-real 75% 성공률로 embodied 정책 학습의 확장성 병목을 해결한다.

    EmbodiedGen V2는 텍스트/이미지 입력으로 시뮬레이션 즉시 사용 가능한 3D 월드를 자동 생성하는 엔진이다. 통합 sim-ready 표현으로 메트릭 기하·물리 속성·어포던스·크로스 시뮬레이터 인터페이스를 하나로 묶고, Vibe Coding으로 자연어 기반 상태 저장 편집을 지원한다. 에셋 파이프라인은 96.5% 인간 수용률과 98.6% 충돌 성공률을 달성했으며, 생성 환경에서 온라인 RL 시뮬레이션 성공률이 9.7%→79.8%, 실제 로봇 성공률이 21.7%→75.0%로 향상되었다.

    • 통합 sim-ready 표현: 메트릭 기하·충돌 기하·물리 파라미터·어포던스 주석을 단일 에셋에 통합
    • 모델 무관 에셋 파이프라인: TRELLIS/SAM3D/Hunyuan3D를 플러그인으로 연결, mesh repair·convex decomposition·texture baking 자동화
    • Task-driven Scene Graph: 자연어 과제를 분해하여 로봇·배경·조작 대상·방해물의 공간 제약을 풀고 물리적으로 안정된 6-DoF 배치 생성
    • Vibe Coding: 상태 저장 agent-skill harness로 자연어 명령→물리 검증된 bounded edit→시뮬레이터 export 워크플로우 구현
    • 크로스 시뮬레이터: MuJoCo·Isaac Sim·Genesis·SAPIEN·Bullet 대상 USD/MJCF/URDF 자동 export
    • 온라인 RL 검증: 생성 환경으로 VLA 정책 학습 시 시뮬 성공 9.7%→79.8%, 실제 로봇 21.7%→75.0%
    초록PDF
  13. 583Machine LearningarXiv:2607.07508

    Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

    비동기 RL에서 GRPO의 group-wise 샘플링을 single-rollout로 대체한 SAO. GLM-5.2(750B) RL 파이프라인에 실배포되어 GRPO 대비 일관된 성능 향상을 달성했다.

    SAO(Single-rollout Asynchronous Optimization)는 LLM 에이전트 강화학습에서 GRPO의 group-wise 샘플링이 비동기 훈련에 부적합한 문제를 해결한다. 프롬프트당 1개 롤아웃만 사용하고, 직접적인 토큰 수준 importance sampling과 양측 클리핑으로 안정성을 확보한다. 또한 skip-observation GAE로 multi-turn 에이전트 궤적의 observation 토큰 노이즈를 제거한다. SWE-Bench Verified, BeyondAIME, IMOAnswerBench에서 GRPO를 일관되게 능가하며, GLM-5.2(750B-A40B) 모델의 RL 파이프라인에 성공적으로 배포되었다.

    • GRPO의 group-wise 샘플링을 single-rollout로 대체하여 비동기 RL에서 대기 시간 제거 및 off-policy 감소
    • 직접 양측 토큰 수준 클리핑(Direct Double-Sided IS): rollout log-prob를 직접 사용하여 old-policy 추적 비용 제거
    • skip-observation GAE: multi-turn 에이전트 궤적에서 observation 토큰을 건너뛰고 action 간 advantage 계산
    • value model을 actor보다 더 자주 업데이트 + frozen attention 파인튜닝으로 single-rollout 안정화
    • GLM-5.2(750B-A40B) RL 파이프라인에 실배포: 약 1000 스텝 안정 학습 달성, GRPO 대비 일관된 성능 향상
    • 모의 온라인 학습 환경에서 보상 기준 변경 시 빠른 적응 확인 → 비정상 환경 적응력 입증
    초록PDF
  14. 582Computer VisionarXiv:2607.07534

    Infinite Worlds with Versatile Interactions

    무한 생성 지속 시간의 오픈소스 인터랙티브 월드 모델. 720p 60fps 실시간 구동과 pilot+director 에이전트 하네스로 자율 구동되는 가상 세계를 만든다.

    LingBot-World 2.0(Infinity)은 1시간 이상 품질 저하 없이 무한 생성이 가능한 인터랙티브 월드 모델이다. 인과적(autoregressive) 비디오 생성 백본을 anti-drift 학습으로 훈련하고, 여기서 증류한 실시간 모델이 720p 60fps로 구동된다. 전투·궁술·마법·사격 등 풍부한 액션과 날씨 변화를 지원하며, pilot 에이전트가 캐릭터 행동을 계획하고 director 에이전트가 환경에 새 콘텐츠를 추가하는 헤네스 구조를 통합했다. 14B 메인 모델과 1.3B 경량 모델을 모두 오픈소스로 공개한다.

    • 인과적 비디오 생성으로 1시간+ 무단하 강화, 오류 누적(accumulated error)에 강한 anti-drift 학습 파라다임 적용
    • 실시간 증류 모델: 720p 해상도 60fps로 무한 세계를 실시간 렌더링, 단일 GPU 배포 가능한 1.3B 버전 포함
    • 풍부한 인터랙션: 전투·궁술·마법 시전·사격·날씨 변화 등 기존 월드 모델 대비 압도적 액션 다양성
    • Pilot 에이전트(행동 계획·실행) + Director 에이전트(환경 콘텐츠 생성)로 구성된 agent harness 통합
    • 3-source 데이터 엔진: egocentric 영상 + 게임/Unreal Engine 합성 + 웹 비디오의 multi-granularity 주석 파이프라인
    • 전체 오픈소스(코드·체크포인트), 경쟁 모델(Matrix-Game-3.0, Genie 3 등) 대비 유일한 hour-level 무한 생성 달성
    초록PDF
  15. 581Computer VisionarXiv:2607.07675

    Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

    Embodied intelligence 맞춤형 MoE 비디오 기반 모델. 희소 전문가 구조로 용량과 효율을 동시에 확보하고, 로봇 데이터 증강 + 다차원 보상으로 물리적 합리성을 강제했다.

    LingBot-Video는 DiT 기반 Mixture-of-Experts(MoE) 비디오 사전학습 패러다임으로, embodied intelligence에 특화한 최초의 대규모 오픈소스 MoE 비디오 기반 모델이다. 인터넷 비디오와 로봇 조작·네비게이션·egocentric 데이터를 통합하는 데이터 프로파일링 엔진을 구축하고, 물리적 합리성과 과제 완수를 반영한 다차원 보상 시스템으로 학습 정렬을 수행한다. 희소 전문가 구조를 통해 모델링 용량과 추론 효율의 균형을 달성하며, 단일 스트림 Diffusion Transformer에 3D MM-RoPE를 적용해 T2I/T2V/I2V를 통합 처리한다.

    • MoE(희소 전문가) 구조 도입으로 dense 대비 추론 효율과 모델링 용량의 트레이드오프 개선
    • 데이터 프로파일링 엔진: 인터넷 비디오 + 로봇 조작/네비게이션/egocentric 데이터를 통합 분석·필터링·리밸런싱
    • 다차원 보상 시스템: 미적 품질을 넘어 물리적 합리성(physical rationality)과 과제 완수(task completion) 신호를 정렬에 반영
    • 단일 스트림 Diffusion Transformer + Multi-Modal 3D RoPE로 T2I/T2V/I2V를 하나의 프레임워크에서 통합
    • QK-Norm과 AdaLN-Single 변조로 심층 트랜스포머 안정성 확보, cascaded refiner로 품질 향상
    • embodied intelligence 분야 최초的大規模 오픈소스 MoE 비디오 기반 모델로, 코드와 체크포인트 공개
    초록PDF
  16. 580Machine LearningarXiv:2607.05339

    TREK: Distill to Explore, Reinforce to Refine

    TREK은 증류를 모방이 아닌 탐색 영역 확장으로 재정의하여, GRPO가 막히는 어려운 프롬프트에서 검증된 해법을 학생 지원에 편입시킨다.

    TREK은 GRPO가 학생 정책의 지원 밖에 정답 모드가 있을 때 한계를 보이는 문제를 해결하기 위해, 증류를 '탐색 지원 확장'으로 활용한다. 학생 통과율이 매우 낮은 프롬프트를 식별하고, 외부 교사나 동일 모델의 문맥 증강으로 검증된 해법을 생성한 뒤, 학생 likelihood 기준 상위 r개를 선별해 forward-KL로 학생 지원에 편입시킨다. 그 후 표준 GRPO로 돌아간다. DeepSeek-V4 제안으로 Qwen3-8B AIME 2025 36.9→40.3, 2024 47.9→51.1을 달성했다.

    • GRPO의 한계 진단: 학생이 보상 궤적을 전혀 샘플링하지 못하는 어려운 프롬프트가 병목
    • 출력 전용 인터페이스: 교사의 logits/내부 상태 없이 검증된 궤적만 필요→블랙박스 교사 호환
    • 프롬프트 라우팅: 학생 통과율 pS(x)≤τ_low인 프롬프트만 교사 쿼리, 상위 r개 학생 근접 궤적 선별
    • 수학: Qwen3-8B AIME 2025 36.9→40.3, AIME 2024 47.9→51.1 (avg@16); self-context 변형도 유의미 향상
    • 에이전트 태스크: ALFWorld 75.8→82.8, ScienceWorld 12.5→26.7; 특히 어려운 태스크에서 초기 학습 대폭 가속
    • forward-KL 통합 단계 후 표준 GRPO로 복귀하여 검증된 모드를 정제·강화
    초록PDF
  17. 579Computer VisionarXiv:2607.06291

    AlayaWorld: Long-Horizon and Playable Video World Generation

    AlayaWorld는 자기회귀 DiT 기반 실시간 플레이 가능 비디오 세계 생성 풀스택 오픈소스 프레임워크다.

    AlayaWorld는 게임 월드를 노동 집약적 파이프라인 대신 비디오 세계 모델로 생성하는 풀스택 오픈소스 프레임워크다. LTX-2.3 기반의 자기회귀 DiT에 프롬프트 스위칭, AdaLN 카메라 제어, 3D 캐시, 히스토리 압축, 에러 뱅크, few-step 증류를 통합하여 720p 24fps 실시간 생성을 구현했다. 전투, 마법, 소환 등 개방형 액션과 장기 일관성, 다양한 스타일 렌더링을 지원한다.

    • LTX-2.3 파인튜닝 기반 720p 24fps 실시간 생성, 청크당 4단계 디노이징(~1초 비디오)
    • 프롬프트 스위칭: 청크 경계에서 텍스트 조건 업데이트로 개방형 액션 지원
    • 3D 캐시 + 히스토리 압축으로 공간적 일관성 유지, leave-and-return 일관성 입증
    • 에러 뱅크: 롤아웃 중 누적된 잔차 아티팩트를 구조적 섭동으로 재사용하여 장기 생성 안정화
    • few-step DMD 증류로 시각 지연 최소화, 짧은 청크로 의미론 지연 최소화
    • 데이터 준비→학습→추론 가속→배포까지 전 스택 모듈화, 오픈소스 공개 예정
    초록PDF
  18. 578Machine LearningarXiv:2607.04763

    Multi-Turn On-Policy Distillation with Prefix Replay

    ReOPD는 사전 수집된 교사 궤적을 prefix replay로 재사용하여, 환경 상호작용 없이도 멀티턴 에이전트 증류를 수행하는 효율적인 방법이다.

    ReOPD(Replayed-Prefix On-Policy Distillation)는 멀티턴 에이전트 환경에서 교사의 사전 수집 궤적을 prefix로 재생하여 학생을 학습시키는 off-environment 증류법이다. 핵심은 prefix trap(시간적 오류 누적 + 양측 분포 이동)을 신뢰도 인식 샘플링 스케줄로 해결하는 것이다. 수학 추론(Python)과 검색 환경에서 OPD 수준의 정확도를 유지하면서 학습 단계당 4배 이상 빠르고, 학생 학습 중 도구 호출이 전혀 필요 없다.

    • 환경 상호작용 없이 교사 RL 롤아웃을 재사용하여 비용을 0으로: 별도 수집 불필요(free by-product)
    • prefix trap 식별: 시간적(오류 누적) + 분포적(학생 occupancy 이동 vs 교사 신뢰도 이동) 양측 문제
    • step-decay 샘플링: 초기 step(낮은 이동)에 가중치를 두어 신뢰도 높은 구간 우선 학습
    • 수학(Python)에서 교사-학생 격차가 클 때 ReOPD가 OPD 초과 달성, 검색 환경에서는 OPD와 동등
    • 학습 단계당 OPD 대비 4배 이상 빠르고 도구 호출 0회, 이질적 환경 통합도 용이
    • 교사 자체 모델에서 생성한 prefix가 가장 좋으며, 더 강한 모델의 prefix는 오히려 성능 저하
    초록PDF
  19. 577Machine LearningarXiv:2607.05394

    Weak-to-Strong Generalization via Direct On-Policy Distillation

    Direct-OPD는 소형 모델의 RL 학습 결과를 정책 변화량으로 추출하여 대형 모델에 전달하는 weak-to-strong 학습법이다.

    Direct-OPD는 RL로 학습된 약한 모델의 정책 변화(policy shift)를 pre-RL 참조 모델과의 log-ratio로 추출하여, 이를 더 강한 학생 모델의 on-policy 상태에 적용하는 방법이다. 단순히 약한 모델을 모방하는 대신 RL이 만든 개선 신호만 전달한다. Qwen3-1.7B를 AIME 2024에서 48.3%에서 62.4%로 단 8개 A100 GPU로 4시간 만에 향상시켰으며, 이는 32개 A100으로 일주일 걸리는 직접 RL과 동등한 수준이다.

    • 핵심 아이디어: post-RL 약한 모델과 pre-RL 참조의 log-ratio가 KL-정규화 RL의 암묵적 보상과 동일
    • 약한 모델(1.5B)의 RL 결과를 Qwen3-1.7B/4B, R1-Distill-7B 등 더 강한 모델에 전달하여 모두 성능 향상
    • Qwen3-1.7B AIME 2024 정확도 48.3% → 62.4% (8×A100, 4시간), 직접 RL(Polaris, 32×A100, 1주일)과 동등
    • 약한 모델의 최종 정책을 모방(일반 OPD)하면 강한 학생의 성능이 오히려 하락하는 것과 대조적
    • 응답 길이와 KL 계수가 전이 신뢰성의 핵심 제어 변수이며, adaptive KL이 평균 보상을 안정화
    • 여러 교사 쌍(R1-Distill→JustRL, Nemotron→QuestA)에서 일관된 향상 확인
    초록PDF
  20. 576Computer VisionarXiv:2607.06560

    Vision as Unified Multimodal Generation

    SenseNova-Vision은 컴퓨터 비전의 모든 태스크를 단일 통합 멀티모달 생성 모델로 표현하여, 태스크별 헤드 없이도 전문 시스템 수준의 성능을 달성한다.

    SenseNova-Vision은 컴퓨터 비전의 이질적 태스크(탐지, 세분화, 깊이, 법선, 다시점 3D 등)를 단일 통합 멀티모달 모델(UMM)의 텍스트+이미지 생성 공간으로 통합한다. 자연어 명령과 시각 프롬프트로 태스크를 지정하면, 모델이 텍스트(기호记录), 이미지(밀집 공간 예측), 혼합 출력으로 응답한다. SenseNova-Vision Corpus라는 대규모 비전 명령-응답 코퍼스를 구축하여, Bagel UMM 기반으로 태스크별 헤드나 아키텍처 변경 없이 학습했다.

    • 단일 UMM으로 구조화 비전 이해·밀집 기하 예측·세분화·다시점 3D를 통합, 태스크별 헤드 불필요
    • 텍스트 생성은 기호 출력(탐지, OCR, 키포인트, 카메라 포즈), 이미지 생성은 밀집 예측(깊이, 법선, 마스크, 포인트맵)을 담당
    • SenseNova-Vision Corpus: 이질적 비전 어노테이션을 명령-응답 예제로 변환한 대규모 학습 코퍼스
    • 구조화 비전 이해에서 리딩 시스템 능가, 밀집 기하/세분화에서 최고 수준 전문 시스템과 근접
    • 언어로 태스크 변형을 자유롭게 정의 가능(색상, 영역, 카테고리 조합 등 훈련에 없는 새 변형도 수행)
    • 모델과 코퍼스를 공개(open-source)하여 재현 가능한 연구 기반 제공
    초록PDF
  21. 575AI / GeneralarXiv:2607.05147

    DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

    DSpark는 반자기회귀 드래프트 생성과 부하 인식 검증 스케줄링을 결합하여 DeepSeek-V4 서빙에서 60-85% 속도 향상을 달성한 추론 디코딩 프레임워크다.

    DSpark는 LLM 추론 가속을 위한 speculative decoding 프레임워크로, 병렬 백본과 경량 순차 모듈을 결합한 반자기회귀 아키텍처로 토큰 간 의존성을 모델링하여 접미부 감쇠를 완화한다. 또한 confidence head가 추정한 prefix 생존 확률과 실시간 엔진 부하를 기반으로 검증 길이를 동적으로 조정하는 스케줄링을 도입했다. DeepSeek-V4 실제 트래픽 환경에서 기존 MTP-1 대비 사용자당 생성 속도 60-85% 향상을 달성했다.

    • 반자기회귀 아키텍처: 병렬 백본 + 경량 RNN 헤드로 토큰 간 의존성 주입, per-token 확률은 정확한 softmax로 유지
    • Confidence-scheduled verification: 위치별 prefix 생존 확률 추정 + 하드웨어 인식 스케줄러로 검증 길이 동적 조정
    • Qwen3-4B/8B/14B에서 Eagle3 대비 accepted length 각각 30.9%, 26.7%, 30.0% 개선, DFlash 대비 16-18% 개선
    • DeepSeek-V4-Flash 실제 트래픽에서 MTP-1 대비 사용자당 60-85% 속도 향상, V4-Pro에서 57-78% 향상
    • 동시성이 높은 환경에서 검증 길이를 자동 축소하여 배치 용량 낭비 방지, Pareto frontier 확장
    • DSpark 체크포인트와 DeepSpec 학습 저장소를 오픈소스로 공개
    초록PDF
  22. 574RoboticsarXiv:2607.06403

    From Foundation to Application: Improving VLA Models in Practice

    LingBot-VLA 2.0은 6만 시간 데이터로 20종 로봇을 학습한 확장형 VLA 모델로, 전신 자유도 제어와 예측 역학 모델링을 통해 실제 로봇 적용 격차를 해소한다.

    LingBot-VLA 2.0은 실제 환경 적용을 위해 세 가지 개선을 제시한다. 6만 시간 규모(로봇 5만 시간+자기중심 영상 1만 시간, 20종 로봇)의 데이터 처리 파이프라인을 재설계했고, 머리·허리·이동 베이스·손을 포함한 확장 행동 공간을 지원하며, 비디오 표현 모델과 깊이 추정을 활용한 예측 역학 모델링을 프록시 태스크로 도입했다. GM-100 벤치마크에서 일반화 성능이 향상되었고, 두 로봇 플랫폼에서 장기 이동 조작 능력을 입증했다.

    • 약 60,000시간(로봇 궤적 50,000시간 + 자기중심 영상 10,000시간)의 대규모 사전학습 데이터 구축, 20종 로봇 구성 포함
    • 팔뿐 아니라 머리·허리·이동 베이스·능동 손까지 확장된 전신 자유도 제어 지원
    • 비디오 표현 모델(semantic prior)과 깊이 추정 모델(geometric cue)을 활용한 이중 쿼리 증류 기반 예측 역학 모델링 도입
    • GM-100 듀얼암 벤치마크 4종 태스크 평균 성공률 55.0%(MeanStd 정규화+L2 손실 기준), 가장 높은 태스크는 76.8%
    • 상대 행동 타겟(relQpos)이 절대 타겟 대비 행동 스케일을 0.34배로 압축하여 학습 안정성 향상
    • MoE 기반 액션 전문가 구조로 토큰 수준 적응형 전문가 라우팅 적용
    초록PDF
  23. 573AI / GeneralarXiv:2607.05391

    LLM-as-a-Verifier: A General-Purpose Verification Framework

    LLM을 검증자(verifier)로 사용할 때 scoring token logit의 기댓값을 활용해 연속 점수를 생성하는 범용 검증 프레임워크를 제안한다. 4개 도메인에서 SOTA를 달성했다.

    LLM-as-a-Verifier는 discrete 점수 대신 scoring token logit 분포의 기댓값으로 연속 점수를 계산하여 복잡한 솔루션 간의 동점을 획기적으로 줄인다. 점수 세분성, 반복 평가, 기준 분해의 3개 스케일링 축을 제안하며, 비용 효율적 순위 알고리즘으로 최적 후보를 선택한다. Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2% 등 4개 벤치마크 SOTA를 달성하고, RL 보상 신호로도 효과적임을 입증했다.

    • scoring token logit의 확률 분포 기댓값으로 연속 점수 계산, 동점률 획기적 감소
    • 3개 검증 스케일링 축: 점수 세분성(g), 반복 평가(k), 기준 분해(c) 각각 정확도 향상
    • Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2%, RoboRewardBench 87.4%, MedAgentBench 73.3% SOTA
    • 세분된 검증 점수가 작업 진행도 추정과 연속적 RL 보상 신호로도 활용 가능
    • LIBERO에서 SAC 보상 shaping 시 약 1.8배, MATH GRPO에서 약 1.1배 샘플 효율성 향상
    초록PDF
  24. 572RoboticsarXiv:2607.04988

    InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

    VLM 백본에 잠재 예지(foresight) 토큰과 동작 생성을 통합한 InternVLA-A1.5를 제안한다. 6개 시뮬레이션 벤치마크 전체 1위, 실세계 compositional generalization에서 최강을 기록했다.

    InternVLA-A1.5는 VLM 백본(Qwen-3.5 2B)에 경량 통합 전문가를 결합하고, 학습 가능한 foresight 토큰으로 사전학습된 비디오 생성 모델(WAN2.2-5B)의 동역학 사전지식을 증류한다. 비디오 분기는 추론 시 제거되어 실시간 제어를 유지한다. 1.2M 로봇 에피소드로 사전학습 후 6개 시뮬레이션 벤치마크에서 전체 최고 성능을 달성했으며, 실세계에서 가장 강한 조합 일반화를 보였다.

    • foresight 토큰: 학습 중에만 비디오 생성 모델(WAN2.2-5B)로 감독, 추론 시 제거로 실시간 속도 유지
    • VLM 백본에 VQA·서브태스크 예측·이산 동작 토큰 목표를 지속 훈련하여 의미론 능력 보존·강화
    • 6개 시뮬레이션 벤치마크(LIBERO 98.9%, RoboTwin 93.2%, SimplerEnv 80.8% 등) 전체 1위
    • LIBERO-Plus 제로샷 84.8%, DOMINO 제로샷 27.7%로 분포 이동·동적 객체 상호작용에서 강건성 입증
    • foresight 토큰 제거 시 DOMINO 23.8%로 하락, 동역학 사전지식 전달의 효과 확인
    초록PDF
  25. 571Computer VisionarXiv:2607.05373

    PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

    3D 장면 생성과 복원을 pixel space에서 단일 모델로 통합하는 PixWorld를 제안한다. VAE/RAE 없이 differentiable rendering으로 직접 3D 표현을 최적화한다.

    PixWorld는 3D 장면 생성과 복원을 pixel-space diffusion으로 통합한 최초의 end-to-end 프레임워크다. VAE/RAE 잠재 공간을 거치지 않고 multi-view 렌더링에서 직접 differentiable rendering으로 3D Gaussian 표현을 최적화한다. geometry perception loss를 통해 3D foundation model의 기하학 인식 특징 공간에서 구조적 감독을 제공하며, 단일 모델로 생성·복원 양쪽에서 SOTA를 달성했다.

    • VAE/RAE 없이 pixel space에서 직접 differentiable rendering으로 3DGS 최적화, 정보 손실 제거
    • clean/noisy 뷰 분할로 단일 forward pass에서 생성과 복원을 통합
    • geometry perception loss: 3D foundation model 특징 공간에서 기하학적 감독 제공
    • RealEstate10K/DL3DV-10K/WorldScore에서 기존 latent-space 생성 방법 능가, SOTA 복원 성능 매칭
    • geometry perception loss 제거 시 PSNR 1.13dB, AUC@5 12.5% 상대 감소로 효명성 입증
    초록PDF
  26. 570LLMs / NLParXiv:2607.02770

    Gemma 4 Technical Report

    Google DeepMind의 Gemma 4 모델 패밀리 기술 보고서. 2.3B~31B 파라미터 dense 및 MoE 아키텍처로 thinking mode, 멀티모달, long-context 효율성을 개선한다.

    Gemma 4는 open-weight 네이티브 멀티모달 모델 패밀리로, dense(2.3B/4.5B/12B/31B)와 MoE(26B-A4B) 아키텍처를 제공한다. 12B 모델은 인코더 없이 raw 오디오·이미지 패치를 직접 처리하는 통합 아키텍처를 도입했다. thinking mode, p-RoPE 위치 인코딩, KV cache 공유로 global KV cache를 37.5% 절감했으며, Arena 기준 31B dense 모델이 리딩 open dense 모델이다.

    • 2.3B~31B dense + 26B-A4B MoE로 구성, 전 모델에 thinking mode 탑재
    • 12B 모델: 비전/오디오 인코더 제거, raw 패치를 LLM 임베딩 공간에 직접 투영하는 encoder-free 아키텍처
    • KV cache 공유 + keys-as-values + p-RoPE로 global KV cache 37.5% 절감
    • QAT 양자화: 31B 모델 64GB→19.2GB, 오디오 인코더 390MB→87MB(78% 감소)
    • Arena Elo 1451(31B)로 리딩 dense open 모델, RULER 128k에서 96.4% 정확도
    초록PDF
  27. 569Machine LearningarXiv:2607.05378

    CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents

    컨텍스트 압축을 RL 훈련에 통합하여 장기 호라이즌 에이전트의 성능을 향상하는 CompactionRL을 제안한다. GLM-4.5-Air 기반 SWE-bench Verified 66.8%를 달성했다.

    CompactionRL은 유한 컨텍스트 윈도우 내에서 장기 호라이즌 에이전트를 훈련하기 위해 컨텍스트 압축을 RL 파이프라인에 통합한다. 토큰 수준 손실 정규화와 교차 궤적 GAE로 요약 품질과 실행 정책을 공동 최적화한다. GLM-4.5-Air(106B-A30B) 기준 SWE-bench Verified 66.8%, Terminal-Bench 2.0 24.5%를 달성하여 각각 +7.0, +3.1점 향상을 기록했다.

    • 컨텍스트 압축(요약)을 RL 훈련 루프에 통합, 요약을 학습 가능한 정책 일부로 만듦
    • 토큰 수준 손실 정규화로 세그먼트 길이 편향 보정 + 교차 궤적 GAE로 압축 경계 너머 신용 할당
    • GLM-4.5-Air(106B): SWE-bench Verified 66.8%(+7.0), Terminal-Bench 2.0 24.5%(+3.1)
    • GLM-4.7-Flash(30B): SWE-bench Verified 56.0%(+5.5), Terminal-Bench 2.0 20.2%(+6.8)
    • 요약 훈련 포함 시 요약 길이가 증가하며 더 상세한 압축 상태 생성, 추론 토큰도 증가하여 유효 컨텍스트 확장
    초록PDF
  28. 568LLMs / NLParXiv:2607.04425

    UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

    멀티티처 온폴리시 증류(MOPD)를 GUI 에이전트 지속 학습에 도입해 크로스 플랫폼 행동 간섭을 해결한다. OSWorld 38.2%, MobileWorld 12.0% 성공률을 달성했다.

    UI-MOPD는 데스크톱과 모바일 환경 간 행동 규칙 충돌과 치명적 망각 문제를 해결하기 위해 플랫폼별 교사 모델을 동적 선택하여 온폴리시 증류를 수행한다. Uni-GUI 데이터셋(약 10K 고품질 크로스플랫폼 궤적)을 구축하고, 플랫폼 조건부 라우팅으로 단일 8B 학생 모델이 두 플랫폼에서 동시 향상을 달성했다.

    • 멀티티처 온폴리시 증료(MOPD)를 GUI 에이전트 크로스플랫폼 지속학습에 최초 도입
    • Uni-GUI: 약 10K 고품질 크로스플랫폼 GUI 상호작용 궤적 데이터셋 구축
    • 플랫폼 라우터가 환경에 따라 교사를 동적 선택, 행동 규칙 혼합과 치명적 망각 방지
    • OSWorld 38.2%(+12.7%), MobileWorld 12.0%(+55.8%) 상대 향상으로 단일 8B 모델이 양 플랫폼에서 동시 개선
    • GUI 그라운딩 능력도 보존: ScreenSpot-Pro 43.14%, ScreenSpotV2 90.88%로 기반 모델 대비 최소 손실
    초록PDF
  29. 567LLMs / NLParXiv:2607.05155

    EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

    약 38,000시간의 에이전트-환경 상호작션을 분석해 환경 학습이 log-sigmoid 스케일링 법칙(R²=0.998)을 따름을 최초로 발견한다. 134개 실세계 태스크로 구성된 EdgeBench를 공개한다.

    EdgeBench는 134개 실세계 태스크(과학·소프트웨어·최적화·전문 지식·형식 수학·게임)에서 약 38,000시간의 에이전트 환경 상호작용 데이터를 분석하여, 환경 학습 성능이 log-sigmoid 스케일링 법칙을 따름을 발견했다(R²=0.998). 프론티어 모델의 학습 속도가 약 3개월마다 2배로 향상되며, 연속 경험이 독립 재시작보다 우수함을 입증했다.

    • 환경 학습 평균 성능이 log-sigmoid 스케일링 법칙을 따름 (R²=0.998), 6개 태스크 패밀리 모두에서 안정적
    • 134개 실세계 태스크: 각 12시간+ 연속 실행, 인간 전문가 평균 57.2시간 소요 대형 과제
    • 프론티어 에이전트 학습 속도가 약 3개월마다 2배 향상 (2025년 9월 이후 모델 기준)
    • 연속 경험 > 독립 재시작: 누적 경험이 장기 성능을 강하게 결정
    • 이론: 잠재 태스크 그래프에서의 frontier expansion 과정으로 log-sigmoid 형태 도출
    초록PDF
  30. 566AI / GeneralarXiv:2607.04439

    ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes

    1,947편 ML 컨퍼런스 논문에서 연구 아이디어 패턴을 추출해 재사용 가능한 아이디에이션 스킬 Suite로 구성한다. LLM 기반 연구 아이디어 생성의 증거 기반 접근이다.

    ResearchStudio-Idea는 ICLR/ICML/NeurIPS 1,947편 논문에서 전략 수준 혁신 패턴을 추출해 15개 아이디에이션 패턴 카드와 31개 서브패턴으로 정리한다. 각 카드는 성공 조건과 실패 모드를 대비시켜 평가 도구로도 작동한다. Paper-Search, Scoop-Check, IdeaSpark 세 스킬로 구성되며, 자동 평가에서 스킬 사용 시 아이디어 품질이 향상됨을 확인했다.

    • 1,947편 ML 컨퍼런스 논문(Oral/HC/Reject)에서 15개 아이디에이션 패턴, 31개 서브패턴, 28개 연구 도메인 추출
    • 패턴 카드: 성공 조건 + 실패 모드 대비 구조로, 단순 분류가 아닌 운영 도구로 설계
    • IdeaSpark: 갭 발견 → 패턴 매칭 → 후보 생성 → 충돌 검색 → 감사 의사결정의 다단계 추론 파이프라인
    • 거부 논문도 동일한 15패턴 공간에 매핑, 대비 증거로 활용 가능함을 입증
    • 자동 평가에서 아이디어 품질 향상 확인, 단 인간 블라인드 평가는 향후 과제
    초록PDF
  31. 565Computer VisionarXiv:2607.05247

    Vision Pretraining for Dense Spatial Perception

    경계(boundary) 중심 자기지도 학습으로 dense spatial perception을 극대화한 비전 사전학습 방법을 제안한다. LingBot-Vision은 7B DINOv3와 동급 성능을 1B 파라미터로 달성한다.

    이 논문은 경계(boundary)를 단순 출력이 아닌 학습 신호로 활용하는 masked boundary modeling을 제안한다. 교사 모델이 발견한 경계 토큰을 학생의 마스킹 타겟으로 강제하여 의미론적 표현과 기하학적 표현이 공동으로 학습되게 한다. 1B 파라미터 LingBot-Vision은 NYU-Depth v2에서 7B DINOv3를 능가하며, 0.3B 증류 모델로 7B와 동등한 깊이 추정 성능을 달성했다.

    • 경계를 출력이 아닌 고밀도 학습 신호로 재정의, 자기지도 사전학습에 경계 모델링 도입
    • Masked boundary modeling: 교사의 경계 예측을 마스킹 타겟으로 사용, 기하학적 라우팅으로 의미·경계 갈등 해소
    • 경계 필드의 범주적 재매개변수화로 안정적인 dense self-distillation 가능
    • 1B LingBot-Vision이 NYU-Depth v2 정확도에서 7B DINOv3 능가, 14개 depth completion 벤치마크 SOTA
    • 0.3B 증류 모델이 약 23배 적은 파라미터로 7B DINOv3와 동등한 NYU-Depth v2 정확도 달성
    초록PDF
  32. 564RoboticsarXiv:2607.04434

    RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies

    로봇 조작 정책 평가용 통합 sim-and-real 벤치마크 RoboDojo를 제안한다. 42개 시뮬레이션 태스크와 18개 실세계 태스크로 5개 역량 차원을 평가한다.

    RoboDojo는 범용 로봇 조작 정책을 종합적으로 평가하기 위한 통합 시뮬레이션-실세계 벤치마크다. 42개 시뮬레이션 태스크(일반화, 기억, 정밀도, 장기 계획, 개방형 명령 이해)와 18개 실세계 태스크를 통해 정책의 한계를 구조적으로 진단한다. XPolicyLab 인프라를 통해 30개 정책을 통합 평가하였으며, 현재 로봇 정책이 물리적 환경에서 여전히 신뢰할 수 없음을 입증했다.

    • 42개 시뮬레이션 + 18개 실세계 태스크로 5개 역량 차원(일반화, 기억, 정밀도, 장기 실행, 개방 명령) 평가
    • Isaac Sim 기반 이기종 병렬 시뮬레이션으로 평가 처리량 대폭 향상
    • RoboDojo-RealEval: 표준화된 하드웨어·장면 리셋·평가 프로토콜로 재현 가능한 실세계 평가 시스템
    • XPolicyLab에 30개 정책 통합 후 공개 리더보드 구축, 시뮬/실세계 교차 평가 수행
    • 시뮬레이션 평이 GPU 간 표준편차 최대 1.1%p, 실세계 반복 평가 표준편차 최대 1.3%p로 안정성 확인
    초록PDF
  33. 563AI / GeneralarXiv:2607.02032

    PACE: A Proxy for Agentic Capability Evaluation

    비싼 에이전틱 벤치마크(SWE-Bench, GAIA 등) 점수를 저렴한 비-에이전틱 벤치마크 100개 인스턴스만으로 예측하는 프레임워크다. MAE 3.8%, Spearman 0.81, 약 100배 비용 절감을 달성한다.

    PACE는 에이전틱 벤치마크 평가 비용 문제를 해결하기 위해, 기존 비-에이전틱 평가 인스턴스 풀에서 각 타겟 벤치마크 점수를 가장 잘 예측하는 100개 인스턴스를 자동 선별하는 프레임워크다. SVD leverage(전역 정보량)와 rank correlation(타겟 관련성)을 결합한 이중 선택 기준과 bootstrap 안정화 회귀를 사용한다. 14개 모델·4개 에이전틱 벤치마크에서 LOOCV MAE 3.80%, Spearman 0.81, pairwise accuracy 84.4%를 달성했으며, 이는 동일 품질의 무작위 타겟 서브샘플링 대비 약 1/100 비용이다. 선별된 인스턴스의 능력 분포는 각 에이전틱 벤치마크가 요구하는 고유 역량 프로파일(GAIA→지시 따라하기·검증, SWE-Bench→계획·코드·검증)을 해석 가능하게 보여준다.

    • 핵심 아이디어: 비싼 에이전틱 평가를 저렴한 단일 턴 벤치마크 점수로 예측—100개 proxy 인스턴스로 충분
    • 이중 선택: SVD leverage(기하학적 정보량) + rank correlation(타겟 관련성)을 타겟별 가중치로 결합
    • LOOCV 결과: MAE 3.80%, Spearman 0.81, pairwise accuracy 84.4%—14개 모델·4개 타겟 검증
    • 비용 효율: 동일 품질 무작위 샘플링 대비 ~100× 저렴—에이전틱 평가를 일상적 모델 개발 단계에 도입 가능
    • 해석 가능성: 선별 인스턴스의 능력 분포가 각 벤치마크 요구 역량(GAIA=IF+검증, SWT=계획+테스트)을 명확히 반영
    초록PDF
  34. 562AI / GeneralarXiv:2607.02255

    AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

    장기 horizon LLM 에이전트를 위해 raw transcript 적재 대신 타입드 메모리 슬롯(L1-L5)으로 per-decision 프롬프트를 조립하는 bounded-memory 계약을 제안한다. Slay the Spire 2에서 298개 궤적과 분석 도구를 공개한다.

    AgenticSTS는 장기 구동 LLM 에이전트의 메모리를 '각 의사결정이 볼 수 있는 것'으로 정의하고, raw 트랜스크립트 누적 대신 5개 타입드 슬롯(L1 프로토콜·L2 상태·L3 룰·L4 에피소드 요약·L5 트리거 스킬)으로 매 결정마다 fresh prompt를 조립하는 bounded contract를 제안한다. Slay the Spire 2(A0 난이도, 인간 승률 16%)에서 no-scaffold 기준 3/10 승률이 L5 스킬 활성화 시 6/10로 향상됐고, 프롬프트 크기는 ~5k로 고정되어 기존 공개 에이전트(STS2MCP ~500k/call) 대신 1-2 자릿수 적은 토큰을 소비한다. 298개 궤적과 SHA-고정 메모리 스냅샷, 분석 스크립트를 공개해 메모리 계층별 기여도를 개별적으로 ablate할 수 있다.

    • 메모리 = 저장소가 아닌 '의사결정 가시성 계약'—raw transcript 누적 없이 타입드 검색으로 per-decision 구성
    • 5개 슬롯(L1-L5) 개별 ablation 가능: L5 트리거 스킬이 최대 기여(3/10→6/10, directional p≈0.37)
    • 프롬프트 ~5k 고정: STS2MCP는 단일 run에서 ~527k/call까지 팽창—token 효율 1-2 자릿수 우위
    • Slay the Spire 2 A0(인간 승률 16%, 프롯티어 LLM 0승)를 테스트베드로 사용—hard but unsaturated
    • 298개 궤적 + SHA-anchored L4/L5 스냅샷 + 프롬프트 기록 + Wilson/bootstrap 스크립트 공개
    • cross-backbone probe(Gemini·Qwen·DeepSeek)로 동일 ablation surface 검증
    초록PDF
  35. 561RoboticsarXiv:2607.01804

    VLA-Corrector: Lightweight Detect-and-Correct Inference for Adaptive Action Horizon

    VLA 정책의 action chunk open-loop 맹점을 해결하는 경량 보정 프레임워크다. 40M 파라미터 비전 모니터가 실시간으로 궤도 이탈을 감지해 action을 자르고, gradient guidance로 회복 방향으로 재계획을 유도한다.

    VLA-Corrector는 비전-언어-액션(VLA) 정책의 action chunk 실행 중 발생하는 누적 오차를 감지하고 보정하는 inference-time 프레임워크다. 백본 가중치를 동결한 채 Latent-space Vision Monitor(LVM, 40M)가 예측/실제 시각 역학의 편차를 추적하고, 지속적 이탈 감지 시 action chunk를 즉시 절단한 뒤 Online Gradient Guidance(OGG)로 회복 지향적 재추론을 수행한다. π0.5에서 horizon 50 기준 성공률 48.7%→58.7%, 실제 로봇 실험에서 평균 55.6%→73.3% 향상을 달성했다.

    • 핵심 문제의식: 고정 action horizon에서 H가 길수록 정책 호출 비용은 절감되나 open-loop 맹점으로 누적 오차 발생
    • LVM(40M)이 latent space에서 시각적 동태 편차를 실시간 감지—백본 재학습 불필요(plug-and-play)
    • 적응형 action horizon: 신뢰 구간에서는 긴 chunk 유지, 이탈 감지 시 즉시 절단 후 OGG 재추론
    • π0.5 horizon 50: 성공률 48.7%→58.7%, 평균 호출 5.15→4.98로 success-per-call 효율 +24.6%
    • 실세계 교란 회복: 기존 40.0%→68.3%(+28.3%), 정밀 정렬 작업 +16.6% 향상
    • 절단의 83.7%가 critical phase(파지·정렬)에서 발생—모니터가 의미있는 시점을 올바로 포착
    초록PDF
  36. 560Computer VisionarXiv:2607.02515

    PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation

    단순한 pixel-space Diffusion Transformer(ViT)로 원시 3D 포인트 맵 패치에 직접 diffusion을 적용해 단안 기하학 추정을 수행한다. VAE 기반 latent diffusion 없이도 복잡한 기존 방법을 능가하며 더 선명한 기하학적 구조를 복원한다.

    PointDiT는 DINOv3 토큰으로 조건부 처리되는 plain ViT 백본을 raw 3D point map 패치 위에서 처음부터 학습시키는 미니멀 pixel-space diffusion 프레임워크다. VAE 압축이나 하이브리드 아키텍처 없이도 x-prediction 목표 하나로 GeometryCrafter 같은 latent diffusion 모델을 능가하며, 특히 투명 물체나 얇은 구조 같은 모호한 영역에서 더 선명한 기하학을 생성한다. 1-step inference만으로도 경쟁력 있는 결과를 내며, multi-step에서 구조적 디테일이 더 개선된다.

    • 핵심 혁신: latent space(VAE)를 거치지 않고 raw 3D point map에 직접 diffusion을 적용하는 최초의 pixel-space 접근
    • x-prediction(클린 point map 직접 예측)이 v-prediction보다 압도적 우위—v-pred는 Rel 35.44 vs x-pred 9.29
    • DINOv3 4-layer 특징 주입이 경계 선명도(BF1)를 13.47로 끌어올림—MoGe-2(11.75), DA3(12.58)보다 우수
    • 생성형 접근이 결정론적 회귀보다 경계 품질(BF1 13.92 vs 10.90)과 모호 영역 처리에서 확실한 우위
    • ICML 2026(서울) 채택—pixel-space diffusion이 자연 이미지를 넘어 3D/4D 기하학으로 확장될 수 있음을 입증
    초록PDF
  37. 559RoboticsarXiv:2607.02466

    Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

    VLA 모델에서 '움직이는 법'과 '할 일'을 분리해 task-agnostic 데이터로 사전학습하는 프레임워크.

    Vision-Language-Action(VLA) 모델의 전문가 시연 데이터 병목을 해결하기 위해 Task-Agnostic Pretraining(TAP)을 제안한다. 핵심 가설인 Decomposition Hypothesis는 물리적 역량(how to move)과 의미 정렬(what to do)이 분리 가능하며, 전자는 언어 없이 학습 가능하다는 것이다. 1단계에서 역동역학(inverse dynamics) 목적함수로 task-agnostic 데이터에서 운동 사전을 학습하고, 2단계에서 소량의 전문가 데이터로 언어 정렬을 수행한다. SIMPLER 벤치마크에서 1M+ 전문가 트라젝토리 모델과 동등한 성능을 달성하면서도 행동 복제 대비 10% 절대 향상을 보였다.

    • Decomposition Hypothesis: 'how to move'(물리)와 'what to do'(의미) 분리, 후자만 언어 필요
    • 역동역학 목적함수로 관계없는 궤적/자율 주행 데이터에서 물리적 사전 학습
    • SIMPLER: 1M+ 전문가 데이터 모델과 동등, 행동 복제 대비 +10% 절대 향상
    • 실제 WidowX: 카메라 교란 시 인터넷 스케일 baseline(0%) 대비 25% 성공률 유지
    • partial success 31.8%→45.8%: 물리적 사전의 전이 가능성 입증
    • Stage 1 스케일이 성능 상한을 결정, Stage 2 연장은 한계 수익 체감
    초록PDF
  38. 558LLMs / NLParXiv:2607.01233

    Measuring the Gap Between Human and LLM Research Ideas

    LLM 연구 아이디어가 인간 대비 '연결(synthesis)'에 편향되어 있음을 대규모 분포 분석으로 입증.

    LLM이 생성한 연구 아이디어가 인간 연구자의 아이디어와 어떻게 다른지 대규모 평가 프레임워크를 구축했다. 각 논문의 핵심 아이디어를 추출하고 관련 선행연구를 역추론한 뒤, 동일한 맥락에서 LLM에게 새 아이디어를 생성하게 했다. 2축 연구 취향 분류법(opportunity pattern × method paradigm)으로 분석한 결과, LLM 아이디어는 '연결형 기회'와 '종합/통합 방법론'에 편향되어 있으며, 인간 아이디어는 더 넓은 범위의 문제 프레이밍과 기여 전략을 사용한다는 것을 발견했다.

    • 2축 연구 취향 분류법 도입: opportunity pattern(7종) × method paradigm(6종), NSF/NIH/DARPA 기반
    • LLM은 'bridge opportunity' 47-64% vs 인간 12.1%, 'synthesis/unification' 22-39% vs 인간 5.1%
    • 인간 아이디어가 두 축 모두에서 일관되게 높은 정규화 엔트로피→더 넓은 분포
    • LLM 간 코사인 유사도(0.83)가 인간-LLM 유사도(0.72-0.78)보다 높음→모델 간 수렴 현상
    • LLM은 'integrate/unify' 아키타입 34.2% vs 인간 2.35%, 인간은 'replace/decouple'에 집중
    • 핵결: LLM 아이디어는 합리적이지만 분포적으로 좁음, '연구 취향 정렬'이 과제
    초록PDF
  39. 557Machine LearningarXiv:2607.01179

    QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling

    Quasi-Monte Carlo를 활용해 동일한 분포를 유지하면서도 샘플 다양성을 높이는 추론/RL 샘플링 효율화 기법.

    추론 계산 스케일링과 강화학습에서 독립 샘플링의 중복성 문제를 해결하기 위해 QuasiMoTTo를 제안한다. 핵심 아이디어는 준몬테카를로(QMC) 방법으로 균등분포를 더 고르게 펼친 뒤, 역CDF 샘플링으로 정확한 LM 샘플을 생성하는 것이다. 각 샘플은 여전히 LM 분포를 따르지만 배치 전체로는 더 높은 커버리지를 달성한다. 4개 추론 벤치마크에서 동일 pass@k를 25-47% 적은 샘플로 달성했고, GRPO RL에서는 50% 적은 스텝으로 목표 성능에 도달했다.

    • autoregressive sampling을 inverse-CDF 샘플링으로 재매개화하여 QMC 균등수를 LM 샘플로 변환
    • 각 샘플은 marginally 정확(동일 LM 분포)이면서 batch 차원에서는 음의 상관관계로 커버리지 증대
    • pass@k: 4개 추론 벤치마크에서 동일 성능을 25-47% 적은 샘플로 달성
    • GRPO RL: 동일 pass@1을 50% 적은 훈련 스텝으로 달성, zero-variance group 비율 감소
    • lattice > stratified > Sobol > i.i.d. 순으로 커버리지 증가, 자유도-커버리지 트레이드오프 정량화
    • 한계: 1-2B 모델/짧은 출력에만 검증, long-CoT로의 확장은 future work
    초록PDF
  40. 556AI / GeneralarXiv:2607.02234

    Purified OPSD: On-Policy Self-Distillation Without Losing How to Think

    Long-CoT 모델에서 OPSD가 실패하는 원인을 reference-induced shortcut으로 진단하고, PMI 기반 정제로 해결한다.

    온폴리시 자기증류(OPSD)가 long-CoT 추론 모델에서 일관되게 실패하는 원인을 분석했다. 교사의 감독 신호를 분해하여, reference 해답에 의한 비전이 가능 성분이 전체 업데이트를 지배한다는 것을 발견했다. 이를 해결하기 위해 reference-only teacher로 비전이 성분을 분리하고, PMI(pointwise mutual information)로 잔차를 정제된 타겟 분포로 변환하는 방법을 제안한다. 4개 long-CoT 모델에서 일관된 개선을 달성하면서 모델의 자연스러운 인지적 추론 능력을 보존했다.

    • OPSD가 Qwen3-8B, Qwen3-4B, R1-Distill-7B, OLMo-7B 4개 long-CoT 모델에서 일관되게 실패
    • 교사 신호 분해: reference-induced 성분이 업데이트 방향·크기 모두를 지배, question-conditioned 성분은 직교 또는 반대
    • epistemic marker('Wait','Maybe' 등)가 OPSD 훈련 중 폭발 또는 붕괴→반성적 추론 능력 손상
    • PMI 타겟 분포: log πT - log πref로 비전이 성분 제거, β와 c 파라미터에 강건
    • AIME 2024/2025에서 OPSD-Standard 대비 일관된 성능 향상, base model도 능가
    • 소프트 클리핑 임계값 c∈{5,10,20}과 보정 강도 β∈{0.5,1,2} 모두에서 안정적 개선
    초록PDF
  41. 555Machine LearningarXiv:2607.01763

    Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

    온폴리시 자기증류(SDPO)가 연속 학습에서 망각과 붕괴를 유발함을 체계적으로 입증. GRPO가 더 안정적이다.

    온폴리시 자기증류(SDPO)가 연속 포스트트레이닝에서 어떻게 작동하는지 체계적으로 분석했다. SDPO는 도메인 내 특화에서는 효과적이지만, 연속 학습 설정에서는 GRPO 대비 더 심각한 망각과 붕괴를 보인다. 핵심 원인은 밀집 토큰 수준 감독이 파라미터와 응답 공간에서 더 큰 드리프트를 유발하고, 포맷팅 아티팩트를 자기 증폭한다는 것이다. on-policy 데이터 자체로는 망각 완화가 부족하다는 결론을 도출한다.

    • SDPO는 단일 도메인 특화에는 효과적이지만 OOD 일반화와 연속 학습에서는 취약
    • GRPO 대비 SDPO가 파라미터 드리프트(NSS, Principal Angle)와 응답 임베딩 변화 모두에서 더 큰 변화
    • SDPO 5%에서 '\boxed' 토큰 무한 반복 붕괴 발생→토큰 수준 감독의 아티팩트 증폭 메커니즘
    • Theorem 1: SDPO의 KL 드리프트가 GRPO의 KL-minimal Razor 정책보다 항상 크거나 같음을 증명
    • 핵심 교훈: on-policy 데이터 ≠ 망각 완화, 목적함수의 밀집도가 안정성을 결정
    • 데이터 순서 변경이나 토큰 마스킹으로 붕괴가 부분적으로만 완화→근본적 한계 존재
    초록PDF
  42. 554Computer VisionarXiv:2607.02375

    Representation Distribution Matching for One-Step Visual Generation

    iRDM: 동결된 인코더 배터리로 특징 분포를 매칭해 1단계 이미지 생성기를 학습하는 새 패러다임. ImageNet 1단계 SOTA 달성.

    Representation Distribution Matching(RDM) 패러다임을 체계적으로 분석하여 두 설계 축(분포 비교 방식, 표현 공간)을 식별하고, 개선된 iRDM 레시피를 제안한다. 핵심 발견은 MMD가 적절히 추정되면 강력한 목적함수가 된다는 것, 단일 인코더는 게임 가능하므로 다양한 인코더 배터리가 필요하다는 것이다. iRDM은 ImageNet에서 1단계 SOTA(SWr14 1.30)를 달성했으며, 4단계 FLUX.2를 1단계로 압축하면서 원본보다 더 높은 GenEval(0.826 vs 0.794)을 기록했다.

    • RDM을 '분포 비교'와 '표현 공간' 두 축으로 체계화하고 각각의 최적 설계를 도출
    • MMD가 Nyström 근사+큰 배치(2048 이상)로 추정될 때 강력한 목적함수가 됨을 입증
    • 단일 인코더는 게임 가능→14개 인코더로 SWr14 평가 지표 제안, 학습 손실과 독립적으로 게임 저항
    • iRDM: ImageNet 1단계 SOTA SWr14 1.30, PickScore 71.2% 승률
    • FLUX.2[klein] 4단계→1단계 압축: GenEval 0.826(원본 0.794), 90 H200 GPU시간
    • 제약 최적화(Proportional Lagrangian)로 인코더 간 균형 유지하여 weakest encoder 개선
    초록PDF
  43. 553RoboticsarXiv:2606.32027

    Freeform Preference Learning for Robotic Manipulation

    자연어로 비교 축을 지정하는 자유형 선호 학습(FPL). 로봇 정책 성능을 38%p 향상시키며 테스트 시간 조향 가능.

    Stanford의 FPL(Freeform Preference Learning)은 이진 선호도 대신 annotator가 자연어로 비교 축(속도, 안전성, 배치 품질 등)을 정의하고 축별 pair별 선호를 제공하는 방식이다. 언어 조건부 보상 모델이 각 축에 대한 스칼라 보상을 출력하고, 이로 다축 보상 조건부 정책을 훈련한다. 4개 실제 로봇 + 2개 시뮬레이션 장기 조작 태스크에서 희소 보상 및 이진 선호 대비 38%p 성능 향상을 달성했으며, 훈련 데이터에 없는 행동 조합(compositionality)과 테스트 시간 행동 조향(steerability)을 보여준다.

    • 이진 선호도의 모호성 해결: 자연어 축(속도/안전/정밀도 등)을 정의하고 축별 pair 선호 수집
    • Bradley-Terry를 다차원으로 확장: 언어 라벨로 조건부된 단일 보상 모델이 축별 스칼라 보상 출력
    • VLM(Qwen VL 3.5 4B) 기반 보상 모델로 시각+언어 이해를 결합한 보상 학습
    • sparse reward 대비 38%p, binary preference 대비도 유의미한 성능 격차 달성
    • 학습 데이터에 없는 빠른 속도+새로운 타겟 조합(compositionality) 창발
    • 테스트 시간 보상 조건 변경으로 재훈련 없이 정책 행동 조향 가능(steerability)
    초록PDF
  44. 552RoboticsarXiv:2607.01051

    AutoSpeed: Annotation-Free Stage-Adaptive Motion Speed Learning for Robot Manipulation

    로봇 조작에서 태스크 단계에 따라 속도를 자동 조절하는 AutoSpeed. 주석 없이도 1.78배 가속달성.

    기존 모방학습 정책이 전문가 데모의 실행 속도를 고정적으로 모방하는 한계를 지적하며, 태스크 단계별로 속도와 예측 시야를 자동 조절하는 AutoSpeed 프레임워크를 제안한다. DCT(이산 코사인 변환)를 통한 주파수 영역 속도 변환으로 비정수 배율의 가감속을 구현하고, 복합 비용(예측 오차 vs 예측 시야)을 최소화하는 후보를 선택해 end-to-end로 학습한다. 실제 로봇 4개 태스크에서 평균 1.78배 가속과 성공률 향상을 동시에 달성했다.

    • 속도나 단계 주석 없이 end-to-end 학습만으로 단계별 적응 속도를 암시적 추론하는 최초의 프레임워크
    • DCT 기반 주파수 영역 스케일링으로 비정수 배율 가감속을 구현하며 고주파 액션 디테일 보존
    • 복합 비용 J = E/w + log(h)로 예측 오차와 시야 길이의 트레이드오프를 관리하는 다중 타겟 선택적 최적화
    • 비생성형(MLP) 및 생성형(diffusion/flow) 정책 모두에 적용 가능한 모델 비의존적 설계
    • 실제 로봇 4태스크 평균 1.78배 실행 시간 단축, Place the Toy 태스크에서 성공률 10%p 향상
    • 추론된 속도 비율이 태스크 단계(도달, 조립, 정밀 삽입 등)와 강한 대응 관계를 보임
    초록PDF
  45. 551Machine LearningarXiv:2607.02512

    Program-as-Weights: A Programming Paradigm for Fuzzy Functions

    자연어 설명을 LoRA 가중치로 컴파일하는 'Program-as-Weights' 패러다임. 0.6B 모델이 32B급 성능을 로컬에서 달성.

    LLM API에 의존하던 퍼지 함수(로그 필터링, JSON 수리, 의도 랭킹 등)를 자연어 명세에서 컴팩트한 LoRA 가중치로 컴파일하는 Program-as-Weights(PAW) 패러다임을 제안한다. 4B Qwen3 컴파일러가 10M 예제(FuzzyBench)로 학습되어, 0.6B Qwen3 인터프리터용 PEFT 어댑터를 생성한다. 결과적으로 0.6B 모델이 32B 직접 프롬프팅과 동등한 성능(73.78% vs 68.70%)을 내면서도 추론 메모리는 1/50, MacBook M3에서 30 tok/s로 로컬 실행된다.

    • 자연어 명세 → 의사 프로그램(텍스트) + LoRA 가중치(연속)의 하이브리드 '신경 프로그램'으로 컴파일하는 새로운 패러다임 제안
    • FuzzyBench-10M: 29개 주제 버전, 800+ 카테고리, 1000만 예제의 퍼지 함수 데이터셋 공개
    • 0.6B 인터프리터 + PAW 프로그램이 Qwen3-32B 직접 프롬프팅을 정확도로 능가 (73.78% vs 68.70%)
    • MacBook M3에서 양자화 시 430MB 공유 베이스 + 23MB/함수 LoRA로 30 tok/s 오프라인 실행
    • 비전-언어 모델로 컴파일러만 교체하면 이미지 조건부 퍼지 태스크로 확장 가능
    • 컴파일된 프로그램은 버전 관리, 패키지 매니저 배포, Python/JS 2줄 API 호출이 가능한 재사용 가능 artifact
    초록PDF
  46. 550Machine LearningarXiv:2607.01693

    A Mathematical Introduction to Diffusion Models

    확산 모델의 수학적 기초부터 샘플링 이론, 오차 분석, 추론 시간 제어까지 체계적으로 정리한 강의 노트.

    Duke University의 Jianfeng Lu가 SLMath 여름학교 강의를 위해 집필한 확산 모델 수학 교재다. Langevin动力学에서 시작해 연속 시간 score-based扩散, 이산화(DDPM), 오차 분석, 그리고 guidance와 추론 시간 RL까지 5개 파트로 구성된다. 확률론 기초만 있는 대학원생을 대상으로, 핵심 정의는 완전한 증명과 함께 제시하고 연구 수준 정리는 증명 로드맵만 제공하는 계층적 구성을 취한다.

    • Langevin dynamics와 ULA/MALA의 수렴 보장이 log-Sobolev 부등식 하에서 KL 수축으로 증명됨
    • Tweedie 항등식과 reverse-time SDE가 확산 모델의 이론적 골격을 형성하며, Polchinski flow와 확률 국산화로 동일한 Gaussian 채널을 재해석함
    • DDPM 이산화 오차가 early stopping, KL telescoping, score error 세 항으로 분해되어 분석됨
    • 이산 확산 모델은 연속 시간 Markov chain으로 noising SDE를 대체하며 유한 상태 공간에서 오차 분석이 재구성됨
    • Guidance, reward tilting, path-space control, 추론 시간 강화학습으로 훈련된 모델의 추론 시간 조향 방법을 체계화함
    • 50개 이상의 참고문헌과 부록(Itô 미적분, Gaussian 도구함)으로 자체 완결성을 확보함
    초록PDF
  47. 549Distributed SystemsarXiv:2607.01120

    Next-Generation Agentic Reinforcement Learning Systems Enable Self-Evolving Agents

    기업 수준 자가진화 에이전트를 위한 차세대 agentic RL 시스템 아키텍처를 제안. 표준 궤적 데이터 프로토콜, 데이터 프록시, 진화 제어면 3대 축을 정의한다.

    본 논문은 자가진화 LLM 에이전트가 기업 환경에 배포되기 위해 부족한 것이 알고리즘이나 모델이 아니라 시스템 기반이라고 주장한다. 세 가지 핵심 기둥을 제안한다: (1) 이기종 에이전트 패러다임 간 step 수준 학습 신호를 전달하는 표준 궤적 데이터 프로토콜(ATDP), (2) 실제 워크로드를 학습 가능한 데이터로 변환하는 기업급 데이터 프록시, (3) 궤적 통계 기반으로 메모리 삽입·스킬 패치·하니스 수정·가중치 업데이트를 자동 선택하는 진화 제어면. AREAL2.0 프로토타입으로 정책 가중치 업데이트 분기를 구현하여 입증한다.

    • 자가진화 에이전트의 병목은 RL 알고리즘이 아니라 시스템 기반(ATDP·데이터 프록시·진화 제어면)이라는 핵심 주장
    • ATDP: step 수준 의사결정 맥락, 액션, 결과, 지연 보상, 거버넌스 메타데이터를 포함하는 벤더 중립 프로토콜 제안
    • 진화 제어면: 궤적 통계·평가 점수·사용자 정정률·비용·안전 제약을 기반으로 메모리/스킬/하니스/가중치/롤백 중 자동 선택
    • AREAL2.0: 기존 RL 프레임워크를 온라인 에이전트 서비스 지향 RL 루프로 재조직한 프로토타입 — gateway 교체만으로 에이전트 서비스의 LLM 호출을 RL 학습 루프로 편입
    • OpenClaw를 개인용 자가진화 에이전트의 사례로 인용하며, 기업 수준 거버넌스와의 격차를 분석
    • 자가진화를 단순 가중치 업데이트가 아닌 복합 정책(LLM+하니스+메모리+도구)의 다면적 개선으로 정의
    초록PDF
  48. 548Computer VisionarXiv:2607.02517

    WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

    LLM으로 3D 궤적을 오케스트레이션하고 비디오 생성과 결합하여 객체 영속성과 동적 메모리를 보장하는 제어 가능한 비디오 세계 시뮬레이터 프레임워크.

    WorldDirector는 동적 객체 메모리와 제어 가능한 시점 탐색을 갖춘 비디오 세계 모델 프레임워크이다. LLM이 사용자 명령을 3D 경계상자 및 카메라 궤적으로 변환하고, 이를 2D 투영하여 비디오 생성의 위치 조건으로 사용한다. Appearance Binding 메커니즘으로 객체가 화면에서 사라졌다 재등장할 때 외형 정합성을 보장하며, spatial-aware cross-attention으로 객체별 텍스트 프롬프트를 해당 영역에 라우팅한다. 실험 결과 PSNR, SSIM, LPIPS 및 동적 객체 일관성(DSC)에서 기존 방법들을 능가했다.

    • 동적 객체의 움직임 계획과 비디오 합성을 명시적으로 분리 — 물리적 논리와 외형 안정성 동시 보장
    • LLM 오케스트레이터가 3D 궤적 생성 → 2D 투영으로 비디오 생성 모델에 위치 조건 제공
    • Appearance Binding: 객체가 화면 밖에 있던 시간과 무관하게 재등장 시 외형 정합성 보존
    • PSNR 18.127, SSIM 0.502, LPIPS 0.359로 모든 재구성 메트릭에서 SOTA
    • 동적 객체 일관성 DSC_DINO 0.769, DSC_CLIP 0.917로 기존 방법 대비 압도적 우위
    • Promptable World Events로 초기 프레임에 없는 새 객체의 등장 시점·동작·궤적까지 자유롭게 설계 가능
    초록PDF
  49. 547Computer VisionarXiv:2607.01202

    World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video

    단안 비디오에서 자유롭게 렌더링 가능한 동적 3D Gaussian 표현을 생성하는 방법. 비디오 생성 모델과 4D 재구성을 통합하여 SOTA 달성.

    World from Motion은 단안 비디오에서 렌더링 가능한 동적 3DGS 표현을 생성하는 프레임워크로, 초기 재구성의 appearance·geometry·3D scene motion을 밀집 렌더링하여 비디오 생성 모델에 조건부 입력으로 제공한다. 생성된 고품질 가상 시점 관측을 다시 4D 표현으로 증류하여 DyCheck 벤치마크에서 지각적 품질 SOTA를 달성했으며, 동적 3DGS의 모션 품질도 향상시킨다. 야생 비디오(in-the-wild)에 대한 일반화도 입증했다.

    • 최초로 비디오 생성 모델을 동적 3DGS 표현에 조건부화하는 방법 제안 — geometry, appearance, 3D motion을 reference/target 뷰 따라 렌더링
    • DyCheck 벤치마크 mPSNR 19.98, mSSIM 0.716, mLPIPS 0.178로 모든 기준에서 SOTA 달성
    • 생성된 샘플을 다시 동적 3DGS로 증류하는 최적화 과정에서 3D track 정확도도 향상 (PCK@0.05: MoSca 0.824 → 0.862)
    • 가상 카메라 수가 증가할수록 재구성 품질이 단조 향상되며 8대 이후 수렴 (mPSNR 18.69→19.78)
    • CAT4D, Vista4D 등 생성 기반 방법 및 WorldTree, ViDAR 등 재구성 기반 방법 모두 능가
    • 야생 비디오에서 visual outpainting, 동역학 교정, 시야 외 동역학 추론까지 수행 가능
    초록PDF
  50. 546AI / GeneralarXiv:2607.00248

    Seed2.0 Model Card: Towards Intelligence Frontier for Real-World Complexity

    ByteDance Seed2.0 모델 카드 — Pro/Lite/Mini 3종 구성으로 실제 복잡도의 지능 경쟁력을 추구하며, 비용 효율성이 뛰어난 대규모 배포용 LLM 시리즈.

    Seed2.0은 ByteDance가 대규모 프로덕션 환경에서의 사용자 경험을 최우선으로 설계한 LLM 시리즈(Pro/Lite/Mini)이다. 시각적 다중모달 이해, 빠른 추론, 복잡한 명령 실행, 코딩 지원에 중점을 두었으며, Science Discovery, Vibe Coding, Context Learning, Real-World Tasks 4개 평가 차원에서 성능을 추적한다. Erdos 문제 해결 및 Scientific Coding 등 연구 수준의 추론 태스크에 도전하면서도, API 가격이 GPT-5.2 대비 약 1/4~1/5 수준으로 비용 효율성이 뛰어나다. 중국 내 MaaS 사용 패턴 분석과 에이전트 코딩 쿼리 분포 데이터도 제공한다.

    • Pro/Lite/Mini 3종 크기로 성능-속도 균형 선택 가능 — Mini는 pref ill $0.03/M, decode $0.31/M 토큰
    • GPT-5.2($1.75/$14), Claude Opus 4.5($5/$25) 대비 Seed2.0 Pro는 $0.47/$2.37로 비용 효율 압도적
    • 중국 MaaS 트래픽: 인터넷 산업이 압도적(제조·자동차·통신은 각 <1%), 시나리오는 비정형 정보 처리가 최대
    • 에이전트 코딩 요청: 프론트엔드 개발과 버그 수정이 압도적 — Vue.js가 React보다 3배 이상 사용
    • Erdos 문제 및 Scientific Coding 등 연구 수준 추론 태스크에서 경쟁력 확보 목표
    • Seed2.0은 Claude/Gemini와 코딩(SWE-Evo, NL2Repo) 및 long-tail 지식(SuperGPQA)에서 여전히 격차 존재를 인정
    초록PDF