HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 695AI / GeneralarXiv:2607.20253

    Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

    가사·텍스트 설명으로 완전한 곡을 만드는 통합 음악 생성 프레임워크로, Artificial Analysis 리더보드 2~3위를 기록한 논문이다.

    이 논문은 한마디로 가사와 텍스트만 넣으면 보컬·반주까지 포함된 완성된 곡을 만들어주는 통합 시스템을 제안한 것이다. 8-codebook RVQ 토크나이저 + hybird-LM(계층적 토큰 생성) + FullDiT(전곡 flow matching 렌더링) 구조로 구성된다. 2단계 멜로디 모듈로 커버곡의 원곡 멜로디도 보존하며, DPO·GRPO 후훈련으로 음악성을 추가 개선했다.

    • 가사→곡, 기악곡, 커버곡 3가지 작업을 하나의 프레임워크에서 지원한다.
    • Artificial Analysis Music with Vocals 리더보드 Elo 1,129점으로 공동 2~3위 (1위와 12점 차이).
    • 8개 장르·5개 언어 500곡 테스트에서 18개 지표 중 15개에서 최고점을 받았다.
    • FullDiT가 청크 단위가 아닌 전곡 단위 flow matching을 수행해 전역 일관성을 유지한다.
    • DPO + GRPO + OPD 후훈련으로 음악성과 렌더링 품질을 모두 개선했다.
    초록PDF
  2. 694LLMs / NLParXiv:2607.20145

    SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

    화웨이 Ascend NPU 슈퍼POD에서 1.6조 매개변수 MoE 모델을 효율적으로 학습시키는 전체 스택 최적화 기법을 정리한 기술 보고서다.

    이 논문은 한마디로 Ascend NPU 클러스터에서 트리llion급 MoE 모델을 효율적으로 학습시키는 방법을 보여준다. MFU 34.22%를 달성해 오픈소스 기준 대비 2.93배 향상했고, OR(운영연구) 과제 특화 CPT-SFT 파이프라인으로 GPT-5.4-Mini보다 3.98%p 높은 71.81% Pass@1을 기록했다. AuraKernel이라는 커널 최적화 에이전트와 NPU-CPU 협력 최적화가 핵심이다.

    • Ascend SuperPOD에서 DeepSeek-V4-Pro(1.6T) 학습 MFU를 11.67%에서 34.22%로 끌어올렸다 (2.93배).
    • AuraKernel이라는 에이전트로 복잡한 NPU 커널을 자동 최적화했다.
    • OR(운영연구) 특화 CPT+SFT로 10K 고품질 데이터를 구축하고 solver 검증을 적용했다.
    • 특화 모델이 평균 zero-shot Pass@1 71.81%로 GPT-5.4-Mini보다 3.98%p, 베이스보다 11.27%p 높다.
    • GPU가 아닌 NPU 기반 트리llion 모델 학습의 전체 스택 실천 사례를 제공했다.
    초록PDF
  3. 693Machine LearningarXiv:2607.19331

    ISO: An RLVR-Native Optimization Stack

    RLVR(검증 가능한 보상으로 강화학습)에서 모델 가중치의 '스펙트럼'은 유지하고 '프레임'만 최적화하는 새 최적화 프레임워크를 제안한 논문이다.

    이 논문은 한마디로 RLVR 학습에서 가중치의 특이값 스펙트럼은 베이스 모델 것을 그대로 쓰고, 입력·출력 특이 벡터만 학습하는 ISO 프레임워크를 제안한 것이다. 저자들은 이를 '스펙트럼 상속'이라 부르며, RLVR이 사전학습 최적화 도구를 그대로 물려받는 대신 자체 구조에 맞는 최적화를 설계해야 한다고 주장한다. 오프라인 전문가 병합(ISO-Merger)과 온라인 학습(ISO-Optimizer) 두 가지 버전을 모두 제공한다.

    • RLVR 학습 후 가중치 스펙트럼은 거의 변하지 않는다는 '스펙트럼 상속' 현상을 발견하고 검증했다.
    • ISO-Optimizer는 Qwen3-8B에서 AdamW와 동일 정확도를 2.7배 적은 스텝(270→100)으로 달성했다.
    • ISO-Merger는 데이터·롤아웃·그래디언트 없이 체크포인트만으로 전문가 모델을 병합한다.
    • 스펙트럼만 고정하고 프레임을 얼리면 성능이 거의 오르지 않아, 양쪽 프레임 모두 학습 가능해야 한다.
    • 1.5B~8B 규모의 추론·코딩 과제에서 일관된 효율 개선을 보였다.
    초록PDF
  4. 692RoboticsarXiv:2607.20033

    Robots Acquire Manipulation Skills in Seconds from a Single Human Video

    로봇이 사람 영상 하나만 보고 29초 만에 새 조작 기술을 배우면서 기존 기술도 잃지 않는 프레임워크를 제안한 논문이다.

    이 논문은 한마디로 로봇이 인간의 영상 한 개만 보고 추론 시점에서 즉시 새 기술을 습득하는 HOST 프레임워크를 제안한 것이다. 기존 방식은 새 기술마다 데이터 수집과 미세조정이 필요했고, 이 과정에서 기존 기술이 망가졌다. HOST는 작업 진행도를 추정하고, 영상의 미래 진행을 로봇 자신의 관점으로 번역한 뒤, 거기서 행동을 이끌어내는 자기 정답 예측 구조로 이 문제를 풀었다.

    • 사람 영상 1개로 평균 29초 만에 새 기술을 습득한다 (기존 대비 507배 빠름).
    • 평균 62% 성공률을 달성하며, 제로샷 기준보다 +45%, 50개 로봇 데모로 미세조정한 기준보다도 높다.
    • 학습 파라미터를 건드리지 않아 기존 기술이 100% 보존된다 (파괴적 망각 제로).
    • 작업 진행 매니폴드로 영상과 로봇 궤적을 정렬해서 시간 불일치와 상태 차이를 해결했다.
    • 국소화→미래 관측 예측→행동 생성의 인과적 캐스케이드로 추론 시점 적응을 구현했다.
    초록PDF
  5. 691Machine LearningarXiv:2607.18433

    Intelligence from Learnable Novelty

    '배울 수 있는 새로움(learnable novelty)'이라는 단일 수학적 양으로 압축·계산·탐색이라는 지능의 세 가지 모습을 통일한 이론 논문이다.

    이 논문은 한마디로 지능의 여러 정의(압축, 계산, 적응)를 '배울 수 있는 새로움'이라는 하나의 양으로 통합한 것이다. 노이즈 TV에 빠지는 novelty search와 어두운 방에 숨는 free-energy principle의 실패가 같은 원인에서 온다는 걸 보였다. 저자는 리저버 컴퓨팅 기반의 미분 가능한 추정량을 만들어, 이 값을 측정 도구로도, 최적화 목표로도 쓸 수 있게 했다.

    • 지능의 세 가지 모습(데이터 압축, 보편 계산, 적응 행동)이 '배울 수 있는 새로움' 극대화라는 단일 원리에서 나온다는 걸 보였다.
    • 튜링 완전한 rule 110을 1차원 세포자동자 중 1위로 복원했다 (복잡도 순위 수십 년 연구와 일치).
    • 레이블 없이 MNIST 숫자 클래스를 분리하는 표현 학습을 달성했다 (완전 비지도).
    • 강화학습 내재 보상으로 쓰면 10개 환경 중 9개에서 성능이 올라간다.
    • 노이즈 TV 함정과 어두운 방 함정을 동시에 회피하는 수학적 구조를 갖추고 있다.
    초록PDF
  6. 690Computer VisionarXiv:2607.20368

    Self Gradient Forcing: Native Long Video Extrapolation

    비디오 생성 모델이 긴 영상을 만들 때 중간에 화면이 튀거나 인물이 변하는 문제를, '메모리 쓰기' 단계까지 학습시켜 해결한 논문이다.

    이 논문은 한마디로 AI 비디오 생성에서 '역사적 문맥 기울기 갭'이라는 근본 문제를 찾아내고, 2패스 훈련으로 해결한 것이다. 기존 Self Forcing 방식은 자기가 만든 영상을 맥락으로 쓰면서 노출 편향을 줄였지만, 과거 프레임을 메모리에 어떻게 저장하는지까지는 학습하지 못했다. SGF는 미래 프레임의 손실이 과거 맥락의 KV 메모리 쓰기 방식까지 교정하도록 만들어서, 5초 훈련 영상만으로도 수분 길이의 일관된 비디오를 생성할 수 있게 했다.

    • Self Forcing의 치명적 약점인 '과거 맥락 기울기 갭'을 처음으로 정의하고 해결했다.
    • 2패스 전략(패스1: 롤아웃 기록, 패스2: 병렬 기울기 복원)으로 메모리 오버헤드 없이 문제를 해결했다.
    • 5초 훈련 영상만으로 240초까지 일관된 장영상 생성이 가능하다 (피사체 정체성, 배경 일관성, 시간 안정성 모두 향상).
    • 사용자 연구에서 모든 설정에서 Self Forcing보다 선호도가 높았다 (GSB 29.6%~48.7%).
    • 피크 메모리 증가가 8GB에 불과하고, 학습 속도 저하도 13% 수준으로 실용적이다.
    초록PDF
  7. 689Computer VisionarXiv:2607.19228

    IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer

    비디오 스트림에서 3D 기하학과 객체 식별을 동시에 실시간으로 처리하는 스트리밍 트랜스포머.

    이 논문은 한마디로 연속되는 비디오 프레임에서 3D 기하학(깊이, 포즈)과 객체 정체성(인스턴스)을 동시에 온라인으로 예측하는 트랜스포머다. 기존 스트리밍 3D 모델은 기하학만 다루고 객체 식별은 빠져 있었는데, IGGT4D는 인스턴스 특징을 기하학과 함께 예측해서 물체가 사라졌다 나타나도 같은 객체로 인식한다. 14.7만 장면의 4D 인스턴스 주석 데이터셋(InsScene4D-147K)도 새로 구축했다. 3D 재구성, 포즈 추정, 객체 추적, 열린 어휘 분할에서 기존 스트리밍 방법을 모두 능가했다.

    • 비디오 스트림에서 기하학과 인스턴스 정체성을 동시에 예측하는 최초의 스트리밍 트랜스포머다.
    • 인과적 마스킹으로 프레임을 순차 처리하며, 과거 컨텍스트를 KV 캐시로 재사용한다.
    • 14.7만 장면의 4D 인스턴스 주석 데이터셋 InsScene4D-147K를 구축했다.
    • 객체 추적에서 기존 대비 월등한 성능(T-mIoU 58.84 vs SAM2 45.38)을 보였다.
    • 스트리밍 클러스터링이 프레임 수와 무관하게 일정한 메모리(0.7GB)를 유지한다.
    초록PDF
  8. 688LLMs / NLParXiv:2607.18235

    Automated Discovery Has No Universally Superior Harness

    LLM 기반 자율 발견 시스템에서 '어떤 검색 하네스(전략)'도 항상 최고는 아니라는 것을 310만 회 실험으로 증명한 연구.

    이 논문은 한마디로 LLM으로 코드를 진화시키는 자율 발견 시스템(OpenEvolve, TTT-Discover 등)에서 '어떤 검색 전략(harness)도 모든 문제에 universally 최고는 아니다'를 대규모 실험으로 보인 연구다. 30가지 하네스를 12개 모델-문제 쌍에서 310만 회 이상 롤아웃하여 비교했다. 복잡한 OpenEvolve 방식이 오히려 더 단순한 베이스라인보다 못한 경우가 많았다. 대신 초기 진행 성적이 최종 성능을 잘 예측하므로, 여러 하네스를 시작하고 약한 것을 일찍 잘라내어 강한 것에 예산을 몰아주는 적응적 할당이 가장 효과적이었다.

    • OpenEvolve와 TTT-Discover의 하네스를 구성 요소별로 분해해서 30가지 조합을 만들어 비교했다.
    • 310만 회 이상 LLM 롤아웃으로 통계적으로 유의미한 비교를 수행했다.
    • 어떤 고정 하네스도 모든 모델-문제 쌍에서 일관되게 최고가 아니라는 '일반화 문제'를 발견했다.
    • 초기 진행 성적이 최종 성능을 강하게 예측한다는 점을 활용해 적응적 예산 할당 전략을 제안했다.
    • 모든 실행 기록과 베이스라인 분포를 재사용 가능한 통계 인프라로 공개했다.
    초록PDF
  9. 687Computer VisionarXiv:2607.19120

    Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models

    3D 기하학 파운데이션 모델(VGGT)의 잠재 공간에서 직접 리만 플로우 매칭을 수행해 3D 장면을 생성하는 방법.

    이 논문은 한마디로 3D 기하학 파운데이션 모델(VGGT)의 잠재 공간에 플로우 매칭(생성 모델 기법)을 직접 적용해서, 적은 사진만으로도 그럴듯한 3D 장면을 생성하는 연구다. 핵심 발견은 VGGT의 토큰들이 유클리드 공간이 아니라 4개 초구(hypersphere)의 곱 manifolds에 존재한다는 것이다. 이를 무시하고 일반 플로우 매칭을 쓰면 모드 붕괴가 일어나지만, 리만 플로우 매칭을 쓰면 정상적으로 작동한다. ScanNet++와 ETH3D에서 기존 방법 대비 40~70% 이상 향상된 3D 재구성 품질을 보였다.

    • VGGT 토큰이 4개 초구의 곱 다양체 위에 있다는 것을 발견하고, 리만 플로우 매칭을 적용했다.
    • 유클리드 플로우 매칭 대비 리만 버전이 모든 지표에서 일관되게 향상됐다 (LPIPS ~44% 개선).
    • 단일 입력 뷰만으로도 작동하며, 순서에 무관하다.
    • ScanNet++에서 Chamfer 거리 40% 이상, ETH3D에서 70% 이상 감소했다.
    • 생성된 3D 스캔이 문맥 프레임과 정렬되어 일관된 장면 재구성을 가능하게 한다.
    초록PDF
  10. 686Computer VisionarXiv:2607.19339

    OmniReasoner: Thinking with Long Audio-Video via Native Tool Use

    긴 오디오-비디오에서 필요한 구간만 확대해서 살펴보는 도구 사용 행위를 모델에게 학습시킨 프레임워크.

    이 논문은 한마디로 긴 오디오-비디오를 볼 때 필요한 순간만 확대(zoom-in)해서 다시 살펴보는 도구 사용 능력을 모델에게 가르친 연구다. 모델은 먼저 전체를 낮은 해상도로 둘러본 뒤, 답에 필요한 구간이 보이면 확대 도구를 호출해서 해당 구간을 고해상도로 다시 본다. 핵심 기술인 TimeAnchor는 서로 다른 샘플링 해상도 사이에서도 시간 좌표가 정확히 유지되게 한다. SFT와 RL로 학습시켰으며, 여러 벤치마크에서 정답률과 시간 지역화가 모두 향상됐다.

    • 긴 오디오-비디오에서 확대 도구를 적응적으로 호출하는 도구 사용 학습 프레임워크를 제안했다.
    • TimeAnchor로 서로 다른 샘플링 해상도 간 시간 좌표 일관성을 유지한다.
    • Temporal Augmented Data Engine으로 수동 없이도 학습 데이터를 자동 생성했다.
    • OmniVideoBench 29.3→34.8, LVOmniBench 32.0→35.4로 정확도가 향상됐다.
    • 영상이 길어질수록 확대 도구 호출 빈도가 올라가며, 실제로 정확도 향상에 기여함을 확인했다.
    초록PDF
  11. 685RoboticsarXiv:2607.18840

    WorldScape Policy 2.0: Empowering Steerable World Action Modeling with Reasoning-Augmented Memory

    단기 시각 기억+장기 이벤트 기억을 결합해 긴 호라이즌 로봇 조작을 제어하는 컨트롤러블 월드 액션 모델.

    이 논문은 한마디로 로봇이 과거 경험을 기억하고 추론해서 긴 시간 동안 자율적으로 작업을 수행하는 '세계 액션 모델'을 제안했다. 핵심은 단기 시각 기억(최근 관찰)과 장기 이벤트 기억(작업 진행도)을 결합한 것이다. 500만 개 이벤트 세그먼트로 사전 학습한 뒤, 시뮬레이션과 실제 환경에서 테스트했다. 긴 호라이즌 작업 75% 성공, 원인 도메인 명령 수행 86.7%, 새로운 물체에 대한 일반화 60%로 기존 대비 크게 향상됐다. 텍스트, 목표 이미지, 시연 영상으로도 제어할 수 있다.

    • 단기 시각 기억과 장기 이벤트 기억을 결합한 '추론 증강 기억' 구조를 제안했다.
    • ManipEvent-5M이라는 500만 개 이벤트 세그먼트 데이터셋을 구축했다.
    • 텍스트, 목표 이미지, 시연 영상 등 다양한 방식으로 로봇을 제어할 수 있다.
    • 실제 듀얼암 로봇에서 긴 호라이즌 작업 75%, 세밀한 명령 수행 86.7% 성공률을 기록했다.
    • 새로운 물체 카테고리에 대한 일반화 성능이 기존 대비 크게 향상됐다 (OOD 60% vs π0.5 43.3%).
    초록PDF
  12. 684RoboticsarXiv:2607.19190

    Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

    VLM 에이전트가 실제 로봇 조작 영상을 물리 시뮬레이션 디지털 트윈으로 자동 변환하는 프레임워크.

    이 논문은 한마디로 실제 로봇-물체 상호작용 녹화 영상을 물리 시뮬레이터(MuJoCo)에서 실행 가능한 디지털 트윈으로 자동 변환하는 시스템이다. 4개의 VLM 에이전트(시각 처리, 물리 추론, 씬 준비, 시뮬레이터 최적화)가 협력해서 작동하며, 31B 오픈 모델이 GPT-5.4의 3% 비용으로 비슷한 성공률을 보였다. DROID 데이터셋 100개 에피소드에서 48% 재생 성공률을 기록했고, 변형 가능한 물체(천, 밧줄)와 휴머노이드 모션까지 확장 가능함을 보였다.

    • 실제 로봇 조작 녹화를 MuJoCo 시뮬레이션 에피소드로 자동 변환하는 4에이전트 파이프라인을 제안했다.
    • 31B 오픈 VLM이 GPT-5.4 대비 3% 비용으로 비슷한 변환 성공률(48/100)을 달성했다.
    • 강체 조작뿐 아니라 변형체(천, 밧줄)와 휴머노이드 모션까지 같은 프레임워크로 처리했다.
    • VLM 역할을 좁게 제한해서 백엔드 모델 교체가 쉽고 비용 효율적임을 보였다.
    • 변환된 에피소드 트윈은 로봇 정책 학습과 평가에 활용할 수 있다.
    초록PDF
  13. 683Computer VisionarXiv:2607.19191

    ABot-World-0: Infinite Interactive World Rollout on a Single Desktop GPU

    데스크톱 GPU 한 장(RTX 5090)에서 720P 실시간 인터랙티브 세계 시뮬레이션을 구현한 액션 조건 비디오 월드 모델.

    이 논문은 한마디로 키보드 입력만으로 조종하는 실시간 비디오 월드 모델을 데스크톱 GPU 한 장에서 구현한 연구다. AAA 게임, 시뮬레이션 엔진, 인터넷 비디오를 합쳐서 학습 데이터를 만들고, 양방향 교사 모델을 점진적으로 인과적 학생 모델로 증류했다. 핵심 혁신은 LongForcing이라는 기술로, 학생 모델이 길게 자기 롤아웃을 하면서 생기는 분포 이동(distribution shift)을 교사 모델이 교정해주는 방식이다. 최적화된 저비트 추론 스택으로 RTX 5090 한 장에서 720P 16FPS, 1.2초 지연, 19GiB VRAM을 달성했다.

    • AAA 게임+시뮬레이션+인터넷 비디오를 통합한 다중 소스 데이터 파이프라인을 구축했다.
    • LongForcing으로 긴 롤아웃의 자기회귀 드리프트를 교사 모델이 교정하게 했다.
    • RTX 5090 1장에서 720P 16FPS, 1.2초 지연, 약 19GiB VRAM으로 실시간 구동된다.
    • WorldRoamBench에서 경쟁력 있는 조종 성능과 일관된 세계 진화를 보였다.
    • 60초 롤아웃 평가에서 기존 Causal-Forcing 대비 시각적 오류 누적이显著하게 적었다.
    초록PDF
  14. 682Computer VisionarXiv:2607.19064

    Mage-Flow: An Efficient Native-Resolution Foundation Model for Image Generation and Editing

    4B(40억) 파라미터의 가벼운 이미지 생성/편집 모델로, A100 한 장에서 1초 이내 고해상도 이미지를 만들어내는 효율형 파운데이션 모델.

    이 논문은 한마디로 4B 규모의 컴팩트한 이미지 생성+편집 스택을 만들어, 기존 수십B 모델들과 비슷한 품질을 훨씬 적은 비용으로 달성한 연구다. 핵심은 가벼운 토크나이저(Mage-VAE)와 원해상도(native-resolution) 확산 트랜스포머를 함께 설계한 것이다. Mage-VAE는 기존 VAE 대비 인코딩/디코딩 비용을 12~22배 줄이면서도 복원 품질은 유지한다. 여기에 CUDA 커널 융합으로 학습 속도를 2.5배 올렸고, 4단계 Turbo 변형으로 A100 한 장에서 1024x1024 이미지를 0.59초에 생성한다.

    • 4B 파라미터로 경쟁 모델들(6B~80B)과 비슷한 성능을 내면서 메모리는 18GB 수준으로 낮췄다.
    • Mage-VAE 토크나이저가 기존 VAE 대비 픽셀당 연산량을 12~22배 줄였다.
    • CUDA 커널 융합으로 학습 처리량을 약 2.5배 향상했다.
    • Turbo 변형은 A100 1장에서 1024x1024 이미지를 0.59초, 편집을 1.02초에 수행한다.
    • 비용 효율성 때문에 연구자가 실험하고 수정하기 좋은 오픈 베이스라인 역할을 한다.
    초록PDF
  15. 681Computer VisionarXiv:2607.19343

    Masked Visual Actions for Unified World Modeling

    로봇 동작을 '픽셀 단위 마스크'로 표현해서, 하나의 비디오 모델이 정방향(로봇→장면)과 역방향(목표 물체→로봇) 시뮬레이션을 모두 할 수 있게 만든 논문.

    이 논문은 한마디로 로봇 동작을 비디오 픽셀 위에 마스크로 그려 넣어, 하나의 비디오 모델이 로봇 동작의 결과를 예측(정방향)하거나 원하는 물체 움직임으로부터 로봇 동작을 찾아내(역방향)도록 만든 연구다. 기존에는 로봇 동작을 저차원 벡터(관절 각도 등)로 전달했는데, 이는 로봇 형태마다 따로 학습해야 하는 문제가 있었다. 저자들은 사전 학습된 비디오 모델을 15시간 분량의 마스크 예시로만 미세조정해서, 서로 다른 로봇 형태에서도 잘 작동하는 단일 체크포인트를 얻었다. 시뮬레이션과 실제 환경 모두에서 정책 평가(r=0.982 상관), 모델 기반 계획, 역모델링(90% 성공률)을 검증했다.

    • 로봇 동작을 픽셀 단위 마스크로 표현하는 'Masked Visual Actions' 인터페이스를 제안했다.
    • 하나의 체크포인트로 정방향 시뮬레이션과 역방향 동작 생성을 모두 지원한다.
    • 실제 로봇 데이터 15시간 분량만으로 미세조정해도 다양한 환경과 로봇 형태에서 잘 작동한다.
    • 비디오 모델이 상상한 롤아웃이 실제 실행 결과와 r=0.982로 강한 상관을 보였다.
    • 역방향 모델로 원하는 물체 움직임을 주면 로봇 동작을 합성해내며, 90% 성공률을 달성했다.
    초록PDF
  16. 680Software EngineeringarXiv:2607.18161

    TRIM: Reducing AI-Generated CodeSlop via Agent Trajectory Minimization

    코딩 에이전트가 정답에 도달하는 과정에서 남긴 불필요한 편집(CodeSlop)을 에이전트의 작업 기록을 거슬러 되돌리며 걷어내는 알고리즘 TRIM을 제안한 논문이다.

    코딩 에이전트가 만든 패치는 사람이 쓴 것보다 크고 장황하다. 이 논문은 원인을 에이전트의 탐색 과정에서 찾는다. 시도했다가 버린 수정, 임시 변경이 최종 패치에 그대로 남는다는 것이다. 저자들은 이런 잔여물을 CodeSlop이라 정의하고, 최종 패치가 아니라 에이전트의 수리 기록(trajectory)을 대상으로 되돌림을 시도하는 계층적 반사실 탐색 알고리즘 TRIM을 제시했다. 네 개 에이전트 프레임워크와 두 벤치마크에서 CodeSlop을 17.8~32.9% 줄였고 정확도 손실은 거의 없었다.

    • CodeSlop을 코드 겉모습(장황함, 중복)이 아니라 기능 기준으로 정의했다. 지워도 테스트가 그대로 통과하는 편집이 CodeSlop이다.
    • 원인은 에이전트의 탐색 과정이다. 정답을 찾을 때까지 시도한 편집을 굳이 되돌릴 이유가 없어서 최종 패치에 남는다.
    • 에이전트에게 스스로 패치를 줄이라고 시키는 방식은 불안정했다. 3.8~44.9% 사례에서 동작이 깨지거나 오히려 패치가 커졌다.
    • TRIM은 최종 패치 대신 작업 기록을 탐색 공간으로 삼는다. 편집의 시간 순서가 의존 관계를 근사해 주기 때문이다.
    • 굵은 덩어리부터 통째로 빼보고 통과하면 확정, 안 되면 더 잘게 쪼개는 계층적 방식이라 검증 실행 비용이 Delta Debugging의 절반 수준이다.
    • SWE-Bench-Verified에서 성공 패치 330건 중 327건(99.1%)의 정답성을 유지했고, 18건은 사람이 쓴 정답 패치와 완전히 같아졌다.
    초록PDF
  17. 679Distributed SystemsarXiv:2607.18002

    ExpertPlex: A High-Goodput Disaggregated Serving System for MoE LLMs with Adaptive Persistent Kernels

    MoE 모델 서빙에서 전문가(expert) 가중치는 두 단계가 공유하고 어텐션만 분리해, GPU 낭비 없이 처리량을 최대 2.01배 올린 서빙 시스템이다.

    거대 MoE 언어모델은 가중치가 크고 계산량이 토큰마다 달라 서빙이 비효율적이다. 기존 방식은 프리필(입력 처리)과 디코드(토큰 생성)를 아예 다른 GPU 묶음에 복제해 두거나, 한 GPU를 둘로 쪼개 고정 할당하는데 둘 다 자원이 남거나 밀린다. ExpertPlex는 모델 무게의 95퍼센트가 넘는 전문가 부분을 두 단계가 함께 쓰고, 가벼운 어텐션만 단계별로 분리한다. 여기에 타일 단위로 끼어들 수 있는 상주 커널과 어텐션 쪽에서 먼저 시작하는 단방향 통신을 더해, 유효 처리량을 기존 분리 방식 대비 2.01배, 동거 방식 대비 1.66배 올렸다.

    • MoE 언어모델의 가중치 95퍼센트 이상이 전문가 부분이라, 프리필과 디코드가 각각 모델 전체를 복제하면 메모리가 크게 낭비된다.
    • 핵심 발상은 무거운 전문가는 두 단계가 공유하고, 5퍼센트 미만인 어텐션만 단계별로 GPU를 따로 주는 혼합 구조다.
    • 적응형 상주 커널(APK)이 행렬곱 타일 경계에서 스케줄링해, 커널을 다시 띄우거나 CPU가 끼어들지 않고도 급한 디코드 작업에 자리를 내주고 남는 자리는 프리필로 되돌린다.
    • 어텐션 쪽에서 먼저 거는 단방향 MoE 통신으로 MoE 쪽 폴링을 없애 교착과 단계 간 네트워크 간섭을 피하고, 한 단계의 통신과 다른 단계의 계산을 겹친다.
    • MiniMax-M2.7과 GLM-5.1-FP8 서빙 실험에서 유효 처리량이 청크 프리필 대비 5.65배, 인스턴스 단위 분리 대비 2.01배, Green Context 동거 대비 1.66배 올랐다.
    • 선점 간격이 토큰 수가 아니라 타일 실행 시간에 달려 있어, 입력이 수천 토큰인 프리필도 짧은 디코드 작업이 끊고 들어갈 수 있다.
    초록PDF
  18. 678RoboticsarXiv:2607.18016

    Closing the Loop in Humanoid VLA: Persistent 3D Object Tokens for Verifiable Loco-Manipulation

    휴머노이드 로봇이 물체를 3D 기록으로 계속 붙들게 만들어, 행동 생성과 성공 검증을 같은 상태로 돌린 연구다.

    긴 작업을 하는 휴머노이드 로봇은 걷고 잡고 가리고 실패하는 동안에도 같은 물체를 계속 같은 물체로 알아봐야 한다. 저자들은 행동을 정할 때 쓰는 물체 상태와 성공을 판정할 때 쓰는 물체 상태가 어긋나는 문제를 물체 상태 어긋남으로 정의했다. 해결책으로 RGB-D(색 영상과 깊이 영상) 관측에서 역할별 3D 물체 기록을 만들어 유지하고, 이를 토큰으로 바꿔 전신 행동 모델에 넣는 POT를 제안했다. 같은 기록을 기하 조건 검사에도 써서 실행 후 검증과 복구까지 한 고리로 묶었고, 실제 Unitree G1에서 성공률을 39/80에서 71/80으로 올렸다.

    • 긴 작업에서 로봇이 실패하는 이유는 말을 못 알아들어서가 아니라, 행동용 물체 상태와 검증용 물체 상태가 달라지기 때문이라고 짚었다.
    • POT는 대상, 목적지, 지지면, 인계 상대 같은 역할 칸에 물체를 묶어두고, 행동 한 덩어리가 끝날 때마다 3D 위치 근거를 새로 갱신한다.
    • 물체 기록은 8칸에 칸당 33개 특징을 담은 고정 형식 토큰으로 바뀌어 전신 행동 모델의 입력 순서에 끼워 넣어진다.
    • 같은 기록으로 잡았는지, 담겼는지, 놓였는지를 기하 조건으로 검사해서, 실패면 다시 보기와 재시도와 재계획을 부른다.
    • 실물 Unitree G1의 8개 작업군에서 동일 조건 GR00T-N1.7 기준선 39/80을 71/80으로 올렸고, 컵 쌓기는 1/10에서 8/10으로 뛰었다.
    • 제거 실험에서 토큰만 쓰면 15/40에서 31/40, 검증만 쓰면 22/40, 둘 다 쓰면 34/40으로, 토큰 조건화가 성능의 주된 원인임을 보였다.
    초록PDF
  19. 677RoboticsarXiv:2607.18060

    RoboHarness: Memory-Driven Orchestration of Heterogeneous Robot Policies for Long-Horizon Planning

    서로 다른 방식으로 만들어진 로봇 제어 정책들을 하나의 하네스에 스킬로 감싸고, 실행 기억으로 각 정책이 잘하는 범위를 파악해 골라 쓰게 만든 프레임워크다.

    긴 작업을 하는 로봇에서는 어느 한 가지 제어 방식도 전 구간을 잘하지 못한다. 시각언어행동 모델은 말귀는 잘 알아듣지만 정밀도가 떨어지고, 강화학습 정책은 학습 분포를 벗어나면 무너지고, 기호와 기하 기반 계획기는 미리 정한 추상화를 벗어나면 약하다. RoboHarness는 이렇게 따로 개발된 정책들을 재사용 가능한 에이전트 스킬로 감싸고, 여러 형태의 실행 기억과 현장 증거로 각 정책의 능력 경계를 추정해 작업을 쪼개고 배분한다. 정책을 바꿔 넘길 때 생기는 분포 불일치는 메모리 브리지가 다음 정책의 정상 동작 구간으로 로봇을 미리 데려다 놓는 방식으로 해결하며, 세 개 공개 벤치마크와 자체 500개 과제, 실제 로봇 135회 실험에서 효과를 보였다.

    • 긴 작업을 한 정책으로 푸는 대신, 능력 경계가 서로 다른 이질적 정책들을 조율하는 문제로 다시 정의했다.
    • 기존 계획 방법은 능력 범위가 고정되고 겹치지 않는 동질적 스킬을 가정하지만, 실제 정책의 능력 경계는 상황에 따라 달라진다는 점을 지적한다.
    • 이해 스킬, 기억 스킬, 자기진화 스킬 세 묶음을 두어 상황 해석, 능력 경계 추정, 실행 경험 기반 보정을 맡긴다.
    • 메모리 브리지는 다음 정책과 연결된 실행 궤적을 꺼내 그 정책의 정상 입력 구간을 추정하고, 로봇을 그 구간으로 유도해 재학습 없이 인수인계를 안정시킨다.
    • 500개 장기 과제 절제 실험에서 전체 시스템은 성공률 86.0퍼센트, 메모리 브리지 제거는 60.4퍼센트, 이해 스킬 제거는 37.6퍼센트였고 단일 정책만 쓰면 0퍼센트였다.
    • 실제 로봇 135회 실험에서 블록 재은닉 교란 시 성공률이 86.7퍼센트에서 66.7퍼센트로 떨어졌지만, 구조물 일부 해체 후에도 80.0퍼센트를 유지했다.
    초록PDF
  20. 676Machine LearningarXiv:2607.17247

    Distilled Reinforcement Learning for LLM Post-training

    교사 모델의 선호를 강화학습 목적함수 안에 직접 섞어 넣어, 기존 강화학습과 온폴리시 증류의 약점을 동시에 푼 사후학습 방법이다.

    대형언어모델 사후학습(post-training, 사전학습 뒤 성능을 다듬는 단계)의 두 갈래인 강화학습과 온폴리시 증류는 각각 약점이 있다. 강화학습은 응답 전체에 하나의 보상만 주어 어느 토큰이 잘했는지 가리기 어렵고, 새 지식을 못 배운다. 온폴리시 증류는 교사 분포를 무조건 따라해서, 비슷한 교사는 줄 게 없고 많이 다른 교사는 오히려 방해가 된다. 저자들은 Distilled RL을 제안해, 교사와 옛 학생 정책 사이의 역방향 중요도 비율로 강화학습 신호를 토큰 단위로 재분배하고, 음의 이득 응답에는 교사 가중치를 끄고, 응답 단위 기하평균 정규화로 길이에 따른 신호 약화를 없앴다. 같은 계열과 다른 계열 증류 모두에서 강화학습, 온폴리시 증류, 둘의 단순 결합보다 pass@1과 pass@k가 일관되게 높았다.

    • 강화학습은 응답 하나에 보상 하나만 주기 때문에 어느 중간 추론 단계를 칭찬할지 가리기 어렵고, 학생이 이미 할 수 있는 행동을 강화할 뿐 새 지식을 넣지는 못한다.
    • 온폴리시 증류는 KL 발산으로 교사 분포를 무조건 따라하게 만들어, 교사가 너무 비슷하면 배울 게 없고 계열이 다르면 잡음이 커지는 딜레마에 빠진다.
    • Distilled RL은 별도의 모방 목적을 두지 않고, 교사 정책과 옛 학생 정책의 역방향 중요도 비율로 강화학습의 학습 신호 자체를 토큰별로 다시 나눈다.
    • 세 부품으로 구성한다. 비율 잘라내기가 붙은 역방향 중요도 샘플링, 이득이 음수인 응답에는 가중치를 1로 되돌리는 음성 표본 리셋, 응답 안 비율들의 기하평균을 1로 맞추는 응답 단위 기하 정규화다.
    • 음성 표본 리셋을 빼면 평균 pass@1이 Qwen3-4B에서 8.81점, DSQW-1.5B에서 6.39점 떨어져 세 부품 중 가장 중요했다.
    • 특히 교사와 학생의 계열이 다른 상황에서 이점이 컸다. 이 조건에서 온폴리시 증류는 강화학습보다 계속 뒤처졌지만 Distilled RL은 모든 기준선을 앞섰다.
    초록PDF
  21. 675Computer VisionarXiv:2607.18227

    FlowMimic: Mask-free Visual Editing and Generation with Pixel-pair Warped Flow Field for Online Video Editing Data Generation and Modality Mimicry

    이미지 편집 데이터만으로 영상 편집을 배우게 만드는 픽셀쌍 시간 왜곡 흐름장을 제안한 논문이다.

    영상 편집 학습 데이터는 마스크 라벨링, I2V 모델 합성, VLM 필터링 같은 손이 많이 가는 공정에 의존해서 작업 종류가 잘 안 늘어난다. 저자들은 영상 편집의 본질이 "첫 프레임에서 정해진 픽셀 단위 편집 대응을 시간축으로 유지하는 것"이라고 보고, 이미지 편집 쌍에서 실시간으로 영상 편집 샘플을 만들어내는 픽셀쌍 4D 시간 왜곡 흐름장을 만들었다. 또 이미지를 한 프레임짜리 영상으로 보고, 두 양식의 출력 분포를 서로 흉내내게 하는 modality mimic 생성 손실과 편집 손실을 설계했다. 여기에 지시문이 가리키는 영역만 고치도록 참조 표현 분할 같은 감각 과제와 잠재공간, 어텐션 수준 손실을 붙여 마스크 없이 편집 영역을 스스로 찾게 했다.

    • 영상 편집 학습에 현실적으로 자연스러운 영상 쌍은 필요 없고, 첫 프레임의 픽셀 대응이 시간축으로 일관되게 유지되기만 하면 된다는 것이 핵심 주장이다.
    • 입력 이미지와 목표 이미지를 각각 3D 격자로 만들고 격자 역샘플링으로 픽셀쌍 4D 시간 왜곡 흐름장을 구성해, 이미지 편집 샘플에서 영상 편집 샘플을 실시간으로 생성한다.
    • 이미지를 한 프레임 영상으로 보고, T2I가 T2V의 사실감을 흉내내고 V2V 편집이 더 빨리 수렴하는 I2I 편집을 흉내내도록 두 가지 modality mimic 손실을 둔다.
    • 참조 표현 분할 등 감각 관련 과제와 편집영역 인식 잠재 손실, 어텐션 손실을 넣어 별도 MLLM이나 추론용 마스크 입력 없이 편집 영역을 모델이 스스로 찾게 했다.
    • Wan2.1-T2V-1.3B 위에 후속 학습을 했고, 학습률을 5e-6에서 1e-5로 워밍업하면 수천 스텝 만에 영상 편집 반응이 나타났다.
    • 특별히 만든 영상 편집 데이터를 하나도 쓰지 않고도 다양한 편집 과제가 되고, 언어로 지목한 객체를 영상에서 분할하고 추적하는 SAM3 같은 능력까지 나타났다.
    초록PDF
  22. 674Computer VisionarXiv:2607.17967

    Fine-Detail Monocular Geometry Estimation with Self-Guided Sparse Volumetric Refinement

    단일 사진에서 3D 형태를 뽑을 때 생기는 가는 구조물 뭉개짐을, 2D 평면 대신 3D 희소 복셀 공간에서 다듬어 해결한 논문이다.

    사진 한 장으로 3D 좌표를 예측하는 기존 모델은 전체 배치는 그럴듯해도 울타리나 기둥 같은 가늘고 긴 물체가 뒤틀린다. 저자들은 원인을 구조적 불일치로 본다. 3D 기하를 2D 이미지 평면 위에서 디코딩하다 보니, 화면에서만 가까울 뿐 실제로는 멀리 떨어진 면의 특징이 섞인다는 것이다. 이를 풀려고 기반 모델 MoGe-2가 낸 거친 점 지도를 희소 복셀(빈 공간을 빼고 물체가 있는 칸만 저장하는 3차원 격자) 껍질로 올린 뒤, 3D 희소 합성곱 U-Net으로 반복해서 깊이 보정값을 예측하는 SSR 모듈을 붙였다. 여러 데이터셋의 제로샷 평가에서 국소 기하 정확도가 크게 올랐고 전역 정확도는 그대로 유지됐다.

    • 기존 단안 기하 추정 모델의 한계를 성능 부족이 아니라 구조 불일치로 진단했다. 3D 정보를 2D 좌표계에서 디코딩하면 깊이 경계를 넘어 특징이 섞인다.
    • 해법은 기하 모델링을 2D 이미지 평면에서 3D 공간으로 올리는 것이다. 특징 이웃 관계를 화면 거리 대신 3D 거리로 정의한다.
    • 점 지도를 (X/Z, Y/Z, log Z)로 바꿔 로그 깊이만 보정하도록 만들고, 이 값을 해상도 D로 양자화해 희소 복셀 껍질을 만든다.
    • 희소 3D U-Net이 각 반복마다 로그 깊이 잔차를 예측하고, 그 결과가 다음 반복의 복셀 구조를 다시 정한다. 이 자기 유도 방식 덕에 계산량이 점유 복셀 수에 비례한다.
    • 파라미터 수를 맞춘 2D U-Net 대체 실험에서는 국소 지표가 기반 모델과 비슷하거나 오히려 나빠졌다. 개선의 원인이 용량이 아니라 3D 귀납 편향임을 보였다.
    • K=3으로 학습했는데 추론에서 K=7까지 늘려도 지표가 유지되거나 조금 좋아졌다. 학습한 보정이 안정적으로 수렴한다는 뜻이다.
    초록PDF
  23. 673Computer VisionarXiv:2607.17585

    Pixel-Space Diffusion Transformers

    VAE 압축 없이 원본 픽셀에서 바로 이미지를 만드는 픽셀공간 확산 트랜스포머 연구들을 처음으로 한데 모아 정리한 서베이 논문이다.

    잠재확산모델은 VAE로 이미지를 압축한 뒤 그 공간에서 잡음을 지우는 2단계 방식이라 계산은 싸지만, 고정된 압축기가 미세 질감과 경계를 버리고 복원 목표와 생성 목표가 어긋나는 한계가 있다. 이 논문은 그 병목을 없애고 원본 픽셀을 직접 다루는 픽셀공간 확산 트랜스포머 계열을 세 축으로 정리한다. 구조 설계, 연속 생성 수식, 통합 멀티모달 모델이 그 세 축이다. 저자들은 픽셀, 텍스트, 작업 조건을 하나의 토큰 공간에 올려 단일 트랜스포머로 처리하면 시각 이해와 생성의 간극을 줄일 수 있다고 본다.

    • 잠재확산은 VAE의 손실 압축 때문에 고주파 질감과 날카로운 경계가 되돌릴 수 없이 사라지는 정보 병목을 안고 있다고 지적한다.
    • 복원을 잘하도록 학습한 압축기와 생성을 잘하도록 학습한 확산모델의 목표가 서로 달라 끝까지 한 번에 최적화하기 어렵다는 점을 핵심 문제로 짚는다.
    • 픽셀공간으로 돌아가면 단일 단계 학습이 가능해지지만, 잡음 일정, 손실 가중, 토큰 효율, 확장 가능한 구조 설계라는 새 난제가 생긴다고 정리한다.
    • 최근 방법들은 깨끗한 원본을 바로 예측하는 x0 예측 방식으로 학습 경로를 데이터 표면에 고정해 수렴을 앞당긴다고 소개한다.
    • 다중 가지 구조, 주파수 분리, 세밀한 토큰화로 전역 구조와 미세 질감을 서로 다른 부품이 나눠 맡게 하는 흐름을 정리한다.
    • 픽셀과 텍스트와 작업 조건을 공유 토큰 공간에 올려 하나의 트랜스포머로 학습하면 이해와 생성을 함께 하는 통합 시각 기반모델로 갈 수 있다고 전망한다.
    초록PDF
  24. 672ResearcharXiv:2607.18238

    Color superconductors and holon metals from doping a Fractional Chern insulator

    분수 천 절연체(FCI)에 구멍을 주입했을 때 나오는 금속과 초전도 상들을, 쿼크의 색초전도와 같은 틀로 한 번에 설명한 이론 논문이다.

    전자를 세 개의 파톤(부분입자) f1, f2, f3의 곱으로 쪼개는 구성을 출발점으로 삼는다. C=1/3 분수 천 절연체를 도핑하면 저에너지 이론이 SU(3) 게이지 대칭과 SU(3) 밸리 대칭을 가지며, 전하 -e/3인 홀론이 아홉 개의 페르미 주머니를 만든다. 홀론을 쿼크로 보면 고에너지 물리의 색초전도와 같은 짝짓기 메커니즘이 작동해, 각운동량 L=3n이고 카이랄 중심전하가 c-=m/2(m은 홀수)인 전하 2e 초전도체가 나온다. 저자는 이 틀에서 Z3 직교 금속 두 종류와 삼각격자 공간군을 온전히 지키는 U(1)^2 홀론 금속까지 하나의 계보로 유도한다.

    • 전자를 c(r)=f1(r)f2(r)f3(r)로 쪼개는 파톤 구성으로, 도핑된 분수 천 절연체의 금속상과 초전도상을 하나의 틀에 담았다.
    • 각 색(color)이 밸리 세 개씩 구멍 주머니를 가져, 전하 -e/3 홀론이 아홉 개의 주머니를 이룬다.
    • SU(3) 게이지장이 색 반대칭 채널의 짝짓기를 매개해, 전하 e/3 애니온 기체가 따로 묶이는 단계 없이 곧바로 전하 2e 초전도 상태로 들어갈 수 있음을 보인다.
    • 아홉 주머니를 모두 약하게 짝지으면 c-=-3/2가 되어 f-if 초전도체의 BCS 기대값과 다르다. 즉 애니온 초전도체에서는 중심전하와 쌍의 각운동량 사이의 통상적 관계가 깨질 수 있다.
    • 입자-정공 히그스장을 넣으면 주머니가 하나 또는 셋인 Z3 직교 금속 두 개가 나오고, 밸리 대칭을 삼각격자 공간군으로 줄이면 C3를 깨지 않는 세 주머니 U(1)^2 홀론 금속이 가능하다.
    • 화학퍼텐셜로 조절하는 FCI에서 초전도로의 연속 전이는 Z3 금속에서는 불가능하고 SU(3) 또는 U(1)^2 홀론 금속에서만 가능해, 아홉 페르미온 이론이 자연스러운 출발점이라고 주장한다.
    초록PDF
  25. 671Computer VisionarXiv:2607.18217

    HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement

    사람과 사물이 함께 나오는 맞춤형 영상 생성에서, 멀티모달 대형언어모델을 텍스트 인코더를 건드리지 않고 붙이는 방식을 제안한 논문이다.

    참조 이미지로 사람과 사물이 상호작용하는 영상을 만드는 작업에서, 기존 방법은 인물 충실도와 상호작용 정확도를 동시에 잡지 못했고 같은 사물의 여러 참조 이미지(다시점, 글자 지도)를 묶어 이해하지 못했다. HOMIE는 텍스트 인코더를 그대로 두고, 멀티모달 대형언어모델의 특징을 영상 토큰과 함께 셀프 어텐션 단계에 넣는 전역 멀티모달 안내(GMG)를 제안한다. 또 토큰이 어느 모달리티에서 왔고 어느 참조에 속하는지 구분하는 모달리티 참조 임베딩(MRE)을 붙여 같은 사물의 참조들을 하나로 묶는다. 결과로 여러 HOCVP 과제에서 최고 성능을 냈고, 특히 로고를 사물에 올바로 붙이는 추론과 글자 정확도에서 앞섰다.

    • 문제 설정: 참조 이미지가 서로 다른 대상인 경우(inter-subject)와 같은 대상의 여러 장인 경우(intra-subject)를 하나의 틀로 다룬다.
    • 기존 두 방식의 한계를 지적한다. 멀티모달 모델 특징을 텍스트 임베딩 공간에 맞추면 텍스트 인코더의 조종력이 죽고, 텍스트 인코더를 아예 멀티모달 모델로 갈아끼우면 재정렬 비용이 크다.
    • 제안 1 GMG: 멀티모달 모델에서 뽑은 전역 표현을 쿼리와 키 계산 단계에서 영상 토큰에 더해 셀프 어텐션 안으로 지식을 넣는다.
    • 제안 2 MRE: 토큰의 모달리티와 참조 번호를 구분하는 학습 가능한 임베딩으로, 같은 사물의 다시점이나 글자 지도가 별개 물체로 복제되어 나오는 오류를 막는다.
    • 성능: 글자 인식 정확도가 SkyReels-V3 대비 21.8퍼센트 상대 개선, 다시점 지표 DINOrec 0.696으로 비교 대상 중 최고, 사용자 40명 평가에서 전체 품질 선호율 64.7퍼센트.
    • 제거 실험에서 GMG를 빼면 얼굴 유사도가 0.786에서 0.697로, MRE를 빼면 글자 정확도가 0.452에서 0.376으로 떨어진다.
    초록PDF
  26. 670LLMs / NLParXiv:2607.18213

    SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

    코딩 에이전트가 도구 출력을 읽을 때 이미 만들어 놓은 내부 표현만으로 어느 줄을 버릴지 판단하게 해서, 별도 채점 모델 없이 토큰을 최대 39% 줄인 연구다.

    코딩 에이전트는 cat, grep 같은 도구 출력에 토큰 예산 대부분을 쓰는데, 그 내용의 상당수는 다시 쓰이지 않는다. 기존 방법은 따로 채점 모델을 붙이고 매 턴 목표 힌트 질의를 쓰게 했다. 이 논문은 에이전트 백본이 도구 출력을 읽을 때 만든 마지막 층 은닉 상태 안에 이미 줄 단위 중요도가 들어 있음을 선형 프로브로 보였고(AUC 0.83), 그 위에 가벼운 판별 헤드를 붙인 SWE-Pruner Pro를 제안한다. 길이 인식 임베딩과 샘플별 균형 초점 손실을 더해, 오픈웨이트 백본 2종과 멀티턴 벤치마크 4종에서 최대 39% 토큰을 아끼면서 품질을 유지했고 MiMo-V2-Flash에서는 SWE-Bench Verified 해결률이 3.8퍼센트포인트 올랐다.

    • 핵심 논지는 가지치기 신호를 밖에서 다시 만들 필요가 없다는 것이다. 도구 출력을 읽는 순간 백본이 이미 그 판단을 표현 안에 담고 있다.
    • 근거로 Qwen3-Coder-Next를 얼린 뒤 줄 단위로 은닉 상태를 평균 낸 로지스틱 회귀 프로브를 돌렸고, 보류 데이터에서 AUC 0.83, 최고 F1 0.63을 얻었다.
    • 방법은 프리필(입력을 한 번에 처리하는 단계)에서 나오는 마지막 층 은닉 상태를 작은 헤드가 읽어 토큰별 점수를 내고 줄 단위 유지 또는 삭제로 모으는 구조다.
    • 설계 요소 두 가지가 성능을 끌어올린다. 출력 줄 수를 넣는 길이 인식 임베딩과, 샘플마다 유지와 삭제 비율을 맞추는 균형 초점 손실이다.
    • 결과는 오픈웨이트 백본 2종과 멀티턴 벤치마크 4종에서 SWE-QA-Pro 39%, Oolong 30% 토큰 절감이며, MiMo-V2-Flash 기준 Oolong 정확도 2.2점, SWE-Bench Verified 해결률 3.8퍼센트포인트 상승을 함께 얻었다.
    • 추가 비용은 제한적이다. 추론 엔진 안에 헤드를 붙인 재생 실험에서 생성 총 시간 대비 15.0%의 벽시계 시간만 더 들었고 별도 모델 호출은 없다.
    초록PDF
  27. 669Computer VisionarXiv:2607.17423

    TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs

    영상에서 "무슨 일이 있었나"뿐 아니라 "언제 나왔나"를 여러 구간 묶음으로 집어내는 범용 모델을, 검증형 데이터 구축과 새 강화학습 보상으로 만들었다.

    영상 멀티모달 LLM은 내용을 설명은 잘하지만 그 근거가 영상 어디에 있는지는 잘 못 짚는다. TimeLens2는 근거를 개수가 정해지지 않은 구간 집합으로 보고, 데이터 만들 때부터 학습까지 일관되게 그 형태로 다룬다. 데이터는 캡션 기반 후보 제안, 독립 위치찾기, 여러 에이전트 합의, 의미 검증, 경계 다듬기의 단계로 93K를 만들었다. 학습은 지도학습으로 능력을 익히고 GRPO 강화학습으로 위치를 보정하는데, 겹침 지표(tIoU)에 더해 1차원 Wasserstein 거리 보상을 써서 안 겹치는 예측에도 방향을 준다. 7개 벤치마크에서 2B, 4B, 8B 모델이 각각 백본 대비 14.2, 13.0, 18.1 mIoU 올랐고 397B 오픈 모델도 넘었다.

    • 영상 근거 찾기를 하나의 구간이 아니라 개수가 변하는 구간 집합 문제로 정의했다. 긴 영상, 여러 번 반복되는 장면, 1인칭 영상, 질문형 요청까지 한 모델로 다룬다.
    • 데이터 품질 문제를 한 번에 라벨을 다는 방식 대신 단계별 검증으로 풀었다. 후보 제안, 독립 재탐색, 에이전트 합의, 의미 검증, 경계 정밀화 순으로 좁혀간다.
    • 핵심 기법은 시간 Wasserstein 보상이다. 예측 구간과 정답 구간을 각각 균등 분포로 보고 정확한 1차원 W1 거리를 계산해, 짝짓기 없이도 조밀한 피드백을 준다.
    • 겹침 기반 보상(tIoU)은 예측이 정답과 하나도 안 겹치면 모두 0이라 학습 신호가 없다. Wasserstein 보상은 이 상황에서 아깝게 빗나간 경우와 멀리 빗나간 경우를 구분해준다.
    • 실측으로 보상이 전부 같아 학습이 안 되던 그룹 비율이 13.8%에서 3.6%로 줄었고, 전부 0이던 그룹의 75.8%가 다시 순위를 갖게 됐다.
    • 작은 모델이 훨씬 큰 모델을 이겼다는 점이 실용적이다. 답변에 시간 근거를 붙여 사람이 확인할 수 있게 만드는 방향이 통한다는 증거다.
    초록PDF
  28. 668Machine LearningarXiv:2607.18110

    LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks

    채점자 역할의 LLM을 점수 대신 글로 된 조언을 뽑는 코치로 바꿔, 정답이 없는 열린 과제 학습을 강화학습보다 잘 시킨 연구다.

    정답을 기계로 확인할 수 없는 열린 과제에서는 보통 LLM 심사자가 매긴 점수 하나로 강화학습을 돌린다. 이때 심사자가 쓴 긴 평가 글은 버려지고, 같은 점수를 받은 서로 다른 품질의 답이 구분되지 않는다. 저자들은 같은 심사 모델을 코치로 다시 쓰는 Experiential Learning(EL, 경험 학습)을 제안한다. 코치가 뽑은 재사용 가능한 조언을 교사 모델의 문맥으로 넣고, 정책 모델이 자기 응답 위에서 토큰 단위 역 KL을 줄이며 그 조언을 파라미터에 흡수한다. 두 정책 계열과 두 종류 피드백 모델에서 EL이 루브릭 기반 강화학습을 일관되게 앞섰고, 학습 분포 밖 일반화가 더 좋았으며 보상 해킹도 줄었다.

    • 점수 하나로 압축된 보상은 정보 병목이라, 특히 상위권에서 같은 최고점을 받은 답들을 구분하지 못한다는 문제 제기다.
    • 해법은 같은 피드백 모델을 심사자 대신 코치로 쓰는 것이다. 코치는 응답 평가를 일반화된 재사용 가능한 조언(경험 지식)으로 정리한다.
    • 그 조언을 교사 모델의 문맥으로 주고, 정책이 뽑은 응답을 따라 토큰 단위 역 KL 발산을 줄이는 온폴리시 문맥 증류로 정책에 내재화한다. 추론 때는 코치도 조언 문맥도 필요 없다.
    • 피드백 대역폭 비교로 동기를 설명한다. 1~10 정수 점수는 표본당 3.3비트, 어휘 15만에서 1024토큰 조언은 이론상 1만7600비트다.
    • 두 정책 계열에서, 피드백 모델이 정책 자신이든 상용 API 모델이든, EL이 루브릭 기반 강화학습보다 held-out 및 처음 보는 벤치마크에서 더 좋았다.
    • 강화학습은 보상을 좇아 학습셋 보상 과최적화(보상 해킹)에 빠지기 쉬운 반면, EL은 교사 분포를 따라가는 분포 정합이라 그 실패가 줄어든다.
    초록PDF
  29. 667RoboticsarXiv:2607.18231

    FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation

    로봇 조작 모델에 힘 센서 기록을 압축한 기억 토큰을 붙여, 눈으로는 구분이 안 되는 반복 접촉 작업을 세고 수행하게 만든 연구다.

    버튼을 몇 번 눌렀는지처럼 과거 이력이 있어야 풀리는 조작 작업은 현재 화면만 보는 기존 VLA 모델로는 풀리지 않는다. 저자들은 손목의 6축 힘/토크 센서 기록 전체를 변분 오토인코더로 미리 학습해 8개의 짧은 기억 토큰으로 압축하고, 여기에 최근 관절 상태 기록을 더해 행동 생성 모듈의 조건으로 넣었다. 양팔 로봇으로 컵 안 숨은 블록 찾기, 버튼 N번 누르기, 그릇 N번 닦기 세 과제를 실험했다. 평균 성공률 83.3%로 기억 없는 기준 모델 27.8%와 시각 기억 기준 모델 53.7%를 크게 앞섰고, 추론 지연은 기준 대비 3ms만 늘었다.

    • 접촉이 많은 반복 작업은 화면 변화가 거의 없어서 시각 기억으로는 진행 상황을 셀 수 없다는 문제를 짚었다.
    • 힘과 토크 시계열을 재구성 목표로 변분 오토인코더를 먼저 학습시키고, 그 인코더를 얼려 잠재 표현을 기억 토큰으로 썼다.
    • 힘 기억만 쓰면 접촉 전 움직임이 불안정해져서, 짧은 관절 상태 기록을 함께 넣어 보완했다.
    • 세 과제 평균 성공률 83.3%로 기억 없는 파이제로 27.8%, 힘 단기창 기반 TA-VLA 22.2%, 시각 기억 파이-MEM 53.7%를 앞섰다.
    • 추론 지연은 60.7ms에서 64.0ms로 3.3ms만 늘어난 반면, 시각 기억은 프레임 수에 따라 100ms에서 190ms까지 커졌다.
    • 기억 토큰 수는 8개가 최적이었고, 32개로 늘리면 사전학습된 행동 모듈의 토큰 한도를 넘어 오히려 성능이 떨어졌다.
    초록PDF
  30. 666RoboticsarXiv:2607.18236

    Patch Policy: Efficient Embodied Control via Dense Visual Representations

    얼려둔 ViT의 조밀한 패치 특징을 그대로 먹는 가벼운 로봇 정책으로, 거대 VLA보다 적은 파라미터로 더 잘 움직이게 만든 연구다.

    로봇 정책은 보통 이미지를 벡터 하나로 눌러 담거나, 반대로 수십억 파라미터짜리 시각언어 모델을 통째로 미세조정한다. 앞은 정밀 조작에 필요한 공간 정보를 잃고, 뒤는 느리고 비싸다. Patch Policy는 사전학습 ViT의 패치 토큰을 압축 없이 그대로 정책 트랜스포머에 넣되, 프레임 안은 양방향, 프레임 사이는 인과로 막는 블록 인과 어텐션 마스크만 추가한다. 시뮬레이션 4종과 실제 로봇 3종에서 전역 특징 기반 정책 대비 40% 상대 개선, 미세조정된 OpenVLA-OFT 대비 18% 우위를 파라미터 약 0.7%로 달성했다.

    • 핵심 주장은 간단하다. 시각운동 정책에 필요한 것은 거대한 생성 모델이 아니라 조밀한 시각 특징 그 자체다.
    • 방법은 최소 확장이다. 얼린 ViT의 패치 토큰을 모두 이어붙이고, 프레임 내부는 서로 다 보게 하고 프레임 사이만 과거로 막는 블록 인과 마스크를 쓴다.
    • 정책 머리는 갈아끼울 수 있다. VQ-BeT와 Diffusion Policy 둘 다에서 동작하며 인코더는 미세조정하지 않는다.
    • 결과는 시뮬레이션 4종(Push-T, LIBERO Goal, BlockPush, Cube)과 프랑카 로봇 실제 3작업에서 전역 특징 대비 40% 상대 개선이다.
    • 효율이 강점이다. VQ-BeT 기반은 DINOv2 패치를 써도 추론 10.99ms, OpenVLA-OFT는 61.71ms다. 학습도 6.5 GPU시간 대 16 GPU시간이다.
    • 패치를 줄이면 손해다. Push-T에서 256패치 0.69가 64패치 0.52, 1패치 0.48로 떨어져 공간 해상도가 정밀 조작의 핵심임을 보였다.
    초록PDF
  31. 665RoboticsarXiv:2607.17977

    RynnBrain 1.1: Towards More Capable and Generalizable Embodied Foundation Model

    알리바바 DAMO가 로봇 조작에 바로 붙는 체화 기반모델 RynnBrain 1.1(2B, 9B, 122B-A10B)을 내놓고, 여러 종류의 로봇 몸체를 하나의 행동 공간으로 묶은 VLA 정책까지 실물 로봇에서 검증했다.

    로봇이 쓸 수 있는 시각언어모델은 보통 "보고 이해하는" 데서 멈추고, 실제 팔을 움직이는 행동으로 이어지지 않는다는 문제가 있다. 연구진은 Qwen3.5를 바탕으로 2B, 9B, 122B-A10B 세 크기의 체화 기반모델을 같은 학습 틀로 만들고, 잡을 지점과 그리퍼 회전각을 찍는 접촉점 예측과 언어로 지시하는 3D 위치찾기를 사전학습 과제로 새로 넣었다. 그 위에 여러 로봇에 공통으로 쓰는 통합 행동 공간과 몸체별 마스킹을 붙인 RynnBrain-VLA를 만들어 Unitree G1, Astribot-S1, Tianji-Wuji 세 플랫폼에 올렸다. 122B-A10B는 VSI-Bench, MMSI, RefSpatial-Bench에서 비교한 상용 및 공개 모델을 모두 앞섰고, 실물 로봇에서 평균 성공률이 Qwen 기반 정책 60.00%에서 86.67%로 올랐다.

    • 핵심 주장은 시각 이해를 잘하는 것만으로 부족하고, 표현과 출력이 로봇 조작에 바로 쓰이는 형태여야 한다는 것이다.
    • 방법으로 접촉점 예측(잡을 중심점과 그리퍼 평면 회전각)과 네이티브 3D 위치찾기를 사전학습 과제로 추가했고, 3D 위치찾기는 2B와 9B 모델에 들어간다.
    • 구조는 Qwen3.5 기반의 디코더 전용 시각언어모델이며, DeepStack과 Interleaved MRoPE로 이미지, 여러 시점 이미지, 영상을 길게 다룬다.
    • 여러 로봇을 한 정책으로 묶기 위해 몸 부위별로 의미를 맞춘 통합 행동 공간을 두고, 로봇마다 있는 축만 켜는 마스킹을 적용했다.
    • 결과로 실물 로봇 3개 과제 평균 성공률이 RynnBrain-VLA 86.67%, GR00T N1.7 73.33%, π0.5 65.00%, Qwen 기반 60.00%였다.
    • 여러 과제와 여러 로봇을 함께 학습한 제너럴리스트 버전이 과제별 개별 학습보다 오히려 나아서(성공률 86.67%에서 91.67%), 이종 로봇 데이터가 서로를 보완한다는 근거를 보였다.
    초록PDF
  32. 664Computer VisionarXiv:2607.17965

    Exploration Matters for Escaping the Blur Trap in 3D Gaussian Splatting

    3D Gaussian Splatting이 특정 구간에서 계속 흐릿해지는 원인을 기울기 편향으로 수학적으로 밝히고, 무작위 씨뿌리기와 무작위 쪼개기라는 단순한 탐색 두 가지로 해결한 논문.

    3D Gaussian Splatting(3DGS, 3차원 장면을 가우시안 알갱이로 표현해 실시간 렌더링하는 기법)은 멀리 있는 산이나 가려진 뒤쪽 영역이 학습 뷰를 아무리 늘려도 흐릿하게 남는 고질적 문제가 있다. 저자들은 이를 Blur Trap이라 이름 붙이고, 3D 위치 갱신량이 2D 위치 기울기에 의해 지배되며 그 갱신 방향이 시선 광선과 항상 직각이라는 점을 증명해 깊이 방향 신호가 아예 없음을 보였다. 또 알파 블렌딩(앞뒤 겹침 합성)이 가려진 알갱이의 기울기를 급격히 줄여 밀도 증가 조건이 발동되지 않는다는 점도 함께 지적했다. 해결책으로 무작위 위치에 새 가우시안을 뿌리는 Random Seeding과 기울기와 무관하게 일부를 쪼개는 Random Splitting을 넣었고, 5개 데이터셋에서 두 조작이 각자 담당한 흐림을 서로 보완하며 화질을 올렸다.

    • 핵심 논지는 3DGS의 흐림이 데이터 부족이나 모델 용량 문제가 아니라 최적화 동역학 자체의 편향에서 온다는 것이다.
    • 이론적으로 2D 기울기에서 유도된 3D 위치 갱신은 카메라에서 가우시안으로 향하는 시선 광선과 직각임을 증명했고, 2D 위치 성분이 나머지 두 성분보다 학습 내내 2~3자릿수 크게 지배한다고 보고했다.
    • 흐림을 두 종류로 나눴다. 깊이 신호가 없어 생기는 먼쪽 흐림, 알파 블렌딩이 밀도 증가 신호를 눌러 생기는 가까운쪽 흐림이다.
    • 처방은 아주 단순하다. 무작위 위치에 후보 가우시안을 주기적으로 뿌리고(불량 후보는 불투명도 가지치기로 제거), 누적 기울기와 상관없이 일부 가우시안을 무작위로 쪼갠다.
    • Mip-NeRF 360, Tanks and Temples, Deep Blending, OMMO, DL3DV 다섯 데이터셋과 4DGS 확장에서 화질이 올랐고, Tanks and Temples PSNR이 23.73에서 24.37로, DL3DV가 27.16에서 28.43으로 개선됐다.
    • 밀도 임계값을 낮춰 억지로 쪼개는 방식은 알갱이 수만 폭증하고 화질은 거의 안 올라, 이득이 단순 개수 증가가 아니라 탐색 자체에서 온다는 점을 대조 실험으로 보였다.
    초록PDF
  33. 663AI / GeneralarXiv:2607.15901

    DSWorld: A Data Science World Model for Efficient Autonomous Agents

    데이터사이언스 워크플로에서 실제 실행 없이 다음 상태를 예측하는 '세계 모델'을 제안해 에이전트 학습을 14배, 추론을 3~6배 가속한 논문이다.

    이 논문은 한마디로 데이터사이언스 작업의 결과를 미리 예측하는 세계 모델이다. 무거운 계산이 필요한 작업은 LLM 시뮬레이터가 예측하고, 가벼운 작업은 실제로 실행한다. 이를 통해 RL 기반 에이전트 학습을 14배, 검색 기반 추론을 3~6배 가속하면서도 성능은 유지했다.

    • 데이터사이언스 작업 상태 전이(state transition)를 예측하는 '데이터 사이언스 세계 모델' 개념을 처음 제안했다.
    • 가벼운 작업은 실제 실행, 무거운 작업은 LLM 시뮬레이터로 예측하는 비용 인식 라우팅을 도입했다.
    • RL 에이전트 학습을 약 14배 가속하고, 검색 기반 추론을 3~6배 가속했다.
    • 전이 예측 과제에서 최강 LLM 기준보다 35.6% 높은 정확도를 기록했다.
    초록PDF
  34. 662Computer VisionarXiv:2607.15619

    StructGen: Disambiguating Multi-Reference Image Generation via Structured Context Modeling

    여러 참조 이미지를 조합해 새 이미지를 생성할 때, 구조화된 딕셔너리 형식으로 지시어를 주어 모호함을 없앤 멀티레퍼런스 이미지 생성 프레임워크다.

    이 논문은 한마디로 여러 참조 이미지의 속성을 조합해 새 이미지를 만들 때, 자연어 대신 구조화된 딕셔너리 형식을 써서 정확도를 높인 방법이다. 각 이미지에 식별자를 부여하고, 지시어에서 ID로 직접 참조하게 한다. 고품질 실제 이미지로 구성된 데이터셋과 전용 벤치마크도 함께 제안했다.

    • 딕셔너리 형식으로 각 참조 이미지에 식별자를 부여해 자연어 지시어의 모호함을 제거했다.
    • 실제 고품질 이미지 기반의 구조화된 학습 데이터셋을 새로 구축했다.
    • 멀티레퍼런스 평가용 전용 벤치마크를 제안했다.
    • 기존 방법들 대비 복잡한 다중 참조 상황에서 일관되게 더 나은 결과를 보였다.
    초록PDF
  35. 661Information RetrievalarXiv:2607.15591

    RecGPT-V3 Technical Report

    타오바오에 실배포된 추천 시스템으로, 사용자 기억을 누적 관리하고 잠재 토큰으로 추론 비용을 200배 줄인 LLM 추천 에이전트다.

    이 논문은 한마디로 LLM 기반 추천 시스템의 3세대 버전으로, 상태 기반 메모리와 잠재 추론을 결합해 정확도와 효율을 동시에 잡았다. Memory Hub가 사용자 행동 이력을 요약해 55.8% 계산을 줄이고, Latent Intent Reasoning은 긴 사고 사슬을 200배 적은 토큰으로 압축한다. 타오바오 메인 피드에 배포되어 GMV +3.97%, GPU 비용 52.4% 절감을 달성했다.

    • Memory Hub가 사용자 행동 이력을 94.5% 압축된 메모리 단위로 관리해 매 요청마다 전체 이력을 재처리하지 않는다.
    • Semantic ID를 LLM이 직접 추론하는 하이브리드 모달 모델로 태그-아이템 정보 병목을 해결했다.
    • 잠재 CoT 토큰으로 3000토큰 추론을 15토큰으로 압축(200배 절감)하면서도 필요 시 복원 가능하다.
    • 실배포 A/B 테스트에서 IPV +1.28%, CTR +1.00%, GMV +3.97%, GPU 비용 52.4% 절감했다.
    초록PDF
  36. 660RoboticsarXiv:2607.15330

    Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories

    10만 시간 이상의 실제 로봇 조작 데이터로 학습한 VLA 파운데이션 모델이다. 새 환경에서 제로샷 동작하고 소량 데이터로 새 작업을 학습한다.

    이 논문은 한마디로 10만 시간 넘는 실제 로봇 조작 궤적으로 학습한 VLA(비전-언어-행동) 파운데이션 모델이다. 사전학습에는 UMI 기기로 수집한 대규모 궤적 데이터를 쓰고, 자동 라벨링 파이프라인으로 장면 변화를 자연어로 주석 단다. 후속학습에서 로봇 본체에 맞춰 정렬한다. RoboCasa365에서 57.6% 성공률로 종전 최고(46.6%)를 크게 뛰어넘었다.

    • 10만 시간 이상의 UMI 실제 조작 궤적에 VLM 기반 자동 라벨링 파이프라인을 적용했다.
    • 사전학습 단계에서 데이터와 모델 크기를 키울수록 성능이 일관되게 향상되는 스케일링 동작을 보였다.
    • RoboCasa365에서 57.6%로 종전 최고(46.6%)를 갱신했다.
    • 실제 로봇에서 10시간 이내 데이터로 새 작업을 평균 75% 성공률로 학습했다.
    초록PDF
  37. 659Computer VisionarXiv:2607.16107

    Audio-Visual Flamingo: Open Audio-Visual Intelligence for Long and Complex Videos

    긴 영상에서 영상과 소리를 같이 이해하는 멀티모달 LLM이다. 15개 이상 벤치마크에서 동급 최고 성능을 기록했다.

    이 논문은 한마디로 길고 복잡한 실제 영상에서 화면과 소리를 함께 이해하고 추론하는 오픈소스 멀티모달 LLM이다. 약 700만 개의 캡션·QA 데이터셋(AV-Skills)을 구축하고, 3단계 커리큘럼으로 학습시켰다. TAVIT라는 시간 기반 사고 사슬(reasoning chain)을 도입해 추론 과정을 영상 타임스탬프에 정확히 연결한다. 15개 이상 벤치마크에서 비슷한 크기의 오픈 모델을 뛰어넘었고, 일부에서는 클로즈드 모델도 추월했다.

    • 약 700만 캡션·QA 인스턴스로 구성된 AV-Skills 데이터셋을 공개했다.
    • 짧은 영상 인식에서 긴 영상(최대 15분) 추론까지 단계적으로 학습하는 3단계 커리큘럼을 설계했다.
    • TAVIT로 추론 중간 단계를 영상/오디오 타임스탬프에 정확히 매핑했다.
    • MMOU에서 60.2%로 동급 오픈소스 최고 성능을 기록했다.
    초록PDF
  38. 658LLMs / NLParXiv:2607.16051

    Loop the Loopies!

    같은 트랜스포머 층을 반복 재사용(루핑)해서 파라미터 대비 성능을 극대화한 MoE 언어모델 시리즈다. 같은 컴퓨트 예산에서 일반 트랜스포머를 능가한다.

    이 논문은 한마디로 트랜스포머를 반복 실행(루핑)해서 성능을 끌어올린 MoE 언어모델이다. Loopie-20B-A2B와 Loopie-6B-A0.6B를 만들었고, 같은 사전학습 컴퓨트 예산에서 일반 트랜스포머보다 더 나은 성능을 보였다. 후속학습으로 수학/코드 추론을 추가해 IMO와 IPhO에서 금메달 수준의 성능을 달성했다.

    • 층 단위 루핑(layer-loop) 방식을 도입해 기존 모델 전체 루핑(model-loop)보다 MoE에서 더 효율적임을 보였다.
    • 같은 컴퓨트 예산에서 vanilla 30B-A3B 모델을 능가했다.
    • AIME 92.10%, AMC 94.21%로 동급 최고 수학 추론 성능을 기록했다.
    • IMO 2025와 IPhO 2025에서 도구 없이 금메달 수준 성능을 달성했다.
    초록PDF
  39. 657Machine LearningarXiv:2607.16097

    Understanding Reasoning from Pretraining to Post-Training

    사전학습 단계가 강화학습(RL) 후속학습에 어떤 영향을 미치는지 체스를 테스트베드로 사용해 정량적으로 밝혀낸 논문이다.

    이 논문은 한마디로 사전학습과 RL 강화학습 사이의 관계를 체스로 실험하며 수학적으로 풀어낸 연구다. 5M~1B 파라미터 모델을 인간 체스 기보로 사전학습시키고, RL을 걸었더니 사전학습 손실이 RL 후 성능을 잘 예측했다. 더 깊이 분석하면, RL은 쉬운 문제에서는 기존 정답을 강화하고 어려운 문제에서는 새로운 정답을 발굴한다. 수학 도메인 1B 모델에서도 같은 패턴이 나타났다.

    • 5M~1B 파라미터 모델로 36가지 사전학습-RL 조합을 실험해, 사전학습 손실이 RL 후 성능을 예측하는 스케일링 법칙을 발견했다.
    • RL은 쉬운 문제에서는 기존 정답의 확률을 높이고, 어려운 문제에서는 SFT 때 거의 없던 정답을 끌어냈다.
    • 전체 컴퓨트 예산이 커질수록 RL에 더 많은 비중을 투자하는 것이 최적이라는 결과를 얻었다.
    • 체스뿐 아니라 수학 도메인(1B 언어모델, 10B~200B 토큰)에서도 사전학습이 길수록 RL 효율이 좋아지는 패턴이 확인됐다.
    초록PDF
  40. 656AI / GeneralarXiv:2607.13095

    Full-Pipeline Inference Optimization for MiMo-V2.5 Series: Pushing Hybrid SWA Efficiency to the Limit

    샤오미 MiMo-V2.5의 하이브리드 슬라이딩 윈도우 어텐션 + MoE + 멀티모달 구조를 실제 서비스에서 최고 효율로 끌어올린 전 파이프라인 추론 최적화 사례다.

    이 논문은 한마디로 Hybrid SWA(대부분 레이어에서 어텐션을 로컬 윈도우로 제한해 계산량을 ~7배 줄이는 기법)의 이론적 이득을 실제 서비스 환경에서 완전히 현실화한 추론 시스템 최적화 사례다. KVCache를 엄격한 O(W) 저장으로 리팩터링하고, RDMA 기반 분산 캐시(GCache)를 구축하며, 멀티모달 전처리까지 전 파이프라인을 최적화했다. 그 결과 Hybrid SWA + MoE + 멀티모달 복합 구조를 효율적으로 서비스하는 최초의 대규모 프로덕션 시스템을 구축했다.

    • KVCache를 Full Attention용과 SWA용으로 분리해, SWA 저장 공간을 이론 한계인 O(W)까지 압축했다 (기존 대비 ~7배 효율 향상).
    • GCache라는 RDMA 기반 분산 캐시 인프라를 구축해, 여러 노드 간 KVCache를 효율적으로 공유한다.
    • SWA-aware 프리픽스 캐시 트리를 새로 설계해, 기존 프리픽스 매칭이 SWA 환경에서 발생시키던 정확도 버그를 해결했다.
    • GPU 이미지 전처리, 병렬 비디오 디코딩(1시간 영상 156초→23초), 인코더 크로스 요청 배칭 등 멀티모달 파이프라인도 전면 최적화했다.
    • MTP(다중 토큰 예측)를 프리필 단계에서도 지원하도록 개선하여, 초기 디코딩 128 토큰에서 2.3배 가속을 달성했다.
    • NUMA 충돌 해결만으로도 엔드투엔드 성능이 약 10% 향상되는 등, 시스템 레벨 디테일이 성능에 큰 영향을 줌을 보였다.
    초록PDF
  41. 655Machine LearningarXiv:2607.13188

    Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes

    텍스트와 이미지를 동시에 생성하면서 서로의 결과를 실시간으로 교정하는 새로운 멀티모달 생성 프레임워크(SC-CMJP)를 제안했다.

    이 논문은 한마디로 텍스트(이해)와 이미지(생성)를 동시에 처리하면서 서로의 결정을 교정하는 새로운 생성 방식을 제안했다. 마스크드 디퓨전 모델(토큰을 점진적으로 드러내는 생성 모델)에서 텍스트와 이미지가 한 번의 디코딩 과정에서 서로의 확신도를 참고해 결정을 내린다. 잘못된 결정은 리마스킹(다시 숨기기)으로 되돌릴 수 있어 자가 교정이 가능하다. CO2Jump라는 추가 학습 없이 쓸 수 있는 샘플러를 제안했고, 이미지 편집·미로 찾기·노노그램 풀기에서 기존 방법을 능가했다.

    • 텍스트와 이미지를 한 번의 디코딩 과정에서 동시에 생성하며, 한쪽이 내린 결정을 다른 쪽이 검증하는 구조를 만들었다.
    • CO2Jump라는 학습 없이 바로 쓸 수 있는 샘플러를 제안했고, 이미지 편집·시각 추론 과제에서 기존 방법들을 능가했다.
    • 한 번 확정된 토큰도 증거가 바뀌면 다시 숨기는(remasking) 메커니즘을 넣어, 모순된 결과를 스스로 고친다.
    • JEdit-1M, JMaze-200K, JNono-200K 세 개의 대규모 멀티모달 데이터셋을 구축하고 공개할 예정이다.
    • 디노이징 스텝 수가 늘어날수록 성능이 지속적으로 향상되어, 크로스모달 결합의 이점이 누적됨을 보였다.
    초록PDF
  42. 654Machine LearningarXiv:2607.15207

    BadWAM: When World-Action Models Dream Right but Act Wrong

    로봇의 '상상'과 '행동'이 분리되는 취약점을 발견하고, 작은 영상 교란만으로 로봇이 상상은 제대로 하면서 행동은 실패하게 만드는 공격 프레임워크를 제시한 논문이다.

    이 논문은 한마디로 세계-행동 모델(WAM)의 치명적 취약점을 폭로한 연구다. WAM은 로봇이 미래를 상상하고 그에 맞춰 행동하는 구조인데, 작은 영상 교란만으로 '상상은 정상'인 채 '행동만 엉뚱하게' 만들 수 있다. 행동만 망가뜨리는 공격은 성공률을 96.5%에서 43.1%로 떨어뜨린다. 더 위험한 것은 상상까지 보존하는 은밀 공격으로, 안전 모니터가 미래 영상을 봐도 이상을 감지하기 어렵다.

    • WAM(세계-행동 모델)의 '상상'과 '행동'이 분리될 수 있다는 새로운 취약점을 최초로 발견했다.
    • 행동만 공격하는 방식은 로봇 작업 성공률을 96.5%에서 43.1%로, 절반 이하로 떨어뜨린다.
    • 상상은 보존하면서 행동만 조용히 왜곡하는 '은밀 공격'을 설계해, 기존 안전 모니터가 무력화됨을 보였다.
    • 공격이 한 WAM 변형에서 다른 변형으로 전이되며, 이 취약점이 특정 구현의 문제가 아님을 확인했다.
    • 간단한 전처리 방어로는 부족하며, 행동-상상 동기화를 직접 검사하는 새로운 안전 접근이 필요함을 시사한다.
    초록PDF
  43. 653Machine LearningarXiv:2607.13491

    DeepLoop: Depth Scaling for Looped Transformers

    루프 트랜스포머에서 가중치 공유로 인한 잔차 스케일링 문제를 수학적으로 분석하고, 더 안정적인 스케일링 공식을 제안한 논문이다.

    이 논문은 한마디로 같은 트랜스포머 층을 여러 번 돌리는 '루프 트랜스포머'에서 안정적으로 학습하기 위한 스케일링 공식을 새로 제안한 연구다. 층을 공유하면 같은 가중치가 여러 번 쓰이면서 기울기가 누적되어 불안정해진다. 저자들은 이 효과를 수학적으로 모델링하고, DeepNorm의 지수를 1/4에서 1/2로 올려야 한다는 것을 보였다. GPT-2 규모에서 루프가 늘어날수록 기존 방식보다 일관되게 성능이 좋아졌다.

    • 층을 공유하는 루프 트랜스포머에서 기울기 누적으로 인해 기존 DeepNorm 스케일링이 불충분하다는 것을 수학적으로 증명했다.
    • 지수를 1/4에서 1/2로 올리는 것만으로(α=(2N)^{1/2}, β=(8N)^{-1/2}) 루프가 늘어날 때 학습이 안정화된다.
    • GPT-2 small/medium 규모에서 루프 횟수가 늘어날수록 기존 방식 대비 일관된 성능 향상을 보였다.
    • ARC-AGI 추론 벤치마크에서 계층적 추론 모델(HRM)에 적용했을 때 정확도가 36.5%에서 39.75%로 올랐다 (+3.25pp).
    • 추가 파라미터 없이 스케일링 공식만 바꾸는 것이므로 적용 비용이 거의 제로다.
    초록PDF
  44. 652Computer VisionarXiv:2607.15278

    Hierarchical Denoising For Multi-Step Visual Reasoning

    비디오 생성 모델에 계층적 노이즈 제거 구조를 넣어, 미로 찾기나 소코반 같은 다단계 시각 추론 정확도를 76% 끌어올린 연구다.

    이 논문은 한마디로 비디오 생성 모델이 미로 찾기, 하노이 탑, 소코반 같은 다단계 추론을 잘하도록 만든 프레임워크다. 기존 스트리밍 방식은 빠르지만 한 번 결정하면 되돌릴 수 없어 추론이 틀어지고, 양방향 확산 방식은 정확하지만 너무 느리다. HDR는 비디오를 트리 구조로 组织해서 대략적인 계획부터 세부 장면까지 단계적으로 다듬는다. 6개 추론 과제에서 성공률을 34%에서 60%로 올렸고 (76% 향상), 양방향 확산보다 54배 빠르다. 실제 로봇 실험에서도 효과를 확인했다.

    • 비디오 생성에서 '빠르지만 멍청한' 스트리밍 방식과 '똑똑하지만 느린' 양방향 방식의 한계를 트리 구조로 해결했다.
    • 미로 찾기, 소코반, 하노이 탑 등 6개 다단계 추론 과제에서 성공률을 34.22에서 60.29로, 76.2% 향상시켰다.
    • 스트리밍 속도는 0.70초/프레임으로 양방향 확산보다 54배 빠르면서 추론 정확도는 더 높다.
    • 학습 데이터의 2%만 써도 전체 데이터의 82.9% 성능을 유지해 데이터 효율성이 뛰어나다.
    • 실제 로봇 팔 미로 실험에서도 강건한 성공률을 보이며 물리 세계 적용 가능성을 확인했다.
    초록PDF
  45. 651Machine LearningarXiv:2607.15161

    On-Policy Delta Distillation

    선생 모델과 그 이전 모델의 '차이(델타)'를 증류 신호로 써서, 학생 모델의 추론 능력을 더 효과적으로 전달하는 새로운 증류 방법이다.

    이 논문은 한마디로 선생 모델의 '학습 궤적'을 활용해 더 효과적으로 지식을 전달하는 증류 방법이다. 기존 온폴리시 증류는 선생 모델의 출력을 그대로 따라 하게 했지만, OPD2는 선생 모델이 추론 능력을 얻기 전후의 차이(델타 신호)를 핵심 학습 신호로 사용한다. 수학, 과학, 코드 세 영역 14개 벤치마크에서 일관되게 기존 방식을 뛰어넘었으며, Qwen3와 Gemma4 등 다양한 크기(1.7B~8B)에서 효과를 확인했다. 추가 계산 비용은 8~28% 수준으로 실용적이다.

    • 선생 모델의 최종 출력이 아니라 '학습 전후 차이'를 신호로 쓰면 추론 능력 전달이 더 정확해진다는 통찰을 제시했다.
    • 수학, 과학, 코드 3개 영역 14개 벤치마크에서 일관되게 기존 온폴리시 증류를 능가했다.
    • Qwen3(1.7B~8B)와 Gemma4 등 최신 모델에서 광범위하게 검증하여 신뢰성이 높다.
    • 추가 계산 비용이 8~28%에 불과해, 기존 증류 파이프라인에 쉽게 적용할 수 있다.
    • 델타 신호가 추론 관련 토큰('hence', 'however' 등)에 집중되는 반면, 탐색적 토큰('try', 'verify')은 억제한다는 분석을 제시했다.
    초록PDF
  46. 650LLMs / NLParXiv:2607.15178

    T^2MLR: Transformer with Temporal Middle-Layer Recurrence

    트랜스포머 중간층에 순환 연결을 추가해, 적은 추론 비용으로 수학·논리 추론 능력을 크게 끌어올린 논문이다.

    이 논문은 한마디로 트랜스포머의 중간층(추상적 사고가 일어나는 층)에 이전 토큰의 계산을 현재 토큰으로 직접 전달하는 '순환 통로'를 추가해 추론 능력을 높인 연구다. 기존 트랜스포머는 매 토큰마다 압축된 정보만 다음으로 넘기기 때문에 중간 추론 과정이 유지되기 어려웠다. T2MLR는 중간층 표현만 캐싱해서 이어주는 방식으로, 전체 층을 반복하는 것보다 20%만 순환시켜도 더 좋은 성능을 낸다. 1.7B 모델에 적용했을 때 GSM8K 수학 정확도가 35.8%에서 39.9%로, MATH500이 12.8%에서 18.0%로 올랐다. 추론 시간은 고작 8% 정도만 늘어난다.

    • 트랜스포머의 '생각하는 층'인 중간층만 순환 연결하면 전체 층을 반복하는 것보다 추론 성능이 더 좋아진다는 것을 보였다.
    • 전체 층의 20%만 순환시켜도 충분하며, 이는 추론 지연을 최소화하면서 추론 능력을 극대화하는 설계다.
    • 기존에 학습된 1.7B 모델에 순환 통로만 추가하고 미세조정해도 수학 추론 정확도가 크게 올라간다 (GSM8K +4.1pp, MATH500 +5.2pp).
    • 추론 시 오버헤드가 약 8%에 불과해, 실제 서비스 환경에서도 부담 없이 적용할 수 있다.
    • 학습 비용은 2~4배 정도 늘지만, 추론 효율성과 성능 향상을 고려하면 의미 있는 트레이드오프다.
    초록PDF
  47. 649AI / GeneralarXiv:2607.15257

    SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration

    웹 검색 에이전트들의 협업를 구조화해 반복 루프를 막고 빈틈없는 정보 수집을 보장하는 다중 에이전트 시스템.

    이 논문은 한마디로 여러 검색 에이전트가 협력할 때 발생하는 문제(반복 검색, 증거 유실, 작업 중복)를 시스템 차원에서 해결하는 프레임워크다. 정보 수집을 관계형 스키마 완성으로 정식화하고, 프론티어 태스크·증거 그래프·커버리지 맵·실패 메모리를 공유 상태로 외부화한다. 파이프라인 병렬 스케줄링으로 에이전트들이 쉬지 않고 일하게 한다. WideSearch 80.3 F1, GISA 76.5 F1로 모든 베이스라인을 능가한다.

    • 정보 검색을 '관계형 스키마 완성 + 인용 근거'로 정식화해 진행도를 엔티티/속성 수준에서 측정 가능하게 했다.
    • SOCM(Frontier Task, Evidence Graph, Coverage Map, Failure Memory)로 암묵적 진행 상황을 명시적 공유 상태로 외부화했다.
    • 파이프라인 병렬 스케줄링으로 에이전트 슬롯이 비면 즉시 다음 과제를 할당해 활용률을 극대화했다.
    • Search Tool Middleware Harness가 증거 추출·예산 집행·루프 감지를 에이전트 프롬프트 밖에서 처리한다.
    • GISA에서 76.5 F1로 최강 베이스라인 대비 +13.4점, WideSearch 80.3 F1로 모든 지표 1위를 달성했다.
    초록PDF
  48. 648Machine LearningarXiv:2607.14530

    xHC: Expanded Hyper-Connections

    트랜스포머 잔차 스트림을 N=16까지 확장해 더 적은 compute로 더 낮은 loss를 달성하는 아키텍처 혁신.

    이 논문은 한마디로 트랜스포머의 잔차 스트림(정보 통로)을 기존 N=4 한계를 넘어 N=16까지 효율적으로 확장하는 방법이다. 시간적 특징 증강으로 더 풍부한 정보를 쓰고, 희소 업데이트(16개 중 4개만)로 비용을 억제한다. 18B MoE에서 평균 다운스트림 +4.0점, compute는 vanilla 대비 1.50배 효율적이다. xHC-Flash로 메모리 트래픽도 mHC(N=4) 수준으로 줄인다.

    • Hyper-Connection을 N=4 너머 N=16까지 확장하는 첫 방법. 기존 mHC는 N>4에서 수익 체감이 심했다.
    • 시간적 특징 증강(인접 토큰 정보로 write-back 풍부화) + 희소 잔차 업데이트(k=4/N=16)로 비용-효율을 동시에 잡았다.
    • 18B MoE에서 mHC 대비 평균 +4.0점, vanilla 대비 +4.1% FLOPs만 추가로 큰 향상을 달성했다.
    • Scaling-law: 같은 loss에 도달하는 데 vanilla는 1.50×, mHC는 1.19×의 compute가 필요하다(xHC 기준).
    • xHC-Flash: N=16임에도 서브레이어 메모리 트래픽 40C로 mHC N=4(34C)와 비슷하다.
    초록PDF
  49. 647Computer VisionarXiv:2607.14749

    WanSong v1.0 Technical Report

    순수 diffusion 기반으로 5분짜리 상업용 음악을 보컬+반주 분리 생성하는 엔드투엔드 모델.

    이 논문은 한마디로 기존 AR(자회귀) 방식이 아닌 순수 diffusion로 5분 길이의 다국어 곡을 보컬과 반주를 분리해 한 번에 생성하는 음악 기반 모델이다. 듀얼 스템 토큰 구조로 보컬과 BGM 간 간섭을 없애고, 25B 규모 hybrid-MMDit로 학습한다. 발음 오류율 7.43%로 Suno v5(22.8%)·Mureka(12.7%)를 크게 앞선다.

    • AR 기반 파이프라인을 버리고 순수 diffusion로 5분 길이 곡을 보컬+BGM 듀얼 스템으로 한 번에 생성한다.
    • 듀얼 스템 토큰: 보컬과 반주를 독립 토큰으로 모델링해 CFG로 인한 품질 저하 없이 둘 다 고품질로 생성한다.
    • 1024 압축률 VAE(기존 2048의 절반)로 미세 음향 디테일을 보존해 SI-SDR +2.86dB 향상을 달성했다.
    • RLHF로 음악성·가사 정확도·프롬프트 정렬을 최적화해 musicality 점수 5.49(Suno 4.18, Mureka 3.83)를 기록했다.
    • 6M 시간 다국어 데이터와 3단계 커리큘럼(90s→300s→SFT) 학습으로 안정적인 긴 곡 생성을 달성했다.
    초록PDF
  50. 646Computer VisionarXiv:2607.15273

    MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

    MeanFlow(빠른 생성기)에 강화학습을 결합해, 적은 스텝으로도 RL 튜닝된 품질을 내는 프레임워크.

    이 논문은 한마디로 빠른 이미지/비디오 생성기인 MeanFlow에 강화학습(RL)을 적용하는 방법을 처음으로 제안했다. 핵심은 MeanFlow의 평균 속도와 순간 속도를 잇는 수식을 이용해, DiffusionNFT(순간 속도 기반 RL)의 목표를 MeanFlow에 적용하는 것이다. 4스텝만으로도 50스텝 RL 모델을 능가하는 결과를 보여준다.

    • MeanFlow(구간 평균 속도 예측으로 1~4스텝 생성)에 forward-process RL을 처음으로 결합했다.
    • MeanFlow identity에서 유도한 순간 속도 예측기를 경유해 DiffusionNFT 목표를 적용했다. 샘플링은 여전히 평균 속도 기반이다.
    • 이론적으로 DiffusionNFT의 정책 개선 보장을 상속함을 증명했다.
    • SD3.5-M에서 8개 지표 중 6개에서 SOTA 능가, Wan2.1 비디오에서 4스텝으로 50스텝 LongCat-Video RL(82.57)을 84.33 VBench로 능가했다.
    • 테스트 타임 스케일링(스텝 수 증가)에서도 일관된 향상을 보였다.
    초록PDF