HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 845Computer VisionarXiv:2608.06257

    MASS: Multiplayer World Models with Authoritative Shared State

    멀티플레이어 게임 환경을 시뮬레이션하는 월드 모델이 '권위 있는 공유 상태'를 사용해 1,024명 동시 플레이어를 일관되게 예측하도록 만든 연구다.

    이 논문은 한마디로 여러 플레이어가 동시에 존재하는 가상 세계를 AI가 시뮬레이션할 때, 시각적 렌더링과 세계 상태를 분리해 일관성과 확장성을 동시에 잡은 방법이다. 기존 월드 모델은 카메라视角마다 별도로 세계를 예측해서 1,000명이 보는 화면이 서로 달라지는 문제가 있었다. MASS는 게임 서버처럼 하나의 '권위 있는 상태(authoritative state)'를 학습된 Logic Engine이 갱신하고, 각 카메라는 그 상태에서 화면을 렌더링한다. Snake 게임에서 기존 최고 대비 state 복구 정확도 5배 향상, 1,024명 동시 플레이어 10,000스텝 시뮬레이션을 달성했다.

    • 여러 사용자가 공유하는 세계를 좌표와 방향, 생존 여부 같은 형식 있는 개체 기록으로 명시해 하나의 권위 있는 상태로 유지했다.
    • 상태를 갱신하는 Logic Engine과 카메라 영상을 만드는 Rendering Engine을 나눠 세계 전이 비용을 요청된 화면 수와 분리했다.
    • 맞춘 Snake 평가에서 상태 복구 정확도 0.764로 영상 기반 기준의 0.128보다 높았고, 1024개 플레이어를 1만 단계까지 구조적으로 유효하게 진행했다.
    • 선언형 스키마로 여러 게임에 같은 구조를 적용하고, 네트워크 지연 때 클라이언트가 공유 상태를 예측하는 활용도 보였다.
    • 현재 증거는 주로 단순한 2차원 게임과 제한된 개체 상호작용에 머물며, 저자들도 3차원 환경과 더 복잡한 상호작용을 후속 과제로 남겼다.
    초록PDF
  2. 844Computer VisionarXiv:2608.05811

    Energy-Guided Flow Matching

    이미지 생성 과정을 '저해상도 → 고해상도' 순서로 진행하도록 경로를 바꿔서, 더 빠르고 품질 좋은 이미지 생성을 달성한 방법이다.

    이 논문은 한마디로 픽셀 단위 이미지 생성에서 '거친 구조부터 세부 디테일까지' 순서대로 만들어가는 새로운 생성 경로를 제안했다. 기존 방식은 처음부터 끝까지 같은 목표 이미지를 향해 가했지만, EG-FM은 초기에는 저해상도(흐릿한) 목표를, 후반에는 원본 고해상도 목표를 제시한다. 이를 위해 각 이미지의 주파수 에너지(어떤 패턴 성분이 많은지)를 측정해서 이미지마다 최적의 진행 속도를 자동으로 정한다. 백본 구조나 학습 데이터를 바꾸지 않고도 ImageNet 256x256에서 FID 1.45를 달성했다.

    • 흐름 맞추기의 고정된 깨끗한 영상 종착점을 저주파 영상에서 원본으로 움직이는 종착점으로 바꿔 거친 구조부터 세부를 만들게 했다.
    • 영상마다 주파수 에너지를 계산해 빠진 에너지가 같은 비율로 풀리도록 열 확산 시간을 자동 조절했다.
    • ImageNet 256×256에서 200회 학습 뒤 FID 1.55, 600회 뒤 1.45를 기록해 품질과 학습 효율을 함께 높였다.
    • 512×512에서는 FID 1.58, 글로 영상 만들기에서는 GenEval 0.85와 DPG-Bench 83.9를 기록했고 구조 변경이나 추가 손실이 필요 없었다.
    • 비디오와 시간에 따라 변하는 신호, 글과 영상의 공동 모형, 몸을 쓰는 의사결정 및 가장 큰 최신 기반 모델에서는 아직 평가되지 않았다.
    초록PDF
  3. 843Computer VisionarXiv:2608.05798

    KVAE: Family of Tokenizers for Multimodal Generative Models

    오디오·이미지·비디오용 통합 토크나이저(KVAE)를 만들어, 기존 최고 수준 오픈소스 토크나이저와 동급이거나 더 나은 성능을 달성했다.

    이 논문은 한마디로 텍스트 조건부 생성(예: 텍스트를 받아 비디오·오디오를 만드는 모델)에 쓰는 '압축기'를 여러 영역(영상, 이미지, 소리)에서 통합적으로 개선한 연구다. 핵심은 토크나이저(데이터를 압축된 표현으로 바꾸는 부품)의 품질이 생성 품질을 좌우한다는 점을 보여주고, KVAE라는 새 토크나이저 시리즈를 제안한다. 비디오·이미지·오디오 모두에서 기존 최고 수준 오픈소스(Wan-2.2, FLUX.2, MMAudio 등)와 동급이거나 더 나은 결과를 얻었고, 특히 오디오는 더 적은 파라미터(166.9M)로 더 좋은 품질을 달성했다.

    • 비디오는 두 압축 비율, 이미지는 여덟 배 압축, 오디오는 48kHz·50Hz 잠재 표현을 쓰는 KVAE 토크나이저 묶음을 설계했다.
    • 영상과 이미지 복원·생성 평가에서 Wan-2.2와 HunyuanVideo-1.5, FLUX.2 등 공개 토크나이저와 같거나 더 나은 결과를 보고했다.
    • 오디오 모델은 1억6690만 매개변수로 더 큰 비교 모델들보다 작으면서 사람의 나란히 듣기 평가에서 여러 영역의 선호 우위를 보였다.
    • 복원 품질만이 아니라 생성 모델이 배우기 쉬운 잠재 공간인지를 뜻하는 확산 가능성을 설계 기준으로 다뤘고 코드와 모델을 MIT 허가로 공개했다.
    • 오디오 FAD 평가기는 내부적으로 16~32kHz만 처리해 16kHz 위의 전대역 품질을 재지 못하고, 모델 기반 미감 점수도 평가기의 편향에서 자유롭지 않다.
    초록PDF
  4. 842Machine LearningarXiv:2608.06296

    On-Policy Self-Distillation without Any Supervision

    외부 감독 없이 모델 자신의 다수결 투표로 의사 해답을 만들어 자기 증류하는 무감독 강화학습 방법을 제안했다.

    이 논문은 한마디로 정답 라벨이 없어도 모델이 스스로 여러 번 풀어서 다수결로 가짜 정답을 만들고, 그것으로 자기를 교정하는 방법이다. U-OPSD는 여러 롤아웃을 샘플링하고, 다수결로 의사 해답을 만들어 교사로 쓰고, 틀린 롤아웃을 학생으로 증류한다. Qwen3 4B/8B에서 기존 OPSD(정답 사용)와 동급이거나 더 좋았다.

    • 외부 정답·환경 피드백·대형 모델 없이 모델 자체 생성만으로 자기 증류를 달성했다.
    • 다수결 투표로 의사 해답을 만들고, 가장 짧은 동의 롤아웃을 교사로 사용한다.
    • 틀린 롤아웃의 접두사에 증류를 적용해 모델이 틀린 부분을 정확히 교정한다.
    • 수학 벤치마크에서 비사고 모드 기준 base 대비 +8.5~10.7%p, OPSD 대비 +3.2~2.3%p 개선.
    • 순방향 KL이 가장 효과적이고, 역방향 KL은 학습이 발산하며 JSD는 효과가 없다.
    초록PDF
  5. 841Computer VisionarXiv:2608.06009

    Wan-Animate-2: Pushing the Application Boundaries of Character Animation

    중간 모션 추출기 없이 드라이빙 비디오를 직접 처리하는 엔드투엔드 캐릭터 애니메이션 프레임워크이자 실시간 스트리밍 변형을 제공한다.

    이 논문은 한마디로 참조 영상의 움직임을 다른 캐릭터에 자연스럽게 입히는 기술을 엔드투엔드로 처리하면서, 실시간 스트리밍까지 가능하게 만든 것이다. Wan-Animate-2는 중간 모션 추출기를 없애고 드라이빙 비디오를 확산 트랜스포머에 직접 넣는다. 텍스트로 시점 제어도 가능하고, Lite 버전은 24fps 실시간 생성을 달성했다.

    • 중간 모션 추출기(스켈레톤·SMPL)를 제거하고 드라이빙 비디오를 DiT에 직접 주입했다.
    • 이중 브랜치 설계·시간 정렬 RoPE·희소 참조 어텐션으로 충실도와 효율을 잡았다.
    • 텍스트 프롬프트로 출력 카메라 시점을 제어하는 Viewpoint LoRA를 도입했다.
    • Wan-Animate-2-Lite는 3단계 훈련(teacher forcing·error buffer·self-forcing)으로 24fps 실시간 달성.
    • 사용자 연구에서 상용 폐쇄소스(Dreamina·Kling)와 동급이거나 더 좋다는 평가를 받았다.
    초록PDF
  6. 840AI / GeneralarXiv:2608.06301

    HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

    LLM이 다른 에이전트의 하네스(프롬프트·도구·제어흐름)를 자동으로 개선하는 능력을 측정하는 벤치마크를 제안했다.

    이 논문은 한마디로 'AI가 다른 AI 시스템의 코드(하네스)를 얼마나 잘 개선하는가'를 측정하는 벤치마크다. HarnessOpt-Bench에서 최적화 모델은 타겟 에이전트의 하네스를 받고, 제한된 평가 예산 내에서 수정한 뒤 최종 후보를 제출한다. 5개 프론티어 모델·111회 평가 결과, 모델 간 차이가 하네스 간 차이보다 컸고 네이티브 하네스가 항상 유리하지는 않았다.

    • 하네스 최적화를 재현 가능한 평가 타겟으로 만드는 신뢰 실행 환경을 설계했다.
    • 5개 프론티어 모델·4개 태스크·111회 평가로 모델·하네스·태스크를 분리했다.
    • 최적화 모델 간 차이가 코딩 하네스 간 차이보다 평균적으로 더 크다.
    • 광범위한 수정이 더 큰 개선과 연관되고, 실패 추적 상세 분석은 개선과 무관하다.
    • 네이티브 하네스가 공유 하네스보다 항상 좋지는 않다 (11승 9패).
    초록PDF
  7. 839LLMs / NLParXiv:2608.05139

    Toward Skill-Native LLMs: Skill Entropy for Benchmarking and Training Long-Horizon Reasoning

    LLM이 추론 과정에서 서로 다른 기술을 전환하는 능력을 측정하고 훈련하기 위해 스킬 엔트로피를 제안했다.

    이 논문은 한마디로 LLM이 수학을 하다가 계획을 세우고 정보를 추출하는 식으로 '기술 전환'을 잘하는지 측정하고 훈련시키는 방법이다. 스킬 엔트로피는 기술 간 전환 난이도를 수치화하고, Skill2-Bench는 558개 기술·9개 도메인의 벤치마크다. 스킬 엔트로피 RL 훈련으로 Qwen3-4B 점수를 34.4%에서 68.4%로 올렸다.

    • 스킬 엔트로피: 두 기술 사이 전환 난이도를 측정하는 방향성 있는 지표를 정의했다.
    • 558개 기술, 9개 도메인으로 구성된 Skill2-Bench 벤치마크를 구축했다.
    • 프론티어 모델들이 스킬 엔트로피가 높은 과제에서 정확도가 단조롭게 하락한다.
    • 스킬 엔트로피 RL로 Qwen3-4B를 34.4%에서 68.4%로, Qwen3-1.7B를 14.6%에서 40.1%로 개선했다.
    • OpenR1-Math 등 기존 학습 데이터에도 적용 가능한 재사용 가능한 훈련 신호다.
    초록PDF
  8. 838RoboticsarXiv:2608.06332

    GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions

    제한된 장면 데이터로 학습해도 새로운 환경으로 일반화하는 로봇 조작용 상호작용 세계 모델을 제안했다.

    이 논문은 한마디로 로봇이 상상 속에서 다양한 환경과 상호작용하며 정책을 평가하고 개선할 수 있는 세계 모델을 만든 것이다. GeniWorld는 수치 행동 대신 시각적 행동 표현(URDF 렌더링)을 사용해, 로봇의 움직임과 환경 변화를 분리한다. 고정 장면 데이터로만 학습해도 새로운 객체·배경·조명에서 잘 작동하며, 합성 데이터로 정책 성공률을 40.8%에서 69.0%로 올렸다.

    • 수치 행동 대신 URDF 렌더링 기반 시각 행동 표현으로 공간적 정확도를 높였다.
    • 로봇 운동학과 환경 역학을 분리해 장면 과적합을 줄이고 일반화를 개선했다.
    • 자기회귀 비디오 예측으로 폐루프 상호작용을 지원한다 (8 Hz, H20 GPU).
    • 제한된 실제 데이터만으로 OOD 환경에서 강건한 제로샷 일반화를 달성했다.
    • 세계 모델에서 합성한 궤적으로 전체 정책 성공률을 40.8%에서 69.0%로 향상시켰다.
    초록PDF
  9. 837Machine LearningarXiv:2608.05136

    The Loss Does Not See the Basis, but Adam Does

    행렬 분해 모델에서 Adam은 게이지 대칭을 깨서 저랭크 해를 찾지 못하지만, GD·Muon·Shampoo는 유지한다는 수학적 분석을 제공했다.

    이 논문은 한마디로 왜 Adam과 경사하강법이 같은 문제에서 다른 해를 찾는지를 수학적으로 증명한 것이다. 행렬 분해 모델에서 회전 불변성(게이지 대칭)을 유지하는 최적화기(GD, Muon, Shampoo)는 저랭크 해를 잘 찾지만, 좌표별 적응(Adam, RMSProp)은 이 대칭을 깨서 더 나쁜 해에 도달한다. 트랜스포머 주의력 헤드에서도 Adam이 첫 스텝부터 대칭을 깨는 것을 확인했다.

    • 게이지 동등성(회전 불변성)이 저랭크 편향 유지에 필요한 조건임을 증명했다.
    • GD·Muon·Shampoo는 동등하고, Adam·RMSProp·Lion은 아님을 9종 최적화기 분류로 보였다.
    • 행렬 센싱에서 동등 클래스는 복구 오차 0.00~0.29, 좌표별 클래스는 0.42~0.57이다.
    • 트랜스포머에서 Adam이 게이지 동등 초기화를 첫 스텝부터 갈라놓고, 56% 차이를 만든다.
    • 좌표별에서 동등 스칼라로 가는 보간을 통해 단조 개선되며, 이질성이 원인임을 입증했다.
    초록PDF
  10. 836RoboticsarXiv:2608.05674

    JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment

    인간 1인칭 비디오에서 로봇 조작까지 이종 데이터를 이중 정렬로 통합하는 로봇 정책 프레임워크를 제안했다.

    이 논문은 한마디로 로봇 데이터 부족 문제를 인간 동영상·시뮬레이션·실제 로봇 데이터를 함께 쓰는 방법으로 푼 것이다. JoyAI-RA 0.5는 잠재 행동 정렬(암묵적)과 정규 행동 표현(명시적)으로 이종 데이터를 통합한다. 인간 1인칭 비디오 53K시간 이상을 학습에 활용해, 데이터가 늘어날수록 로봇 조작 성능이 올라가는 스케일링 효과를 확인했다.

    • 인간 동영상에서 잠재 행동을 추출해 물리적 역학을 학습하는 세계 모델(LAC-WM)을 구축했다.
    • 인간과 로봇 궤적을 통일된 물리 행동 공간으로 정렬하는 명시적 정렬 방식을 제안했다.
    • 내외부 루프 강화학습으로 빠른 적응과 기반 정책 개선을 동시에 달성했다.
    • 인간 1인칭 비디오 스케일이 커질수록 로봇 성능이 일관되게 향상되고, 정체가 없다.
    • 실제 AgiBot 로봇에서 본 작업과 새로운 변형 모두에서 강력한 성능을 보였다.
    초록PDF
  11. 835AI / GeneralarXiv:2608.05466

    Recursive Synthesis for Long-Horizon Terminal Tasks

    터미널 에이전트용 긴 호라이즌 훈련 데이터를 재귀적 합성으로 대량 생산하는 프레임워크를 제안했다.

    이 논문은 한마디로 터미널(명령줄) 에이전트를 훈련시킬 복잡한 과제를 자동으로 대량 생산하는 방법이다. RST는 기존 과제의 해답을 늘리고, 검증기를 다시 맞추고, 샌드박스에서 검증한 뒤 다음 라운드의 씨드로 재사용한다. 15라운드 재귀 합성으로 37,484개의 검증된 과제를 약 0.05달러/개로 만들었고, PPO 훈련으로 Qwen3.5-27B 성능을 Terminal-Bench 2에서 20% 개선했다.

    • 재귀적 합성으로 과제를 점점 어렵게 만들면서도 명령·환경·해답·검증기 일관성을 유지한다.
    • 15라운드 만에 37,484개 과제를 생성했고, 합성 수율이 줄지 않아 천장이 없다.
    • 중간 해답 길이가 67줄에서 374줄로 5.6배 늘었고, 명령 수도 6배 이상 증가했다.
    • 합성 데이터로 SFT·PPO 훈련 시 Terminal-Bench 2/Hard/Long-Horizon에서 최대 10점 개선됐다.
    • DeepSeek-V4-Pro pass@4가 90%에서 2.5%로 떨어질 만큼 과제 난이도가 올라간다.
    초록PDF
  12. 834RoboticsarXiv:2608.06375

    $ω$-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation

    휴머노이드 로봇이 걸으면서 동시에 물건을 조작하는 전신 협동 제어를 위한 잠재 예측 세계-행동 모델을 제안했다.

    이 논문은 한마디로 휴머노이드 로봇이 '걸으면서 물건을 닦거나 옮기는' 동시 협동 동작을 하나의 모델로 처리하는 방법을 제안한 것이다. ω-0은 미래 비디오를 생성하는 대신, 잠재 공간에서 미래 관측을 예측하고 전신 행동을 생성한다. 40시간 실제 가정환경 데이터셋(ω-HOME)으로 학습해 11가지 가사 작업을 단일 모델로 수행했다.

    • 이동과 조작을 분리하지 않고 전신 협동 동작을 하나의 모델로 학습시켰다.
    • 미래 비디오 생성 대신 잠재 임베딩 예측(가벼운 세계 모델)으로 행동 품질을 높였다.
    • 40시간 규모 실제 가정환경 휴머노이드 데이터셋(ω-HOME)을 구축하고 공개했다.
    • 11가지 가사 작업을 단일 모델로 수행하며 기존 모방학습·VLA·WAM 기법들을 능가했다.
    • 인간 동영상 데이터를 시뮬레이션 재생을 통해 로봇 실행 가능한 행동으로 변환하는 파이프라인을 제안했다.
    초록PDF
  13. 833AI / GeneralarXiv:2608.05987

    AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning

    긴 호라이즌 에이전트 RL에서 각 턴의 기여도를 베이지안 신념 갱신으로 정밀하게 분배하는 방법을 제안했다.

    이 논문은 한마디로 에이전트 강화학습에서 '어떤 행동이 성공에 결정적이었는지'를 찾아내는 문제를 푼 것이다. 기존 GRPO는 궤적 전체에 같은 보상을 나눠주지만, 이 방법(AgentOPSD)은 각 턴마다 베이지안 업데이트(사후확률 갱신)로 신념을 누적하면서 핵심 턴에 더 큰 학습 신호를 준다. 추가 롤아웃이나 비평자(critic) 없이도 ALFWorld에서 89.1% 성공률을 달성했다.

    • 토큰 단위 증류 격차를 턴 단위로 모아서 환경 전환점과 정렬시켰다.
    • 순환 베이지안 신념 갱신으로, 앞선 턴들의 누적 맥락을 반영한 크레딧을 계산한다.
    • ALFWorld Qwen2.5-7B에서 89.1% 성공률로 GRPO와 기존 자기증류 기법들을 뛰어넘었다.
    • 긴 호라이즐일수록 성능 격차가 커지며, 짧은 태스크에서는 효과가 줄어든다.
    • 추가 롤아웃이나 학습된 비평자 없이 표준 정책 최적화와 완전 호환된다.
    초록PDF
  14. 832ResearcharXiv:2608.04850

    Two-dimensional Toda--Arnoldi correspondence: Holomorphic Krylov geometry and counterdiabatic transport

    비에르미션 양자 해밀토니안의 Arnoldi 환원에서 Toda 격자 수학 구조가 살아남음을 증명하고, 이를 기하학적 의미와 연결했다.

    이 논문은 한마디로 비에르미션(non-Hermitian) 양자 시스템의 Krylov 부공간 수학에서 숨겨진 Toda 격자 구조를 발견한 이론 연구다. 에르미션 시스템에서는 Lanczos 방법이 Toda 격자와 대응된다는 사실은 알려져 있었지만, 비에르미션으로 확장하면 Arnoldi 방법이 쓰이고 추가 항이 생산다. 이 논문은 Arnoldi 행렬의 대각과 부대각 원소만으로 Toda 구조가 닫힘을 증명했다. 부대각 원소는 양자 상태 공간의 기하학적 곡률과도 정확히 대응한다.

    • 비에르미션 해밀토니안의 Arnoldi 환원에서 대각/부대각 계수가 2차원 Toda 격자의 Flaschka 변수와 정확히 일치함을 증명했다.
    • 이 Toda 구조는 Arnoldi 행렬의 나머지 상부 Hessenberg 항을 결정하지 않고도 닫힌다.
    • 부대각 계수의 제곱이 Krylov 부공간의 Fubini-Study 계량과 Berry 곡률을 결정한다.
    • 실제 경로를 따라 Arnoldi 프레임이 정확한 isospectral 이동을 생성하고 counterdiabatic 구동을 실현한다.
    • 에르미션 극한에서 기존 Toda-Lanczos 대응으로 환원됨을 확인했다.
    초록PDF
  15. 831AI / GeneralarXiv:2608.05102

    ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

    긴 검색 과제에서 정답에서 역추적해 각 단계의 기여도를 평가하는 학습법으로, 4B 모델이 30B급 검색 에이전트와 맞먹는 성능을 내게 했다.

    이 논문은 한마디로 긴 검색 과제에서 모든 단계를 동일하게 취급하지 말고 정답에서 역추적해 단계별 기여도를 매기자는 연구다. 기존에는 최종 정답만 맞/틀림으로 학습했지만, ABSeeker는 정답에서 필요한 힌트(clue)를 역으로 복원한 뒤 각 검색 단계를 평가한다. 이 단계별 점수로 SFT와 GRPO를 모두 개선했다. 4B 모델로 BrowseComp 55.3%, 30B급 에이전트와 맞먹는 성능을 달성했다.

    • 정답에서 역추적해 중간 힌트(clue)를 복원하고 각 검색 단계를 이 힌트 대비로 평가하는 ABC 프레임워크를 제안했다.
    • 실패한 궤적의 유용한 단계도 보상하고 성공한 궤적의 불필요한 단계는 벌점을 주는 정밀 크레딧 할당이 핵심이다.
    • ABC-SFT는 단계별 손실 가중치를, ABC-GRPO는 단계별 보상을 사용해 기존 SFT/GRPO를 모두 개선한다.
    • 4B 모델로 BrowseComp 37.3→55.3%, BrowseComp-ZH 39.1→52.9%로 같은 규모에서 최고 성능을 달성했다.
    • 8.5K 예제만으로 학습해 xbench, GAIA 등 다른 벤치마크로도 잘 일반화되었다.
    초록PDF
  16. 830Computer VisionarXiv:2608.02980

    Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

    3D 공간 정보(깊이, 카메라 자세)를 멀티모달 모델에 자연스럽게 통합해서 긴 비디오도 효율적으로 이해하고 3D에서 물체를 정확히 찾게 만들었다.

    이 논문은 한마디로 3D 공간 정보를 활용해 멀티모달 AI가 긴 비디오와 3D 장면을 효율적으로 이해하게 만든 모델이다. Qwen-3D는 깊이와 카메라 자세를 써서 여러 시점의 비디오 프레임을 3D 공간에서 압축(merge)한다. 3D 회전 위치 인코딩(RoPE)으로 어텐션이 프레임 단위가 아닌 3D 공간에서 직접 작동하게 한다. 또한 언어 모델과 마스크 디코더가 시각 토큰을 공유해 3D 물체를 정확히 찾고 분할할 수 있다.

    • 3D 위치 정보(깊이+카메라 자세)로 시각 토큰을 공간적으로 압축해 긴 비디오를 효율적으로 처리한다.
    • 3D Rotary Positional Embedding으로 어텐션이 3D 공간에서 직접 작동해 교차 시점 추론을 개선했다.
    • 언어모델과 segmentation 디코더가 full visual token을 공유하는 구조로 3D 시각 grounding에서 대폭 향상되었다.
    • 3D visual grounding +4% Acc@25, 3D instance segmentation +13% mAP로 기존 3D LMM을 능가했다.
    • 2D 비전-언어 벤치마크 성능은 Qwen2.5-VL 수준을 유지해 3D 학습이 2D 능력을 해치지 않음을 보였다.
    초록PDF
  17. 829AI / GeneralarXiv:2608.03972

    ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning

    전문가 모델이 틀린 문제의 실패 궤적(Golden Negative Trajectory)을 버리지 말고 반성 자료로 활용하면 오히려 더 큰 학습 효과를 얻는다는 것을 보였다.

    이 논문은 한마디로 수학 문제를 풀 때 전문가 모델이 틀린 답을 버리지 말고 '반성 자료'로 쓰면 더 잘 배운다는 연구다. 쉬운 문제는 정답 궤적을 모방하면 되지만, 어려운 문제에서는 정답이 없을 때가 많다. ReflectRL은 전문가의 틀린 풀이를 먼저 보고 반성(Reflective Reasoning)하게 한 뒤, 점차 그 능력을 힌트 없이 푸는 능력(Direct Reasoning)으로 전이한다. RLVR과 OPD 모두에 플러그인으로 붙여서 일관된 향상을 얻었다.

    • 전문가 모델의 실패 궤적(GNT)이 자체 실패나 약한 모델 실패보다 반복 학습에 훨씬 효과적임을 입증했다.
    • GNT는 정답에 가까운 valid prefix와 국소적 오류 지점을 모두 포함해 반성 학습의 질 높은 자료가 된다.
    • Reflective-to-Direct Policy Transition로 힌트 의존에서 점차 자력 풀이로 능력을 전이시킨다.
    • 9개 벤치마크, 4개 모델(1.5B~8B), 4개 학습 방법에서 일관된 정확도 향상을 달성했다.
    • 응답 길이를 절반 이하로 줄이면서도 정확도는 올리고, 엔트로피 붕괴도 방지했다.
    초록PDF
  18. 828Computer VisionarXiv:2608.05070

    HelloWorld: Enabling Socially Interactive Characters in Video World Models

    비디오 월드 모델에서 사용자가 버튼을 누르면 캐릭터가 사용자를 향해 인사하거나 말을 거는 사회적 상호작용을 가능하게 만들었다.

    이 논문은 한마디로 AI가 만드는 비디오 세계 안의 캐릭터가 사용자와 눈을 맞추고 인사하는 기술이다. HelloWorld는 자가 증류(self-distillation) 파이프라인으로, 기존 비디오 생성 모델이 만든 상호작용 영상을 학습 데이터로 재활용한다. 추론 때는 훈련 없이 크로스 어텐션 마스크만으로 상호작용 시점을 정밀하게 제어한다. HelloWorldBench라는 최초의 사회적 상호작용 벤치마크(400샘플)도 구축했다.

    • 비디오 월드 모델에서 캐릭터-사용자 간 사회적 상호작용(손흔들기, 인사, 말걸기)을 최초로 구현했다.
    • 기존 모델이 자체 생성한 상호작용 영상을 학습 데이터로 재활용하는 self-distillation 파이프라인을 제안했다.
    • 훈련 없이 크로스 어텐션 마스크만으로 상호작용 발생 시점을 프레임 단위로 정밀 제어한다.
    • 최초의 사회적 상호작용 벤치마크 HelloWorldBench(400샘플, 3가지 상호작용 지표)를 구축했다.
    • 기존 월드 모델들을 상호작용 품질에서 크게 앞서며 영상 미학과 카메라 추종에서도 SOTA 수준을 유지했다.
    초록PDF
  19. 827Computer VisionarXiv:2608.04436

    ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

    이미지 생성 AI가 검색 도구를 쓰고 직접 그림을 그리는 것까지 하나의 정책으로 통합한 완전 에이전트 이미지 생성 모델이다.

    이 논문은 한마디로 이미지 생성 AI에 추론, 검색 도구 사용, 그리고 그림 그리기까지 하나의 모델이 통합하게 만든 연구다. 기존에는 검색 에이전트가 프롬프트를 고치고 외부 생성기에 넘기는 식이었다. ToolArtist는 Emu3.5라는 통합 멀티모달 모델(UMM)을 후처리해서 추론→검색→그리기를 한 번에 한다. RL 단계에서는 의도 보상과 품질 보상을 결합한 RAD-GRPO로 최적화했다.

    • 추론, 외부 도구(텍스트/이미지 검색), 이미지 생성을 하나의 UMM 정책으로 통합한 최초의 완전 에이전트 이미지 생성 모델이다.
    • SFT에서 이미지 생성 도구를 숨기고 결과 이미지만 남겨 UMM이 직접 그리게 하는 광학적 변환 기법을 개발했다.
    • 의도 보상(intent)과 품질 보상(quality)을 결합한 RAD-GRPO로 추론-검색-그리기 전체 궤적을 강화학습한다.
    • 7,132개 고품질 SFT 트레이터리만으로 WISE, WorldGenBench-Humanities에서 부분 에이전트 방식들을 능가했다.
    • 학습 데이터와 전체 후처리 인프라를 공개 개방했다.
    초록PDF
  20. 826AI / GeneralarXiv:2608.05144

    Argus: A General-Purpose Agentic Runtime for Long-Horizon Reasoning

    장기 과제에서 증거 기반으로 방향을 바꾸고(self-evolve), 검증 없이는 변경을 승인하지 않는 자율 에이전트 런타임을 만들었다. SWE-Bench Pro 78% 달성.

    이 논문은 한마디로 복잡한 장기 과제를 혼자 처리하면서도, 증거 없이 목표를 바꾸지 않는 자율 에이전트 시스템이다. Argus는 Manager, Planner, Engineer, Reviewer 역할이 검증 게이트를 통해 변경을 승인하는 구조다. 모델 가중치는 고정하고 런타임 상태(메모리, 스킬, 검증기)만 진화시킨다. SWE-Bench Pro 78%, 수학 캠페인에서 6개의 증명된 새 결과를 내는 등 다양한 영역에서 검증되었다.

    • 검증 게이트를 통해서만 목표/접근법 변경을 승인하는 'verification-gated runtime self-evolution' 구조를 제안했다.
    • Manager, Planner, Engineer, Reviewer 4역할이 durable project state 위에서 bounded mission을 수행한다.
    • SWE-Bench Pro에서 Direct Copilot(59%) 대비 78%로 크게 앞서며 1.41x 토큰을 사용했다.
    • 성숙 단계에서는 신규 Wave 대비 solve 토큰 21% 절감, 워크플로우 시간 15% 단축을 관찰했다.
    • 7개 GPT-5.5 벤치마크에서 검증되었고, 실제 RWKV6 커널이 upstream에 머지되는 등 실용적 산출물을 만들었다.
    초록PDF
  21. 825Machine LearningarXiv:2608.04001

    Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility

    테스트 타임 스케일링(추론 시 더 많이 생각해서 정확도를 높이는 기법)을 3가지 구조로 체계적으로 분류하고, 공정한 평가 방법과 20억 이상의 추론 트레이스 데이터를 공개했다.

    이 논문은 한마디로 '추론 시 더 많이 생각하기'라는 기술을 체계적으로 정리하고, 어떻게公平하게 비교해야 하는지 기준을 세운 연구다. 단일 경로 심화, 후보 다수 샘플링+투표, 부분 상태 탐색이라는 3가지 구조로 분류했다. 같은 예산이라도 방법이 다르면 결과가 완전히 달라지고, 심지어 샘플을 더 뽑을수록 정확도가 떨어지는 경우도 있음을 보였다. 20억 개 이상의 추론 트레이스를 공개해 재현 가능한 연구의 기반을 마련했다.

    • 테스트 타임 스케일링을 단일 경로, 리프 레벨, 프리픽스 레벨의 3가지 구조적 체계로 정식화했다.
    • 평가 대상이 모델 가중치가 아니라 전체 추론 시스템(프롬프트, 디코더, 검증기, 중단 규칙 등)임을 강조했다.
    • mean log probability 선택은 샘플이 많아질수록 정확도가 75.6%→65.8%로 하락하는 등 잘못된 선택 기준의 위험성을 입증했다.
    • 20억 개 이상의 추론 트레이스(수학, 과학, 경시대회)를 공개하여 재현 가능한 연구 기반을 마련했다.
    • 오픈 웨이트 추론 모델 생태계를 학습 방식과 인터페이스 제어 기준으로 정리했다.
    초록PDF
  22. 824Computer VisionarXiv:2608.05131

    OPD-V: Visual On-Policy Self-Distillation with Modality Balance

    멀티모달 모델이 텍스트에 편향되지 않고 시각 정보를 균형 있게 쓰도록 만든 간단하면서 효과적인 학습 방법을 제안했다.

    이 논문은 한마디로 멀티모달 AI가 텍스트에 너무 의존해서 이미지를 제대로 안 보는 문제(모달리티 불균형)를 해결한 연구다. 줌인한 이미지를 주는 '긍정 교사'와 이미지를 가린 '부정 교사'를 만들어 두 경우의 차이를 학습 신호로 활용한다. 이 차이가 큰 토큰만 선택적으로 증류해서 학습하므로 효율적이다. 4B 모델로 397B급 모델을 능가하는 성능을 내면서 학습 시간도 단축했다.

    • 멀티모달 모델의 '텍스트 편향 현상(modality imbalance)'을 정량화하고 이를 특권 정보로 활용하는 새로운 패러다임을 제안했다.
    • 줌인 이미지(긍정 교사)와 마스크 이미지(부정 교사)의 로짓 차이로 '모달리티 균형 신뢰 영역'을 정의해 선택적 증류를 수행한다.
    • Qwen3.5-4B에서 평균 64.3%→80.0%로 15.7%p 향상하며 397B 모델(77.4%)까지 능가했다.
    • 응답 길이를 74.5% 단축시키면서 정확도는 올려 학습 단당 시간을 25~32% 단축했다.
    • 6개 벤치마크, 4개 백본, 5개 후처리 방법에서 일관된 향상을 보였다.
    초록PDF
  23. 823RoboticsarXiv:2608.05042

    BridgeVLA++: A Data-Efficient, Generalizable, and Memory-Augmented Vision-Language-Action Framework for 3D Manipulation

    3D 로봇 조작에서 공간 기억과 시간 기억을 추가해 적은 데이터로도 강하고, 기억이 필요한 작업에서도 잘 작동하는 VLA 프레임워크를 만들었다.

    이 논문은 한마디로 로봇이 3D 공간에서 물건을 집고 옮길 때 과거 관찰을 기억하고 활용할 수 있게 만든 프레임워크다. BridgeVLA++는 점구름(point cloud)을 2D 이미지로 변환해 VLM(비전-언어 모델)에 넣고, 히트맵을 통해 행동을 예측하는 기존 방식에 공간 기억과 시간 기억을 추가했다. 시간 기억은 작업 단계를 구분하고, 공간 기억은 가려진 부분의 정보를 복원한다. 5개 시뮬레이션 벤치마크에서 최고 성능을 기록했고, 실제 로봇에서도 적은 데이터로 강한 일반화를 보였다.

    • 3D VLA 모델에 시간 기억(작업 순서 기억)과 공간 기억(가려진 물건 위치 기억)을 통합한 최초의 프레임워크다.
    • 점구름을 다뷰 이미지로 바꿔 VLM에 넣고 히트맵으로 행동을 예측하는 방식으로 데이터 효율성을 극대화했다.
    • 기억 의존 벤치마크(RMBench, MemoryBench)에서 이전 SOTA 대비 평균 20%→93.3%로 획기적 향상을 달성했다.
    • 실제 로봇(Franka, Dobot)에서 10회 이내 학습만으로 강한 일반화 성능을 보였고 양팔 조작까지 확장했다.
    • 히트맵 중간 표현, 2D 사전학습, 입력 정렬이 성능의 핵심이며 3D 위치 입력은 오히려 성능을 떨어뜨린다.
    초록PDF
  24. 822RoboticsarXiv:2608.04996

    DreamWAM: Beyond RGB Future Prediction for World Action Models

    로봇 행동 모델이 미래를 예측할 때 단순 RGB 대신 움직임·깊이·의미를 함께 학습하면, 보이지 않는 환경 변화에 훨씬 강해진다는 것을 보였다.

    이 논문은 한마디로 로봇이 미래를 상상할 때 픽셀(RGB)만 예측하지 말고 움직임, 깊이, 의미까지 함께 예측하면 훨씬 강해진다는 연구다. 기존 World Action Model은 미래를 RGB로만 예측해서 조명이나 배경이 바뀌면 취약했다. DreamWAM은 학습 때만 추가 정보를 쓰고 실제 사용 때는 RGB만 쓰므로 배포 비용이 늘지 않는다. LIBERO 환경에서 성공률을 올렸고, 특히 unseen 변화에 대한 강건성이 크게 향상되었다.

    • 미래 예측을 RGB에서 움직임(optical flow), 깊이, 의미 정보로 확장하여 로봇 행동 모델의 강건성을 크게 높였다.
    • 학습 때만 추가 정보를 사용하고 추론 때는 RGB만 쓰므로 배포 비용이 늘지 않는다.
    • LIBERO 표준에서 97.3%→98.4%로 소폭 향상, unseen 변화(LIBERO-Plus)에서는 51.4%→63.4%로 대폭 개선했다.
    • 실제 로봇 실험에서도 표준 90.8%→96.7%, perturbation 55.6%→74.4%로 강건성 이득이 일관되게 나타났다.
    • 세 가지 보조 정보 중 움직임이 가장 중요하며, 깊이와 의미는 residual 방식으로 주입하는 것이 최적이다.
    초록PDF
  25. 821Computer VisionarXiv:2608.05000

    Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes

    멀티모달 사전학습에서 언어·시각·생성이 어떻게 지식을 주고받는지 4가지 핵심 원리를 발견하고, 5% 연산량으로 강력한 성능을 내는 레시피를 제시했다.

    이 논문은 한마디로 멀티모달 AI를 학습시킬 때 언어와 시각 정보가 서로 어떻게 영향을 주는지 체계적으로 분석한 연구다. 언어 이해력이 시각 생성을 크게 돕고, 반대 방향은 약한 비대칭성을 발견했다. 또 초기부터 언어와 시각을 함께 학습하는 것이 나중에 합치는 것보다 훨씬 효과적임을 증명했다. 이를 바탕으로 단 5% 연산량으로도 강력한 성능을 내는 학습 레시피를 만들어 13.5B MoE 모델로 검증했다.

    • 언어와 시각 이해가 시각 생성을 이끄는 강한 프라이어 역할을 하지만, 역방향 전이는 약한 비대칭 구조를 발견했다.
    • 데이터 복잡도가 낮을 때는 모달리티 간 시너지가, 높을 때는 경쟁이 발생하며 공유 어텐션 구조가 시너지를 촉진한다.
    • 초기 통합 학습이 후기 정렬보다 압도적으로 효과적이며, 늦게 합치면 '시각 나태함(vision laziness)' 현상이 나타난다.
    • 이 원리들로 5% 연산량만 사용하는 학습 레시피를 만들어 2T 토큰으로 13.5B MoE 모델을 학습, 강력한 생성 성능을 달성했다.
    • 시각 토크나이저 설계와 무관하게 아키텍처 선택에 따른 시너지 패턴이 일관되게 나타났다.
    초록PDF
  26. 820Computer VisionarXiv:2608.02711

    Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing

    이 논문은 3D 이해, 생성, 편집을 하나의 통합 모델에서 수행하는 Hunyuan3D-Buffalo 1.0을 87M 규모 데이터로 학습시켰다.

    이 논문는 한마디로 3D 객체의 이해, 생성, 편집, 부품 생성을 하나의 모델로 통합했다. 가장 큰 병목이었던 3D 편집 데이터 부족을 Nano3D-v2 에이전트로 1200만 쌍을 자동 구축해 해결했다. 총 8700만 샘플로 학습된 모델이 생성과 편집 벤치마크에서 SOTA를 달성했으며, 이해와 생성이 편집을 서로 강화함을 보였다.

    • 3D 이해, 텍스트-투-3D 생성, 명령 기반 3D 편집, 텍스트 기반 부품 생성을 단일 아키텍처로 통합했다.
    • 8700만 규모(이해 2500만, 생성 5000만, 편집 1200만)의 최대 3D 다모달 학습 데이터를 구축했다.
    • Nano3D-v2 에이전트 기반 파이프라인으로 기하학적 일관성 있는 3D 편집 데이터를 대량 생산했다.
    • Hunyuan3D-VLM(이해) + DiT(생성) 결합으로 생성 벤치마크와 편집 벤치마크 모두에서 SOTA 달성.
    • 생성 능력과 이해 능력이 편집 품질을 상향한다는 교차 태스크 시너지를 실험으로 입증했다.
    초록PDF
  27. 819Computer VisionarXiv:2608.02713

    Quo Vadis, World Modeling?

    이 논문은 세계 모델을 에이전트 중심의 상호작용 프록시로 재정의하고, 6가지 기능 형태와 3단계 역량 강화를 제안한 관점 논문이다.

    이 논문은 한마디로 세계 모델을 '에이전트가 더 나아지기 위해 쓰는 피드백 공급원'으로 재정의한다. 기존 세계 모델이 다음 상태를 예측하는 데 그쳤다면, 이 논문은 실행 결과, 기억, 스킬, 검증 신호까지 포괄하는 '세계 프록시' 6가지 형태로 분류한다. 각 프록시가 에이전트를 어떻게 발전시키는지 3단계로 정리했다.

    • 세계 모델을 물리적 상태 예측에서 에이전트 사용 가능 정보 전환으로 패러다임을 확장했다.
    • 세계 프록시를 dynamics, spatial, execution, memory, skill, reward 6가지 기능 형태로 분류했다.
    • 추론 시점 지원, 학습 시점 최적화, 에이전트-프록시 공동진화 3단계 역량 강화를 체계화했다.
    • 직접 환경 상호작용의 비용, 위험, 병렬화 한계를 세계 프록시가 어떻게 해결하는지 분석했다.
    • 상하이 AI Lab, 절강대, NUS 연합으로 세계 모델 연구 방향을 제시하는 로드맵 논문이다.
    초록PDF
  28. 818AI / GeneralarXiv:2608.01735

    DAPD: Dual-Anchored Policy Distillation

    이 논문은 정책 증류에서 특권 정보 의존 문제(privilege illusion)를 정보 비대칭 관점에서 진단하고 해결하는 DAPD를 제안했다.

    이 논문은 한마디로 정책 증류(선생이 특권 정보를 쓰고 학생은 못 쓰는 문제)의 근본 원인을 찾고 해결했다. 학생이 선생의 특권 정보 없이도 같은 수준으로 추론하도록 양방향 정렬을 적용하는 DAPD를 제안했다. Qwen3 4B에서 OPSD 대비 평균 +2.00점, 32B까지 스케일 효과가 유지된다.

    • 특권 의존 행동(privilege illusion)의 근본 원인이 선생과 학생 간 정보 비대칭임을 구조적으로 진단했다.
    • 자기 조건부 분포를 브리지로 사용해 참조와 롤아웃 행동을 정보가 맞춰진 두 경로로 정렬했다.
    • 참조→롤아웃, 롤아웃→참조 양방향으로 지도해 특권 정보 의존을 줄이면서 정확성은 유지했다.
    • OPSD 대비 잘못된 주장(wrong claims)을 45% 줄이면서 추론 성능은 일관되게 올렸다.
    • 1.7B부터 32B까지 스케일이 커질수록 개선 폭이 유지되는 것을 확인했다.
    초록PDF
  29. 817RoboticsarXiv:2608.03727

    Track4Action: Distilling World-Centric 3D Tracker into Vision-Language-Action Policies

    이 논문은 3D 추적 모델의 특징을 VLA 정책에 증류해서 로봇이 추적 모델 없이도 3D 공간 이해 능력을 갖게 하는 Track4Action을 제안했다.

    이 논문은 한마디로 로봇 정책(VLA)에 3D 추적 모델의 지식을 학습시켜서, 실제 배포 때는 추적 모델 없이도 공간 변화를 이해하게 만들었다. 학습 때만 동작하는 3D 추적 선생 모델에서 키프레임 간 공간 변화 특징을 뽑아 학생 정책에 증류한다. LIBERO-Plus 제로샷 82.3%, 실제 양팔 로봇 67.5%를 달성했다.

    • 학습 때만 3D 추적 모델을 사용하고 배포 때는 제거하는 프리빌리지드 슈퍼비전 방식을 제안했다.
    • Track4World에서 뽑은 3D 트래커 특징을 track query가 매칭해서 VLA 행동 헤드에 주입한다.
    • LIBERO-Plus 제로샷 82.3%로 정렬 없는 버전 대비 +7.6%p, LaMP 대비 +3.0%p 향상했다.
    • RoboTwin 2.0 clean/randomized 각각 80.44%, 81.48%를 기록했다.
    • 실제 양팔 로봇 4개 태스크에서 67.5%로 정렬 없는 버전 대비 +25.0%p를 달성했다.
    초록PDF
  30. 816Computer VisionarXiv:2608.04010

    ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs

    이 논문은 다모달 LLM에서 비전과 언어에 할당되는 연산량을 독립적으로 조절하는 ParVL 프레임워크를 제안했다.

    이 논문은 한마디로 다모달 LLM에서 시각 처리(ViT)와 언어 처리(LLM)의 연산 분배를 독립적으로 조절하는 방법을 연구했다. 기존 모델은 두 부분의 연산 비율이 고정되어 있어 태스크마다 최적이 달랐다. ParVL은 백본 파라미터를 공유하면서 병렬 브랜치로 연산을 확장해, 9개 벤치마크에서 최적 분배가 다름을 체계적으로 보였다.

    • ViT와 LLM에 각각 별도의 병렬 브랜치를 만들어 연산 할당을 독립적으로 조절하는 최초의 프레임워크를 제안했다.
    • 백본 파라미터를 공유하는 prefix-conditioned 브랜치로 파라미터 증가 없이 연산만 확장한다.
    • 9개 비전-언어 브랜치 구성을 체계적 실험으로 최적 분배가 태스크마다 다름을 보였다.
    • 1B/2B/8B 스케일에서 단일 브랜치 대비 일관된 성능 향상을 확인했다.
    • 병렬 실행으로 추가 연산이 벽시간 지연으로 직결되지 않음을 분석했다.
    초록PDF
  31. 815AI / GeneralarXiv:2608.02276

    Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories

    이 논문은 에이전트 실패 궤적에서 런타임 하네스를 자동 수정하는 9B 엔지니어를 강화학습으로 학습시켜 평균 9.3%p 성능을 올렸다.

    이 논문은 한마디로 에이전트가 실패한 기록을 보고 실행 환경(하네스)의 코드를 스스로 고치는 방법을 제안했다. 모델 가중치를 바꾸는 게 아니라, 에이전트를 둘러싼 런타임(컨텍스트, 도구, 검증, 복구 로직)의 실행 가능한 패치를 생성한다. 9B 하네스 엔지니어가 GRPO로 학습되어, WebShop/ALFWorld/DBBench에서 바닐라 에이전트 대비 +9.3%p 향상을 달성했다.

    • 에이전트 실패 궤적에서 런타임 하네스의 실행 가능한 패치를 자동 생성하는 최초의 학습 기반 방법을 제안했다.
    • 9B 하네스 엔지니어가 타깃 에이전트 가중치를 얼려둔 채 GRPO로만 학습되어 안정적인 파이프라인을 구성했다.
    • WebShop, ALFWorld, DBBench 3개 벤치마크 평균 +9.3%p 성공률 향상을 달성했다.
    • 타깃 에이전트 파인튜닝 후에도 +5.0%p 추가 향상으로, 하네스 엔지니어와 에이전트의 공동 진화 가능성을 보였다.
    • 20개 다른 타깃 설정으로 전이 실험에서도 평균 +7.06%p를 기록해 일반화 성능을 확인했다.
    초록PDF
  32. 814RoboticsarXiv:2608.03701

    LiLa-WAM: Lightweight Latent Reasoning World-Action Model for Robotic Manipulation

    이 논문은 단일 24GB GPU로 학습 가능한 가벼운 세계-행동 모델 LiLa-WAM을 제안해 로봇 조작에서 90% 성공률을 달성했다.

    이 논문은 한마디로 로봇이 미래를 예측하면서 행동을 생성하는 가벼운 세계-행동 모델을 단일 GPU로 학습했다. 기존 세계 모델은 무거운 비디오 생성 백본을 쓰거나 여러 단계로 나뉘어 학습해 비용이 컸는데, LiLa-WAM은 잠재 공간에서 미래 상태와 행동을 동시에 예측하는 단일 스트림으로 이를 해결했다. 언어 없이 시각 특징만으로 태스크를 지정하는 VTT도 제안했다.

    • 미래 상태 예측과 행동 생성을 하나의 스트림에서 통합한 경량 세계-행동 모델을 단일 24GB GPU로 학습했다.
    • 언어 없이 시각 특징 방향만으로 태스크를 지정하는 Visual Transition Token(VTT)을 제안했다.
    • RoboTwin 2.0 50개 태스크에서 90.48% 성공률로 파라미터 수 대비 압도적 효율성을 보였다.
    • LIBERO와 실제 로봇 실험에서도 큰 모델들과 경쟁할 수준을 확인했다.
    • DINOV3 비주얼 백본만 사용해 언어 모델 의존 없이도 효과적인 로봇 제어가 가능함을 보였다.
    초록PDF
  33. 813Computer VisionarXiv:2608.03979

    Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

    이 논문은 비디오 스트림에서 외부 웹 검색까지 하는 멀티모달 딥리서치 에이전트를 만들어 Claude-4.5-Sonnet을 5점 차로 앞섰다.

    이 논문은 한마디로 비디오를 보면서 웹을 검색해 답을 찾는 에이전트를 만들었다. 기존 모델들은 비디오보다 텍스트 검색에 의존하거나, 외부 도구 없이 암기로 답하는 문제가 있었다. 이를 해결하기 위해 단계별 도구 잠금 해제로 시각적 증거를 먼저 충분히 모으게 하고, SFT+GRPO 2단계 학습으로 자율 탐색 능력을 길렀다. Video-DR-35B-A3B가 64.0%로 Claude-4.5-Sonnet(59.0%)을 뛰어넘었다.

    • 비디오 프레임에서 핵심 장면을 골라내고 시각 검색을 수행하는 딥리서치 에이전트 파이프라인을 설계했다.
    • 모델이 텍스트 검색만 선호하는 모달리티 편향과 도구 없이 암기로 답하는 지식 누출 문제를 발견하고 해결했다.
    • SFT 후 GRPO(그룹 상대 정책 최적화)로 모방 학습 한계를 넘는 자율 탐색 능력을 길렀다.
    • 200개 복잡한 멀티홉 VQA로 구성된 VideoDR-Bench를 새로 구축했다.
    • 35B-A3B 모델이 64.0%로 Claude-4.5-Sonnet(59.0%)을 5점 차로 제치고 SOTA 달성.
    초록PDF
  34. 812Machine LearningarXiv:2608.02352

    Qwen-CUA: Native Computer Use for (almost) Everything

    이 논문은 스크린샷만 보고 키보드/마우스를 조작하는 Qwen 컴퓨터 사용 에이전트를 10만 vCPU 규모로 학습시켜 8개 벤치마크에서 SOTA를 달성했다.

    이 논문은 한마디로 화면만 보고 사람처럼 컴퓨터를 쓰는 AI 에이전트를 대규모로 학습시킨 연구다. Qwen-CUA는 397B-A17B MoE 구조로, DOM이나 접근성 API 없이 스크린샷만 입력받아 키보드/마우스 행동을 출력한다. 10만 vCPU 규모의 클라우드 환경에서 4만 개의 검증 가능한 태스크로 강화학습했다. OSWorld-Verified 86.2%를 달성해 GPT-5.5, Claude Opus 4.8과 경쟁한다.

    • 스크린샷만 입력받아 키보드/마우스를 조작하는 네이티브 컴퓨터 사용 에이전트를 397B-A17B MoE로 학습했다.
    • 최대 20개 스크린샷을 유지하면서 오래된 것은 블록으로 묶어 KV 캐시 효율을 높였다.
    • 약 10만 vCPU, 4만 개 검증 태스크, 수만 개 동시 환경으로 대규모 강화학습을 수행했다.
    • OSWorld-Verified 86.2%로 8개 벤치마크에서 Qwen3.7을 일관되게 앞섰다.
    • 공격 성공률을 36.6%에서 16.4%로 낮춰 안전성도 개선했다.
    초록PDF
  35. 811Information RetrievalarXiv:2608.02738

    Knowledge-Geometry Decoupling: Refreshable Pretrained Transfer for Streaming Recommendation

    [철회 논문] Knowledge-Geometry Decoupling(KGD)은 산업계 공동저자의 데이터 공유 및 개인정보 보호 규정으로 인해 철회되었습니다.

    arXiv의 최신 버전 v2는 Zixuan Wang이 이 논문을 철회했다고 명시합니다. 버전 이력상 철회일은 2026년 8월 6일입니다. 공개 사유는 산업계 공동저자의 데이터 공유 및 개인정보 보호 규정입니다. 기존 방법과 성능 수치는 철회 전 주장이므로 현재 유효한 성과나 도입 추천의 근거로 소개하지 않습니다. 공식 철회 안내와 버전 이력은 https://arxiv.org/abs/2608.02738 에서 확인할 수 있습니다.

    • [철회 논문] arXiv 최신 버전 v2에는 Zixuan Wang이 이 논문을 철회했다는 공식 안내가 있습니다.
    • 공식 버전 이력상 철회일은 2026년 8월 6일이며, 공개 사유는 산업계 공동저자의 데이터 공유 및 개인정보 보호 규정입니다.
    • 공식 사유: Withdrawn due to data sharing and privacy regulations of industrial co-authors.
    • 기존 방법과 성능 수치는 철회 전 주장이므로 현재 유효한 연구 성과나 도입 추천의 근거로 제시하지 않습니다.
    • 공식 철회 안내와 버전 이력: https://arxiv.org/abs/2608.02738 .
    초록PDF
  36. 810RoboticsarXiv:2608.03924

    ETA: A New Agentic Paradigm for Embodied Tasks

    이 논문은 로봇에 디지털 에이전트의 계획-실행-검증 루프를 결합한 ETA 패러다임을 제안하고, OpenETA 오픈소스로 LIBERO 90% 달성했다.

    이 논문은 한마디로 로봇을 '한 번 호출하고 관찰하고 다시 결정'하는 에이전트 루프로 만들었다. VLA(비전-언어-행동 모델)가 관찰만으로 행동을 예측하는 기존 방식과 달리, ETA는 Planner가 도구를 하나씩 호출하고 결과를 확인한 뒤 다음 행동을 결정한다. OpenETA 프레임워크로 공개했으며, gpt-5.6-Sol 조합으로 LIBERO 130개 태스크 중 90%를 PASS@5로 달성했다. 메모리, 스킬, 궤적 재생까지 갖춘 완전한 에이전트 시스템이다.

    • Planner-Tool-World 루프 구조로 로봇이 한 번 행동하고 관찰한 뒤 다음 결정을 내리는 에이전트 패러다임을 제안했다.
    • OpenETA 오픈소스로 교체 가능한 Planner, 조합 가능한 Tool, 감사 가능한 메모리, 재생 가능한 궤적을 제공한다.
    • VLA 없이 gpt-5.6-Sol만으로 LIBERO 130 태스크 중 117개(90%)를 PASS@5로 해결했다.
    • 실패 궤적에서 학습해 스킬을 스스로 개선하는 제한적 자기진화 메커니즘을 포함했다.
    • UR5e 로봇 팔로 실제 하드웨어 통합 데모를 수행해 시뮬레이션을 넘어선 적용 가능성을 보였다.
    초록PDF
  37. 809Computer VisionarXiv:2608.03974

    JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

    이 논문은 실시간 비디오 편집을 위해 16B 파라미터 자회귀 확산 모델을 만들고, 2단계 생성으로 30 FPS를 달성한 연구다.

    이 논문은 한마디로 실시간 스트리밍 비디오 편집을 30 FPS로 가능하게 한 첫 시스템이다. 핵심은 오프라인 편집 모델을 스트리밍용으로 바꾸면서 생기는 문제(미래 프레임 못 봄, 누적 오류)를 세 가지 기술로 해결한 것이다. 청크 단위 자회귀 적응, 소스 기반 증류(SA-DMD), 장기 자회귀 증류를 결합해 2단계만에 고품질 편집이 가능하다. 결과적으로 기존 스트리밍 편집기들을 크게 앞서며, 오프라인 시스템과도 경쟁할 수준을 보였다.

    • 16B 파라미터 확산 모델로 720p 실시간 비디오 편집을 B200 GPU 한 장에서 30 FPS로 달성했다.
    • SA-DMD(소스 앵커링 증류)로 확산 과정을 2단계로 줄이면서도 원본 영상의 충실도를 유지했다.
    • 장기 자회귀 증류로 긴 영상에서 누적되는 색상 드리프트, 외형 변형 문제를 잡았다.
    • LongV2VBench라는 긴 영상 편집 벤치마크를 새로 구축해 체계적 평가를 가능하게 했다.
    • 기존 스트리밍 편집기들을 성능으로 크게 앞서고, 오프라인 시스템과도 견줄 만한 결과를 냈다.
    초록PDF
  38. 808Machine LearningarXiv:2608.02585

    GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

    모델 가중치는 그대로 두고 추론 시점에만 내부 은닉상태를 최적화하는 방법이다. 잠재 변수를 트랜스포머 중간 층에 끼워 넣어 생성된 모든 토큰에서 잠재 변수로 기울기가 바로 흐르게 만들었다.

    기존의 테스트타임 잠재 추론 방법은 잠재 변수를 토큰으로 디코딩한 뒤 그 토큰을 통해 보상을 전달해서, 잠재 변수가 이후 추론에 어떻게 기여했는지 배분하기 어려웠다. GradCuit는 프롬프트 은닉상태와 생성 토큰 은닉상태 사이, 즉 선택한 트랜스포머 층에 최적화 가능한 잠재 상태를 끼워 넣는다. 인과적 셀프 어텐션 덕분에 이후 모든 토큰의 로그확률이 앞선 모든 잠재 상태에 대해 미분 가능해지고, 보상 가중 기울기가 잠재 상태로 직접 간다. 백본 5개, 추론 벤치마크 3개, 답 형식 2개에서 평균 정확도 64.5%로 chain of thought(풀이 과정을 글로 적어 가며 답하게 하는 방식) 대비 6.6포인트, 가장 센 경쟁 방법 대비 2.4포인트 높았다. 학습률 7개 설정에서 정확도 표준편차가 1.53에서 0.82로 줄어 안정성도 좋아졌다.

    • 최적화할 잠재 상태를 선택한 트랜스포머 층의 프롬프트 표현과 생성 토큰 표현 사이에 넣고 기본 모델 매개변수는 고정했다.
    • 인과 자기어텐션을 통해 생성된 모든 토큰의 보상 가중 기울기가 디코딩 우회 없이 앞선 잠재 상태로 직접 흐르게 했다.
    • 다섯 기반 모델과 세 추론 벤치마크, 두 답 형식의 평균 정확도는 64.5%로 가장 강한 비교법보다 2.4점, 생각 과정 유도보다 6.6점 높았다.
    • 일곱 학습률에서 정확도 변동을 1.53에서 0.82로 줄였고, 기울기 분석에서는 잠재 영향이 추론 연결어에 집중됨을 보여 해석 가능성도 제시했다.
    • 효과가 모델 깊이의 앞쪽~중간 층에서 가장 컸고 뒤쪽 층에서는 사라졌으며, 평가는 세 추론 과제에 한정돼 층 선택과 다른 과제로의 일반화 검증이 필요하다.
    초록PDF
  39. 807AI / GeneralarXiv:2608.01418

    Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

    언어모델 강화학습에서 한 번 뽑은 롤아웃(모델이 문제마다 만들어 본 응답 묶음)을 여러 번 재사용할 때 생기는 오프폴리시 어긋남을 다룬 논문이다. 누적 중요도 비율 대신 앞 토큰들의 기하평균을 가중치로 쓰는 PNPO를 제안했다.

    대규모 언어모델 강화학습에서 자기회귀 생성으로 롤아웃을 만드는 비용이 크기 때문에, 같은 롤아웃 배치를 여러 번 학습에 재사용해 비용을 나눠 쓰는 방법이 쓰인다. 그러나 학습자가 행동 정책에서 멀어지면서 뒤쪽 업데이트일수록 오프폴리시가 심해지고, 정확한 보정에 필요한 누적 중요도 비율은 곱 형태라 값의 범위가 지나치게 커진다. 저자들은 누적 비율 대신 각 위치까지의 인과적 앞부분 토큰 비율의 기하평균을 쓰는 PNPO를 제안했다. 롤아웃 배치당 학습 에폭을 1회와 4회로 두어 오프폴리시 정도가 다른 두 조건을 만들고 긴 문맥 수학 추론에서 비교했다. 1에폭에서는 GSPO와 비슷했지만 4에폭에서는 세 벤치마크 모두 최고 Avg@32를 얻었고 세 값 평균 50.24로 GSPO보다 3.00포인트 높았다.

    • PNPO는 각 토큰 위치까지의 우도비를 곱한 뒤 기하평균을 내어 인과적 앞부분 정보는 남기고 가중치 범위는 줄인다.
    • 응답 전체에 한 가중치를 주는 GSPO와 달리 위치마다 다른 앞부분 평균을 쓰지만, 정확한 상태·행동 분포 보정은 포기한 편향된 근사다.
    • 네 번 재사용한 조건에서 세 수학 벤치마크 평균 최고점은 50.24로 GSPO보다 3.00점 높았지만 한 번 학습 조건에서는 차이가 일관되지 않았다.
    • 같은 2400회 갱신 예산에서 새 롤아웃 배치를 150개만 써도 한 번 학습으로 600개를 쓴 결과와 비슷해 롤아웃 재사용 가능성을 보였다.
    • 모델 한 개와 수학 과제 세 개, 설정당 한 번 실행에 그쳤고 구성 요소를 따로 떼어 보지 않아 앞부분 정규화만의 효과와 비동기·재생 자료에서의 효과는 아직 분리되지 않았다.
    초록PDF
  40. 806Computer VisionarXiv:2608.02437

    InfiniSplat: Implicit Gaussian Decoding for Large-Baseline Monocular View Synthesis

    사진 한 장에서 3D 장면을 한 번에 만들어 새 시점 영상을 그려내는 방법이다. 가우시안을 픽셀 격자에 고정하지 않고 깊이로 추정한 표면 위에 배치해서, 카메라를 크게 옮겨도 구조가 덜 깨진다.

    사진 한 장으로 3D 가우시안 장면을 바로 만드는 기존 방법들은 가우시안을 이미지 픽셀 격자 위치에 고정해서 만든다. 그래서 입력 시점 근처는 잘 나오지만 카메라를 옆으로 크게 옮기면 면이 찢어지고 구멍이 생긴다. InfiniSplat은 먼저 단안 깊이 사전지식으로 표면 구조를 따라 2D 지지점(가우시안을 어디에 놓을지 정하는 기준점)을 뿌린다. 그다음 그 지지점에서 이미지 특징을 조회해 가우시안 속성을 예측하는 암시적 디코더를 쓴다. DINO 분기와 CNN 분기를 함께 쓰는 이중 인코더로 의미 정보와 국소 질감을 모두 담는다. Hypersim 실내 합성 데이터로만 학습하고 ETH3D, ScanNet++, Tanks and Temples, DL3DV에서 평가해 기존 단일 이미지 방법 대비 최고 성능을 냈다.

    • 단안 깊이로 추정한 국소 표면에 가우시안 지지점을 놓고, 그 위치에서 조회한 영상 특징으로 가우시안 속성을 예측하는 암시적 해독기를 만들었다.
    • 고정 픽셀 격자에서 지지점과 속성 예측을 떼어내 큰 시점 이동에서도 표면 균열과 흩어진 점을 줄이는 구조를 얻었다.
    • 합성 실내 자료 Hypersim으로만 학습한 뒤 ETH3D와 ScanNet++, Tanks and Temples, DL3DV에서 기존 단일 영상 순전파 방법보다 높은 결과를 냈다.
    • 한 번의 순전파로 실시간 렌더링 가능한 3차원 표현을 만들어 공간 사진 탐색과 증강·가상현실 화면에 적용할 가능성을 보였다.
    • 한 장에서 보이지 않는 영역은 알 수 없고 잘못된 깊이 추정이 지지점 배치에 바로 번져, 반사·투명·얇은 물체와 극단적 시점 이동에서 구조 왜곡이 남는다.
    초록PDF
  41. 805LLMs / NLParXiv:2608.02101

    Cross-Domain Hybrid OPD for Generalizable Search Agents

    검색 특화 강화학습만 돌리면 일반 능력이 깎이는 문제를 다룬 기술보고서다. Yuanbao 검색 에이전트를 만들면서 검색용 강화학습과 여러 분야 전문 교사 모델의 온폴리시 증류(학생 모델이 직접 만들어 낸 답 위에서 교사 모델이 정답 분포를 알려 주는 학습)를 함께 돌려 두 마리 토끼를 잡았다.

    검색 에이전트를 강화학습으로 세게 학습시키면 검색 성능은 오르지만 지시 따르기, 대화 품질, 일반 추론 같은 범용 능력이 떨어지는 정렬 세금(alignment tax) 문제가 생긴다. 저자들은 Hunyuan3 기반 Yuanbao 검색 에이전트에 두 단계 학습을 적용했다. 1단계는 자율 계획과 반복 검색을 배우는 에이전트 강화학습이고, 2단계는 코드, 수학, 과학, 논리추론 등 여러 분야 전문 교사 모델을 학생 모델에 온폴리시 증류하는 단계다. 실험 결과 검색 벤치마크 성능은 그대로 강하게 유지하면서 일반 능력 벤치마크는 기반 모델보다 오히려 올라갔다. 절제 실험에서 증류를 강화학습으로 대체하면 논리추론 정확도가 46.90퍼센트에서 36.31퍼센트로 크게 떨어졌다.

    • 먼저 에이전트 강화학습으로 자율 계획과 반복 검색을 익히고, 이어 여러 분야 전문가의 온폴리시 증류로 일반 능력을 회복하는 두 단계 학습을 썼다.
    • 증류 뒤에도 검색 능력은 대체로 유지됐고 여러 검색 과제에서는 강화학습 단계보다 더 향상돼 전문성과 범용성의 절충을 보였다.
    • 증류를 검색·일반 자료의 혼합 강화학습으로 바꾸면 HYEval3.1 논리 추론이 46.90%에서 36.31%, BBEH Mini가 47.86%에서 35.22%로 떨어졌다.
    • 분야별 교사와 쉬운 문제부터 가르치는 과정이 범용 교사 한 개나 과정 없는 학습보다 어려운 추론·코딩·수학 과제에서 더 좋은 결과를 냈다.
    • 기술 보고서의 증거는 Hunyuan3 기반 Yuanbao와 제시된 검색·일반 벤치마크에 집중돼 있어 다른 기반 모델과 외부 운영 환경으로의 일반화는 추가 검증이 필요하다.
    초록PDF
  42. 804ResearcharXiv:2608.02023

    SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks

    참조 음성으로 목소리를 복제하는 방식과 자연어 설명으로 목소리를 새로 만드는 방식을 한 모델에 합치고, 말소리와 배경음과 효과음을 한 파형으로 같이 생성하는 음성 생성 모델이다.

    더빙과 오디오 드라마 같은 제작 현장에서는 참조 녹음이 아예 없는 캐릭터 목소리를 새로 설계해야 하는데, 기존 시스템은 참조 음성 방식과 자연어 지시 방식을 한 모델에서 같이 다루지 못했다. 저자들은 먼저 SwanData-Caption이라는 데이터 파이프라인으로 환경, 화자 스타일, 세밀한 내용을 층으로 나눠 설명하는 캡션 약 7천만 건을 만든다. 모델 쪽에서는 SwanVAE와 흐름 기반 트랜스포머 위에 보상 조건부 품질 제어, Engram 조건화, 작업 라우터와 오디오 라우터를 가진 Unified MoE를 얹고, 쉬운 것부터 차례로 가르치는 커리큘럼 학습과 강화학습 기반 후속 학습인 GRPO를 적용한다. 그 결과 SwanTale은 참조 음성 방식과 지시 방식 여러 지표에서 앞서고 표현력 점수에서 가장 좋은 값을 얻는다.

    • 음성 전처리와 다층 캡션, 품질 정제 및 희귀 상황 합성으로 환경·화자·내용을 설명하는 약 7000만 건의 학습 기록을 구성했다.
    • SwanVAE와 흐름 기반 트랜스포머에 품질 조건, Engram, 통합 전문가 혼합을 결합해 참조 음성과 자연어 지시를 한 모델에서 처리했다.
    • 참조 음성 단일 화자 평가에서 음색 일치도 0.95와 내용 오류 0.086을 기록하며 이전 SwanVoice보다 좋아졌다.
    • 지시 평가에서 중국어 APS 86.1로 1위, 영어 APS 84.2로 공동 1위를 기록했고 말소리와 환경음·효과음을 한 파형으로 만들 수 있었다.
    • 복잡한 배경음악의 감정 전환과 2분이 넘는 다화자 장면, 특정 화자의 연속 감정·강세·쉼표 제어 및 역할 연기는 여전히 약점이다.
    초록PDF
  43. 803AI / GeneralarXiv:2608.02163

    From Simple QA to Deep Research: A Verifiable Benchmark Constructed through Iterative Task Evolution

    간단한 질문을 여러 라운드에 걸쳐 어려운 딥리서치 과제로 자동 진화시켜, 500개 과제와 근거에 묶인 채점 기준을 사람 손 없이 만든 벤치마크다.

    딥리서치 평가는 전문가가 직접 과제와 채점 기준을 써야 해서 비싸고, 완전 자동 생성은 검증 가능성이 약하다는 문제가 있다. 저자들은 Explorer, Formalizer, Challenger 세 역할이 도는 반복 파이프라인으로 위키피디아 QA 말뭉치의 단순 질문을 라운드마다 더 어려운 딥리서치 과제로 키운다. 과제는 원자 단위 연구 단계의 방향성 비순환 그래프(DAG)로 표현되고, 각 노드에서 검증 가능한 체크포인트와 채점 기준이 함께 자란다. 그 결과 31개 주제, 10개 대분류, 3가지 질의 형태를 가진 500개 과제 벤치마크가 만들어졌다. 실험에서 모델별 능력 차이가 뚜렷하게 갈렸고, 자동 생성 채점 기준이 사람 평가와 높은 상관을 보였다.

    • 벤치마크는 딥리서치 과제 500개로 구성되고 31개 주제와 10개 대분류를 덮으며, 질의 형태 3종으로 서로 다른 능력을 나눠 본다.
    • 구축 루프는 Explorer가 실제 환경에서 과제를 풀고, Formalizer가 그 결과를 DAG와 채점 체크포인트로 정리하고, Challenger가 아직 안 쓴 단서로 다음 라운드 질의를 만드는 식으로 돈다.
    • 라운드가 진행되면 평균 DAG 깊이가 1라운드 2.5에서 5라운드 5.2로 빠르게 늘고 이후 약 7.0으로 완만해지며, 노드 수는 4.6에서 25.2로, 체크포인트는 13.6에서 123.2로, Explorer 도구 호출은 3.9회에서 23.3회로 늘어난다. 평균 진화 라운드는 14.19다.
    • 난이도가 실제로 올라간다. 정보를 넉넉히 주는 질의를 뺀 나머지 두 질의 형태에서 라운드 평균 점수가 약 0.93과 0.95에서 약 0.29와 0.40까지 떨어졌다. 그런데도 모델 간 상대 순위는 대부분 라운드에서 유지된다.
    • 도구를 빼면 열 개 모델 전부 점수가 떨어진다. 전체 점수가 평균 0.14 하락하고 증거형과 분석형 체크포인트에서 각각 평균 0.07 떨어져, 과제가 사전학습에 잘 없는 롱테일 정보를 요구한다는 뜻이다.
    • 채점 안정성도 확인했다. 사람이 검수한 100개 과제에서 같은 모델로 반복 채점하든 다른 모델로 채점하든 사람 평가와의 피어슨 상관이 0.884에서 0.916 사이로 높게 나왔다.
    초록PDF
  44. 802RoboticsarXiv:2608.02326

    ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

    로봇 조작 정책이 매번 처음부터 다시 계획하느라 끊기는 문제를, 직전 질의의 진행상황과 아직 실행 안 된 동작 꼬리를 함께 넘겨주는 방식으로 이었다. 12억 파라미터 모델로 RMBench 평균 성공률 62.8%를 냈다.

    행동 묶음을 예측하는 시각언어행동(VLA) 정책은 짧은 구간을 예측하고 앞부분만 실행한 뒤 현재 관측만 보고 다시 계획한다. 이러면 앞선 질의에서 파악한 작업 진행상황도, 아직 실행하지 않은 동작의 나머지도 다음 질의로 넘어가지 않는다. ChainVLA는 관측에서 뽑은 진행상황(Progress Context)과 직전 예측의 미실행 꼬리(Motion Tail)를 하나의 실행 상태로 묶어 다음 질의에 넘기고, 디코더는 최신 관측을 보고 구간 전체를 다시 생성한다. 12억 파라미터로 RMBench 평균 62.8%, LIBERO 네 세트 평균 98.8%를 기록했다. 둘 중 하나만 빼도 RMBench가 각각 11.2%와 3.0%로 무너져, 두 요소가 따로 노는 게 아니라 연달아 붙어 있는 고리임을 보였다.

    • 실행 상태를 둘로 나눴다. 뒤를 보는 쪽은 순환 작업상태와 드문드문 기록한 사건 메모리를 합친 진행상황이고, 앞을 보는 쪽은 직전 예측 중 아직 실행 안 된 뒷부분이다. 이 상태는 고정된 계획이 아니라 고쳐 쓸 수 있는 사전 정보로만 쓴다.
    • RMBench에서 12억 파라미터로 평균 62.8을 냈다. 전체 과제를 다 커버하는 방법 중 가장 강한 Mem-0이 80억에 20억을 더 쓰고 52.8이었다.
    • 가장 크게 앞선 과제는 Put Back Block이다. 지금 화면에서는 원래 자리를 알 수 없는 블록을 되돌려놔야 하는 과제인데 96을 기록했고 Mem-0은 90, MemoryVLA는 50이었다.
    • 제거 실험 결과가 비대칭이다. 진행상황만 남기면 11.2, 동작 꼬리만 남기면 3.0, 둘 다 빼면 1.6인데 전체는 62.8이다. 반쪽 상태가 상태 없는 것과 별로 다르지 않다는 뜻이다.
    • 기존 방식을 흉내 낸 대조군은 부족했다. 고정 길이 관측 이력에 시간 앙상블(겹치는 예측들을 뒤에서 섞어 부드럽게 만드는 방법)을 붙인 조합은 35.6으로 전체보다 27.2점 낮았다.
    • 매끄러움 자체가 원인이 아님을 보였다. 선형 연장 대조군은 Put Back Block 네 개 경계 지표 전부와 Swap Blocks 네 개 중 셋에서 전체 모델보다 오차가 작았다. 그런데도 성공률은 0%와 2%였고 전체 모델은 96%와 74%였다.
    초록PDF
  45. 801Computer VisionarXiv:2608.02583

    UEmbed: Unified Sparse and Dense Multimodal Embeddings

    디코더 전용 멀티모달 대형언어모델 하나에 학습 가능한 특수 토큰 16개를 붙여, 한 번의 인과 순전파로 희소 어휘 벡터와 밀집 벡터를 동시에 뽑는 임베딩 모델 UEmbed을 제안했다. 공개 데이터만으로 학습해 MMEB-v2에서 밀집 71.8, 희소 71.0을 기록했다.

    학습형 희소검색(LSR)은 지금까지 BERT 같은 양방향 인코더에 묶여 있었고, 멀티모달로 넘어가려면 별도의 교차모달 보조 모듈이 필요했다. 저자들은 디코더 전용 멀티모달 LLM 뒤에 학습 가능한 특수 토큰 N개를 붙이고, 어휘를 k-means(비슷한 것끼리 묶는 군집화 방법)로 N개의 겹치지 않는 부분집합으로 나눠, 각 특수 토큰이 자기 몫의 어휘에 대한 가중치를 예측하게 했다. 이렇게 하면 단일 토큰 하나로 거대한 어휘 공간을 표현해야 하는 정보 병목을 피할 수 있고, 밀집 벡터는 특수 토큰 앞의 EOS(입력이 끝났음을 알리는 토큰) 은닉상태에서 그대로 얻는다. 2B, 4B, 9B 세 규모로 공개했고 UEmbed-9B는 MMEB-v2에서 밀집 71.8, 희소 71.0으로 두 방식의 차이를 1점 이내로 좁혔다. BEIR 9개 데이터셋에서도 SPLADE-v3 같은 강한 기준선과 경쟁력을 유지했고, 에이전트 검색 벤치마크에서는 희소 모드가 검색 호출 횟수를 줄였다.

    • 특수 토큰을 16개 붙이고 어휘를 k-means로 16등분해 각 토큰이 한 덩어리씩 맡게 했다. 특수 토큰 개수 N을 2, 4, 8, 16, 32로 훑어보니 16까지는 성능이 안정적이고 32에서 뚜렷하게 떨어졌다.
    • 어휘를 먼저 압축했다. 악센트 제거, 소문자화, 공백 정리로 같은 형태가 되는 토큰을 하나로 합쳐 어휘 크기를 248,320에서 184,016으로 줄였고, 점수를 매길 때는 합쳐진 것들 중 최대 가중치를 쓴다.
    • UEmbed-9B는 MMEB-v2에서 밀집 71.8, 희소 71.0을 기록했다. 공개 데이터로 학습한 모델 중 밀집검색 1위이며 희소검색에서는 새로운 최고 성능이라고 주장한다.
    • UEmbed-2B 기준으로 밀집과 희소 점수를 합친 혼합 점수를 쓰면 텍스트가 53.6에서 53.9로, 시각문서가 77.0에서 77.5로 올랐다. 반면 자연 이미지와 비디오는 표면 어휘 정보가 적어서 이득이 거의 없었다.
    • 에이전트 검색 벤치마크 BrowseComp-Plus에서 희소 모드가 검색 라운드를 줄였다. UEmbed-2B는 밀집 39.19회에서 희소 32.67회로 줄면서 재현율은 53.47에서 57.04로 오히려 올랐고, 9B는 정확도 49.76으로 같은데 라운드가 33.68에서 31.05로 줄었다.
    • 한계도 솔직히 적었다. 어휘가 큰 현대 LLM 특성상 '_alt' 같은 이상한 토큰이 활성화되기도 하고, 학습 말뭉치가 영어와 중국어에 치우쳐서 다른 언어 토큰은 잘 안 뜬다.
    초록PDF
  46. 800Computer VisionarXiv:2608.01964

    LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks

    긴 작업을 하나의 커지는 대화로 굴리지 말고, 작업 상태를 실행 밖에 따로 두고 감사로만 갱신하자는 에이전트 하네스다. 매니저와 실행자와 감사자로 역할을 쪼갠 MEA 루프를 제안했다.

    긴 호흡의 작업에서 기존 에이전트 하네스는 실행과 상태 관리와 완료 판정을 같은 대화 안에서 처리해, 상태 추적이 어려워지고 잘못된 자기 판정이 뒤 단계로 번진다. 저자들은 긴 작업 수행을 작업 상태 관리 문제로 다시 정의하고, 상태를 실행 밖에 명시적으로 두고 환경에서 독립 검증된 사실로만 갱신하는 LongHorizon-Harness를 제안한다. 매니저가 상태를 읽고 다음 하위작업 계약을 만들고, 새 문맥의 실행자가 그것만 수행하고, 읽기 전용 감사자가 환경을 직접 확인해 보고서를 낸다. 실행자의 대화 기록은 라운드마다 버리고 감사 보고서만 라운드를 넘어 남는다. Qwen 3.7-Plus 기준으로 WeaveBench가 51.8퍼센트에서 80.7퍼센트로, Terminal-Bench 2.1이 69.7퍼센트에서 77.2퍼센트로, OSWorld 2.0이 2.8퍼센트에서 8.3퍼센트로 올랐다.

    • 긴 작업의 실패 원인을 세 가지로 정리했다. 오류가 쌓이며 목표가 어긋나는 문제, 기록이 길어져 필요한 정보를 못 찾는 문제, 지금까지 무엇을 했는지 상태를 잃어버리는 문제다.
    • 핵심 구조는 Manage-Execute-Audit 루프다. 매니저는 환경에 직접 접근하지 못하고 상태와 감사 보고서만 보며, 실행자는 매번 새 문맥에서 하위작업 하나만 하고, 감사자는 읽기 전용 도구로 환경을 직접 확인한다.
    • 라운드 사이에 넘어가는 기억은 감사 보고서뿐이고 실행자의 원본 기록은 버린다. 종료 조건은 감사된 상태가 원래 목표를 만족하거나, 더 진행할 하위작업이 없거나, 사용자 입력이 필요하거나, 라운드 예산이 소진된 경우다.
    • AgentAdapter라는 얇은 어댑터로 기존 시스템의 원래 에이전트 루프를 건드리지 않고 백엔드를 갈아끼운다. Claude Code, Codex CLI, OpenClaw, Hermes Agent 같은 하네스와 Claude Opus, GPT, Qwen 같은 모델을 세 역할에 섞어 쓸 수 있다.
    • Qwen 3.7-Plus와 Claude Code 조합에서 WeaveBench 통과율이 51.8퍼센트에서 80.7퍼센트로 올랐다. 이는 공식 보고 최고치인 Claude Opus 4.7 조합의 41.2퍼센트의 거의 두 배다.
    • OSWorld 2.0 전체에서 이진 완료율(과제를 다 끝냈는지만 0과 1로 매기는 성공률)이 2.8퍼센트에서 8.3퍼센트로 약 3배가 됐고, 34개 하위집합에서 Claude Opus 4.7 기준 20.0퍼센트에서 34.3퍼센트로 올랐다.
    • 사례 분석에서 기준 방식은 문서 XML을 직접 고쳐 겉보기만 맞춘 탓에 0.00점을 받았지만, 제안 방식은 지정된 GUI 절차를 따르고 감사자가 XML을 다시 파싱해 15개 제목 서식을 확인해 0.89점을 받았다.
    초록PDF
  47. 799RoboticsarXiv:2608.02547

    Why Does Action Chunking Improve Behavioral Cloning Performance in Robotic Control?

    로봇 모방학습에서 액션 청킹이 왜 잘 되는지를 뜯어본 분석 논문이다. 기존 가설 세 가지를 반박하고, 지연 정책과 암묵적 앙상블 효과가 성능의 대부분을 설명한다고 보였다.

    액션 청킹은 관측 하나에서 여러 스텝의 행동을 한꺼번에 예측해 실행하는 방식이다. 거의 모든 최신 로봇 모방학습 정책이 쓰지만 왜 좋은지는 설명이 부족했다. 저자들은 시뮬레이션과 실제 로봇 조작 환경에서 통제 실험을 돌렸다. 그 결과 기존 가설인 시간적 일관성, 유효 지평 축소(한 번에 이어서 결정해야 할 스텝 수가 줄어드는 효과), 표현학습 보조손실이 성능을 설명하지 못한다고 주장한다. 대신 과거 관측 k스텝 전을 보고 행동 하나를 내는 지연 정책만으로도 대부분 재현된다고 보인다. 지금 관측만 보지 않고 과거까지 반영하는 능력(비마르코프 표현력)과 누적오차 감소가 여기서 나온다. 남는 이득은 암묵적 앙상블 효과다. 청킹 정책이 서로 다른 시간 관계를 동시에 학습해 모델 앙상블처럼 행동한다는 것이다. 이 통찰로 지연을 무작위로 뽑는 앙상블 배치가 청킹 성능을 따라잡고, 명시적 앙상블은 청킹을 넘어선다고 보고한다.

    • 기존 가설 세 가지를 각각 통제 실험으로 검증했고, 시간적 일관성과 유효 지평 축소와 표현학습 어느 것도 액션 청킹의 성능을 충분히 설명하지 못한다고 결론냈다.
    • 과거 관측을 보고 한 스텝 행동만 내는 지연 정책이 청킹의 과거 반영 능력과 누적오차 감소를 상당 부분 대신한다. 지연값 5에서 15 사이에서 검증오차가 가장 낮았다.
    • 청킹 정책은 하나의 관측에서 서로 다른 시간 간격의 행동 관계를 함께 배우므로, 지연이 다른 정책 여러 개의 앙상블처럼 동작한다. 저자들은 이를 암묵적 앙상블이라 부른다.
    • 실험한 모든 시뮬레이션과 실제 로봇 환경에서, 청킹 정책을 무작위 지연 앙상블로 배치하면 액션 청킹을 쓰지 않고도 같은 성능을 냈다.
    • 독립 학습한 정책 여러 개로 명시적 앙상블을 만들면 청킹보다 더 좋아졌다. Robomimic Transport 과제에서 약 30퍼센트 성능 향상을 보고했다.
    • 제어 주기 15에서 20헤르츠 구간에서는 지연 정책이 통했지만, 50에서 60헤르츠로 올리면 실패했다. 길이 5의 부분 청크를 하나의 행동처럼 다루면 다시 좋아졌고, 사람의 시각 기반 행동이 2에서 10헤르츠로 갱신된다는 점을 이유로 든다.
    초록PDF
  48. 798LLMs / NLParXiv:2608.02046

    CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship

    AI 감정 동반자를 이론 기반 10개 능력과 자기개방 관문이라는 두 축으로 재는 중국어 영어 이중 벤치마크 CompanionBench를 만들고, 모델 28개를 평가했다.

    기존 동반자 평가는 사람이 지어낸 시나리오와 프롬프트로 흉내 낸 가상 사용자를 쓰고, 공감을 한 점수로 뭉뚱그리며, 심사 모델이 같은 계열을 편애하는 문제를 방치했다. 저자들은 심리학과 상담 이론 25편에서 뽑은 10개 능력 척도와, 실제 대화 자료로 학습시킨 사용자 시뮬레이터를 결합한 대화형 벤치마크 CompanionBench를 제안했다. 시뮬레이터에는 숨겨진 자기개방 관문이 있어서 상대 에이전트의 행동에 따라 대화 경로가 갈라지고, 이 관문 통과 여부가 주관 평가와 별개인 두 번째 결정론적 축이 된다. 심사에는 계열이 다른 모델 여러 개를 쓰고, 문항반응이론 모형으로 에이전트 실력과 심사자 엄격도를 분리한다. 모델 28개를 중국어와 영어 조건에서 평가한 결과, 겉으로 드러나는 해악보다 따뜻함으로 알맹이를 대신하는 실패가 지배적이었고 역할극 특화 모델이 바닥권에 몰렸다.

    • 능력 체계는 이론 25편에서 뽑은 10개 능력을 1점에서 10점 척도로 재며, 하위 항목이 총 42개다. 여기에 심각도 3단계로 나눈 18개 나쁜 패턴 목록을 역방향 층으로 얹었다.
    • 선행 연구가 점수로 매기지 않던 4개 능력을 새로 넣었다. 모호함을 견디기, 자기대상 반응성, 긍정 공명, 눈높이에 맞춘 도전이다.
    • 두 번째 축은 자기개방 관문 재생이다. 개방을 얼마나 자주 얻어냈는지와 얼마나 깊이 갔는지를 재고, 얻지 않은 개방을 가져갔는지도 따로 센다.
    • 재현성이 높다. 독립 재실행 기준 첫 번째 축(10개 능력 점수) 순위의 스피어만 상관은 중국어 0.996, 영어 0.953이고, 10개 능력 중 8개가 0.93 이상이다. 가장 낮은 것은 긍정 공명 0.829와 눈높이 도전 0.863이다.
    • 관문이 실제로 에이전트 행동을 따라간다는 증거로, 개방을 얻어낸 비율과 이르게 개방해 버린 비율이 강한 음의 상관을 보였다. 피어슨 상관이 영어 -0.938, 중국어 -0.979다.
    • 28개 모델 리더보드에서 영어 기준 gpt-5.5가 문항반응이론 점수 8.27로 1위, 최하위 doubao-char-251128이 4.28이다. 역할극 특화 3개 모델은 바닥권이며, 부족분이 가장 큰 능력이 모호함 견디기와 눈높이 도전과 인정하기였다.
    • 따뜻함과 알맹이가 갈린다는 것을 수치로 보였다. claude-haiku-4-5는 1차 점수 0.780에서 금지선 위반 반영 후 0.548로 떨어졌고, 최하위 모델은 0.395에서 0.017까지 떨어졌다.
    초록PDF
  49. 797Computer VisionarXiv:2608.02603

    WorldExam: Benchmarking World Models from Apparent Appearance to Inherent Reactivity

    영상 생성 기반 월드모델을 겉모습이 아니라 세상이 스스로 반응하는가로 평가하는 계층형 진단 벤치마크 WorldExam을 만들고, 대표 모델 20개를 재봤다.

    기존 월드모델 벤치마크는 화질이나 지시한 동작을 그대로 냈는지만 주로 확인해서, 입력에 적히지 않은 결과를 장면 상태로부터 추론해 내는 능력은 거의 검사하지 못했다. 저자들은 Visual Quality, Control Adherence, Spatial Consistency, World Reactivity 네 단계로 나눈 진단 벤치마크 WorldExam을 제안했다. 8개 과제에 1,474개 사례를 담았고, 카메라 입력, 이산 행동 입력, 자연어 입력 세 가지 조작 방식을 원자 단위 제어로 변환해 한 파이프라인에서 함께 평가한다. World Reactivity 단계에서는 모델에 주는 지시에 명시적 제어나 목표만 적고 장면이 어떻게 반응해야 하는지는 일부러 빼둔다. 대표 모델 20개를 평가한 결과, 카메라 방식은 카메라 제어에 강하지만 동적 상호작용 자체를 지원하지 못했고, 행동 방식은 주체 제어는 정확하나 주변 세계가 반응하지 않았으며, 언어 방식은 상호작용은 낫지만 복잡한 제어를 잘 따르지 못했다.

    • 벤치마크 규모는 조작 방식 3종, 진단 단계 4개, 평가 과제 8개, 테스트 사례 1,474개다. 평가 대상 모델은 20개다.
    • 8개 과제는 Camera Control, Subject Control, Scene Revisit, Terrain Interaction, Object Interaction, Social Interaction, Physical Reaction, Goal Completion이다. 앞의 세 개는 지시 이행과 공간 일관성을 본다. 그다음 네 개는 장면을 보고 세계가 알아서 반응하는지를 보고, 마지막 Goal Completion은 높은 수준의 목표만 주고 실행 단계를 스스로 짜는지를 본다.
    • 같은 행동을 원자 단위 제어로 쪼갠 뒤 모델별 입력 방식에 맞춰 변환한다. 카메라 방식에는 SE(3) 카메라 궤적(위치와 방향을 함께 적은 카메라 이동 경로), 행동 방식에는 이산 행동열, 언어 방식에는 자연어 프롬프트를 준다.
    • World Reactivity 사례에서는 기대되는 반응을 지시문에서 뺀다. 예를 들어 계단 앞에서 앞으로 가라는 제어만 주고, 계단을 오르는 수직 적응은 모델이 장면을 보고 스스로 만들어야 한다.
    • 모델 호환성을 위해 트랙을 둘로 나눴다. 카메라만 움직이는 정적 장면 트랙은 세 방식 모두 평가하고, 주체와 환경의 상호작용이 보여야 하는 동적 상호작용 트랙은 행동 방식과 언어 방식만 평가한다.
    • 표 1의 비교를 보면 기존 벤치마크는 사례 수는 크지만 과제 폭이 좁다. WorldScore는 3,000 사례에 과제 1종, iWorld-Bench는 4,900 사례에 과제 2종인 반면 WorldExam은 1,474 사례로 8개 과제를 모두 덮는다.
    • 결론은 화질이 좋고 지시를 잘 따른다고 해서 세계의 반응성이 따라오지 않는다는 것이다. 넓은 과제 범위와 일관되게 높은 성능을 동시에 갖춘 모델은 하나도 없었다.
    초록PDF
  50. 796AI / GeneralarXiv:2608.02287

    SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation

    공개 Agent Skill 2,000개에서 검증된 합성 과제와 실행 궤적을 자동으로 만들어, 모델이 스킬을 제대로 골라 쓰도록 학습시키는 파이프라인이다. 같은 파이프라인으로 별도 벤치마크 SkillEval도 만들었다.

    Agent Skill은 절차 지식을 담은 패키지로 널리 퍼졌지만, 스킬을 쥐여준다고 모델이 그걸 알아보고 골라 쓰고 여러 개를 엮는 것은 아니다. SKT는 스킬 선별, 과제 합성과 검증, 궤적 수집과 검증의 3단계 파이프라인으로 학습 데이터를 만든다. 규칙 기반 검사와 에이전트 기반 검사를 함께 걸고 실패하면 피드백으로 고쳐 다시 만들며, 지정된 스킬을 실제로 다 쓴 성공 궤적만 남긴다. 공개 스킬 2,000개로 과제 패키지 4,000개와 검증된 궤적 27,164개를 만들어 Qwen3.5-9B와 Gemma 4 E4B-IT를 지도학습으로 미세조정했다. 네 개 벤치마크에서 일관되게 성능이 올랐고, 학습 스킬 수를 늘릴수록 점수가 단조 증가했으며 다른 실행 환경으로도 이득의 절반가량이 옮겨갔다.

    • 공개 스킬 2,000개에서 과제 패키지 4,000개와 검증된 실행 궤적 27,164개를 만들었다. 학습 데이터와 겹치지 않는 별도 스킬 풀로 SkillEval 벤치마크도 같은 파이프라인으로 구성했다.
    • 학습 스킬 예산을 0, 100, 500, 1000, 2000으로 늘리자 Qwen3.5-9B의 SkillEval 점수가 55.24, 59.8, 67.4, 70.8, 72.48로 단조 증가했다.
    • 다른 실행 환경에서 학습해도 이득이 옮겨간다. OpenCode 궤적으로 학습한 모델이 DeepAgents에서 SkillsBench 4.94에서 9.29로 올랐다. 같은 환경 궤적으로 학습하면 13.62까지 오르는데, 그 개선폭의 50.1퍼센트를 지킨 셈이다.
    • 두 환경 궤적을 섞어 학습한 단일 체크포인트는 벤치마크와 실행 환경을 짝지은 8개 비교 전부에서 원본을 이겼다. 이득은 2.64점에서 18.81점 사이다. SkillEval은 OpenCode에서 55.24가 74.05로, DeepAgents에서 51.62가 69.96으로 올랐다.
    • 섞어 학습한 모델은 환경 전용 모델과 평균 점수 차이가 최대 2.71점이며, 8개 비교 중 3개에서는 오히려 앞섰다. 환경마다 따로 모델을 유지할 필요가 줄어든다는 뜻이다.
    • SkillsBench 77개 과제를 지정 스킬 개수로 나눠 보면 스킬 1개는 9.54에서 16.94, 2개는 3.95에서 20.72, 3개 이상은 4.04에서 12.08로 올랐다. 이득이 단일 스킬 과제에만 몰려 있지 않다.
    초록PDF