HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 645RoboticsarXiv:2607.15065

    DriftWorld: Fast World Modeling through Drifting

    로봇 세계 모델을 단 한 번의 순전파로 30+ fps로 미래 프레임을 생성하는 초고속 모델.

    이 논문은 한마디로 로봇이 자신의 행동 결과를 상상(시뮬레이션)할 때 쓰는 세계 모델을 diffusion 대신 drifting으로 17배 빠르게 만들었다. DriftWorld는 한 번의 forward pass로 미래 프레임을 생성해 30+ fps를 달성한다. 5개 로봇 조작 벤치마크에서 품질은 비슷하거나 더 좋으면서 속도는 압도적이다. 오프라인 정책 평가용으로도 유효하다(상관계수 최대 0.99).

    • Drifting 생성 모델(단일 forward pass 생성)을 로봇 세계 모델에 처음 적용해 diffusion 대비 17배 빠른 30+ fps를 달성했다.
    • 행동 조건부 drifting field, DINOv2 특징공간 손실, 프레임별 행동 conditioning의 3가지 적응을 제안했다.
    • Push-T에서 IoU 0.635→0.781로 행동 탐색 품질을 크게 높였고, 5개 환경에서 일관된 향상을 보였다.
    • 오프라인 정책 평가 지표로도 유효해, 실제 성능과 Pearson 상관 0.92~0.99를 기록했다.
    • 빠르고 정확한 상상이 로봇 계획과 정책 평가 모두에 직접 도움을 줌을 입증했다.
    초록PDF
  2. 644AI / GeneralarXiv:2607.13285

    Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

    에이전트 하네스(시스템 코드)를 행동 단위로 정리해, 어디를 고쳐야 하는지 쉽게 찾게 해주는 도구.

    이 논문은 한마디로 AI 에이전트의 하네스(프롬프트 구성·상태 관리·도구 호출을 담당하는 코드)를 수정할 때 '어디를 바꿔야 하는지'를 자동으로 찾아주는 행동 중심 표현이다. Harness Handbook은 정적 코드 분석과 LLM을 결합해 코드를 행동 단위로 재구성한다. 결과는 더 정확한 위치 특정, 더 적은 토큰 사용으로 더 좋은 수정 계획을 생성한다.

    • 행동 국소화(behavior localization) 문제를 정의했다: 수정 요청이 설명하는 행동이 코드 어디에 구현되어 있는지 찾는 것.
    • Harness Handbook: 코드를 파일/함수가 아닌 '행동' 단위로 재구성하고 각 행동을 소스 코드에 직접 연결한다.
    • Behavior-Guided Progressive Disclosure(BGPD): 고수준 행동 설명에서 관련 구현 디테일로 단계적 탐색을 유도한다.
    • 두 오픈소스 하네스(Codex, Terminus-2)에서 승률 38.3%/45.6%로 베이스라인(28.3%/26.7%)을 능가했다.
    • 특히 여러 파일에 걸친 수정, 드물게 실행되는 코드 경로, 모듈 간 상호작용에서 큰 이득을 보였다.
    초록PDF
  3. 643RoboticsarXiv:2607.15163

    Scaling Behavior Foundation Model for Humanoid Robots

    휴머노이드 로봇 제어를 위한 행동 기반 모델(BFM)의 스케일링 레시피. 모션 트래킹 + Humanoid Transformer로 큰 성능 향상.

    이 논문은 한마디로 휴머노이드 로봇의 전신 제어를 위한 행동 기반 모델을 어떻게 스케일업하는지 체계적으로 보여준다. 세 가지 핵심(모션 트래킹 학습 패러다임, 온폴리시 데이터 양×다양성 시너지, Humanoid Transformer 아키텍처)을 조합했다. 결과는 기존 대비 MPKPE(global) 82% 감소, test set 정확도 0.9836 달성이다.

    • 모션 트래킹을 통일 학습 패러다임으로 채택해, 다양한 전신 제어 문제를 참조 동작 재현으로 통합했다.
    • 온폴리시 롤아웃 양(quantity)과 참조 동작 다양성(diversity)의 시너지가 스케일링의 핵심임을 실험으로 입증했다.
    • Humanoid Transformer라는 확장 가능한 아키텍처를 도입해, 구조적 행동 표현이 자연스럽게 형성됨을 보였다.
    • 기존 휴머노이드 컨트롤러 대비 MPKPE를 local 10%, global 82% 감소시켰고, 전체 정확도 0.9836 달성.
    • 시뮬레이션과 실제 로봇 양쪽에서 검증해 실용성을 확인했다.
    초록PDF
  4. 642Computer VisionarXiv:2607.15038

    Video = World + Event Stream

    비디오를 '세계 + 사건 스트림'으로 분해해 실시간 오디오-비주얼 상호작용을 하는 범용 사전학습 프레임워크.

    이 논문은 한마디로 비디오를 '세계(고정 맥락)'와 '사건 스트림(변화)'으로 쪼개서 학습하는 실시간 스트리밍 모델이다. 세계는 배경·캐릭터·음향 등 안정적인 정보이고, 사건은 말하기·행동·움직임 등 변화다. 이 분해로 대량의 일반 비디오에서 사전학습한 뒤, 실시간 대화 에이전트로 전환한다. 640x368 화질, 25FPS, ~200ms 응답 지연을 유지한다.

    • 비디오 = 세계(고정 맥락) + 사건 스트림(변화)이라는 분해를 제안해 범용 사전학습 과제를 정의했다.
    • 사건 스트림에 자유 형식 행동(괄호 안 자연어 지시)을 추가해 에이전트가 제한된 액션 셋이 아닌 open-vocabulary 행동을 하게 했다.
    • 200ms 모델 응답 지연, 550ms 전체 상호작용 지연으로 실시간 전이중 오디오-비주얼 대화를 유지한다.
    • 사전학습→다운스트림 전환의 유연성을 보여주며, 같은 스트리밍 로직으로 다양한 실시간 과제에 적응 가능함을 시사한다.
    초록PDF
  5. 641RoboticsarXiv:2607.15275

    RoboTTT: Context Scaling for Robot Policies

    로봇 정책의 컨텍스트 길이를 8K 타임스텝으로 늘려, 한 번의 영상 시연만으로 새 동작을 배우는 로봇 모델.

    이 논문은 한마디로 로봇이 더 긴 과거 기록을 활용할 수 있게 해주는 Test-Time Training 기반 로봇 정책이다. 기존 로봇 모델들은 1~8스텝 정도만 기억하는데, RoboTTT는 8K 스텝까지 늘리면서도 추론 속도는 그대로다. 이로써 인간 영상 시연 한 번으로 새 동작을 모방하고, 실시간으로 성능이 개선되며, 5분짜리 10단계 조립 작업을 끝까지 완수한다.

    • Test-Time Training(빠른 가중치)을 VLA 모델에 통합해 8K 타임스텝 컨텍스트를 달성했다. 추론 지연은 늘어나지 않는다.
    • 인간 영상 시연 1회만으로 새 동작을 모방(원샷 모방)하는 능력을 얻었다. 베이스라인은 전부 실패한 반면 6/10 성공.
    • DAgger Distillation으로 실시간 성능 개선이 가능해져 외란 하에서 83% 성공(기존 최고 53%).
    • 전체 작업 성공률이 단일 스텝 대비 87% 향상됐고, 5분 10단계 조립을 끝까지 완수했다(기존 어떤 모델도 불가).
    • 컨텍스트 길이를 1K→8K로 늘리자 62% 더 좋은 성과가 나왔다. 로봇에서도 컨텍스트가 스케일링 축이다.
    초록PDF
  6. 640Computer VisionarXiv:2607.14935

    VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding

    4B 파라미터로 완전 오픈소스 비디오 이해 모델. 효율적 3D 비전 인코더와 적응형 해상도로 기존 대비 적은 compute로 더 좋은 성능.

    이 논문은 한마디로 비디오를 이해하는 멀티모달 모델을 완전 오픈소스(가중치·코드·데이터 전부)로 만들었다. 핵심은 3D 비전 트랜스포머(I3D-ViT)로 프레임 간 시공간 정보를 압축하고, 중요도에 따라 해상도를 조절하는 것이다. 4B 파라미터로 기존 오픈소스 SOTA(Qwen3-VL, Molmo2)를 능가하면서도 더 빠르다.

    • 3D 비전 트랜스포머(I3D-ViT)로 프레임을 개별 이미지가 아닌 시공간 묶음으로 처리해 토큰 수를 크게 줄였다.
    • 중요도에 따라 프레임 해상도를 조절하는 적응형 메커니즘으로 실시간 스트리밍 처리 효율을 높였다.
    • 300만 건의 고품질 멀티모달 instruction 데이터(Academic2M + LV116K + OL617K)를 구축해 공개했다.
    • 4B로 기존 동급 오픈소스 모델들을 MotionBench, VideoMME, LVBench 등 12개 벤치마크에서 능가했다.
    • 모델, 코드, 학습 전략, 데이터셋, 파이프라인까지 전부 공개해 재현 가능한 기반을 제공한다.
    초록PDF
  7. 639LLMs / NLParXiv:2607.14777

    SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

    에이전트 RL에서 자신의 과거 궤적을 '후향 스킬'로 바꿔 정책에 다시 주입하는 자기진화 프레임워크.

    이 논문은 한마디로 에이전트 강화학습에서 '후회(힌드사이트)'를 자동으로 뽑아내 정책에 주입하는 자기진화 학습법이다. RL로 모은 궤적을 분석해 재사용 가능한 스킬(자연어)을 뽑아내고, 이 스킬이 정책의 행동 확률을 어떻게 바꾸는지를 밀집 감독 신호로 쓴다. 결과적으로 ALFWorld 91.8%, WebShop 68.0% 등 기존 대비 큰 폭 향상을 보였으며, 적은 데이터로도 강한 일반화를 달성했다.

    • 완료된 궤적에서 자연어 스킬을 자동 추출해 정책에 다시 주입하는 자기진화 루프를 만들었다.
    • 스킬 유무에 따른 행동 확률 변화를 밀집 토큰 단위 감독 신호(OPD)로 변환해 RL과 결합했다.
    • ALFWorld에서 91.8% 달성으로 기존 최고 대비 +7.4%p, 데이터 40%만 써도 GRPO 전체 데이터보다 높았다.
    • 새로운 환경(안 본 테스크)에도 강하게 일반화되어, 단순 암기가 아닌 실제 전략 학습을 확인했다.
    • 추론 시 추가 프롬프트나 외부 메모리 없이, 학습된 정책만으로 성능 향상을 달성했다.
    초록PDF
  8. 638Computer VisionarXiv:2607.13639

    OvisOCR2 Technical Report

    0.8B 파라미터로 OmniDocBench v1.6 96.58점을 달성한 엔드투엔드 문서 파싱 모델.

    OvisOCR2는 0.8B 파라미터의 엔드투엔드 문서 파싱 모델로, 문서 페이지 이미지를 입력받아 텍스트, 수식, 표, 이미지 영역을 포함한 Markdown을 자연스러운 읽기 순서로 생성한다. 실제 문서 주석과 합성 페이지를 결합한 데이터 엔진과 SFT-RL-Distillation-Fusion 훈련 레시피를 통해, OmniDocBench v1.6에서 96.58점으로 pipeline 기반 모델들을 제치고 SOTA를 달성했다.

    • 문서 페이지 이미지를 받아 텍스트, 수식, 표, 시각 영역을 자연스러운 읽기 순서의 Markdown으로 한 번에 생성한다.
    • 실제 문서 주석과 같은 HTML에서 이미지와 정답을 만든 합성 페이지를 섞고, 지도학습·강화학습·온폴리시 증류·모델 융합을 적용했다.
    • 0.8B 모델이 OmniDocBench v1.6에서 96.58점, PureDocBench에서 Avg3 75.06으로 각각 가장 높은 성적을 기록했다.
    • 작은 단일 모델로 파이프라인 방식을 앞서 문서 검색과 지식화 시스템의 배포 구성을 단순화할 가능성을 보여준다.
    • 다만 검증 범위는 페이지 이미지에서 Markdown을 만드는 두 공개 벤치마크와 자체 벤치마크여서 다른 문서 처리 흐름의 성능까지 보장하지는 않는다.
    초록PDF
  9. 637Computer VisionarXiv:2607.12450

    Let RGB Be the Language of Vision

    모든 시각 정보를 RGB로 통일하여 20개 이상 비전 태스크를 제로샷으로 해결하는 통합 비전 패러다임.

    RINO(RGB In and RGB Out)는 모든 시각 정보(마스크, 깊이 맵, 포즈 등)를 RGB 이미지로 통일하여 표현하는 혁신적 비전 패러다임이다. 이 접근법은 서로 다른 비전 태스크를 공통 RGB-to-RGB 이미지 편집 문제로 변환하여, 단일 이미지 편집 모델이 task-specific 파라미터 없이도 세그먼테이션, 깊이 추정, 포즈-이미지 생성 등 25개 이상의 태스크를 제로샷으로 처리할 수 있게 한다. Qwen-Image-Edit 기반으로 깊이 추정 delta-1 0.938 등 전문 모델에 근접하는 성능을 보였다.

    • 마스크, 깊이 지도, 자세 같은 구조화된 시각 정보를 모두 RGB 이미지로 바꾸고 여러 과제를 공통 RGB-to-RGB 편집 문제로 표현한다.
    • 과제별 인코더나 디코더를 추가하지 않고 일반 이미지 편집 백본 하나로 이해 과제와 조건부 생성 과제를 처리한다.
    • 세그먼테이션과 깊이 추정, 자세 기반 생성 등에서 별도 미세조정 없이 경쟁력 있는 제로샷 성능을 보였다.
    • 시각 이해와 생성을 같은 입출력 형식으로 연결해 범용 시각·언어 시스템의 공통 인터페이스로 활용할 수 있다.
    • 성능이 웹 규모로 학습된 이미지 편집 백본에 크게 의존하고 일부 전문 과제에서는 전용 모델과 격차가 남는다는 한계가 있다.
    초록PDF
  10. 636AI / GeneralarXiv:2607.13034

    Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution

    LLM 에이전트가 작업 복잡도를 판단하지 못하고 과도한 컨텍스트를 수집하는 문제를 해결하기 위한 E3 프레임워크.

    본 연구는 LLM 에이전트가 단순 작업에도 최대 컨텍스트를 동원하는 비효율을 지적하고, 작업 복잡도를 사전 판단하는 E3(Estimate, Execute, Expand) 프레임워크를 제안한다. 에이전트가 최소 실행 경로를 추정하고 검증 실패 시에만 범위를 확장하는 전략으로, MSE-Bench 121개 작업에서 최강 기준과 동일한 100% 성공률을 유지하면서도 비용 85%, 토큰 91%, 파일 탐색 92%를 절감했다.

    • 에이전트의 불필요한 작업량을 재는 ACRR을 정의하고, 범위를 추정한 뒤 최소 경로를 실행하며 검증 실패 때만 넓히는 E3를 제안했다.
    • 통제된 시뮬레이터의 MSE-Bench 121개 편집에서 가장 강한 기준선과 같은 100% 성공률을 유지했다.
    • E3는 비용을 85%, 토큰을 91%, 확인한 파일을 92% 줄였고 적응형 검색 기준선보다도 16% 나았다.
    • 작은 수정에 전체 저장소를 읽는 에이전트의 낭비를 줄이면서 검증을 안전장치로 유지하는 실행 정책으로 적용할 수 있다.
    • 주요 수치는 실제 배포 에이전트가 아닌 통제된 시뮬레이터에서 나왔고 실제 모델 검증도 gpt-4o 사례 연구에 그쳐 더 넓은 검증이 필요하다.
    초록PDF
  11. 635Computer VisionarXiv:2607.14076

    From Pixels to States: Rethinking Interactive World Models as Game Engines

    인터랙티브 게임 세계 모델을 게임 엔진의 action-state-observation 루프로 분석하고 90시간+ 블랙 미신 데이터를 공개한 연구.

    본 논문은 인터랙티브 게임 세계 모델링을 기존 게임 엔진의 action-state-observation 루프 관점에서 체계적으로 분석했다. 플레이어 액션 제어, 게임 상태 역학, 상태-관측 지속성, 실시간 인터랙티브 생성의 4차원으로 분해하여 각 차원별 기존 방법론들을 분류하고 장단점을 논의했다. 또한 Black Myth: Wukong에서 90시간 이상의 게임플레이 데이터를 프레임 단위 액션, 엔진 익스포트 게임 상태, 시각 관측과 함께 수집한 확장 가능한 데이터 엔진을 공개했다.

    • 인터랙티브 세계 모델을 기존 게임 엔진의 행동·상태·관측 반복 구조로 바라보고 관련 연구를 네 차원으로 분류했다.
    • 네 차원은 플레이어 행동 제어, 게임 상태 변화, 상태와 관측의 장기 지속성, 실시간 생성이다.
    • Black Myth: Wukong에서 90시간이 넘는 플레이를 프레임별 행동, 실제 게임 상태, 시각 관측과 함께 모으는 데이터 엔진을 제시했다.
    • 이 틀과 데이터는 화면 예측을 넘어 명시적 상태를 추적하는 차세대 생성형 게임 엔진 연구의 기준 자료로 쓸 수 있다.
    • 논문은 방법 분류와 데이터 수집에 초점을 두며 규칙 준수, 장기 결과 유지, 실시간 생성을 모두 만족하는 완성된 세계 모델을 제시하지는 않는다.
    초록PDF
  12. 634Computer VisionarXiv:2607.14088

    VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

    동결된 비디오 파운데이션 모델을 인코더로 활용하여 생성 친화적 잠재 공간을 구축하는 비디오 오토인코더.

    VideoRAE는 동결된 비디오 파운데이션 모델(VFM)의 표현을 활용해 생성 친화적 잠재 공간을 구축하는 혁신적 비디오 오토인코더다. 기존 3D-VAE가 픽셀 수준 복원에만 최적화된 한계를 극복하고, VFM의 의미론적으로 풍부한 표현을 경량 1D 어텐션 프로젝터로 압축하여 continuous(DiT용) 및 discrete(AR용) 잠재 표현을 모두 지원한다. UCF-101에서 AR gFVD 40, DiT gFVD 93으로 SOTA 달성 및 경쟁 모델 대비 약 5배 빠른 수렴을 보였다.

    • 동결된 비디오 파운데이션 인코더의 여러 계층 특징을 가벼운 1차원 자기어텐션 프로젝터로 압축한다.
    • 연속 잠재표현은 확산 Transformer에, 다중 코드북 양자화로 만든 이산 토큰은 자기회귀 모델에 사용할 수 있다.
    • UCF-101에서 자기회귀와 확산 생성기의 gFVD가 각각 40과 93을 기록했고 경쟁 오토인코더보다 약 5배 빨리 수렴했다.
    • 의미가 풍부한 동결 비디오 표현을 복원 가능한 생성 잠재공간으로 바꿔 비디오 생성 학습을 빠르게 할 수 있다.
    • 생성 결과는 주로 UCF-101과 통제된 2B 규모 텍스트-비디오 실험에서 확인됐으므로 더 큰 모델과 다양한 영상 영역의 검증이 남아 있다.
    초록PDF
  13. 633Machine LearningarXiv:2607.13988

    TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

    다중 턴 에이전트의 툴 호출 단위 보상 할당을 위한 critic-free 신용 할당 방법.

    TRACE는 장기 호라이즌 에이전트 RL에서 턴 단위 보상을 할당하는 critic-free 신용 할당 방법이다. 동결된 참조 모델의 골드 정답 로그 확률을 상태 가치로 변환하고 인접 상태 간 TD 변화를 per-action 보상으로 사용하여, 결과 보상만으로는 학습이 어려운 장기 트래젝토리에서도 효과적인 학습 신호를 제공한다. BrowseComp-Plus에서 Qwen3-4B를 7.2에서 35.6으로, Qwen3-30B-A3B를 8.4에서 42.6으로 향상시켰다.

    • 도구 호출 경계의 상태마다 동결된 참조 모델로 정답 로그확률을 구하고 로그비 상태값의 시간차를 행동별 보상으로 사용한다.
    • 별도 비평가나 과정 라벨 없이 결과 보상보다 촘촘한 턴 단위 신용을 제공하며 불필요한 도구 호출 사이에서는 값이 상쇄된다.
    • BrowseComp-Plus에서 Qwen3-4B는 7.2에서 35.6으로, Qwen3-30B-A3B는 8.4에서 42.6으로 향상됐다.
    • 긴 검색 과정의 유용한 중간 행동을 학습시켜 순수 강화학습의 수렴을 앞당기고 공개 웹 평가로도 행동을 전이했다.
    • 현재 값 추정은 짧고 알려진 정답이 있는 검색에 맞춰져 있어 긴 코드 패치나 열린 답변에서는 같은 로그확률 기준이 적절한지 확인되지 않았다.
    초록PDF
  14. 632Computer VisionarXiv:2607.13125

    Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation

    2억 장 이미지로 약 $400K 비용으로 훈련한 오픈소스 통합 멀티모달 이해 및 생성 모델.

    Boogu-Image-0.1은 텍스트-이미지 생성, 빠른 추론, 명령 기반 편집, 중영 이중언어 텍스트 렌더링을 하나의 모델 패밀리(Base/Turbo/Edit/Edit-Turbo)로 통합한 오픈소스 시스템이다. 핵심 설계 철학은 이해(understanding)를 1급 시민으로 대우하는 것으로, 강력한 텍스트 인코더(Qwen3-VL-8B)와 에이전트 기반 추론 시간 스케일링을 결합하여 폐쇄형 시스템에 근접한 성능을 달성했다. 단 2.0862억 장의 고유 이미지와 약 $400K의 학습 비용으로 기존 오픈소스 모델들을 능가하며 Boogu Arena에서 최상위권을 기록했다.

    • Base, Turbo, Edit, Edit-Turbo 네 모델을 만들고 더 강한 멀티모달 인코더와 에이전트식 프롬프트 재작성을 결합했다.
    • 데이터 품질, 학습 절차, 추론 시간 확장을 함께 다듬어 이해 능력의 향상이 이미지 생성과 편집으로 이어지게 했다.
    • 2억 862만 장의 고유 이미지와 약 40만 달러의 이론상 기본 모델 학습비로 여러 공개 모델과 같거나 더 높은 벤치마크 성능을 보였다.
    • 가중치, 코드, 학습 방식을 Apache 2.0으로 공개해 적은 예산의 통합 이미지 생성·편집 연구에 재사용할 수 있다.
    • 선도 비공개 시스템에는 가까워졌지만 전반적으로 앞섰다고 보고하지는 않았으며, 비교 결과도 공개된 표준 평가 범위에 한정된다.
    초록PDF
  15. 631LLMs / NLParXiv:2607.12395

    Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

    1조 파라미터 모델에 zero RL을 적용하여 자발적 추론 능력이 출현하는 현상을 분석한 연구.

    Ring-Zero는 강화학습 기반 zero RL을 1조(1T) 파라미터 모델에까지 스케일업하여, 인간이 만든 데이터 없이도 고품질 추론 능력이 출현함을 입증했다. 단순한 알고리즘 개선(clipped importance sampling, training-inference ratio correction, mixed-precision control)만으로 안정적인 학습이 가능했으며, 학습 과정에서 발견(discovery) 단계와 정제(sharpening) 단계가 순차적으로 진행됨을 관찰했다. 1T 모델은 104B 모델 대비 압도적으로 높은 샘플 효율성과 성능 상한을 보였고, 자발적으로 구조화된 포맷팅, 자기 검증, 병렬 추론, 문맥 불안(context anxiety) 등의 고도 인지 행동을 발현했다.

    • 중요도 비율 자르기, 학습·추론 비율 보정, 혼합 정밀도 제어를 결합해 1조 파라미터 모델의 제로 강화학습을 안정화했다.
    • 모델 규모를 1조 파라미터로 늘리자 표본 효율과 성능 상한이 높아지고 학습이 발견 단계 뒤 정제 단계로 진행됐다.
    • 구조화된 형식, 자기 검증, 병렬 추론, 문맥 불안 같은 행동이 별도 규칙 없이 나타났다.
    • 정답률뿐 아니라 이해 가능성, 재현 가능성, 효율성으로 사고 과정을 평가하는 틀을 제시해 대규모 추론 학습 분석에 활용할 수 있다.
    • 실증은 일곱 개 수학 벤치마크와 1조 파라미터 설정에 집중되어 있어 다른 과제와 더 작은 계산 예산에 그대로 일반화되는지는 남은 문제다.
    초록PDF
  16. 630RoboticsarXiv:2607.13960

    GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch

    로봇 정책 학습을 위한 World Action Model로, 훈련 시 미래 시각 역학을 활용하되 추론 시 액션만 디코딩하여 85ms 지연 시간을 달성한다.

    GigaWorld-Policy-0.5는 World Action Model(WAM)의 효율성을 개선한 모델이다. 훈련 중에는 미래 시각 역학을 밀집 감독 신호로 활용하면서도 추론 시에는 명시적 비디오 생성을 건너뛰고 액션만 디코딩하는 action-centered 설계를 채택했다. Mixture-of-Transformers 아키텍처로 시각 역학 모델링과 액션 생성을 전문가로 분리하여 RTX 4090에서 85ms 추론 지연을 달성했으며, 혼합 AC-WM/WAM 사전 학습 전략으로 액션 표현의 전이성을 강화했다. AutoResearch 에이전트 파이프라인으로 하이퍼파라미터 탐색을 자동화하여 실제 로봇 성공률 85%를 기록했다.

    • 훈련 때 미래 시각 변화와 행동을 함께 배우되 추론 때는 영상을 만들지 않고 행동만 디코딩하는 행동 중심 WAM을 사용한다.
    • AC-WM과 WAM을 섞어 사전학습하고 시각 변화와 행동 생성을 서로 다른 Transformer 전문가로 나눴다.
    • 로컬 RTX 4090 환경에서 행동 추론 지연을 85밀리초로 줄이면서 미래 시각 감독의 정책 학습 이점을 유지했다.
    • 에이전트 기반 AutoResearch로 학습 설정 탐색을 자동화해 실시간 폐루프 로봇 제어의 개발 부담을 줄일 수 있다.
    • 85밀리초 수치는 특정 RTX 4090 배포 환경에서 측정됐으므로 다른 하드웨어와 더 다양한 로봇 작업의 지연과 성능을 보장하지는 않는다.
    초록PDF
  17. 629Computer VisionarXiv:2607.12800

    UniVR: Thinking in Visual Space for Unified Visual Reasoning

    순수 시각으로 복잡 추론/물리/계획 학습, VR-GRPO로 25% 향상.

    VR-GRPO는 VLM evaluator의 global 평가와 error-prone substep을 타겟팅하는 step-focal reward를 결합하여 논리적 일관성과 물리적 타당성을 동시에 최적화한다. 16개 소스의 VR-X 벤치마크(long-horizon 조작, 공간 퍼즐, 물리 추론)를 구축해 평가했다. VR-X에서 최대 25% 향상, LP 60%/GR 70% 달성으로 34B 파라미터로 Gemini 3 Pro 파이프라인에 근접했다. 강화된 시각 추론이 MMMU +0.045, MathVista +2.3, MM-Vet +7.6 등 다중모달 이해 벤치마크까지 견인했다. Step-focal reward가 global-only 대비 reward hacking을 방지하며 long-term planning과 JEPA를 개선했다.

    • VR-GRPO는 전체 결과 보상과 오류가 나기 쉬운 단계에 주는 보상을 함께 사용해 시각 추론의 논리와 물리 일관성을 학습한다.
    • 장기 조작, 공간 퍼즐, 물리 추론을 순수 시각 형식으로 묶은 16개 출처의 VR-X 벤치마크를 구축했다.
    • UniVR는 VR-X에서 최대 25% 향상됐고 강화된 시각 추론은 여러 멀티모달 이해 벤치마크의 성능도 높였다.
    • 코드, 데이터, 모델을 공개해 텍스트 설명 없이 시각 공간에서 계획하고 추론하는 연구에 활용할 수 있다.
    • 34B 모델과 긴 영상 학습에는 큰 계산 자원이 들고 단계 보상도 세밀한 물리 지식이 부족한 범용 VLM에 의존한다.
    초록PDF
  18. 628RoboticsarXiv:2607.12992

    ChunkFlow: Towards Continuity-Consistent Chunked Policy Learning

    VLA 청크 boundary jitter를 seam-aware training으로 해결, CALVIN/LIBERO 안정.

    각 청크를 frozen/editable/future 영역으로 분할하고 결정론적 overlap blending으로 인접 청크 간 충돌을 해소한다. 1차/2차 연속성 손실과 history corruption, scheduled sampling으로 견고성을 높이고 AWAC fine-tuning으로 구조적 정규화를 유지하면서 적응한다. CALVIN avg 4.30 시퀀스, LIBERO 93.4% 성공률, 4.43ms amortized latency를 달성했으며 long-horizon PSD 분석에서 2.5Hz 이상 고주파를 효과적으로 억제했다.

    • 각 행동 청크를 고정, 수정 가능, 미래 구간으로 나누고 실행 때 겹치는 부분을 결정론적으로 섞는다.
    • 이음매 손실과 1·2차 연속성 손실을 학습하고 기록 오염, 예정 표본추출, AWAC 미세조정으로 실행 오차에 견디게 했다.
    • CALVIN, LIBERO와 실제 로봇 실험에서 낮은 추론 지연을 유지하면서 성공률과 동작 안정성의 균형을 개선했다.
    • 청크 경계의 떨림을 사후 필터가 아니라 학습 단계에서 줄여 실시간 VLA 로봇 제어에 적용할 수 있다.
    • 이음매 차이가 겹침 길이에 따라 줄어든다는 이론은 완만한 평활성 가정 아래 성립하며 실험 범위도 세 환경에 한정된다.
    초록PDF
  19. 627RoboticsarXiv:2607.13033

    DenseReward: Dense Reward Learning via Failure Synthesis for Robotic Manipulation

    로봇 조작 dense reward model, 자동 실패 합성으로 프레임 단위 보상 학습.

    Reach/Grasp/Lift/Move/Place 5단계로 manipulation을 정의하고 각 단계에서 타겟 섭동을 가해 충돌, 그랩 실패, 낙하, 회복 등 6가지 물리적 실패 모드를 자동 합성한다. 27k 에피소드에 dense frame-level reward label을 부여한다. DROID, Isaac Sim, RoboSuite, LIBERO에서 데이터를 구축했으며 실패 데이터 포함 시 MAE 0.0809 vs 제외 시 0.1312를 기록했다. MPC 가이드에서 평균 최소 거리 0.229로 RoboReward(0.267), VLAC(0.347)를 능가했다. 실제 Franka 로봇 DSRL에서 stack cups 40%to80%, ball in basket 30%to70%를 단 10-20 rollout로 달성했다.

    • 시뮬레이션에서 충돌, 잡기 실패, 물체 낙하, 복구 같은 물리적 실패 궤적을 사람 라벨 없이 자동 합성했다.
    • 시각 관측과 언어 지시를 받아 매 프레임의 작업 진행도를 점수로 내는 촘촘한 보상 모델을 학습했다.
    • 시뮬레이션과 실제 조작 모두에서 범용 VLM과 기존 로봇 보상 모델보다 정확한 촘촘한 보상 예측을 보였다.
    • 이 보상은 모델 예측 제어와 강화학습에 세밀한 진행 신호를 제공해 모방학습 뒤의 로봇 정책 개선에 활용할 수 있다.
    • 현재 범위는 비교적 짧은 조작에 집중되며 도구 사용과 장기 작업, 사람 선호를 반영한 보상은 후속 과제로 남아 있다.
    초록PDF
  20. 626LLMs / NLParXiv:2607.13027

    PalmClaw: A Native On-Device Agent Framework for Mobile Phones

    스마트폰 네이티브 agent framework, device tool로 94.9% 시간 단축.

    GUI 탭/스와이프 대신 device capabilities를 명시적 인자, 구조화 결과, tool별 실행 경계를 가진 device tool로 노출한다. MobileTask에서 11.5% 높은 성공률과 94.9% 짧은 완료 시간을 기록했다. 설정은 2단계/2분으로 OpenClaw(4단계/5분), MobileClaw(8단계/15분) 대비 압도적으로 간편하다. 권한, workspace 경로, confirm boundary를 통해 agent가 통제된 범위 내에서만 행동하도록 보장한다. DeepSeek-V4-Flash 백본을 Android 13 Xiaomi에서 구동한다.

    • 스마트폰 안에서 세션, 기억, 기술, 도구와 에이전트 반복을 직접 관리하는 오픈소스 프레임워크를 구현했다.
    • 기기 기능을 명시적 인자, 구조화된 결과, 분명한 실행 경계를 가진 도구로 노출해 긴 화면 조작을 줄였다.
    • MobileTask 평가에서 가장 강한 기준선보다 작업 성공률이 상대적으로 11.5% 높고 완료 시간은 94.9% 짧았다.
    • 사용자 데이터와 센서에 가까운 모바일 자동화를 기기 안에서 실행하면서 권한과 작업 범위를 도구 단위로 통제할 수 있다.
    • 결과는 특정 Android 기기와 MobileTask 설정에서 확인됐고, 새 기기 기능을 쓰려면 안전한 전용 도구와 권한 경계를 따로 제공해야 한다.
    초록PDF
  21. 625AI / GeneralarXiv:2607.12463

    Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

    함수 호출부 = coding agent step 동형, FIM mid-training으로 SWE-Bench 향상.

    코드 에이전트의 action-observation-continuation 루프가 함수 호출부(context-call-return-continuation)와 구조적으로 동형임을 관찰했다. PDG(program dependency graph) 분석으로 복잡도-추론가능성 이중 기준으로 마스킹 대상 함수를 선택하고 CoT rationale을 FIM middle에 포함시킨다. 968개 GitHub repo, 2.6B 토큰 코퍼스로 Qwen2.5-Coder 7B/14B와 Qwen3-8B에 적용해 SWE-Bench-Verified +2.8/+3.0/+3.2, Lite +3.7/+4.0/+5.4를 달성했다. Python만으로 학습해도 tau-bench, BFCL, LiveCodeBench 등 비코드 tool-use 벤치마크까지 개선되어 함수 호출 구조의 일반성을 입증한다. 다중 함수 패치에서 +9.1pp로 구조적 정렬 효과가 집중됨을 확인했다.

    • 코딩 에이전트의 행동·관측·계속 구조가 함수 호출·반환 구조와 닮았다는 점을 이용해 함수 인식 FIM 중간학습을 설계했다.
    • 프로그램 의존 그래프와 복잡도·추론 가능성 기준으로 가릴 함수를 골라 968개 GitHub 저장소의 26억 토큰으로 학습했다.
    • Qwen 계열 7B, 14B, 8B 모델에서 SWE-Bench-Verified가 각각 2.8점, 3.0점, 3.2점 향상됐다.
    • 여러 에이전트 후학습 절차에서 효과가 유지되고 일반 코딩과 비코딩 도구 사용의 능력 저하도 완화했다.
    • 학습 말뭉치와 평가는 Python에 집중됐고 사고 설명 생성은 교사 모델에 의존해 다른 언어와 교사 없는 설정은 검증되지 않았다.
    초록PDF
  22. 624Computer VisionarXiv:2607.12477

    Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

    UAV 자아인식/공간인지 통합 평가 SIS-Bench(4,856 QA) 및 motion-aware 모델.

    1,646개 실제 UAV 비디오(14.9시간)에서 13개 과제 4,856 QA를 구축하고 dual-expert 검증을 거쳤다. 공간 인지(self)와 자아 인식(space) 2축에 perception/memory/reasoning 3계층을 교차시킨 평가 체계를 제안했다. GPT-5.4, Gemini-3-Flash 등 최고급 MLLM도 자아 인식에서 인간 대비 큰 격차를 보였으며 특히 reasoning(경로 계획)에서 random 이하 성능이 빈번했다. SIS-Motion(optical flow + visual feature fusion)은 SIS-Bench 전반을 개선하고 downstream UAV navigation 92.2%(baseline 71.2%)로 전이되었다.

    • SIS-Bench는 공간과 자기 인식의 두 축을 지각, 기억, 추론의 세 단계와 교차해 UAV의 자기-공간 이해를 평가한다.
    • 전문가 검증을 거쳐 실제 UAV 영상 1,646개에서 13개 과제와 질문·답변 4,856쌍을 만들었다.
    • 현재 MLLM은 공간 인지보다 자기 인식이 약했고 지각에서 기억과 추론으로 갈수록 성능이 계속 낮아졌다.
    • 광학 흐름과 시각 특징을 결합한 SIS-Motion은 두 축의 지각·기억과 후속 UAV 의사결정 성능을 개선했다.
    • 평가는 주로 영상 기반 질문·답변에 머물며 여러 센서를 통합해 실제로 장시간 자율 비행하는 에이전트까지 다루지는 않는다.
    초록PDF
  23. 623Computer VisionarXiv:2607.12592

    WanToFight: Real-Time Generative Game Engine for Multi-Player Combat Interaction

    Wan-1.3B 실시간 2인 KOF '97 생성 엔진, 최초 다인용 적대 generative game engine.

    Streaming autoregressive(block-causal attention + rolling KV cache), Player Association(CLIP 인코더 reference image identity 바인딩), gated keyboard injection(sigmoid gate + temporal window)을 결합했다. 4-step DMD distillation + pruned VAE로 512x384 30 FPS를 달성했다. Position swap/occlusion에서 97% identity 일관성을 보였으며 3단계 커리큘럼으로 학습을 안정화했다.

    • Wan-1.3B 비디오 확산 모델에 블록 인과 어텐션과 순환 KV 캐시를 넣어 스트리밍 자기회귀 생성을 구현했다.
    • 플레이어 연결 모듈이 각 키보드 입력을 캐릭터와 묶고, 국소 인과 키 입력 모듈을 단계별 교육과정으로 학습했다.
    • 4단계 DMD 증류 모델과 가지치기한 VAE가 RTX 5090 한 장에서 512×384 영상을 초당 30프레임으로 완전한 대전 동안 생성했다.
    • 두 플레이어의 적대적 상호작용과 복잡한 물리를 실시간 생성 엔진 하나에서 함께 다룰 가능성을 보여준다.
    • 현재는 KOF '97 한 게임에 한정되고 복잡한 동작의 세부 화질과 2분을 넘는 세션의 누적 오차가 남아 있다.
    초록PDF
  24. 622ResearcharXiv:2607.12264

    Heisenberg Scaling in Many-Body Kinetic Uncertainty Relation via Quantum Feedback

    양자 피드백 초방사 스핀 앙상블에서 카운팅 Heisenberg scaling(1/N^2) 최초 달성.

    Dicke 초방사 모델에서 Wiseman-Milburn direct Markovian feedback을 적용하여 각 quantum jump 후 unitary kick(Sx, 강도 c/N)을 가한다. 이를 통해 집합 스핀을 mz 약 0 부근에 유지하여 jump rate를 O(N^2)로 보존한다. Many-body KUR 하한뿐 아니라 수치 시뮬레이션에서 실제 분산도 1/N^2 스케일링을 보임을 확인했다. 피드백 없이는 초방사가 일시적이라 이 스케일링이 유지되지 않는다.

    • 다체 운동학적 불확정성 관계와 피드백이 반영된 평균장 방정식으로 초방사 스핀 앙상블의 계수 정밀도를 분석했다.
    • 양자 점프 뒤의 피드백으로 일시적인 초방사 활동을 유지해 입자 수 N에 따른 집단 효과를 지속시킨다.
    • 해석 결과와 수치 모의실험 모두에서 계수 관측량의 분산이 1/N²로 줄어드는 하이젠베르크형 스케일링을 보였다.
    • 집단 소산을 잡음이 아니라 양자 시계와 계수 장치의 정밀도 자원으로 바꾸는 설계 원리를 제시한다.
    • 결과는 특정 초방사 스핀 모형의 이론과 수치 모의실험에 기반하며 실제 장치에서의 실험 검증은 제시하지 않았다.
    초록PDF
  25. 621ResearcharXiv:2607.12772

    Quantum States Prepared by Wormholes: Long-Wavelength Deviations from Bunch-Davies

    Wineglass 웜홀 우주 양자 상태가 Bunch-Davies 진공에서 장파장 편차 분석.

    Wineglass 웜홀 기하학에서 텐서 및 스칼라 섭동의 양자 상태를 연구했다. 단파장 모드에서는 Bunch-Davies 진공을 정확히 재현하지만 장파장에서는 웜홀의 axionic/magnetic 전하에 비례하는 편차가 발생한다. 이 편차는 CMB 각 파워 스펙트럼에서 작은 shift와 oscillation으로 나타난다. 소전하 극한에서 편차가 억제되며 no-boundary instanton으로의 위상 전이가 smooth함을 실증했다.

    • 와인잔 모양 웜홀이 새 우주를 만들 때 준비하는 텐서 섭동과 시험 스칼라장 섭동의 양자 상태를 계산했다.
    • 짧은 파장에서는 Bunch-Davies 진공을 재현하지만 긴 파장에서는 웜홀 전하에 따른 편차가 생김을 보였다.
    • 이 편차는 이어지는 급팽창이 만드는 각 파워 스펙트럼에 작은 이동과 진동을 남긴다.
    • 전하가 0으로 갈수록 스칼라와 텐서 편차가 억제되어 무경계 인스턴톤으로의 위상 전이가 매끄럽다는 근거를 제공한다.
    • 이는 이상화된 웜홀 기하와 시험장 계산에서 얻은 우주론적 예측으로 실제 관측 자료에서 신호를 검출한 결과는 아니다.
    초록PDF
  26. 620Computer VisionarXiv:2607.12894

    Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

    Tencent embodied agent 기반 모델, 3B 활성 파라미터 MoE VLM으로 38 벤치마크 최고.

    Action-Relevant State Understanding, Action-Transition Reasoning, Sequential and Adaptive Reasoning의 3단계 능력 체계를 정의하고 이에 맞춰 pre-training부터 post-training까지 데이터 파이프라인을 설계했다. Hy3-A3B 언어 백본 + Hy-ViT2 비전 인코더 + MoE 구조로 3B 활성 파라미터만으로 이전 세대 A32B에 근접하는 성능을 보인다. 38개 벤치마크 중 19개에서 동급 최고, Qwen3.6-A3B 대비 평균 4.4% 우위, 전 세대 대비 8.4% 향상을 달성했다. GRPO 2단계 RL과 R2R-CE 내비게이션 SR 57.9%를 기록했다.

    • 행동 관련 상태 이해, 행동 전이 추론, 순차·적응 추론의 세 단계 능력 분류에 맞춰 사전학습과 후학습 데이터를 구성했다.
    • Hy3-A3B 언어 백본, Hy-ViT2 시각 인코더, 전문가 혼합 구조로 활성 파라미터를 3B로 제한했다.
    • 38개 벤치마크 중 19개에서 비슷한 크기 모델 가운데 가장 높은 성능을 냈고 이전 Hy-Embodied-0.5보다 평균 8.4% 향상됐다.
    • 적은 활성 파라미터로 다중 턴 상호작용과 장기 추론을 지원해 지연에 민감한 물리 세계 에이전트의 기반 모델로 활용할 수 있다.
    • 3B 활성 모델은 이전 세대의 32B 활성 모델에 가까운 수준일 뿐 모든 평가에서 이를 넘지는 않았고 최고 성능도 38개 중 절반에 한정됐다.
    초록PDF
  27. 619RoboticsarXiv:2607.13017

    FlowWAM: Optical Flow as a Unified Action Representation for World Action Models

    광학 흐름(optical flow)을 World Action Model의 통합 액션 표현으로 사용, 로봇 조작 92.94% 달성.

    FlowWAM은 optical flow를 HSV 인코딩하여 RGB와 동일 포맷의 비디오로 변환한 뒤, 공유 DiT 백본에서 RGB와 flow를 이중 스트림으로 jointly 모델링한다. Policy 모드에서는 flow를 생성하여 action expert가 실행 가능한 로봇 action으로 디코딩하고, world-model 모드에서는 target flow로 비디오 생성을 가이드한다. RoboTwin Clean 92.94%, Random 92.14% 성공률을 기록했으며 WorldArena EWMScore 63.71로 최고 성능을 달성했다. 실제 로봇 7개 과제 평균 75.7%로 pi0.5(61.4%)와 Motus(57.1%)를 능가했다. Flow 예측 품질과 성공률 간 Pearson r=-0.81의 강한 상관을 보였다.

    • 광학 흐름을 RGB 영상과 같은 형식의 행동 표현으로 만들고 공유 비디오 생성기 안에서 RGB와 흐름을 함께 확산 모델링했다.
    • 정책 모드에서는 흐름으로 행동을 예측하고 월드 모델 모드에서는 목표 흐름으로 미래 영상을 안내하며, 행동 라벨 없는 영상도 사전학습에 쓴다.
    • RoboTwin 성공률은 Clean 92.94%와 Random 92.14%였고 WorldArena의 EWMScore는 63.71을 기록했다.
    • 하나의 영상 친화적 표현으로 로봇 정책과 미래 장면 예측을 연결해 대규모 일반 영상의 움직임 정보를 제어 학습에 이용할 수 있다.
    • 보고된 수치는 RoboTwin, WorldArena와 제한된 실제 로봇 과제에서 얻었으므로 다른 로봇 형태와 접촉 중심 작업의 일반성은 추가 검증이 필요하다.
    초록PDF
  28. 618AI / GeneralarXiv:2607.11185

    SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

    컴퓨터 사용 에이전트(CUA)를 위한 온라인 RL 스케일링 프레임워크. VERIGEN으로 24K+ 검증 가능한 태스크를 생성하고 Frontier Sampling으로 효율화. OSWorld 68.7% 달성.

    SCALECUA는 컴퓨터 사용 에이전트(CUA)의 온라인 RL을 스케일링하기 위한 통합 프레임워크로, VERIGEN이라는 end-to-end 검증 가능 태스크 생성 파이프라인(24K+ 태스크, ~3K 고품질 RL 태스크)과 학습 효율을 극대화하는 Frontier Sampling을 결합한다. Visual Context Segmentation으로 2.83배 훈련 가속을 달성했으며, 9B 모델로 OSWorld 68.7%, ScienceBoard 54.0%를 기록하며 오픈소스 CUA 중 새로운 SOTA를 수립했다.

    • VeriGen은 Docker 상호작용과 여러 에이전트의 피드백으로 검증 가능한 컴퓨터 사용 과제를 자동 합성한다.
    • 과제별 현재 능력 경계에 실행을 배분하는 Frontier Sampling과 최근 화면만 나누어 처리하는 Visual Context Segmentation을 사용했다.
    • 2만4천 개가 넘는 검증 가능 과제와 약 3천 개의 고품질 강화학습 과제를 만들고 학습 속도를 2.83배 높였다.
    • ScaleCUA는 OSWorld 68.7%와 ScienceBoard 54.0%를 기록해 공개 컴퓨터 사용 에이전트의 대규모 온라인 학습에 쓸 수 있다.
    • 각 실행은 50턴으로 제한되고 평가는 Ubuntu 데스크톱 중심이어서 초장기 작업과 Windows·macOS로의 일반화는 확인되지 않았다.
    초록PDF
  29. 617ResearcharXiv:2607.11762

    Operational Concealment of Measurement Incompatibility by Quantum Channels

    양자 채널에 의해 측정 비호환성이 작동적으로 은폐되는 현상을 수학적으로 특성화. adjoint-kernel 프레임워크와 SDP 기반 은폐 강도 측정을 제안한다.

    이 논문은 측정 비호환성(measurement incompatibility)이 연산자 수준에서는 유지되면서도 양자 채널 출력으로 제한된 관측에서는 작동적으로 접근 불가능해지는 '작동적 은폐(operational concealment)' 현상을 체계적으로 특성화한다. adjoint-kernel 프레임워크를 개발하여 관측 가능량을 채널의 adjoint kernel에 의한 동치류로 조직화하고, 은폐 강도(concealment robustness)를 SDP로 정식화하며, 비단사 채널에서 표준 비호환성 강건성보다 엄격히 작아질 수 있음을 예시한다.

    • 모든 입력 상태가 양자 채널을 거칠 때 비호환 측정을 더는 인증할 수 없는 현상을 작동적 은폐로 정의했다.
    • 유한 차원에서 채널의 하이젠베르크 수반이 자명하지 않은 핵을 가질 때에만 일부 이진 POVM 쌍이 정확히 은폐됨을 증명했다.
    • 수축만 있는 단사 동역학과 정보 순위가 줄어드는 경우를 구분하고, 큐비트 채널의 은폐 강건성에 대한 정확한 식을 구했다.
    • 몫공간 쌍대성을 이용해 이 강건성을 채널 출력 게임에서 실험적으로 접근 가능한 보상 이점으로 해석했다.
    • 분석은 유한 차원·유한 결과 측정, 채널의 정확한 지식, 완전한 입력 단층촬영과 단일 사용에 한정되며 적응형 다중 사용은 다루지 않는다.
    초록PDF
  30. 616ResearcharXiv:2607.11637

    From Circuits to Hardware: Benchmarking Standard and Qubit-Efficient Quantum Optimization on Real Hardware

    게이트 기반 양자 최적화 알고리즘들을 IBM Heron 프로세서에서 4개 NP-hard 문제에 걸쳐 실 하드웨어 벤치마크. Fest≈0.1이 잡음 지배 전환점임을 식별했다.

    이 논문은 VQE, CVaR-VQE, QAOA 변종, qubit-efficient 인코딩(PCE, QRAO)을 포함한 게이트 기반 양자 최적화 알고리즘들을 4개 NP-hard 문제(MDKP, MIS, QAP, MSP)에 걸쳐 IBM Heron r1/r2 프로세서에서 실 하드웨어 벤치마크한 결과를 보고한다. 247개 method-instance 조합에서 게이트 수 기반 충실도 프록시 F_est≈0.1이 잡음 지배 실행으로의 전환점임을 식별했으며, QAOA 계열은 컴파일 후 잡음 지배 구간에 진입함을 보였다.

    • VQE, CVaR-VQE, 여러 QAOA 방식, PCE와 QRAO를 네 가지 NP-hard 문제의 같은 실하드웨어 절차로 비교했다.
    • IBM Heron r1·r2에서 247개 방법·문제 조합의 변환된 회로 크기, 실행 결과, 게이트 수 기반 충실도 추정치를 기록했다.
    • 중간 Heron-r2 오류율에서 약 770개 2큐비트 게이트에 해당하는 F_est≈0.1 부근부터 잡음이 실행을 지배했다.
    • QAP에서는 어떤 방법도 실행 가능한 답을 내지 못했고, 큐비트 절약 방식도 충실도 예산 안에서만 더 큰 문제를 실행했다.
    • 결론은 시험한 구현과 하드웨어에 관한 것이며 QAOA 계열 전체의 점근적 열세나 고전 방법 대비 양자 우위를 증명한 것은 아니다.
    초록PDF
  31. 615Computer VisionarXiv:2607.09450

    Robustifying Vision-Language Models via Test-Time Prompt Adaptation

    CLIP 등 VLM의 적대적 강건성을 test-time prompt 적응으로 향상시키는 RITA 프레임워크. optimal transport로 증강 뷰 분포를 텍스트 프로토타입과 정합한다.

    RITA(Robust test-time prompT Adaptation)는 적대적 섭동 하에서 VLM의 강건성을 향상시키는 test-time 적응 프레임워크로, 샘플 단위 신뢰도 대신 분포 수준 정합을 사용한다. 적대적 섭동이 전체 표현을 왜곡하지만 증강 뷰의 분포에서는 의미론적 무결성이 부분적으로 보존된다는 관찰에 기반하여, optimal transport로 증강 시각 특징 분포와 텍스트 프로토타입을 정합하고 동적 캐시로 테스트 스트림에서 신뢰할 수 있는 단서를 점진적으로 축적한다.

    • RITA는 시험 이미지의 여러 증강 특징 분포를 텍스트 원형 분포와 최적수송으로 맞춰 적대적 이상치를 줄인다.
    • 동적 캐시는 시험 흐름에서 신뢰할 수 있는 단서를 쌓아 프롬프트를 온라인으로 계속 다듬는다.
    • 여러 실험에서 깨끗한 이미지 정확도를 낮추지 않으면서 적대적 공격에 대한 VLM의 강건성을 높였다.
    • 모델을 다시 학습하거나 라벨 데이터에 접근하지 않아도 되어 기존 CLIP 계열 분류 시스템에 시험 시점 방어로 붙일 수 있다.
    • 현재 검증은 이미지 분류 중심이며 이미지 설명 같은 생성 과제로의 확장은 남아 있고 모든 새로운 공격 위험을 없애지는 못한다.
    초록PDF
  32. 614Computer VisionarXiv:2607.11588

    FoundationGeo: Learning Spatial Pixel-Wise Fields for Monocular Metric Geometry

    단안 메트릭 기하학 파운데이션 모델. 2단계 프레임워크로 상대 기하학+메트릭 보정을 결합하며, 7개 벤치마크에서 평균 5.2% 리드.

    FoundationGeo는 단안 메트릭 기하학 추정을 위한 2단계 프레임워크로, Stage 1에서 DINOv3 초기화로 10.2M 샘플 고품질 affine-invariant 기하학 모델을 학습하고, Stage 2에서 픽셀 단위 보정 필드(scale + ray-direction correction)로 메트릭 추정을 수행한다. 카메라 내부 파라미터 특히 초점 거리 분포의 불일치가 zero-shot 메트릭 일반화의 핵심 병목임을 식별하고, Blender 기반 데이터 엔진으로 다양한 초점 거리 영역의 데이터를 합성하여 보강했다.

    • Stage 1: DINOv3 초기화 + 10.2M 멀티도메인 코퍼스로 affine-invariant 고품질 상대 기하학 학습
    • Stage 2: 픽셀 단위 scale field + ray-direction correction field로 공간적으로 변화하는 메트릭 보정
    • 초점 거리 분포 불일치가 zero-shot 메트릭 일반화의 핵심 병목임을 식별
    • Blender 기반 합성 데이터로 다양한 초점 거리 영역 보강하여 내부 파라미터 시프트에 대한 강건성 향상
    • 7개 zero-shot 벤치마크에서 평균 5.2%+ 리드하며 도메인 간 급락 방지
    • DepthPro, Metric3D V2, UniDepthV2, MoGe-2 등 기존 메트릭 방법들을 능가
    초록PDF
  33. 613Computer VisionarXiv:2607.11862

    Evidence-Backed Video Question Answering

    비디오 VQA에 밀집된 시공간 증거(추적된 segmentation masklets)를 추가로 출력하는 E-VQA 태스크 제안. ST-Evidence 벤치마크와 160k 규모의 튜닝 데이터셋 구축.

    Evidence-Backed Video Question Answering(E-VQA)는 비디오 QA 모델이 의미론적 답변과 함께 시간 세그먼트 및 밀집 추적 segmentation masklets를 출력하도록 요구하는 새로운 태스크이다. ST-Evidence 벤치마크(인간 검증)와 160k 규모의 ST-Evidence-Instruct 데이터셋을 구축했으며, UniPixel 파인튜닝으로 t-mean +27.2, J&F +13.8 향상을 달성했다. 스케일링만으로는 QA 정확도와 시각적 grounding 간의 갭을 메울 수 없음을 입증했다.

    • E-VQA: 답변 + 시간 증거 + 공간 증거(masklets)의 3중 출력을 요구하는 새 태스크 정의
    • ST-Evidence: 인간 검증된 최초의 시공간 grounding 벤치마크 (생성형/객관형 변체)
    • Qwen3-VL, OpenAI-o3, Gemini-2.5-Pro 등 최첨단 모델에서 QA 정확도와 grounding 능력이 분리됨을 입증
    • 160k 규모 ST-Evidence-Instruct 자동 생성 파이프라인으로 추론·grounding 갭 브릿지
    • UniPixel 7B 파인튜닝 시 t-mean +27.2, J&F +13.8 대폭 향상
    • 스케일링만으로는 해결 불가능; 아키텍처·데이터·훈련 목표의 근본적 발전 필요
    초록PDF
  34. 612ResearcharXiv:2607.11738

    Qwen-Audio-VAE Technical Report

    Qwen팀의 오디오 VAE. 12.5Hz 저비트레이트, 32분 오디오를 541ms에 인코딩하는 고효율 연속 오디오 자동인코더. 500만 시간 데이터로 학습.

    Qwen-Audio-VAE는 확장 가능한 범용 오디오 생성을 위해 설계된 12.5Hz 저비트레이트 연속 오디오 자동인코더로, 고품질 복원과 콤팩트 잠재 표현, 고처리량 인코딩을 동시에 달성한다. 비대칭 인코더-디코더, window Transformer, latency-aware 인코더 가지치기를 결합해 32분 오디오를 541ms에 인코딩하며(3.62배 가속), 500만 시간의 다영역 오디오로 학습해 음성·음악·효과음 전 영역에서 강건한 복원 품질을 보인다.

    • 12.5Hz 저비트레이트 잠재 공간으로 다운스트림 DiT 훈련 비용 절감
    • 비대칭 encoder-decoder + latency-aware encoder pruning으로 32분 인코딩 541ms (3.62× 가속)
    • 500만 시간 다영역 오디오로 학습하여 음성·음악·효과음 도메인 일반화
    • 4개 판별자(multi-period, multi-res STFT, multi-scale STFT, sub-band CQT)로 적대적 감독
    • LibriSpeech, AudioCaps, SongDescriber 공개 벤치마크에서 도메인 간 강건한 복원 품질
    • 기존 최고 VAE 대비 STFT 거리 SI-SDR 등에서 우수한 성능
    초록PDF
  35. 611LLMs / NLParXiv:2607.11487

    LightMem-Ego: Your AI Memory for Everyday Life

    스마트폰/AI 안경의 ego센tric 스트림을 계층적 메모리(current/short/long-term)로 구성하는 경량 스트리밍 메모리 시스템. 물건 찾기, 대화 회상, 루틴 발견 등을 지원한다.

    LightMem-Ego는 모바일·웨어러블 기기의 ego센tric 시각·오디오 스트림을 지속적으로 수집하여 current/short-term/long-term 메모리의 3계층 구조로 구성하는 경량 스트리밍 멀티모달 메모리 시스템이다. 사용자 질의 시 메모리 라우터가 적절한 계층을 동적으로 선택하여 검색하고, 멀티모달 증거에 기반한 답변을 생성한다. 물건 찾기, 대화 회상, 일일 요약, 루틴 발견 등의 시나리오를 스마트폰과 AI 안경에서 실연한다.

    • 시각·오디오 스트림을 타임라인 정합하여 이벤트 단위로 세그먼테이션
    • current/short-term/long-term 3계층 메모리 계층으로 증분 조직화
    • 질의의 시간 범위와 의도에 따라 동적 라우팅하는 memory router 설계
    • 물건 찾기, 대화 회상, 일일 요약, 루틴 발견 등 4가지 핵심 시나리오 데모
    • 스마트폰 및 AI 안경에 배포 가능한 경량 아키텍처
    • 검색·QA·지연시간에서 명시적 다중모달 메모리가 없는 베이스라인 대비 우위 입증
    초록PDF
  36. 610Computer VisionarXiv:2607.11562

    MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

    문서 AI를 위한 시각-텍스트 기반 모델. 1.13억 장의 문서 이미지로 사전학습하여 기존 자연어 이미지 인코더를 압도한다. 0.7B 모델로 MDPBench SOTA 달성.

    MonkeyOCRv2는 문서 AI를 위한 시각-텍스트 기반 사전학습 모델로, 1.13억 장 17개 언어의 문서 이미지 코퍼스(MonkeyDoc v2)로 학습된다. 이미지-텍스트 생성과 픽셀 수준 문서 복원을 jointly 학습하여 글자 스트로크와 레이아웃 세부사항을 보존하며, 기존 인코더를 대체했을 때 5개 문서 분석 태스크에서 일관된 성능 향상을 보인다. 0.7B 문서 파싱 모델로 MDPBench 오픈소스 SOTA를 달성했다.

    • 1.13억 장 17개 언어의 최대 규모 문서 이미지 사전학습 코퍼스(MonkeyDoc v2) 구축
    • 이미지-텍스트 생성 + 픽셀 수준 문서 복원 jointly 학습으로 글자 수준 시각 인식 확보
    • CRNN 인식 정확도 58.7%→67.3%, 110M UniMERNet-T가 325M UniMERNet-B 능가
    • 0.7B 문서 파싱 모델로 MDPBench 오픈소스 SOTA, 이전 최고 3B dots.mocr 대비 +2.8%
    • 비전 인코더를 frozen 상태에서 Qwen3-VL-235B, GPT-5.2 등 대형 VLM보다 우수한 문서 이해 달성
    • CLIP, DINO, SAM 대비 8개 벤치마크에서 일관된 우위 입증
    초록PDF
  37. 609RoboticsarXiv:2607.11689

    From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence

    World Action Model(WAM)에서 embodied brain까지의 로드맵을 제시한 서베이/포지션 페이퍼. 물리적 추론과 국소 실행의 분리, 공유 계약, 폐루프 post-training을 핵심으로 한다.

    이 논문은 World Action Model(WAM)의 진화를 서베이하고, 모델 역할·표현, 목표함수·표준화, 시스템 구성의 3가지 갭을 식별한 후, 확장 가능한 물리 지능을 위한 공동 진화 로드맵을 제시한다. 중심 개념인 'embodied brain'은 물리적 추론을 담당하고 실행기 명령 대신 의도된 상태 전이나 능력 요청을 전달하며, physical harness가 이를 실행·검증·기록하는 구조다.

    • WAM을 action-conditioned predictive model로 정의하고 개입 결과를 명시적으로 예측하는 모델로 분류
    • 모델·표현 갭, 목표함수·표준화 갭, 생태계·시스템 갭의 3가지 구조적 한계 식별
    • Embodied brain: 물리적 관찰을 통합하고 개입을 비교하여 상태 전이 의도를 출력하는 중심 모델
    • Physical harness: brain 출력을 실행 도구·컨트롤러로 변환, 검증, trace 기록
    • 공유 계약(shared contracts)으로 이종 데이터·태스크·컴포넌트를 상호 비교 가능하게 만듦
    • 폐루프 post-training으로 검증된 상호작용을 재사용 가능한 경험으로 전환
    초록PDF
  38. 608Computer VisionarXiv:2607.11886

    Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

    SpectraReward는 사전학습된 MLLM을 학습 없이 이미지 생성 RL의 보상 모델로 활용하는 기법. 생성 이미지에서 원래 프롬프트를 복원하는 likelihood를 보상으로 사용한다. Self-SpectraReward로 자가 개선도 가능.

    SpectraReward는 사전학습된 MLLM을 학습 추가 없이 이미지 생성 강화학습의 보상 모델로 전환하는 기법으로, 생성된 이미지에서 원본 프롬프트를 teacher-forced forward pass로 복원하는 평균 log-likelihood를 보상으로 사용한다. Self-SpectraReward는 통합 멀티모달 모델에서 정책의 이해 브랜치가 생성 브랜치의 보상으로 작동해 외부 모델 없이 자가 개선하는 프레임워크를 제공한다.

    • MLLM의 image-conditioned prompt log-likelihood를 보상으로 사용하여 선호 라벨·파인튜닝 불필요
    • Self-SpectraReward: 통합 모델(UMM)의 이해 브랜치가 자체 생성 브랜치를 평가하는 폐루프 자가개선
    • 9개 MLLM 백본(4B~235B), 4개 모델 패밀리, 3개 RL 알고리즘, 2개 diffusion 모델로 대규모 검증
    • 더 큰 보상 MLLM이 항상 더 좋은 것은 아님; 보상-정책 정합이 보상 모델 크기보다 중요
    • Self-SpectraReward가 235B 외부 모델보다 우수한 성능을 보이며 정책-보상 정합의 중요성 입증
    • 5개 OOD 텍스트-이미지 벤치마크에서 기존 MLLM 파생 보상 방법들을 일관되게 능가
    초록PDF
  39. 607LLMs / NLParXiv:2607.11881

    Metacognition in LLMs: Foundations, Progress, and Opportunities

    LLM의 메타인지(metacognition)에 대한 최초의 종합적 개관 논문. 모니터링과 제어로 구성된 메타인지 루프를 정의하고, 측정 방법·개선 기법·응용·과제를 체계적으로 정리한다.

    이 논문은 LLM 메타인지 연구의 최초 종합적 개관으로, 메타인지를 모니터링(불확실성 판단, 과제 성과 평가)과 제어(계획, 전략 선택, 노력 재할당)의 상호작용 루프로 정의한다. 측정 방법(심리학 기반, 신경피드백, 신뢰도, 해석가능성), 메타인지 향상 기법, 추론 모델·에이전트·다중에이전트 시스템에서의 응용, 그리고 개방 과제를 체계적으로 정리한다.

    • 메타인지를 모니터링(상태 평가)과 제어(전략 조정)의 루프로 정의하고 LLM 연구를 분류
    • 심리학 기반 측정, 신경피드백, 신뢰도 기반, 해석가능성 기반 등 다양한 메타인지 측정 방법 정리
    • 메타인지가 할루시네이션 감소, 신뢰성 향상, 인간-AI 협업 개선에 기여함을 문헌에서 확인
    • 추론 모델, 에이전트, 다중에이전트 시스템, 메모리, 검색·도구 사용에서의 메타인지 응용 분석
    • 모델 크기·post-training·샘플링 온도가 메타인지 능력에 미치는 영향 체계 정리
    • 메타인지 평가의 간격(gap)과 향후 연구 방향(도메인 일반성, 아키텍처 설계 등) 제시
    초록PDF
  40. 606ResearcharXiv:2607.11699

    Qwen-Music Technical Report

    Alibaba Qwen팀의 대규모 음악 생성 모델. 500만 시간 이상의 다국어 음악 데이터로 학습되었으며, Melody-CoT으로 선율을 먼저 계획하는 것이 핵심 혁신이다. Suno V5.5 및 MiniMax와 경쟁하는 수준.

    Qwen-Music은 500만 시간 이상의 다국어 음악 데이터로 학습된 대규모 음악 생성 모델로, 텍스트-음악 생성과 커버 곡 생성을 지원한다. 핵심 혁신인 Melody-CoT는 전체 곡 생성 전 선율을 먼저 계획하여 창의성과 구조적 일관성을 향상시키며, 25Hz Music Semantic Token + DiT 기반 렌더링으로 48kHz 스테레오 웨이브폼을 생성한다. Suno V5.5와 동등 수준이며 MiniMax 2.6을 66.7% 승률로 압도한다.

    • 25Hz 단일 코드북 Music Semantic Token으로 곡 전체를 압축 표현하여 LLM 예측 공간 확보
    • Melody-CoT 메커니즘으로 선율을 명시적 중간 표현으로 계획 후 토큰 생성하여 음악성·구조 일관성 향상
    • Qwen-Music-Render: semantic-conditioned DiT + Spec-VAE + Band-Mode Refiner로 48kHz 스테레오 합성
    • 500만 시간+ 다국어 음악 데이터로 학습, 품질 등급별 커리큘럼 + 다단계 post-training(SFT→DPO→GSPO)
    • 전문 평가자 블라인드 테스트에서 MiniMax 2.6 대비 66.7%, Mureka V8 대비 58.3% 승률 달성
    • 16개 객관적 지표 중 13개에서 SOTA 달성 (SongBench, SongEval, AudioBox-Aesthetic)
    초록PDF
  41. 605Machine LearningarXiv:2607.11505

    Proxy Exploration and Reusable Guidance: A Modular LLM Post-Training Paradigm via Proxy-Guided Update Signals

    LLM post-training에서 탐색과 정렬을 분리하는 PUST 프레임워크. 가벼운 proxy 모델로 탐색 후 상대적 개선 신호를 추출해 stronger primary 모델에 전이한다. 약한 proxy에서 강한 모델로의 향상을 입증.

    PUST(Post-training framework)는 LLM post-training에서 비싼 정책 탐색을 proxy 모델로 위임하고, proxy의 초기·최적화 상태 간 상대적 개선 신호를 추출해 primary 모델에 전이하는 새로운 패러다임이다. Qwen3 모델 패밀리에서 수학·코드 도메인으로 검증하여, 상당히 약한 proxy의 신호도 stronger primary 모델을 견고하게 향상시킴을 보였다.

    • 탐색(proxy)과 정렬(primary)의 분리로 post-training을 모듈화·비동기화·재사용 가능한 파이프라인으로 재구성
    • proxy의 절대 분포가 아닌 상대적 개선 신호를 전이하여 weak-to-strong improvement 지원
    • Qwen3-1.7B 등 소형 proxy의 탐색 신호가 더 큰 primary 모델의 성능을 조절 가능하게 향상
    • GRPO 대비 OPD 기반 분포 정렬이 70 스텝 이내에 수렴하여 탐색 효율성 입증
    • 전이 강도를 스케일링 계수로 조절 가능하여 다양한 설정에서 견고한 성능
    • 탐색 신호의 캐싱·재사용·크로스모델 전이가 가능하여 비용 효율성 크게 향상
    초록PDF
  42. 604Computer VisionarXiv:2607.11673

    ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

    알리바바 AMAP의 범용 3D world model로, 텍스트·이미지·비디오를 고품질 탐색 가능 3D Gaussian Splatting 세계로 변환한다. Spatial Generative Primitive(SGP)와 14B 파라노마 비디오 생성기를 결합해 오픈소스 SOTA 달성.

    ABot-3DWorld 0는 텍스트, 단일 이미지, 다중뷰 사진, 비디오를 입력으로 받아 탐색 가능한 3D Gaussian Splatting 세계를 생성하는 범용 멀티모달 3D world model이다. 핵심인 Spatial Generative Primitive(SGP)는 파노라마와 공간 포인트 클라우드의 튜플이며, 14B VACE 기반 파노라마 비디오 생성기와 3DRL 포스트트레이닝, 반복적 FLUX 수리 모듈을 결합해 오픈소스 중 SOTA를 달성했다.

    • SGP(파노라마+포인트클라우드)라는 단일 표현으로 모든 입력 모달리티를 통합 처리
    • 14B VACE 기반 파노라마 비디오 생성기에 3DRL 포스트트레이닝으로 3D 일관성 향상
    • 풍부한 입력(다중뷰, 비디오)은 엄격한 기하학 파이프라인으로 처리하여 환각 최소화
    • 반복적 FLUX 기반 수리 모듈로 파노라마 해상도 한계 및 뷰 불일치 해결
    • ABot-3DGS 데이터 엔진으로 완전 정합된 (RGB, point-map, pose) 훈련 데이터 생성
    • 실내/야외/항공 전 영역을 단일 파이프라인에서 지원하며 지도 POI 연동 가능
    초록PDF
  43. 603RoboticsarXiv:2607.11643

    Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

    Xiaomi의 38B 멀티모달 자회귀 모델로, 이미지 생성·이미지 편집·embodied 장면 생성·embodied 전이·embodied 비디오 생성을 단일 프레임워크에서 통합한다. GPT-Image-2.0을 능가하며 로봇 정책의 OOD 성공률을 36.9%에서 63.2%로 향상시킨다.

    Xiaomi-Robotics-U0는 38B 파라미터 멀티모달 자회귀 모델로, foundation world model의 일반화 능력을 보존하면서 embodied 환경으로 확장하는 최초의 통합 embodied synthesis 모델이다. 텍스트-이미지 생성, 이미지 편집, embodied 장면 생성, embodied 전이, embodied 비디오 생성을 jointly 학습하여, GPT-Image-2.0을 인간 평가에서 능가하고 World Arena 1위를 달성했으며, π0.5 로봇 정책의 OOD 성공률을 36.9%에서 63.2%로 크게 향상시켰다.

    • 38B 파라미터 단일 자회귀 프레임워크에서 5가지 생성 태스크(이미지 생성, 편집, embodied 장면 생성, 전이, 비디오 생성)를 통합 학습
    • 구조화된 제어 포맷으로 작업공간·배경·전경·대상·조명을 독립 제어 차원으로 분리하여 multi-view 일관성 보존
    • GPT-Image-2.0을 embodied 장면 생성 및 전이에서 인간 평가 1위, World Arena embodied 비디오 생성 1위 달성
    • 생성된 합성 데이터로 π0.5 로봇 정책의 OOD 성공률을 36.9%→63.2%로 26.3%p 향상
    • 순차적 world modeling을 통해 정적 장면 생성에서 확장 가능한 궤적 생성 엔진으로 발전
    • 코드와 체크포인트를 공개하여 embodied intelligence 데이터 엔진으로 활용 가능
    초록PDF
  44. 602Computer VisionarXiv:2607.09544

    The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs

    VLM이 객체 개수 세기에 실패하는 원인이 내부 지식 부재가 아닌 출력과의 정렬 불일치임을 프로빙으로 입증하고, detector-guided 자기 교정으로 최대 15.6% 향상을 달성한다.

    이 논문은 VLM의 카운팅 오류가 내부 표현에는 정답이 존재하지만 출력과 정렬되지 않아 발생함을 보인다. 4개 VLM의 중간 활성화에 프로브를 학습시킨 결과, 비선형 프로브가 카운팅 오류를 신뢰성 있게 감지했으며, SVCCA 분석으로 정답 프로브와 출력 프로브의 부분적으로 공유되지만 잘못 정렬된 부공간을 확인했다. 인과적 steering 개입으로 count 방향을 강화하면 성능이 향상됨을 검증했고, 이를 바탕으로 detector-guided self-correction(오류 예측 시 선택적 재프롬프트)을 제안해 파라미터 업데이트 없이 최대 15.6% 정확도 향상을 달성했다.

    • VLM 내부 활성화에 GT count·출력 count·오류 여부 3종 프로브 학습 — 오류를 신뢰성 있게 예측
    • SVCCA: 정답 프로브와 출력 프로브가 부분 공유 부공간이지만 잘못 정렬된 방향으로 readout — 오류의 구조적 원인
    • 인과적 steering: count 방향 강화 시 카운팅 성능 향상, 무작위 방향은 성능 저하 — 인과성 검증
    • Detector-guided self-correction: 오류 예측 시에만 선택적 재프롬프트 — 최대 15.6% 절대 향상
    • 무파라미터 업데이트: 추론 시점 개입만으로 개선 — 실용적 적용 가능
    • 프로브 F1과 교정 gains의 강한 양의 상관(ρ=0.803) — 내부 오류 신호 품질이 교정 효과 결정
    초록PDF
  45. 601RoboticsarXiv:2607.09648

    B-spline Policy: Accelerating Manipulation Policies via B-spline Action Representations

    로봇 조작 정책의 액션을 연속 B-spline 곡선으로 표현해 실행 속도를 크게 높이는 B-spline Policy(BSP)를 제안한다.

    B-spline Policy(BSP)는 이산적 액션 청킹 대신 연속 B-spline 곡선으로 액션을 파라미터화해 로봇 조작 정책의 실행 속도를 가속한다. B-spline의 시간적 스케일링으로 동일 궤적을 더 빠른 속도로 실행할 수 있으며, 추론 시점 세그먼트 정렬 메커니즘이 세그먼트 경계의 불연속성을 해소한다. 실제 로봇 실험에서 Table Cleaning 태스크 완료 시간을 50% 단축(23.57s→11.80s)하면서 성공률을 유지했고, Diffusion Policy 및 ACT 백본 모두에 drop-in으로 통합 가능하다.

    • 이산 액션 청킹을 연속 B-spline 곡선으로 대체 — 시간적 재스케일링으로 실행 속도 가속
    • 추론 시점 세그먼트 정렬: 인접 B-spline 세그먼트 간 부드러운 전환 보장, 고속 실행 시 필수
    • Table Cleaning: 4X 속도에서 완료 시간 50% 단축(23.57s→11.80s), 성공률 유지(13/20 vs 14/20)
    • Diffusion Policy + ACT 백본 모두에 drop-in 통합 가능 — 기존 파이프라인 수정 최소
    • PushT 시뮬레이션: 4X 속도에서 점수 0.59→0.73, 시간 7.19s→2.87s로 동시 향상
    • 비균일 시간 구조 대응: 도달(빠름)~파지(정밀) 등 태스크 단계별 제어 입도 자동 할당
    초록PDF
  46. 600AI / GeneralarXiv:2607.08964

    Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

    에이전트의 장기 horizon 터미널 태스크 수행 능력을 밀집 보상 기반 부분 점수로 평가하는 Long-Horizon-Terminal-Bench를 제안한다.

    Long-Horizon-Terminal-Bench(LHTB)는 9개 카테고리 46개의 장기 horizon 터미널 태스크로 구성된 벤치마크로, 각 태스크를 세분화된 서브태스크로 분해해 밀집 중간 보상과 부분 점수를 제공한다. 15개 프론티어 모델을 평가한 결과, 태스크당 평균 9.9M 토큰, 231 에피소드, 85.3분이 소요되었으며, 가장 강력한 GPT-5.5도 0.95 임계값에서 15.2% pass@1에 그쳤다. 주요 실패 패턴은 시간 초과 후 부분 진행과 조기 종료로 인한 약한 자기 검증이었으며, 밀집 보상이 이러한 차이를 드러내는 데 필수적임을 보였다.

    • 46개 장기 horizon 터미널 태스크(9카테고리): 실험 재현, 소프트웨어 엔지니어링, 멀티모달 분석, 게임, 과학 계산 등
    • 서브태스크 기반 밀집 보상: binary pass/fail이 아닌 부분 점수로 중간 진행도 가시화
    • 태스크당 평균 9.9M 토큰, 231 에피소드, 85.3분 실행 — 기존 Terminal-Bench/SWE-Bench보다 훨씬 더 요구적
    • 최강 모델 GPT-5.5도 15.2% pass@1(R≥0.95), 평균 pass@1은 4.3% — 큰 개선 여지 존재
    • 주요 실패: 시간 초과 후 부분 진행 + 조기 종료(false finish) — 약한 자기 검증이 핵심 병목
    • 밀집 보상이 false finish 패턴을 드러내는 데 필수 — binary 평가는 이를 놓침
    초록PDF
  47. 599Computer VisionarXiv:2607.09225

    Glob3R: Global Structure-from-Motion with 3D Foundation Models

    3D 기반 모델의 피드포워드 예측을 전역 SfM 최적화로 변환해 정확도를 크게 높이는 Glob3R 재구성 프레임워크를 제안한다.

    Glob3R는 동결된 Pi3X 백본에 경량 밀집 매칭 헤드를 추가해 참조 프레임과 인접 뷰 간의 이미지 왜핑을 예측하고, 이를 다중 뷰 특징 트랙으로 변환해 전역 최적화에 사용한다. 키프레임 기반 슬라이딩 윈도우 전략으로 긴 시퀀스와 비순차 이미지 컬렉션 모두를 처리하며, motion averaging과 bundle adjustment로 포즈를 정제한다. KITTI에서 평균 RMSE 13.21m를 달성해 기존 스트리밍 방법들보다 10~50% 개선했고, ETH3D에서 회전·병진 정확도를 크게 높였다. neural rendering에서도 2~3dB PSNR 향상을 가져왔다.

    • 동결된 3D 기반 모델(Pi3X) + 경량 밀집 매칭 헤드로 피드포워드 예측을 최적화 가능한 기하 제약으로 변환
    • 키프레임 기반 슬라이딩 윈도우 전략: 트랙과 상대 포즈를 윈도우 간 전파, 청크 단위 한계 극복
    • KITTI 평균 RMSE 13.21m — Scal3R(14.55), LoGeR(18.65) 등 최신 방법 대비 10~50% 개선
    • ETH3D: R@1 91.58, T@1 73.27 — 최신 학습 기반 SfM(AMB3R) 대비 회전·병진 정확도 대폭 향상
    • NeRF/뉴럴 렌더링에서 2~3dB PSNR 향상 — 정제된 포즈의 실용적 가치 입증
    • 전역 motion averaging + bundle adjustment로 스케일 불일치 해소 및 밀집 기하 복원
    초록PDF
  48. 598Machine LearningarXiv:2607.08940

    TSRouter: Dynamic Modality-Model Selection for Time Series Reasoning

    시계열 추론에서 LLM과 VLM의 상호 보완적 강점을 활용하기 위해 모달리티와 모델을 동시 선택하는 그래프 기반 라우터 TSRouter를 제안한다.

    TSRouter는 시계열 추론에서 각 쿼리에 최적의 모달리티-모델 조합을 동적으로 선택하는 이질적 그래프 기반 라우팅 프레임워크이다. 태스크, 쿼리, 모달리티, 모델 노드로 구성된 그래프에서 GNN이 교차 타입 정보를 집계해 후보를 평가한다. 4가지 시계열 추론 태스크에서 기존 방법 대비 16~46% 상대 향상을 달성했으며, 학습되지 않은 새로운 모델과 태스크에 대해 zero-shot 일반화가 가능하다. 비용-성능 트레이드오프 조절도 지원한다.

    • LLM(수치 정확도)과 VLM(전역 패턴)의 상호 보완성을 활용한 최초의 모달리티+모델 공동 라우팅 프레임워크
    • 이질적 그래프(task·query·modality·model) + GNN으로 복잡한 상호작용 모델링
    • 4개 시계열 추론 태스크에서 16~46% 상대 향상 — 비용 인식 최적화로 Pareto frontier 구성
    • 학습 데이터 10%만 사용해도 최고 baseline(전체 데이터)을 크게 능가하는 데이터 효율성
    • GPT-5로 노드 프로파일링 → 사전학습 임베딩으로 초기화, 새 모델/태스크에 zero-shot 일반화
    • 사용자 정의 α 파라미터로 성능-비용 트레이드오프 실시간 조절 가능
    초록PDF
  49. 597ResearcharXiv:2607.09627

    A complete ultrametric on von Neumann's incomplete tensor products

    폰 노이만의 무한 텐서곱 공간에 완비 초거리를 도입하고, 이를 에버렛 다세계 해석의 분기 정량화에 적용하는 수학 논문이다.

    이 논문은 폰 노이만의 불완전 텐서곱 공간에 자연스러운 pseudo-ultrametric d를 정의하고 이것이 완비 공간을 형성함을 증명한다. d는 두 C0-수열 간의 수렴 지수로 정의되며, 게이지 불변 변형 d~는 에버렛 다세계 해석에서 세계 간 분기의 속도를 측정하는 디코히런스 지수로 해석된다. 유한 차원에서 1이 스펙트럼에 없는 유니터리 U에 대해 d(c,Uc)=1임을 보이고, 큐비트 설정에서 d~가 [0,1]의 모든 값을 실현함을 예시로 든다.

    • 무한 텐서곱의 동치류 집합 Γ에 수렴 지수 기반 pseudo-ultrametric d 정의 — 강 삼각부등식 만족 및 완비성 증명
    • 게이지 불변 변형 d~ 정의: 위상 변화에 둔감, 폰 노이만 약동치와 정합
    • 유니터리 U(1∉σ(U))의 곱이 모든 동치류를 최대 거리 1로 이동함을 증명
    • d~를 디코히런스 지수로 해석 — 환경 N 자유도 모니터링 시 분기율 exp(-Nd~~)로 감쇠
    • 에버렛 다세계 모델: 우주 = 무한 큐비트 텐서곱, 세계 = 섹터, 시간 = 이산 유니터리 스텝
    • 초거리 공간의 위계적 구조가 분기 트리의 leaf space와 정확히 대응
    초록PDF
  50. 596Computer VisionarXiv:2607.09661

    PanoWorld: Real-World Panoramic Generation

    파노라마 세계 모델의 장기 기억 문제를 회전 등변성을 활용해 해결하는 PanoWorld 프레임워크와 World360 데이터셋을 제안한다.

    PanoWorld는 파노라마 표현의 회전 등변성을 활용해 카메라 궤적을 평행이동만으로 단순화하고, DPRC(Dense Panoramic Ray-Conditioning)와 GMA(Geometry-aware Memory Augmentation)로 현재 동작 모델링과 장기 기억을 동시에 처리한다. 3단계 훈련 파이프라인으로 각 구성 요소를 점진적으로 최적화하며, 70K 실제 드론 영상과 50K 시뮬레이션 영상으로 구성된 World360 데이터셋을 구축했다. 실험에서 PanoWorld는 Matrix-3D, OmniRoam 등 기존 방법을 큰 폭으로 능가했으며, 720p에서 FID 16.93을 기록했다.

    • 파노라마 ERP의 회전 등변성을 활용해 회전을 기하 변환으로 처리, 평행이동만 명시 모델링
    • DPRC: 파노라마 레이 기반 밀집 조건부로 정확한 동작 제어, GMA: 기하 인식 메모리 증강으로 장면 지속성 확보
    • World360 데이터셋: 70K 실제 UAV 클립 + 50K AirSim360 시뮬레이션, 다고도 비행 궤적 포함
    • Matrix-3D 대비 FID 27.64→(480p), 16.93→(720p), PSNR 궤적 정확도 2~4점 향상
    • Causal Forcing 기반 실시간 생성: H20 GPU 1장에서 161프레임 8초 생성 (기존 ~4분48초)
    • 3단계 훈련 파이프라인으로 모델링·메모리·제어를 점진적 최적화
    초록PDF