논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 2026-10-16벤치마크 RSS 구독

494Computer VisionarXiv:2606.24253
TuringViT: Making SOTA Vision Transformers Accessible to All
TuringViT는 고해상도와 다이내믹 해상도를 효율적으로 처리하고 10%의 데이터로도 오픈소스 ViT 베이스라인을 능가하는 VLM 네이티브 비전 트랜스포머이다.
TuringViT는 튜링 선형 어텐션(TLA)을 도입하여 고해상도와 다이내믹 해상도 비주얼 시퀀스를 효율적으로 처리한다. VISTA-Curation 파이프라인으로 이미지-비디오 데이터를 큐레이션하여 데이터 효율성을 높이고 네이티브 다이내믹 해상도 학습을 지원한다. TuringViT는 제로샷 분류 평균 83.6점, 검색 평균 78.9점을 달성하고 다운스트림 VLM 성능을 향상시킨다.
- TuringViT는 튜링 선형 어텐션(TLA)을 도입하여 고해상도와 다이내믹 해상도 비주얼 시퀀스를 효율적으로 처리한다
- VISTA-Curation 파이프라인으로 이미지-비디오 데이터를 큐레이션하여 데이터 효율성을 높이고 네이티브 다이내믹 해상도 학습을 지원한다
초록 PDF
493Machine LearningarXiv:2606.24020
You Don't Need to Run Every Eval
84개 프런티어 모델과 133개 벤치마크 점수 매트릭스가 실질적으로 rank-2 구조를 가짐을 보이고 BENCHPRESS를 제안한다.
저자들은 84개 프런티어 모델과 133개 벤치마크의 공개 점수 매트릭스(2,604개 셀, 23.3% 채워짐)를 구축하여 실질적으로 rank-2 구조를 가짐을 보인다. logit 공간의 rank-2 ALS 매트릭스 완성 방법인 BENCHPRESS를 설계하여 숨겨진 점수를 4.6점 이내로 복구한다. 5개 벤치마크 {GPQA-D, HLE, Codeforces, MMLU-Pro, ARC-AGI-1}를 사용하여 모델의 공개 스코어카드를 3.93점 이내로 복구한다.
- 저자들은 84개 프런티어 모델과 133개 벤치마크의 공개 점수 매트릭스(2,604개 셀, 23.3% 채워짐)를 구축하여 실질적으로 rank-2 구조를 가짐을 보인다
- logit 공간의 rank-2 ALS 매트릭스 완성 방법인 BENCHPRESS를 설계하여 숨겨진 점수를 4.6점 이내로 복구한다
초록 PDF
492Computer VisionarXiv:2606.25041
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
Wan-Streamer는 실시간 저지연 오디오-비주얼 완전 중복 상호작용을 위한 네이티브 스트리밍 엔드투엔드 파운데이션 모델이다.
Wan-Streamer는 언어, 오디오, 비디오를 입력과 출력 모두에서 하나의 트랜스포머로 모델링하고 블록-인과성 주의를 사용하여 증분 스트리밍을 지원한다. 별도의 VAD, ASR, 언어 모델, TTS, 아바타, 비디오 생성 모듈에 의존하지 않고 인지, 추론, 생성, 응답 타이밍, 턴 관리, 크로스모달 동기화를 통합 모델에서 공동 학습한다. 모델 측 응답 지연 약 200ms, 전체 상호작용 지연 약 550ms를 달성한다.
- Wan-Streamer는 언어, 오디오, 비디오를 입력과 출력 모두에서 하나의 트랜스포머로 모델링하고 블록-인과성 주의를 사용하여 증분 스트리밍을 지원한다
- 별도의 VAD, ASR, 언어 모델, TTS, 아바타, 비디오 생성 모듈에 의존하지 않고 인지, 추론, 생성, 응답 타이밍, 턴 관리, 크로스모달 동기화를 통합 모델에서 공동 학습한다
초록 PDF
491Computer VisionarXiv:2606.24805
DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection
스테레오 3D 물체 검출에서 최초로 실시간 성능(23.5ms)을 달성하면서 open-set OoD 검출까지 지원하는 듀얼 디코더 Transformer 아키텍처 DDStereo를 제안한다.
스테레오 기반 3D 물체 검출의 두 가지 핵심 과제인 실시간 성능과 open-set 일반화를 동시에 해결하는 DDStereo를 제안한다. 전경 국소화와 3D 속성 회귀를 분리하는 듀얼 디코더 설계와 공유 쿼리를 통한 정렬로 open-set OoD 검출을 가능하며, 경량 disparity 특징 추출기로 추론 속도를 극대화한다. KITTI 벤치마크에서 기존 모든 스테레오 3D 검출기의 정확도를 능가하면서 23.5ms의 추론 속도로 단안 방식에 필적하는 최초의 실시간 스테레오 3D 검출기를 달성했다.
- 스테레오 3D 검출 최초로 23.5ms 실시간 추론 달성 (단안 방식 수준)
- 듀얼 디코더: disparity 특징으로 전경 이진 검출 + 좌측 특징으로 3D 속성 회귀를 분리
- 공유 객체 쿼리로 두 디코더를 정렬하여 NMS나 앵커 매칭 없이 anomaly score 산출
- KITTI-AR-OoD open-set 벤치마크 R40 기준 OoD AP3D 78.09%로 S3AD(73.69%) 능가
- 보행자 및 자전거 탑승자 클래스에서 기존 모든 스테레오 방식 대비 SOTA 달성
- 추가 합성 데이터 10%만 사용해도 OoD AP3D 54.65%로 S3AD(24.45%) 대비 압도적 일반화
초록 PDF
490LLMs / NLParXiv:2606.24530
NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
Nature 계열 논문 90개 과제로 코딩 에이전트의 과학적 발견 능력을 평가하는 NatureBench을 구축하고, 최강 에이전트도 17.8%만 SOTA를 능가한다는 결과를 보고한다.
AI 코딩 에이전트가 논문 재현을 넘어 실제 과학적 발견을 할 수 있는지 평가하기 위해, Nature 계열 저널에서 추출한 90개 태스크로 구성된 NatureBench을 구축했다. NatureGym 파이프라인이 각 논문을 컨테이너화된 과제 패키지로 자동 변환하여 환경 파편화 문제를 해결한다. 웹 검색을 금지한 엄격한 프로토콜 하에서 10개 프론티어 에이전트를 평가한 결과, 최강 모델(Claude Opus 4.7)도 17.8% 태스크에서만 SOTA를 능가했고 47.8%에서 매치했다. 성공은 주로 '방법론적 번역'(과학적 과제를 친숙한 지도학습 문제로 변환, 45.5%)에 의존하며, 실패는 잘못된 방법 선택(45.1%)과 계산 예산 부족(24.4%)이 지배했다.
- Nature 계열 5,500편에서 90개 과제를 엄선하여 6개 과학 도메인(세포 오믹스, 단백질, 생체 모델링, 물리 모델링, 분자 설계, 관계 추론)을 포괄
- NatureGym: 논문 → 컨테이너화된 과제 환경 자동 구축 파이프라인으로 재현 가능성 보장
- 최강 에이전트(Claude Opus 4.7)도 g>0.1 기준 17.8%만 SOTA 능가, 47.8% 매치 — 발견보다는 번역에 의존
- 성공 경로의 45.5%는 과학적 발명이 아닌 '방법론적 번역'(친숙한 지도학습으로의 변환)
- 실패 원인: 잘못된 방법 선택 45.1%, 계산 예산 부족 24.4% (과제 이해 부족이 아님)
- 정보 방화벽으로 원저자 방법론을 은닉하여 재현이 아닌 독립적 발견을 강제
초록 PDF
489LLMs / NLParXiv:2606.23525
Self-Compacting Language Model Agents
에이전트가 스스로 언제 맥락을 압축할지 결정하도록 루브릭 기반 압축 도구를 제공하는 SelfCompact를 제안하여, 고정 간격 압축 대비 30-70% 낮은 비용으로 동등 이상의 성능을 달성한다.
긴 에이전트 궤적에서 과거 맥락이 누적되어 발생하는 context rot 문제를 해결하기 위해 SelfCompact를 제안한다. 모델이 직접 호출하는 압축 도구와, 언제 압축할지(하위 과제 해결 시) / 언제 하지 않을지(추론 도중)를 지정하는 가벼운 루브릭을 결합한다. 7개 모델과 6개 벤치마크(수학 및 에이전트 검색)에서 평가한 결과, 루브릭 없이 도구만 제공하면 불규칙하게 사용하지만 루브릭을 함께 제공하면 적응적 압축이 가능했다. 수학에서 최대 18.1점, 에이전트 검색에서 5-9점 향상을 고정 간격 대비 30-70% 낮은 비용으로 달성했다.
- 고정 토큰 임계값 기반 압축은 추론 도중이나 검색 중간에 발동하여 검증된 사실을 삭제하는 문제가 있음
- 모델이 직접 호출하는 압축 도구 + 경량 루브릭(하위 과제 해결 시 압축, 추론 중 억제)을 결합
- 루브릭 없이 도구만 제공하면 모델 간 사용 편차가 크고 부적절한 시점에 호출 — 루브릭이 핵심임을 입증
- 수학 벤치마크(IMO-Answerbench, HMMT)에서 무압축 대비 최대 18.1점 향상
- 에이전트 검색(BrowseComp 등)에서 5-9점 향상, 질문당 30-70% 낮은 토큰 비용
- 모든 파인튜닝이나 외부 감독 없이 inference-time 스캐폴드만으로 적응적 압축 가능
초록 PDF
488RoboticsarXiv:2606.24742
World Value Models for Robotic Manipulation
월드 모델을 로봇 가치 함수의 기반으로 활용하여 시간적 이해와 미래 계획 능력을 갖춘 World Value Model을 제안하고, 800개 비최적 궤적 벤치마크를 포함한 SOTA 성능을 달성한다.
로봇 정책 학습에서 가치 모델의 정확도는 과거 맥락의 이해와 미래 결과에 대한 계획 능력에 달려 있지만, 기존 VLM 기반 가치 모델은 정적 이미지 사전학습으로 인해 시간적 모델링이 부족하다. 월드 모델이 자연적으로 시간적 역학과 미래 예측에 뛰어나다는 점에 착안하여, 비디오 월드 모델을 가치 학습의 기반으로 재활용하는 World Value Model(WVM)을 제안한다. WVM은 Mixture-of-Transformers로 비디오 스트림과 가치 DiT를 결합하고, 가치 함수를 flow matching으로 훈련된 분포 청크로 정식화한다. 800개 비최적 궤적의 Suboptimal-Value-Bench에서도 SOTA를 유지하며, 시뮬레이션과 실제 환경 모두에서 정책 성능을 향상시킨다.
- 월드 모델의 시공간 사전 지식을 로봇 가치 추정의 기반으로 재활용하는 최초 접근
- Mixture-of-Transformers(MoT)로 비디오 생성 스트림과 가치 DiT를 결합하여 표현 간섭 최소화
- 가치 함수를 flow matching 훈련된 분포 청크(distributional chunk)로 정식화하여 dense 학습 신호 확보
- 800개 비최적 궤적 + 인간 라벨링으로 구성된 Suboptimal-Value-Bench 공개
- 전문가 VOC와 Suboptimal-Value-Bench 모두에서 SOTA 달성, 하류 정책 학습에서도 일관된 향상
초록 PDF
487Computer VisionarXiv:2606.24888
DiffusionBench: On Holistic Evaluation of Diffusion Transformers
Diffusion Transformer 평가가 ImageNet에만 편중된 문제를 지적하고, T2I와의 순위 상관관계가 없음을 21개 모델 실험으로 입증하여 DiffusionBench 통합 벤치마크를 제안한다.
Diffusion Transformer(DiT) 연구가 ImageNet 클래스 조건부 생성 평가에만 편중되어 있으며, 이것이 진정한 생성 모델링 진전을 반영하는지 의문을 제기한다. NANOGEN이라는 통합 훈련/평가 프레임워크를 구축하여 ImageNet과 text-to-image(T2I)를 거의 동일한 설정에서 훈련할 수 있게 만들고, 21개 잠재 확산 모델을 훈련했다. 결과적으로 ImageNet 순위와 T2I 순위 사이에 강한 상관관계가 없음(Pearson r = -0.377 ~ -0.580)을 발견했다. 이를 바탕으로 두 태스크를 통합한 DiffusionBench를 제안한다.
- ImageNet과 T2I를 12줄 설정 변경으로 전환 가능한 NANOGEN 통합 훈련/평가 프레임워크 구축
- 21개 잠재 확산 모델 훈련 후 ImageNet 순위와 T2I 순위의 Pearson 상관계수가 -0.377 ~ -0.580로 무상관 확인
- ImageNet FID 개선이 T2I 품질 개선으로 이어지지 않는다는 실증적 증거 제공
- RAE, VAE, pixel-space, MeanFlow를 모두 지원하는 통합 코드베이스 공개
- DiffusionBench: ImageNet + T2I 결과를 통합한 holistic 벤치마크로 향후 DiT 연구의 기본 보고 권장
초록 PDF
486AI / GeneralarXiv:2606.24855
OpenThoughts-Agent: Data Recipes for Agentic Models
에이전트 모델 훈련을 위한 완전 공개 데이터 큐레이션 파이프라인으로, 100K 예제로 Qwen3-32B를 미세조정하여 7개 벤치마크 평균 44.8%로 기존 최고 오픈 모델 대비 3.9%p 향상한다.
에이전트 모델 훈련용 데이터 큐레이션에 대한 공개 연구가 부족한 문제를 해결하기 위해, OpenThoughts-Agent(OT-Agent) 프로젝트는 6단계 SFT 데이터 파이프라인을 구축하고 100개 이상의 통제된 절실험을 수행했다. 100K 예제로 Qwen3-32B를 미세조정한 결과 7개 에이전트 벤치마크 평균 44.8%를 달성하여, 기존 최고 오픈 데이터 모델(Nemotron-Terminal-32B, 40.9%)을 3.9%p 능가했다. 또한 RL 데이터 큐레이션도 연구하여 SFT+RL 2단계 파이프라인에서 8B 모델로 기존 최고 베이스라인을 능가한다.
- 6단계 SFT 데이터 파이프라인에 100개 이상의 통제된 절실험 수행으로 각 단계의 효과를 정량 분석
- 지시문 선택이 파이프라인에서 가장 중요한 요인이며, 최강 모델이 최고 교사가 아님을 입증
- 100K 예제로 Qwen3-32B 미세조정 시 SWE-Bench Verified 54.0%, Terminal-Bench 2.0 26.2% 달성
- 평균 44.8%로 기존 최고 오픈 데이터 에이전트 모델 대비 3.9%p 향상 (Nemotron-Terminal-32B 40.9%)
- 모든 훈련 세트 크기에서 경쟁 오픈 데이터셋을 능가하는 스케일링 특성 입증
- SFT+RL 2단계 8B 모델이 순수 SFT 및 순수 RL 모두를 능가함을 확인
초록 PDF
485AI / GeneralarXiv:2606.23595
SPIRAL: Learning to Search and Aggregate
순차·병렬·집계 3가지 추론 컴퓨트 원시를 통합 강화학습으로 훈련하는 SPIRAL 프레임워크로, GRPO 대비 최대 11배 스케일링 효율을 달성한다.
추론 모델이 테스트 시간에 사용하는 세 가지 컴퓨트 원시(순차 추론, 병렬 샘플링, 집계)를 통합 훈련하는 SPIRAL을 제안한다. 병렬 트레이스 생성에는 집합 강화학습(set RL)을, 집계 트레이스에는 표준 강화학습을 적용하여, 모델이 독립적으로 유용한 추론 트레이스 세트를 생성하고 이를 효과적으로 종합하는 능력을 학습한다. 수학 추론 벤치마크에서 GRPO 대비 최대 11배의 스케일링 효율과 15% 높은 성능을 달성했으며, 복합 test-time 전략(재귀적 자기 집계 등)에서 특히 강력한 이점을 보인다.
- 순차·병렬·집계 3종 추론 컴퓨트를 단일 강화학습 파이프라인에서 통합 최적화하는 최초의 프레임워크
- 집합 강화학습(set RL)으로 병렬 트레이스가 집계에 집단적으로 유용하도록 학습
- GRPO 대비 pass@k에서 최대 11배 스케일링 효율, 병렬+집계 동시 스케일링 시 15% 더 높은 성능
- 기존 훈련 패러다임은 순차 추론만 최적화하여 테스트 시간 스캐폴드와의 간극이 존재했음을 지적
- Qwen3-4B-Instruct 기반 실험으로 검증, 8B+ 파라미터 확장을 향후 과제로 명시
초록 PDF
484Computer VisionarXiv:2606.23688
Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild
단안 비디오에서 비강체 변형 객체의 완전한 4D 재구성을 수행하는 test-time 최적화 프레임워크로, 인과 잠재 조건화와 가림 인식 최적화를 결합한다.
단일 비디오에서 비강체 변형 객체의 360도 4D 재구성을 수행하는 Lift4D를 제안한다. 단안 3D 재구성 모델에 인과적 잠재 조건화(causal latent conditioning)를 적용해 시간적 일관성을 확보하고, 변형 가능한 3D Gaussian Splatting 표현을 초기화한다. 이후 가림 인식 최적화로 가시 표면 디테일을 복원하면서 보이지 않는 영역은 view-conditioned diffusion prior로 완성한다. Pexels와 DAVIS in-the-wild 비디오에서 기존 방법 대비 CLIP, LPIPS, EPE(모션 정확도) 모두에서 SOTA를 달성했다.
- 단안 3D 재구성 모델에 인과적 잠재 조건화를 적용해 프레임 간 시간적 일관성 확보
- 시간 일관된 초기화를 변형 가능한 3D Gaussian Splatting 표현으로 변환
- 깊이 단서로 가림 영역을 국소화하는 가림 인식 렌더링 감독으로 가시/비가시 영역 분리 처리
- 보이지 않는 영역에 view-conditioned diffusion prior를 적용하여 그럴듯한 외형 완성
- Consistent4D 합성 벤치마크에서 LPIPS 0.116, FVD 592.44로 SOTA 달성
- DAVIS in-the-wild 비디오에서 CLIP 0.715, EPE 0.161로 기존 최고 방법 대비 우수한 모션 정확도 입증
초록 PDF
483Computer VisionarXiv:2606.23489
MeshFlow: Mesh Generation with Equivariant Flow Matching
삼각형 메시를 동등변환(optimal transport) 플로우 매칭으로 직접 생성하여 자기회귀 방식 대비 18배 빠른 속도로 SOTA급 품질을 달성하는 MeshFlow를 제안한다.
3D 메시 생성에서 기존 자기회귀 방식의 느린 추론 속도와 긴 시퀀스 의존성을 극복하기 위해, MeshFlow는 메시를 'triangle soup'으로 표현하고 동등변환(equivariant) optimal-transport 플로우 매칭을 적용한다. 핵심은 면의 순서 불변성과 각 면 내 꼭지점 순서 불변성을 모두 보존하는 수정 DiT 아키텍처와, 대칭성 위반 학습 신호를 제거하는 nested OT 손실 함수다. ShapeNet 벤치마크에서 SOTA 자기회귀 모델과 동등한 메시 품질을 달성하면서도 18배 빠른 1초 미만 추론을 실현했다.
- 메시를 triangle soup으로 직접 표현하여 자기회귀 직렬화의 한계(느린 속도, 오류 누적)를 회피
- 면 순열 불변성 + 꼭지점 순환 불변성을 모두 보존하는 Equivariant DiT 아키텍처 설계
- 대칭성 위반 학습 신호를 제거하는 nested optimal transport 결합(coupling) 손실 도입
- ShapeNet 4개 카테고리 중 3개에서 최고 1-NNA 달성, SOTA 자기회귀 모델과 동등 품질
- 추론 속도 18.55배 향상: 자기회귀 대비 sub-second 메시 생성
- 후처리 denoiser로 자기 교집합률(Ri)을 약 56% 감소시키며 추가 지연은 무시할 수준
초록 PDF
482RoboticsarXiv:2606.24884
InSight: Self-Guided Skill Acquisition via Steerable VLAs
VLA 로봇 정책을 원시 행동 단위로 조종 가능하게 만들고, VLM이 부족한 원시 행동을 자가 식별·수집·재학습하여 인간 데모 없이 새 기술을 습득하는 프레임워크 InSight를 제안한다.
Vision-Language-Action(VLA) 모델이 훈련 데이터에 없는 새로운 조작 기술을 자율적으로 습득할 수 있도록 하는 InSight 프레임워크를 제안한다. 1단계에서는 인간 데모를 자동으로 원시 행동(primitive) 단위로 분할해 VLA를 조종 가능하게 만들고, 2단계에서는 VLM이 새 태스크에 필요한 부족한 원시 행동을 식별하고 저수준 제어로 자율 시도→성공 롤아웃 수집→VLA 재학습하는 데이터 플라이휠을 구동한다. 블록 뒤집기, 서랍 닫기, 쓸기, 비틀기, 따르기 등 5개 태스크에서 인간 데모 없이 최대 96% 성공률을 달성했다.
- 인간 데모를 VLM 계획 분해와 엔드이펙터 궤적으로 자동 분할해 VLA를 원시 행동 수준에서 조종 가능하게 만듦
- VLM이 새 태스크의 부족한 원시 행동을 식별하고 저수준 제어로 자율 시도→성공 데이터 수집→재학습하는 플라이휠 구축
- 비틀기 92%, 따르기 96% end-to-end 성공률을 인간 데모 없이 달성 (CaP-X는 각각 32%, 16%)
- 14개 원시 행동을 체인으로 하는 장기 과업(비틀기→따르기)에서 80% 성공률 달성
- 새 원시 행동 추가 후에도 기존 pick-and-place 기술 100% 유지하여 망각 문제 없음을 확인
- 화성 로봇 시나리오: 뜨기 데모만으로 쓸기 행동을 자율 습득하여 5/5 평가 성공
초록 PDF
481AI / GeneralarXiv:2606.22902
Agent-as-a-Router: Agentic Model Routing for Coding Tasks
LLM 라우팅의 병목이 추론 능력이 아니라 '정보 부족'임을 증명하고, Context-Action-Feedback 루프를 통해 실행 기반 경험을 축적하는 적응형 라우터 ACRouter를 제안한다.
다수 LLM 중 최적 모델을 선택하는 라우팅 문제에서 성능 병목이 추론 능력이 아니라 정보 부족(information deficit)임을 발견했다. 성능 통계를 제공하면 15.3% 향상을 보인다. 이를 바탕으로 Context→Action→Feedback 루프를 통해 실행 기반 경험을 축적하는 ACRouter를 제안하며, ~10K 태스크와 8개 프론티어 LLM으로 구성한 CodeRouterBench에서 최저 누적 후회(cumulative regret)를 달성했다.
- LLM 라우터의 성능 병목은 추론 능력 부족이 아니라 정보 부족(information deficit)임을 실험으로 입증
- 성능 통계 제공 시 15.3% 상대 향상으로 heuristic 라우터보다 뛰어남
- Context-Action-Feedback(C-A-F) 루프를 통해 스트리밍 태스크에서 실행 기반 경험을 지속적으로 축적
- ACRouter는 in-distribution에서 49.98% AvgPerf, OOD agentic programming에서 62.50% AvgPerf 달성
- 정적 라우터(분류기, 밴딧)는 OOD에서 성능이 급락하지만 ACRouter는 일반화 유지
- CodeRouterBench: ~10K 태스크, 8개 LLM, 실행 검증된 점수를 제공하는 후회 기반 라우터 평가 환경
초록 PDF
480World Models / AgentsarXiv:2606.24597
Qwen-AgentWorld: Language World Models for General Agents
언어 모델 기반 월드 모델로 7개 도메인의 에이전트 환경을 시뮬레이션하고, 분리형 시뮬레이터와 통합형 에이전트 파운데이션 모델 두 패러다임을 제시한다.
Qwen-AgentWorld는 언어 모델 기반 월드 모델을 사용하여 에이전트 환경 시뮬레이션의 경계를 확장한다. 3단계 훈련 파이프라인(CPT→SFT→RL)으로 10M+ 환경 상호작용 트래젝토리에서 Qwen-AgentWorld-35B-A3B와 Qwen-AgentWorld-397B-A17B를 개발했으며, 7개 도메인을 아우르는 에이전트 환경 시뮬레이션이 가능하다. 이 시스템은 분리형 환경 시뮬레이터로 수천 개 환경에서 RL 에이전트 훈련을 지원하거나 통합형 에이전트 파운데이션 모델의 워밍업으로 활용되어 7개 에이전트 벤치마크에서 성능을 개선한다. AgentWorldBench에서 기존 프론티어 모델보다 우월한 성능을 입증했다.
- 언어 월드 모델: Qwen-AgentWorld-35B-A3B & Qwen-AgentWorld-397B-A17B, 7개 도메인 시뮬레이션
- 3단계 훈련: CPT(월드 모델링 능력 주입)→SFT(다음 상태 예측 활성화)→RL(시뮬레이션 정확도 향상)
- 벤치마크: AgentWorldBench, 5개 프론티어 모델×9개 벤치마크에서 우월한 성능 입증
- 패러다임 A(분리형): 에이전트 RL용 수천 개 환경 시뮬레이션, 실제 환경 훈련 초과 성능
- 패러다임 B(통합형): 월드 모델 훈련을 워밍업으로 활용, 7개 에이전트 벤치마크 성능 향상
- 10M+ 환경 상호작용 트래젝토리 학습, 긴 사고 체인(chain-of-thought) 기반 추론
초록 PDF
479ResearcharXiv:2606.22832
Linear optical Bell state measurement for rotation-symmetric cat codes
회전 대칭 고양이 코드(RS-cat)를 위한 선형 광학 Bell 상태 측정 프로토콜로, 하프 빔 스플리터와 광자수 분해 검출기만 사용한다.
본 연구는 회전 대칭 고양이(RS-cat) 코드의 Bell 상태 측정(BSM)을 위해 하프 빔 스플리터(HBS)와 광자수 분해 검출기(PNRD)만을 사용하는 최소 광학 프로토콜을 제안한다. RS-cat 코드의 이산 회전 대칭이 유도하는 광자수 구조를 활용하여, 광자수 나머지와 위상 정보를 동시 추출해 Bell 상태를 판별한다. 무손실 조건에서 충분히 큰 진폭 α에 대해 임의의 대칭 차수 N에서 결정론적 BSM이 가능함을 보이고, 광자 손실 하에서의 성공 확률과 포스트선택에 의한 개선도 분석했다.
- 하프 빔 스플리터(HBS) + 광자수 분해 검출기(PNRD)만으로 RS-cat 코드 BSM 구현
- 이산 회전 대칭 기반 광자수 나머지 정보 + 위상 정보로 4종 Bell 상태 판별
- 무손실·대진폭 조건에서 임의 대칭 차수 N에 대해 결정론적 BSM 가능
- 광자 손실 수치 평가: 고차 RS-cat 코드가 특정 손실 영역에서 유리함을 확인
- 포스트셀렉션으로 성공 확률 추가 향상 가능, 필요 광자수 분해능도 실현 가능 범위
초록 PDF
478LLMs / NLParXiv:2606.23321
Tmax: A simple recipe for terminal agents
터미널 에이전트 RL 훈련을 위한 오픈 데이터셋(TMAX-15K)과 단순한 RL 레시피로 9B 모델이 TB 2.0 27%를 달성한다.
Tmax는 터미널 에이전트 RL 훈련을 위한 오픈 데이터셋과 레시피를 제공한다. TMAX-15K는 14,600개의 RL 환경 인스턴스로, 기존 최대 터미널 데이터셋 대비 2.5배 이상 크며, 난이도 제어·페르소나·검증자 다양화를 결합한 합성 파이프라인으로 생성했다. DPPO(Divergence PPO)와 outcome-only 보상으로 9B 모델을 학습하여 Terminal-Bench 2.0에서 27%를 달성, 소형 모델로 대형 모델을 능가했다. SWE-Bench Verified 등 태스크 및 다른 하네스로의 일반화도 확인했다.
- TMAX-15K: 14,600개 RL 환경 인스턴스, 기존 최대 터미널 데이터셋 대비 2.5배 이상
- 9B 모델로 Terminal-Bench 2.0 27% 달성 → 30B 미만 오픈 모델 중 최고 수준
- 난이도 제어 + 페르소나 + 검증자 다양화로 고품질 환경 합성
- DPPO + FP32 LM head + large group size로 장시호 에이전트 RL 안정화
- SWE-Bench Verified +5점 등 교차 태스크 및 교차 하네스 일반화 확인(RL이 단순 harness-fitting 아님)
초록 PDF
477Computer VisionarXiv:2606.22568
SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion
Semantic-First Diffusion 기반 T2I 파운데이션 모델로, 적은 학습 컴퓨터(125K A800시간)로 경쟁사급 성능을 달성한다.
SeFi-Image는 Semantic-First Diffusion 패러다임을 적용한 텍스트-이미지 파운데이션 모델로, 1B/2B/5B 세 가지 규모로 제공된다. 5B 모델은 단 125K A800 GPU시간(Z-Image의 10~20%)으로 학습했음에도 GenEval, DPG, LongTextBench 등에서 Qwen-Image, Z-Image와 동등 이상의 성능을 달성했다. 시맨틱 인코더의 특징을 비동기적으로 주입하여 수렴을 가속화하며, DMD2 증류로 few-step turbo 변형도 제공한다.
- Semantic-First Diffusion: 시맨틱 인코더 특징을 비동기 주입하여 고재현 VAE 공간에서도 빠른 수렴 달성
- 5B 모델 학습에 125K A800시간만 소요(Z-Image 대비 10~20% 컴퓨터)
- GenEval, DPG, LongTextBench, OneIG, CVTG-2K 등 다수 벤치마크에서 Qwen-Image/Z-Image와 동등 이상
- 1B/2B/5B 3규모 + DMD2 증류 turbo 변형으로 다양한 하드웨어/레이턴시 요구 대응
- 450M 이미지-텍스트 쌍 + 28M 합성 텍스트 렌더링 데이터로 학습, 코드/가중치 공개
초록 PDF
476LLMs / NLParXiv:2606.21906
Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding
LLM 추론 시 엔트로피가 최저인 근접 최종층을 동적으로 선택하는 training-free 디코딩 전략으로, 정렬 붕괴를 완화한다.
Confident Decoding은 LLM의 forward pass에서 나타나는 '추측-정제-교란(Guess-Refine-Perturb)' 패턴을 활용하여, 최종층이 아닌 엔트로피 골짜기(최고 신뢰도 층)에서 로짓을 추출하는 학습 불필요 디코딩 전략이다. 정렬(alignment)으로 인해 최종층이 보수적이고 범용적인 토큰으로 편향되는 현상을 우회하며, GPQA-Diamond, Omni-MATH, HLE 등 추론 벤치마크에서 일관된 개선을 보인다. 메모리 오버헤드 없이 레이턴시 2% 미만 추가로 달성된다.
- Guess-Refine-Perturb 패턴 발견: 초기층은 추측, 중간층은 정제, 최종층은 정렬 편향으로 교란
- 엔트로피 기반 보수적 역방향 탐색으로 최적 근접 최종층을 토큰별 동적 선택
- Dense 및 MoE 아키텍처 모두에서 GPQA-Diamond, Omni-MATH, HLE 등 추론 벤치마크 일관된 개선
- 추가 메모리 0, 레이턴시 2% 미만 증가로 기존 추론 파이프라인에 drop-in 적용 가능
- 정렬(alignment)이 강할수록 최종층 교란 커져 → 모델이 클수록 효과 증가
초록 PDF
475Machine LearningarXiv:2606.23664
MAS-PromptBench: When Does Prompt Optimization Improve Multi-Agent LLM Systems?
다중 에이전트 시스템(MAS)에서 시스템 프롬프트 최적화가 언제, 얼마나 효과적인지 체계적으로 벤치마킹한다.
MAS-PromptBench는 다중 에이전트 LLM 시스템에서 프롬프트 최적화 효과를 평가하는 종합 벤치마크다. 5종 워크플로우 토폴로지, 3종 통신 프로토콜, 2~10명 팀 규모를 아우르며, GEPA와 MIPRO 두 최적화 도구를 평가한다. 최대 24점 개선이 가능하지만 최대 16점 하락도 발생하여, 구조화된 통신과 명확한 국소 행동이 있을 때 효과적이고 팀이 커질수록 최적화가 어려워짐을 입증했다.
- MAS 프롬프트 최적화 전용 벤치마크: 5종 토폴로지, 3종 통신 프로토콜, 2~10 에이전트 규모
- 최대 +24점 개선부터 최대 -16점 하락까지 극적인 편차 → 맹목적 적용 위험 입증
- 구조화된 통신 프로토콜일수록 최적화 효과 큼(Freeform < Semi-structured < Structured)
- 팀 규모 증가 시 조정 복잡도 상승으로 최적화 효과 감소(2명 +2.4점 → 10명 -2.1점 평균)
- 단일 에이전트 최적화 도구의 자연스러운 MAS 확장은 충분치 않으며, MAS 맞춤형 알고리즘 필요
초록 PDF
474RoboticsarXiv:2606.20781
World Action Models: A Survey
World Action Model(WAM)을 예측-제어 결합 관점에서 체계적으로 정의하고 분류한 종합 서베이.
본 서베이는 World Action Models(WAMs)를 '미래 예측을 행동에 활용하는 embodied 예측-행동 모델'로 정의하고, 비디오 생성 모델, VLA, 세계 모델과의 경계를 명확히 한다. 예측 기질(substrate), 백본, 행동 결합 방식, 배포 체제별로 200개 이상 연구를 분류하며, 상호작용성, 인과성, 지속성, 물리적 타당성, 일반화라는 핵심 속성을 정의한다. WAM은 단순한 비디오 생성기+행동 헤드가 아니라, 계산·메모리·레이턴시와 행동 라벨 비용 간의 트레이드오프를 다루는 설계 문제임을 강조한다.
- WAM 정의: 관측+행동 이력과 태스크 컨텍스트로부터 행동 가능한 미래를 예측하며 행동을 생성하는 모델
- 2가지 분류 축: (1) 무엇을 생성해야 하는가(rendered/latent/free), (2) substrate/backbone/coupling/deployment 분해
- 5가지 핵심 속성: interactability, causality, persistence, physical plausibility, generalization
- 200+ 연구를 diffusion/autoregressive/joint/optional-future 등 5종 백본 패밀리로 체계 분류
- 핵심 통찰: WAM은 '덜 생성하면서 제어에 필요한 부분만 보존'하는 방향으로 진화 중
초록 PDF
473Machine LearningarXiv:2606.23670
Tapered Language Models
언어 모델의 MLP 폭을 깊이에 따라 코사인 감소(tapering)하면 동일 파라미터/연산량에서 perplexity를 일관되게 개선한다.
Tapered Language Models(TLMs)은 모든 현대 언어 모델이 채택한 '균일한 층별 파라미터 할당'을 재검한다. 층별 기여도가 균일하지 않다는 증거에 착안하여, MLP 중간 폭을 깊이에 따라 단조 감소(cosine schedule)시키는 설계 원칙을 제안한다. Transformer, Gated Attention, Hope-attention, Titans 등 4종 아키텍처와 3종 규모(440M~1.3B)에서 일관되게 perplexity와 downstream 벤치마크를 개선했으며, 파라미터나 연산량 추가 없이 무료로 얻는 개선이다.
- 층별 MLP 폭을 cosine 감소(예: 1.5×→0.5×)시켜 전면에 용량 집중 → 균일 배분 대비 perplexity 최대 1.84점 개선
- 4개 아키텍처(Transformer, Gated Attention, Hope-attention, Titans) × 3규모(440M/760M/1.3B)에서 일관된 개선
- 파라미터 수와 FLOPs 동일하게 유지하면서도 downstream 벤치마크 성능 향상
- 메커니즘 분석: 깊은 층의 MLP 출력일수록 잔차 스트림과 더 정렬됨(정보 갱신 < 기존 강화)
- 구조 무관의 범용 설계 레버: 비전 트랜스포머, 디퓨전 등 다른 파운데이션 모델에도 적용 가능
초록 PDF
472Image ProcessingarXiv:2606.21588
Unsupervised Susceptibility Distortion Correction of EPI without Calibration Scans via Image Translation-Based Registration
캘리브레이션 스캔 없이 T1 해부학 이미지만으로 fMRI EPI 왜곡을 교정하는 비지도 학습 프레임워크를 제안한다.
SACRED는 fMRI BOLD 이미지의 자화율 기하학적 왜곡을 교정하는 캘리브레이션 스캔 불필요 프레임워크다. 가역 신경망(INN)을 이미지 변환 백본으로 사용하여 BOLD와 T1w 이미지 간의 콘트라스트 간극을 메우고, MIND-SSC로 구조 일관성을 유지한다. 비지도 학습으로 왜곡 교정 BOLD 이미지 없이 등록 네트워크를 훈련하며, test-time adaptation(TTA)으로 OOD 데이터에 대한 강건성을 추가 확보했다.
- 가역 신경망(INN) 기반 이미지 변환으로 BOLD-T1w 간 콘트라스트 간극 해소
- MIND-SSC(modality independent neighborhood descriptor)로 구조 보존 제약 적용
- Test-time adaptation(TTA)으로 스캐너/인구 분포 변화에 대한 OOD 강건성 확보
- 단일 콘트라스트 유사도 목적함수로 비지도 등록 네트워크 훈련(왜곡 교정 GT 불필요)
- ID 및 2개 OOD 데이터셋에서 기존 캘리브레이션 불필요 방법들을 일관되게 능가
초록 PDF
471AI / GeneralarXiv:2606.22883
CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents
구조화된 능력 분류법과 증거 기반 심층 연구로 고품질 터미널 에이전트 훈련 데이터를 합성하는 파이프라인을 제안한다.
CLI-Universe는 터미널 에이전트 훈련용 태스크를 체계적으로 합성하는 엔진으로, 다차원 능력 분류법(domain/skill/capability/engineering pillar)에서 후보를 생성하고 실제 기술 자료에 대한 심층 연구로 구체화한다. Docker 환경에서 rubric-gated 테스트, hint-conditional 필터링, fail-to-pass 검증을 거쳐 약 2/3를 걸러낸다. 6K 궤적만으로 Qwen3-32B를 파인튜닝하여 Terminal-Bench 2.0에서 33.4%를 달성, 동급 최고 성능을 기록했다.
- Inside-out 방식: 기존 아티팩트를 재활용하지 않고 구조화된 분류법에서 태스크를 정의 후 증거 기반 연구로 구체화
- 3단계 검증: rubric-gated 테스트, hint-conditional 필터링(자명한 태스크 제거), fail-to-pass 체크
- 전체 후보의 ~2/3를 폐기, 고품질 태스크만 남겨 훈련 신호 밀도 극대화
- CLI-Universe-6K(6,000궤적)로 Qwen3-32B 학습 시 TB 2.0 33.4% → 오픈소스 ≤32B 최고
- BFCL v4 +11.3, VitaBench +11.6 포인트 향상으로 교차 벤치마크 일반화 확인
초록 PDF
470RoboticsarXiv:2606.23079
AdaReP:Adaptive Re-Planning under Model Mismatch for Neural World-Model Predictive Control
신경망 세계 모델 기반 MPC에서 재계획 시점을 온라인으로 적응 조정하는 학습 불필요 래퍼로, 계산량을 80% 이상 줄인다.
AdaReP은 신경망 세계 모델 + MPC에서 재계획(replanning) 시점을 동적으로 조절하는 training-free 래퍼다. 예측 불일치와 국소 민감도를 온라인으로 추정하여 캐시된 계획의 신뢰도가 임계치 이하로 떨어질 때만 재계획을 수행한다. 이미지 영역 계획, 잠재 공간 제어, 실제 Franka 로봇 조작에서 각각 검증하여, 작업 성능을 유지하면서 planner-side 쿼리를 50~80% 이상 감소시켰다.
- Dynamic-regret 이론에 기반한 적응적 재계획 임계값: 예측 편차와 국소 역학 민감도로 산출
- 학습 불필요: 기존 세계 모델 및 플래너 수정 없이 래핑만으로 적용 가능
- VP2/RoboDesk: NFE 59% 감소, DMC Suite(TD-MPC2): NFE 54.5% 감소
- 실제 Franka 로봇: 50 trial에서 80% 이상 쿼리 감소, 성공률 36/50 유지(기준 34/50)
- 힌지 같은 민감 구간에서는 재계획 빈도 자동 증가, 원활한 구간에서는 캐시 재사용 연장
초록 PDF
469RoboticsarXiv:2606.23565
HoloAgent-0: A Unified Embodied Agent Framework with 3D Spatial Memory
Embodied AgentOS와 3D 공간 메모리를 결합한 통합 로봇 에이전트 프레임워크로, 실제 하드웨어에서 폐루프 실행을 입증한다.
HoloAgent-0은 Horizon Robotics가 개발한 통합 embodied agent 프레임워크로, Embodied AgentOS(폐루프 실행), 3D 공간 메모리(물리 세계 그라운딩), Embodied Skill(로봇 동작)의 3계층 구조로 구성된다. ROS2 기반 명령/상태 버스를 통해 이기종 로봇 모델(네비게이션, 조작, 전신 동작)을 조합하며, 언어 지시를 실행 가능한 스킬 그래프로 변환 후 모니터링 및 실패 복구를 수행한다. 실제 하드웨어에서 공간 매핑, 장시호 네비게이션, 다 로봇 협업을 검증했다.
- 3계층 구조: Embodied AgentOS(계획/스케줄링/모니터링), Memory Layer(3D 의미 지도), Skill Layer(네비게이션/조작/동작)
- ROS2 기반 명령/상태 인터페이스로 이기종 스킬 조합 및 실시간 실패 복구 지원
- HoloNavi(네비게이션), HoloBrain(VLA 조작), HoloMotion(전신 동작) 백엔드 통합
- 3D 장면 그래프 기반 공간 메모리: 방-객체 계층 구조로 장시호 작업 컨텍스트 제공
- 실제 로봇 하드웨어에서 물건 검색, 다 로봇 협업, 모바일 매니퓰레이션 폐루프 실행 입증
초록 PDF
468Computer VisionarXiv:2606.23050
Unlimited OCR Works
Reference Sliding Window Attention(R-SWA)으로 일정한 KV 캐시를 유지하며 수십 페이지 문서를 한 번에 OCR 처리하는 엔드투엔드 모델을 제안한다.
바이두의 Unlimited OCR은 DeepSeek OCR을 기반으로 디코더의 모든 어텐션을 R-SWA로 교체하여, 디코딩 중 KV 캐시를 일정하게 유지한다. 이를 통해 32K 컨텍스트 내에서 수십 페이지 문서를 단일 forward pass로 처리할 수 있으며, OmniDocBench에서 93% 정확도로 기존 대비 6% 향상을 달성했다. R-SWA는 OCR뿐 아니라 ASR, 번역 등 참조 기반 장문 파싱 작업에 범용 적용 가능하다.
- Reference Sliding Window Attention(R-SWA): 참조 토큰은 전체 어텐션, 출력 토큰은 슬라이딩 윈도우(128개)로 처리해 KV 캐시를 상수로 유지
- DeepSeek OCR 대비 OmniDocBench v1.5에서 6% 향상(93% 달성), MoE 구조로 활성 파라미터 0.5B
- 40페이지 이상 한 번에 처리 가능, 6000 토큰 출력 시 기존 대비 35% 빠른 추론 속도
- 전체 표준 어텐션을 R-SWA로 교체해도 단일 페이지 OCR 정확도 무손실 입증
- 바이두에서 개발, 코드 및 가중치 공개(GitHub)
초록 PDF
467RoboticsarXiv:2606.19836
World Engine: Towards the Era of Post-Training for Autonomous Driving
자율주행의 롱테일 안전 사고를 합성 월드 모델로 포스트트레이닝하여 해결하는 'World Engine' 프레임워크. 프로덕션 시스템에서 충돌률 최대 45.5% 감소.
World Engine은 실제 주행 로그에서 안전 중요 롱테일 이벤트를 발굴하고, 3D Gaussian Splatting 기반 사진급 렌더링과 행동 월드 모델로 다양한 위험 변형을 합성한 뒤, 강화학습 포스트트레이닝으로 주행 정책의 안전성을 개선한다. nuPlan 벤치마크에서 프리트레이닝 데이터를 단순히 늘리는 것보다 훨씬 큰 안전 향상을 보였으며, Huawei 프로덕션 시스템(8만 시간 주행 데이터)에서 시뮬레이션 충돌률 최대 45.5% 감소, 상하이 200km 온로드 테스트에서 무단차 기록. 자율주행을 넘어선 일반 Physical AI의 안전 학습 패러다임을 제시한다.
- 롱테일 안전 이벤트를 실제 로그에서 발굴 → 3DGS 고품질 시뮬레이션 → 행동 월드 모델로 변형 생성 → RL 포스트트레이닝의 4단계 파이프라인
- 프리트레이닝 데이터를 2배 늘리는 것보다 World Engine 포스트트레이닝이 더 큰 안전 향상 달성 (~10배 데이터 증가와도 경쟁력 유지)
- Huawei 프로덕션 자율주행 시스템(8만 시간 주행 데이터) 적용 시 시뮬레이션 충돌률 최대 45.5% 감소
- 상하이 도심 65km + 70km(야간) 온로드 테스트에서 무단차(zero disengagement) 달성
- 58.3M 파라미터 소형 모델에서는 반복 포스트트레이닝 시 정책 불안정 관찰 — 대규모 모델의 정기적 반복 학습 가능성은 미해결
- 자율주행 너머 로봇 조작·보행·수술 로봇 등 일반 Physical AI의 안전 학습 템플릿 제안
초록 PDF
466AI / GeneralarXiv:2606.19980
ENPIRE: Agentic Robot Policy Self-Improvement in the Real World
NVIDIA가 코딩 에이전트로 실제 로봇의 정책을 자율 개선하는 'ENPIRE' 프레임워크를 발표, 핀 삽입·PushT 등에서 99% 성공률 달성.
ENPIRE는 코딩 에이전트가 실제 물리 세계에서 로봇 정책을 자율적으로 개선하는 하네스 프레임워크다. 환경 구축(EN)·정책 개선(PI)·롤아웃(R)·진화(E) 4단계로 구성되며, 인간의 1회 셋업 이후 모든 정책 개선이 무인으로 진행된다. Pin Insertion 태스크에서 100% 성공률에 도달했고, PushT·지프타이 절단 등 다양한 정밀 조작 태스크에서 99%를 달성했다. 다중 로봇 병렬 실행 시 wall-clock 시간이 단축되지만 토큰 비용은 초선형 증가하는 트레이드오프도 분석했다.
- 코딩 에이전트(Codex, GPT-5.5, Claude Code, Kimi K2.6 등)가 실제 로봇 환경에서 자율적으로 정책을 개선하는 최초의 통합 프레임워크
- 4단계 구조: Environment(자동 리셋·검증) → Policy Improvement(휴리스틱·BC·RL) → Rollout(실물 로봇) → Evolution(에이전트가 로그 분석·코드 개선)
- Pin Insertion에서 인간 개입 기반 최첨단 방법보다 빠르게 100% 성공률 도달, PushT·지프타이 절단 등에서 99% 달성
- 다중 로봇 플릿(1→8에이전트) 확장 시 wall-clock 단축 효과 입증, BUT 토큰 비용은 초선형 증가(MTU 8에이전트에서 급등)
- Mean Robot Utilization(MRU)·Mean Token Utilization(MTU) 두 가지 물리 자원 효율 메트릭 최초 제안
- VLA(GR00T)와 절차적 툴 콜의 시너지 자동 발견 — RoboCasa 시뮬레이터에서 VLA 정확도 향상 후 실제 환경으로 전이 성공
초록 PDF
465LLMs / NLParXiv:2606.19857
Large Language Models Do Not Always Need Readable Language
LLM 간 통신에서 인간 가독성을 포기하고 정보 밀도를 극대화하는 'BabelTele' 텍스트 압축 표현을 제안한 연구.
LLM을 독자로 할 때 자연어의 인간 가독성 제약을 풀면, 모델은 이모지·기호·다언어 단편을 혼합한 고밀도 텍스트(BabelTele)를 자발적으로 생성한다. 원문의 27.9% 길이로 99.5% 의미 보존율을 달성했으며, 문서 QA·에이전트 메모리·다중 에이전트 통신 등 downstream 태스크에서 성능 저하 없이 컨텍스트 오버헤드를 크게 줄였다. Gemini, GPT, Claude, Qwen, DeepSeek 등 다양한 모델이 제로샷으로 서로의 압축을 해독할 수 있어, 모델 간 효율적 통신의 새로운 패러다임을 제시한다.
- 인간 가독성 없이 의미만 보존하는 'BabelTele' 압축 표현 개념 최초 제안 — 원문의 27.9% 길이로 99.5% 의미 보존
- Gemini·GPT·Claude·Qwen·DeepSeek 등 이기종 모델 간 제로샷 호환 — 한 모델이 압축한 텍스트를 다른 모델이 파인튜닝 없이 해독 가능
- 다중 에이전트 통신에서 토큰 39~44% 절감하면서 태스크 점수 96.6~99.7% 유지
- 에이전트 메모리 벤치마크(LoCoMo)에서 요약(Summary) 대비 더 높은 정확도(96.48% vs 94.20%)를 더 적은 토큰으로 달성
- LongBench v2 코드 저장소 QA에서 컨텍스트 윈도우 초과 시 단순 절단보다 BabelTele 압축이 오히려 정확도 향상 (Qwen3.6-Max 55.17%→62.07%)
- BabelTele 이해도는 모델 크기와 단조 관계가 아님 — 모델별 압축 형태에 대한 강인성이 핵심 변수
초록 PDF
464Software EngineeringarXiv:2606.19605
FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines
Claude Code를 활용해 다단계 LLM 파이프라인의 프롬프트와 구조를 자동 최적화하는 프레임워크. 18개 비교 중 15개에서 GEPA 이기고, 구조 변경 시 평균 +33.8pp 향상.
FAPO는 Claude Code를 오케스트레이터로 사용해 다단계 LLM 파이프라인을 평가-진단-수정-검증하는 완전 자동 최적화 프레임워크다. 프롬프트 수정을 먼저 시도하고, attribution이 구조적 병목을 지목할 때만 파이프라인 구조 변경으로 에스컬레이션한다. 6개 벤치마크·3개 태스크 모델에서 GEPA 대비 18회 중 15회 승리(평균 +14.1pp), 구조 변경이 발생한 HoVer/IFBench에서는 6/6 승리에 평균 +33.8pp 향상을 기록했다.
- Claude Code 기반 최적화 루프: 파이프라인 평가 → intermediate step 분석(failure attribution) → scoped change 제안 → safety review → 검증
- Prompt-first 전략: 프롬프트 수정 우선, attribution이 구조적 병목을 지목할 때만 chain 구조/파라미터 변경으로 에스컬레이션
- LangGraph 기반 stateful graph 파이프라인 표현, 테넌트별 격리된 워크스페이스로 재현성 보장
- 6 벤치마크 × 3 모델 = 18회 비교 중 15회 GEPA 승리, 평균 +14.1pp; HoVer/IFBench 구조 변경 시 6/6 승리, 평균 +33.8pp
- 보안 태스크 CTIBench-RCM에서 GPT-5 +4.0pp, Foundation-Sec-8B-Instruct +7.1pp, Foundation-Sec-8B-Reasoning +2.0pp 향상
- step-attribution subagent가 프롬프트 수정 가능 vs 구조적 병목을 분류하여 불필요한 구조 변경을 방지
초록 PDF
463Machine LearningarXiv:2606.20008
VIMPO: Value-Implicit Policy Optimization for LLMs
GRPO의 토큰 수준 신용 할당 한계를 KL-정규화 RL의 최적조건에서 유도한 policy-implied value function으로 해결하는 critic-free 강화학습 방법.
VIMPO는 KL-정규화 강화학습의 최적조건에서 policy log-ratio로 value function을 암시적으로 유도하여, critic 없이도 토큰 수준 신용 할당을 제공하는 정책 최적화 방법이다. 자기회귀 생성을 deterministic-transition MDP로 모델링하고, 종단 조건 V(s_T)=0을 활용해 critic-free Bellman 일관성 목표를 도출한다. MATH-500, AIME 2024/2025, OlympiadBench에서 GRPO를 일관되게 능가하며, 특히 노이즈 보상 환경에서 더 강건한 성능을 보인다.
- KL-정규화 RL 최적조건에서 value function을 policy-reference log-ratio로 표현하는 폐쇄형 표현 도출 (critic 불필요)
- 종단 경계조건 V*(s_T)=0 + Monte Carlo 그룹 추정으로 critic-free value optimization 목표 구성
- 동일 도출에서 PPO 스타일 actor advantage를 얻어, reward 주입(value loss)과 정책 개선(actor update)을 분리
- MATH-500, AIME 2024, AIME 2025, OlympiadBench에서 GRPO 대비 일관된 성능 향상, 특히 경시대회형 문제에서 큰 폭 개선
- 25% 보상 뒤집기 노이즈 환경에서도 GRPO 대비 일관된 우위 유지, 보상 노이즈에 더 강건
- 4B 규모 base 모델로 수학 RLVR에 검증, actor coefficient c_A와 value coefficient β의 조정이 학습 속도-안정성 트레이드오프를 결정
초록 PDF
462Computer VisionarXiv:2606.20545
Current World Models Lack a Persistent State Core
현재 world model들이 카메라가 보지 않는 동안 세계 상태를 지속하지 못하는 '지속적 상태 코어' 결함을 23개 모델 9,600개 비디오로 체계적으로 입증한 벤치마크 연구.
WRBench는 비디오 생성 모델이 카메라 시점 변화 중에도 세계 상태가 지속적으로 진화하는지를 평가하는 최초의 진단 벤치마크다. 23개 모델의 9,600개 비디오를 분석한 결과, 현재 시스템들은 관찰 중인 세계를 트래킹 샷처럼 유지할 뿐, 카메라가 돌아왔을 때 대상을 떠난 시점의 상태로 되돌리는 치명적 결함을 보였다. 이 문제는 스케일이나 아키텍처 개선으로 해결되지 않으며, worldline 일관성과 상태 코어 안정성이 world model 설계의 1순위 목표가 되어야 함을 주장한다.
- WRBench: 카메라 모션을 '관찰성에 대한 개입'으로 정의하고 6차원 계층적 진단 체인(requested-camera → visual integrity → re-observed consistency)으로 평가
- Natural-25: 25개 씬 패밀리 × 4단계 이벤트 설계로 공간 이동과 상태 변화를 직교 분해
- 23개 모델(4가지 제어 패러다임) 공통 실패: 카메라가 돌아오면 대상을 떠난 시점 상태로 단순 복원, 비관찰 중 이벤트 진행 반영 안 함
- Wan 1.3B→14B 스케일업이 re-observed state를 0.66→0.62로 오히려 악화시킴; 스케일링으로는 해결 불가
- LingBot-World: 가장 강력한 visible state 일관성(0.874/0.719)이지만 requested-camera precision은 최저(0.468)로 제어력-상태 일관성 트레이드오프
- 핵심 진단: 'what-memory'(숨겨진 변화 기록)와 endpoint persistence 학습 목표가 현재 모든 public 모델에 부재
초록 PDF
461Computer VisionarXiv:2606.20521
HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining
에고센트릭 인간 영상이 로봇 원격조종 데이터보다 embodied 사전학습에 더 효과적임을 체계적으로 입증한 연구. 동일 규모에서 검증 손실 24% 감소, OOD 성공률 90% 달성.
HumanScale은 에고센트릭 인간 영상과 원격조종 로봇 데이터를 embodied 파운데이션 모델의 사전학습 소스로 직접 비교한 체계적 연구다. 5,000시간 규모로 동일 조건 실험한 결과, 에고센트릭 데이터가 검증 손실 24% 감소, in-distribution 성공률 52.5% 향상, OOD 성공률 90% 달성 등 로봇 데이터를 능가했다. 인간 영상으로 세계 표현을 학습하고 소량의 로봇 데이터로 액션 정렬을 하는 확장 가능한 패러다임을 제시한다.
- 에고센트릭 사전학습은 데이터 증가에 따라 validation loss가 단조 감소하며 명확한 스케일링 법칙을 보임
- 동일 5,000시간 규모에서 에고센트릭이 로봇 데이터 대비 validation loss 24% 감소, in-distribution 성공률 40%→92.5%, OOD 성공률 0%→90%
- World-Action Model(MoT 아키텍처) 기반 비교로 video generation + action prediction 결합 프레임워크 사용
- 에고센트릭 영상이 더 낮은 normalized jerk(더 부드러운 모션)와 더 적은 idle fraction을 가져 데이터 효율이 높음
- 실제 로봇 실험(AgiBot 바이매니플레이터)에서 에고센트릭 사전학습 모델은 OOD 객체에도 90% 성공률 유지, baseline은 0%로 붕괴
- 로봇 데이터는 스케일을 키워도 unseen 태스크 일반화가 거의 향상되지 않아 실--로봇 데이터의 근본적 한계를 입증
초록 PDF
460LLMs / NLParXiv:2606.19847
AtomMem: Building Simple and Effective Memory System for LLM Agents via Atomic Facts
LLM 에이전트를 위한 장기 메모리 시스템. 원시 대화에서 핵심 사실만 추출하는 Fact Executor와 계층적 이벤트 구조를 결합해 LoCoMo 벤치마크에서 SOTA 달성.
AtomMem은 LLM 에이전트의 장기 메모리 문제를 해결하기 위해, 원시 대화에서 자족적 atomic fact를 추출하는 Fact Executor를 도입한다. 추출된 팩트는 계층적 이벤트 메모리와 시간적 프로필 메모리로 조직화되며, 검색 시 연관 메모리 그래프가 단편화된 기억을 연결한다. LoCoMo 벤치마크에서 Multi-Hop J-score 31.1%, Temporal J-score 5.5% 향상 등 기존 최고 성능 대비 큰 폭의 개선을 보였고, Mem0 대비 토큰 소비를 61.4% 절감했다.
- Fact Executor: SFT 튜닝된 경량 LLM이 원시 대화에서 핵심 정보만 atomic fact로 추출 (Qwen3-14B, LoRA rank 128)
- 계층적 메모리 구조: atomic fact를 이벤트 메모리(맥락) + temporal profile(사용자 상태 추적)로 조직화
- 연관 메모리 그래프: 엔티티 중복, 공유 이벤트, 대화 연속성으로 단편화된 기억을 연결하는 검색 활성화
- LoCoMo 벤치마크 Multi-Hop J-score에서 LightMem 대비 31.1% 향상, Mem0 대비 토큰 61.4% 절감
- 단순 flat 변형(AtomMem-Flat)만으로도 기존 baseline 대비 Multi-Hop F1을 20.97→37.03으로 76.6% 개선, 메모리 표현 품질이 핵심임을 입증
- 검색 파라미터 k_f=10이 정확도-비용-지연의 최적 균형점; k>20에서는 노이즈로 인해 성능 저하
초록 PDF
459Agents / World ModelsarXiv:2510.04542
Code World Models for General Game Playing
LLM을 정책으로 쓰지 않고 규칙을 Python 코드로 번역해 실행 가능한 세계 모델을 만든 뒤 MCTS로 계획하는 접근법이다.
Google DeepMind의 이 논문은 LLM을 보드게임/카드게임 정책으로 직접 사용하는 대신, LLM이 자연어 규칙과 게임 궤적을 Python 코드 형태의 실행 가능한 세계 모델(CWM)로 번역하게 하는 방법을 제안한다. CWM은 MCTS 같은 고성능 계획 알고리즘의 시뮬레이션 엔진으로 사용되며, LLM이 추가로 생성하는 휴리스틱 가치 함수와 은닉 상태 추론 함수로 보강된다. 특히 불완전 정보 게임에서는 inference 함수와 CWM을 인코더-디코더 구조로 결합하는 '코드 기반 오토인코더' 패러다임을 도입했다. 10개 게임(신규 OOD 게임 4개 포함) 실험에서 CWM 기반 에이전트는 Ground Truth 모델 기반 플레이어와 동등한 성능을 보였고, Gemini 2.5 Pro를 9/10 게임에서 능가했다. LLM의 패턴 매칭에 의존하는 직접 정책 방식의 한계(불법 수, 얕은 전략)를 코드 생성 + 고전적 계획의 조합으로 극복한 것이 핵심 기여다.
- 핵심 방법은 LLM을 '직접 수를 두는 정책'이 아니라 규칙과 궤적 데이터를 Python 코드로 번역하는 '귀납 엔진'으로 사용하는 것이다. 생성된 Code World Model(CWM)은 상태 전이, 합법 수 열거, 종료 확인 함수를 포함하는 실행 가능한 시뮬레이션 엔진이다.
- CWM 위에 MCTS(완전 정보 게임) 또는 ISMCTS(불완전 정보 게임)를 올려 깊은 탐색 기반 계획을 수행한다. 추가로 LLM에게 휴리스틱 가치 함수와 은닉 상태 추론 함수(inference function)도 코드로 생성하게 한다.
- 불완전 정보 게임을 위해 '코드 기반 오토인코더' 패러다임을 제안한다. inference 함수가 인코더 역할(관측→은닉 상태), CWM이 디코더 역할(은닉 상태→관측)을 하며 게임 규칙이 구조적 정규화기로 작동한다.
- 10개 게임(5개 완전 정보, 5개 불완전 정보, 4개는 논문에서 새로 만든 OOD 게임)에서 평가했다. CWM-MCTS/ISMCTS는 Ground Truth 모델 기반 플레이어와 거의 동등했으며, Gemini 2.5 Pro를 10개 중 9개 게임에서 이기거나 동점을 기록했다.
- 완전 정보 게임에서는 CWM 전이 정확도가 대부분 1.0에 도달했고, 불완전 정보 게임에서는 은닉 상태 추론이 어려운 게임(Gin Rummy)에서 정확도가 52% 수준으로 떨어지는 한계를 보였다.
- 제한점으로는 Gin Rummy처럼 복잡한 규칙의 불완전 정보 게임에서 학습이 어렵고, 오픈 월드/시각 기반 게임으로의 확장이 향후 과제로 남아 있다.
초록 PDF
458Machine LearningarXiv:2606.20560
How Transparent is DiffusionGemma?
텍스트 디퓨전 모델 DiffusionGemma의 투명성을 분석. 불투명 직렬 깊이를 28.6배에서 1.1배로 줄이고, Gemma 4와 유사한 모니터링 가능성을 확인.
Google DeepMind의 DiffusionGemma는 자기회귀 모델과 달리 연속 잠재 공간에서 상당 부분의 계산을 수행하는 텍스트 디퓨전 모델이다. 본 연구는 불투명 직렬 깊이(opaque serial depth)가 Gemma 4의 28.6배에서, 디노이징 단계 간 정보를 해석 가능한 토큰 병목으로 매핑하면 1.1배로 감소함을 보인다. 모니터링 평가에서 DiffusionGemma는 Gemma 4와 유사한 수준을 보이며, 비순차적 추론, 토큰 스미어링, 중간 맥락 추론 등 디퓨전 특유의 새로운 현상을 발견했다.
- 투명성을 변수 투명성(중간 상태 이해도)과 알고리즘 투명성(과정 복원 가능성)으로 분해 분석
- 불투명 직렬 깊이: 초기 Gemma 4의 28.6배 → 토큰 병목 매핑 시 1.1배로 감소
- 디노이징 단계 간 self-conditioning을 O(c) 토큰으로 압축해도 downstream 성능 저하 미미
- 모니터링 평가: DiffusionGemma ≈ Gemma 4 (유사한 CoT 모니터링 품질)
- 디퓨전 특유 현상 발견: 비순차적 추론, 토큰/시퀀스 스미어링, 중간 맥락 추론
- 미래 잠재 추론 모델의 투명성 감사를 위한 프레임워크 및 벤치마크 제시
초록 PDF
457RoboticsarXiv:2606.19419
Playful Agentic Robot Learning
로봇이 자율 유희를 통해 사전에 코드 기반 스킬을 학습하는 프레임워크 RATS. LIBERO-PRO에서 +20.6pp 향상, 다른 환경으로도 전이된다.
RATS(Robotics Agent Teams)는 Code-as-Policy 에이전트가 다운스트림 과제가 주어지기 전에 자율적으로 유희를 통해 재사용 가능한 스킬을 학습하는 시스템이다. 호기심 기반 과제 제안, 단계별 검증, 실패 진단, 스킬 라이브러리 축적의 파이프라인을 갖추며, LIBERO-PRO에서 CaP-Agent0 대비 +20.6pp(23.2%→43.8%), MolmoSpaces에서 +17.0pp 향상을 달성했다. 학습된 스킬은 다른 환경으로 전이되어 RoboSuite +8.9pp, 실제 로봇 +8.8pp 향상을 가져온다.
- 유희 시간에 자율적으로 과제 제안→실행→검증→진단→스킬 라이브러리 축적 파이프라인
- novelty-learnability 규칙로 호기심 기반 과제 제안 (랜덤 유희 24.7% 대비 호기심 유희 32.3%)
- LIBERO-PRO: CaP-Agent0 대비 +20.6pp (23.2%→43.8%), 모든 VLA baseline(π0.5 12.8%) 능가
- 학습 스킬을 CaP-Agent0에 플러그인 시 RoboSuite +8.9pp, 실제 로봇 +8.8pp 향상
- 단일 팔 환경에서 학습한 스킬이 양팔 과제(two-arm lifting +24.0pp)로도 전이
- 호기심 유희 + 실행 시스템 개선이 상호 보완적 (둘 다 44.3%로 최고)
초록 PDF
456RoboticsarXiv:2606.20562
MemoryWAM: Efficient World Action Modeling with Persistent Memory
하이브리드 메모리로 효율적인 영구 기억을 가진 세계 행동 모델. RMBench에서 83.0% 성공률로 기존 WAM 대비 크게 앞선다.
MemoryWAM은 단기(슬라이딩 윈도우), 장기(gist 토큰), 이벤트 경계(앵커 프레임) 메모리를 결합한 하이브리드 설계로 긴 시퀀스에서도 O(N/d) 비용으로 영구 기억을 유지한다. RMBench에서 π0.5(10.4%), FastWAM(5.9%)과 비교해 83.0% 성공률을 달성하며 full-history 방식인 LingBot-VA(78.2%)도 능가한다. 실제 로봇 실험에서도 Shell Game 90%, Look and Press 75%를 기록했으며, 1600프레임에서도 효율성을 유지한다.
- 슬라이딩 윈도우(단기) + gist 토큰(장기) + 앵커 프레임(이벤트 경계)의 하이브리드 메모리 설계
- 시간/공간 복잡도 O(N) → O(N/d) 감소 (d=압축률)로 실시간 제어 가능
- RMBench 9개 과제 평균 83.0% (LingBot-VA 78.2% 대비 +4.8pp, FastWAM 5.9% 대비 압도적)
- 실제 로봇: Shell Game 18/20, Look and Press 15/20 달성
- Gist 토큰 제거 시 가장 큰 성능 저하(92.5%→40%) → 장기 기억의 결정적 역할
- 1600프레임에서도 full attention(RNN/TTT) 대비 우수한 효율성과 동일 87% 성능 유지
초록 PDF
455Computer VisionarXiv:2606.19531
ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?
비디오 생성 대신 이미지 편집 모델을 WAM 백본으로 사용하는 로봇 정책 프레임워크. FLOPs 1/6, 지연시간 1/4로 효율성을 크게 개선한다.
ImageWAM은 이미지 편집 모델의 사전학습이 언어-지시적 시각 변환에 최적화되어 있어 로봇 정책 백본으로 비디오 생성보다 더 적합함을 보인다. 추론 시 편집 백본의 KV 캐시를 flow-matching 액션 전문가에 전달하여 실제 이미지를 디코딩하지 않고도 액션을 예측한다. LIBERO에서 98.4% 성공률을 달성하고, 실제 로봇에서 84.5% 성공률(π0 대비 +28.7pp)을 기록하면서 FLOPs는 1/6, 지연시간은 1/4(263ms vs 1081ms)로 감소시켰다.
- 비디오 생성 WAM의 3가지 한계(비용, 무관한 디테일, 오류 누적) 지적 및 이미지 편집 대안 제시
- 편집 백본의 KV 캐시를 flow-matching action expert에 전달하여 이미지 디코딩 없이 액션 예측
- LIBERO 98.4% 성공률, 실제 로봇 84.5% 성공률 (π0 55.8%, FastWAM 79.0% 대비 우수)
- FLOPs 63.65→9.72 (1/6), 지연시간 1081ms→263ms (1/4) 달성
- FLUX.2, OmniGen2, Ovis-U1 등 다양한 편집 백본 적용 가능 → 특정 모델 의존 아님
- 어텐션 분석에서 편집 캐시가 과제 관련 변경 영역에 집중함을 확인
초록 PDF
454Computer VisionarXiv:2606.20515
S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence
VLM을 공간적 도구 사용 에이전트로 전환하여 다중 뷰 영상의 3D 공간 추론을 수행하는 프레임워크. training-free로 GPT-5.4를 능가하고 8B 모델로 상용 모델과 경쟁한다.
S-AGENT는 VLM을 의미론적 플래너로 활용하고 2D 객체 그라운딩, 3D 기하학적 리프팅, 전문가 수준 공간 지식 집적의 3계층 도구를 결합한다. Scene Memory와 Agent Memory를 통해 프레임 간 증거를 축적하며, training-free 설정에서 GPT-5.4 대비 MMSI-Bench 4.5% 향상을 달성했다. S-300K 궤적 데이터셋으로 파인튜닝한 S-AGENT-8B는 Qwen3-VL-8B 대비 10.5% 향상(31.1%→41.6%)을 보이며 GPT-5.4, Gemini 3 Pro와 경쟁 가능한 수준이다.
- 공간 추론을 프레임 단위 예측이 아닌 시공간 증거 축적 과정으로 재정의
- 2D 그라운딩 → 3D 기하학적 리프팅 → 공간 지식 집적의 3계층 도구 사용
- Scene Memory(객체 상태) + Agent Memory(추론 이력)로 상태 유지 추론 지원
- Training-free 설정에서 GPT-5.4 대비 MMSI-Bench 4.5% 향상
- S-300K 궤적 학습한 S-AGENT-8B는 Qwen3-VL-8B 대비 +10.5% (31.1%→41.6%)
- Level-3 전문가가 원시 3D 데이터를 작업 지향적 측정으로 변환하는 것이 핵심
초록 PDF
453Machine LearningarXiv:2606.17551
Reversal Q-Learning
흐름 정책을 역방향으로 학습하는 오프라인 RL 알고리즘 RQL을 제안. 50개 로봇 과제에서 기존 최고 성능 대비 최고 평균 성능을 달성했다.
RQL은 flow matching 기반 정책을 오프라인 강화학습으로 훈련하는 새로운 알고리즘이다. 확장된 MDP 프레임워크에서 개별 디노이징 스텝을 별도 액션으로 처리하고, 역방향 흐름을 통해 가상의 온폴리시 궤적을 생성하여 horizon 문제를 해결한다. BPTT 문제 없이 값 함수의 그래디언트를 적극 활용하며, OGBench 50개 로봇 시뮬레이션 과제에서 18개 baseline 대비 최고 평균 성능을 기록했다. 특히 장시간 manipulation 및 locomotion 환경에서 강력한 성능을 보인다.
- 확장된 MDP 프레임워크를 오프라인 RL에 적용, 역방향 흐름으로 가상 온폴리시 궤적 생성
- 다중 스텝 리턴으로 유효 horizon을 T×F에서 T로 감소시켜 curse of horizon 해결
- BPTT 없이 값 함수 1차 그래디언트 활용 → 회귀 기반 방법론(FAWAC, IFQL 등) 대비 우수
- OGBench 50개 로봇 과제에서 18개 baseline 대비 최고 평균 성능 달성
- antmaze-giant, humanoidmaze-large 등 장시간 과제에서 특히 강력한 성능
초록 PDF
452RoboticsarXiv:2606.18363
Guava: An Effective and Universal Harness for Embodied Manipulation
embodied 조작을 위한 harness 프레임워크로, 반복적 인식-추론-액션 루프, 의미적 액션 추상화, 멀티모달 관측의 3가지 핵심 설계 원칙을 제안한다. 2K 시뮬레이션 궤적으로 4B 모델을 학습해 상용 대형 모델과 동급 성능을 달성했다.
Guava는 embodied 조작을 위한 범용 harness 프레임워크로, ReAct 스타일의 반복적 인식-추론-액션 루프, 의미적 액션 추상화, 풍부한 멀티모달 관측의 3가지 설계 원칙을 체계적으로 탐구하여 도출했다. 2K 미만의 시뮬레이션 궤적으로 4B 오픈소스 모델을 distill하여, GPT-5.4 수준의 조작 성능을 시뮬레이션과 실제 환경 모두에서 달성했다. RL 후훈련으로 long-horizon 과제에서 shell game 6.7%→60%, place all red objects 0%→93.3%의 큰 개선을 보였으며, 훈련에서 보지 못한 실패 상황에서도 회복 행동을 보여준다.
- ReAct 스타일의 폐루프 실행이 one-shot 계획 대비 long-horizon 과제에서 결정적 우위
- 의미적 액션 공간(grasp, align, move 등)이 저수준 joint 제어 대비 VLM 추론 부담 감소
- 2K 미만 시뮬레이션 궤적으로 4B 모델 학습 → 실제 환경 zero-shot 전달 성공 (ID 86%, OOD 92%)
- RL 후훈련으로 shell game 6.7%→60%, place all red objects 0%→93.3% 급격한 향상
- 훈련에 없는 관절 한계/도달 불가 상황에서도 오류 인식 및 회복 행동 발현
- 전체 75.6% 성공률로 GPT-5.4(70.2%) 및 CaP-Agent0(62.7%)를 능가
초록 PDF
451LLMs / NLParXiv:2606.18216
Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients
소형 모델(0.8B-9B)에 교사 지식을 전달할 때 logit 모방이나 정책 그래디언트 주입 대신 프롬프트 내에 교사를 배치하는 ZPPO 방법이다. Qwen3.5 0.8B-9B에서 31개 벤치마크 검증 결과 기존 distillation 및 GRPO를 능가한다.
ZPPO(Zone of Proximal Policy Optimization)는 소형 학생 모델의 RL 후훈련에서 교사 지식을 프롬프트 안에만 두고 정책 그래디언트에서는 배제하는 방법이다. 어려운 문제에 대해 BCQ(정답/오답 후보 쌍)와 NCQ(학생 오답 집계)라는 두 가지 재구성된 프롬프트를 구성하고, prompt replay buffer로 순환시킨다. Qwen3.5 패밀리(0.8B-9B)를 27B 교사로 후훈련하여 31개 벤치마크(VLM 16, LLM 10, Video 5)에서 기존 distillation 및 GRPO를 일관되게 능가했으며, 가장 작은 0.8B에서 가장 큰 개선을 보였다.
- 교사 logit 모방의 mode-seeking bias와 교사 응답의 정책 그래디언트 주입 drift 문제를 동시에 해결
- BCQ: 교사 정답과 학생 오답을 익명 후보로 배치하여 학생이 판별하도록 유도 (on-policy 유지)
- NCQ: 학생의 실패한 rollout을 집계하여 공통 실패 패턴을 프롬프트로 제시
- Prompt replay buffer로 hard question을 순환시켜 학생의 zone of proximal development 내에서 학습 증폭
- 0.8B에서 GRPO 대비 VLM 평균 +4.9pp, LLM +4.4pp, Video +2.3pp 향상; 특히 GPQA-D에서 +16.9pp 큰 개선
- 교사 크기가 클수록 ZPPO 이득이 커지며, 4B/9B 교사로는 이득이 축소됨을 확인
초록 PDF
450RoboticsarXiv:2606.18610
SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation
사전 훈련된 비디오 파운데이션 모델을 로봇 정책 평가자로 적응시키는 방법이다. 순방향-역방향 역학 일관성, 교차 뷰 일관성, 테스트타임 일관성의 3가지 자기일관성 원칙으로 실제 로봇 성능과 0.929 Pearson 상관을 달성했다.
SC3-Eval은 비디오 파운데이션 모델을 폐루프 로봇 정책 평가자로 변환하는 레시피이다. 순방향-역방향 역학 일관성으로 드리프트를 억제하고, 교차 뷰 일관성으로 다중 카메라 관측 일관성을 유지하며, 테스트타임 일관성으로 불확실한 롤아웃을 조기 종료한다. 7개 VLA 정책에서 Pearson 0.929, MMRV 0.119를 달성하며 3개 SOTA 기반선을 능가했고, 단순 성공률 예측을 넘어 정책의 구체적 실패 모드까지 재현한다.
- 순방향-역방향 역학 joint training으로 autoregressive 롤아웃 드리프트를 역방향 신호로 보정
- 교차 뷰 inpainting 훈련으로 명시적 메모리 없이 다중 카메라 일관성 유지
- 역방향 역학 모드를 per-chunk 불확실성 신호로 재사용하여 드리프트 시 조기 종료
- 7개 실제 VLA 정책에서 closed-loop Pearson 0.929, MMRV 0.119 달성 (Ctrl-World, IRASim, Cosmos-Predict 2.5 대비 우위)
- 정책의 실제 실패 모드(언어 이해/물체 들기/놓기)를 4카테고리로 분류하여 70%+ 재현율 달성
- 381시간 실제 table bussing 데이터로 훈련, OOD 작업에도 일반화 가능함을 입증
초록 PDF
449RoboticsarXiv:2606.19333
Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
단색 RGB 인간 동영상에서 손-객체 상호작용을 3D로 재구축하고 다지절 로봇 손으로 리타겟팅하는 파이프라인이다. 인터넷 동영상을 실제 로봇 덱스터러스 조작 궤적으로 변환하는 최초의 end-to-end 시스템이다.
DO AS I DO는 일상적인 모노큘러 RGB 인간 동영상에서 손-객체 상호작용을 3D로 재구축하고, 이를 다지절 로봇 손이 실행 가능한 궤적으로 변환하는 파이프라인이다. SAM 3D를 활용한 guided diffusion 기반 객체 추적과 sampling-based 최적화 리타겟팅을 결합하여, 기존 SOTA를 능가하는 재구축 정확도와 71% 리타겟팅 성공률을 달성했다. 인터넷, 자아중심, 생성 동영상 등 다양한 소스에서 500개의 고품질 조작 궤적을 생성하고 실제 로봇으로 검증했다.
- SAM 3D 생성 모델을 비디오 객체 추적기로 재활용하는 guided diffusion 기법을 제안하여 FoundationPose 대비 67% 우위의 추적 성능 달성
- DexYCB와 HOI4D 벤치마크에서 SOTA 재구축 정확도 달성 (F-5: 0.71/0.72, CD: 0.66/0.49)
- Warmup, perturbation, transition reward 등 3가지 혁신 컴포넌트로 리타겟팅 성공률을 25%→71%로 향상
- OakInk2 MoCap 벤치마크에서도 72%→81% 성능 향상으로 클린 데이터에서도 유효함 입증
- 100DOH 데이터셋 분석 결과, 온라인 인간 동영상의 약 4%만이 덱스터러스 조작 학습에 직접 활용 가능함을 확인
- 22-DoF Sharpa Wave 핸드 + UR3e 암 양손 시스템에서 10가지 과제(저어주기, 붓기, 닦기 등) 실제 실행 검증
초록 PDF
448LLMs / NLParXiv:2606.18195
Learning from the Self-future: On-policy Self-distillation for dLLMs
확산 LLM(dLLM)용 최초 온정책 자기증류 프레임워크. 자기 생성 답안을 suffix로 활용하고 step-level 감독으로 RLVR 대비 10% 스텝으로 우수 성능.
d-OPSD는 확산 LLM(dLLM)을 위한 최초의 온정책 자기증류 프레임워크다. 자기 회귀 모델의 prefix conditioning과 달리, dLLM의 비자기회귀 특성을 활용해 자기 생성 답안을 suffix 조건부로 사용하여 'self future-experience'에서 학습한다. token-level 대신 step-level 발산 감독을 적용하여 dLLM의 반복적 denoising 과정과 정렬한다.
- 기존 OPSD가 자기회귀 모델에만 설계된 한계를 극복한 최초의 dLLM용 온정책 자기증류 프레임워크
- dLLM의 비자기회귀 특성을 활용, 자기 생성 답안을 suffix 조건부로 사용하여 더 많은 새 지식 전달
- token-level → step-level 발산 감독으로 dLLM의 반복 denoising 구조와 정렬
- RLVR 대비 약 10% 최적화 스텝만으로 우수한 추론 성능 달성하여 sample efficiency 획기적 향상
- 4개 추론 벤치마크에서 RLVR 및 SFT 기준선 일관되게 능가
- 사람이 '과거로 돌아갈 수 있다면'이라는 영감과 유사한 self future-experience 학습 패러다임 제안
초록 PDF
447RoboticsarXiv:2606.18112
Qwen-RobotNav Technical Report: A Scalable Navigation Model Designed for an Agentic Navigation System
Qwen3-VL 기반 확장 가능한 내비게이션 모델. 작업 모드 + 관측 파라미터 인터페이스로 VLN/추적/자율주행을 단일 모델로 처리. HM-EQA 10.8% 향상.
Qwen-RobotNav는 Qwen3-VL 백본 위에 작업 모드와 관측 파라미터를 분리한 파라미터화 인터페이스를 제공하여, 명령 수행·객체 탐색·추적·자율주행을 단일 모델로 처리한다. 15.6M 샘플로 훈련하여 VLN-CE RxR 76.5%, EVT-Bench 90.0%, NAVSIM 91.4 PDMS를 달성했으며, 상위 계획자와 조합해 장시간 에이전트 내비게이션도 수행한다.
- 작업 모드 + 관측 파라미터(토큰 예산, 카메라 가중치) 2축 파라미터화 인터페이스로 다양한 내비게이션 작업을 단일 모델로 지원
- Qwen3-VL 백본에 아키텍처 수정 없이 훈련 시 파라미터 무작위화만으로 추론 시 임의 설정에 robust
- 15.6M 샘플 + 비전-언어 코훈련으로 반응형 액션 시퀀스 매퍼로의 붕괴 방지
- VLN-CE RxR 76.5%, EVT-Bench 90.0%, NAVSIM 91.4 PDMS로 주요 벤치마크 신규 SOTA 달성
- 에이전트 시스템 구성 시 HM-EQA 10.8% 향상, EXPRESS-Bench 15.4% 향상, 내비게이션 스텝 77% 절감
- 2B→8B 스케일링에서 유리한 확장성, 실제 로봇 환경에서 강력한 제로샷 일반화
초록 PDF
446AI / GeneralarXiv:2606.18206
Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers
루프 트랜스포머에서 고정점(fixed-point) 수렴을 종단 halting 메커니즘으로 사용하는 모델. 난이도별 적응적 연산량 할당으로 Sudoku/Maze/ARC-AGI에서 강력한 성능.
Fixed-Point Reasoner(FPRM)는 루프 트랜스포머의 신호 전파 문제를 pre-norm과 residual scaling으로 해결하고, 고정점 수렴을 end-to-end halting으로 사용한다. 체인 규칙 기반 하강의 수학적 정당성과 함께 어려운 문제일수록 더 많은 반복을 수행하는 적응성을 확보한다.
- 루프 아키텍처의 깊이에 따른 신호 전파 문제를 pre-norm + residual scaling으로 해결
- 고정점 수렴을 end-to-end halting 메커니즘으로 도입하여 외부 halting 모듈 불필요
- 문제 난이도에 따라 반복 횟수가 자동 조절되는 적응적 연산 보장
- Sudoku Extreme에서 TRM 대비 정확도 +10%p, 약 27% 적은 연산량으로 동등 성능
- Maze, 상태 추적, ARC-AGI 등 조합 추론 벤치마크에서 일관된 향상
- 수학적 고정점 정리에 기반하여 halting 결정의 이론적 정당성 제공
초록 PDF
445LLMs / NLParXiv:2606.18246
Variable-Width Transformers
트랜스포머 층별 폭을 비균등하게 배분하는 ×자형 구조(> <former). 양끝은 넓고 중간은 좁게 설계하여 동일 파라미터 대비 성능 향상 + FLOPs 22% 절감.
Variable-Width Transformers(> <former)는 모든 층이 동일한 폭을 갖는 관례를 깨고, ×자형 비균등 폭 분배를 제안한다. 초기·후기 층은 넓고 중간층은 좁게 설계하여, 잔차 스트림의 비활성 차원을 복사하는 파라미터 프리 방식으로 구현한다. 200M~2B 밀집 모델과 3B MoE에서 일관된 성능 향상을 보인다.
- 트랜스포머 모든 층의 폭이 같아야 한다는 가정을 깨고 비균등 폭 배분 체계적으로 탐구
- ×자형(양끝 넓고 중간 좁음) 구조가 파라미터 매칭 균등 폭 대비 일관되게 우수
- 파라미터 프리 residual resizing으로 투영 레이어 없이 차원 축소/복원 구현
- 동일 파라미터 대비 perplexity ~3% 향상, KV cache ~10% 절감, FLOPs ~3% 절감
- loss-matched scaling curve 기준 FLOPs 22% 감소, MoE 트랜스포머까지 확장
- 중간층 표현 붕괴를 완화하여 층별 질적으로 다른 표현 학식 유도
초록 PDF