논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 2026-10-16벤치마크 RSS 구독

244Machine LearningarXiv:2605.26379
When Does LeJEPA Learn a World Model?
Klindt, LeCun, Balestriero의 연구는 JEPA(Joint-Embedding Predictive Architecture), 구체적으로 LeJEPA가 실제 기저 잠재 변수를 복원함으로써 '세계 모델'을 학습하는 조건을 형식적으로 정의하고 증명한다.
이 논문은 LeJEPA가 어떤 조건에서 관측값으로부터 세계의 잠재 변수를 선형적으로 복원하는지 이론화한다. 정지 상태의 가산 잡음 전이를 따르는 잠재 세계에서 정렬 손실과 가우시안 정규화를 함께 쓰면 비선형 표현보다 선형 대응이 최적이 된다는 보장을 제시한다. 또한 이 보장이 정확히 성립하는 잠재 분포는 가우시안이 유일하며, 조건이 조금 어긋날 때 복원 오차가 점진적으로 커지는 근사 결과도 보였다. 2차원부터 1,024차원까지의 합성 실험과 픽셀 기반 로봇 제어에서 이론을 확인하고, 선형 식별 가능성이 잠재 공간 계획의 품질과 연결됨을 보였다. 다만 실제 잠재 분포의 가우시안성, 참 잠재 차원과 표현 차원의 일치, 유한 표본과 학습 최적화는 이 보장이 직접 다루지 못하는 중요한 한계다.
- SIGReg와 VICReg는 '화이트닝'(각 차원을 독립적이고 동일한 분산을 갖도록 만드는 것)을 강제하는데, 두 방법 모두 모든 차원에서 매우 높은 식별 가능성을 유지했다.
- InfoNCE는 널리 쓰이는 대조 학습 방법이다. 저차원에서는 효과적이지만, 고차원 공간에서는 하이퍼파라미터 튜닝에 매우 민감해져 정밀한 조정 없이는 구조 복원을 유지하지 못하는 경우가 많았다.
- 데이터 수집의 경우, 로봇이 자신의 환경에 대한 고품질 표현을 학습하기를 원한다면, 사전학습 중에 '꿈꾸는' 데이터는 편향되고 목표 지향적인 행동보다는 등방성 무작위 보행에 가까운 것이 이상적이다.
초록 PDF
243Computer VisionarXiv:2605.27295
Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini
Gemini Embedding 2는 비디오·오디오·이미지·텍스트를 단일 표현 공간에 임베딩하는 네이티브 멀티모달 모델로, 다양한 검색·추천·RAG 작업에서 SOTA를 달성한다.
Gemini Embedding 2는 Gemini의 멀티모달 능력을 기반으로 텍스트·이미지·비디오·오디오 및 그 교차 입력을 단일 벡터 공간에 매핑하는 네이티브 멀티모달 임베딩 모델이다. 대규모 contrastive learning과 다단계 멀티태스크 훈련으로 unimodal·cross-modal·멀티모달 검색 전반에서 SOTA를 달성했다. MSCOCO 62.9 R@1, MTEB 다국어 69.9, MTEB Code 84.0 등을 기록했으며, 천문학·생명과학·미술 등 전문 도메인에서도 강력한 zero-shot 성능을 보여준다.
- Gemini 기반 native multimodal 처리: 텍스트·이미지·비디오·오디오 및 interleaved 조합을 단일 임베딩 공간으로
- 최대 3,072차원 벡터, 대규모 multi-task multi-stage contrastive learning으로 훈련
- MSCOCO 62.9 R@1, Vatex 68.8 NDCG@10, MTEB 다국어 69.9, MTEB Code 84.0로 SOTA 달성
- 기존 late-fusion 모델(CLIP, SigLIP) 대비 deep modal fusion으로 교차 모달리티 시너지 확보
- 천문학·생물학·미술·요리 등 전문 영역에서 강력한 zero-shot 일반화 능력
- RAG, 추천, 검색 등 실용 downstream에 즉시 활용 가능한 out-of-the-box 성능
초록 PDF
242AI / GeneralarXiv:2605.25624
CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents
CUA-GYM은 컴퓨터 사용 에이전트를 위한 대규모 검증 가능 RLVR(검증 가능한 보상을 통한 강화학습) 학습 데이터를 생성하는 에이전트 파이프라인을 제시하며, 110개의 실제 및 합성 환경에 걸쳐 32,112개의 과제로 구성된다.
CUA-Gym은 컴퓨터 사용 에이전트를 위한 지시, 실행 환경 상태, 검증 가능한 보상 함수를 함께 만드는 자동 합성 파이프라인이다. 생성 에이전트가 초기 상태와 정답 상태를 만들고 별도의 판별 에이전트가 보상 코드를 작성하며, 실행 결과가 맞을 때까지 조정한 뒤 투표와 실제 에이전트 롤아웃으로 다시 거른다. 이 과정으로 110개 환경에 걸친 32,112개의 검증된 RLVR 학습 항목과 94개 모의 웹 애플리케이션 묶음을 구축했다. CUA-Gym으로 학습한 A3B와 A17B 모델은 OSWorld-Verified에서 각각 62.1%와 72.6%를 기록했고, 학습에 쓰지 않은 WebArena에서도 개선됐다. 다만 보상은 최종 상태를 중심으로 검증하므로 잘못된 중간 과정을 구별하기 어렵고, 모의 환경과 실제 소프트웨어 사이의 차이 및 남은 보상 해킹 가능성도 고려해야 한다.
- Discriminator는 Generator의 구현 세부사항으로부터 격리되어 있어 오직 과제 t와 그 결과로 나타난 환경 상태만 본다. 그런 다음 초기 상태에 대해서는 0.0을, 골든 상태에 대해서는 1.0을 반환해야 하는 reward.py 스크립트를 작성한다.
- Qwen3.5-35B 모델(A3B)은 성공률을 54.5%에서 62.1%로 향상시켰다.
- Qwen3.5-397B 모델(A17B)은 72.6%의 성공률에 도달했으며, 이는 10퍼센트포인트가 넘는 증가다.
초록 PDF
241AI / GeneralarXiv:2605.26494
The MiniMax-M2 Series: Mini Activations Unleashing Max Real-World Intelligence
MiniMax-M2 시리즈는 약 100억 활성 파라미터의 MoE 아키텍처로 agent 작업·추론·코워크에 특화되어 프론티어 모델과 경쟁하는 실용적 지능을 구현한다.
MiniMax-M2 시리즈는 에이전트 작업에 최적화된 MoE 기반 대형 언어 모델로, 약 100억 개의 활성 파라미터만으로 선도적인 프론티어 모델들과 경쟁하는 성능을 달성한다. 코드 해석기·검색·슬라이드 생성·스프레드시트 조작 등 다양한 도구 활용 작업을 포괄하는 대규모 합성 데이터 파이프라인을 구축했으며, interleaved thinking SFT와 CISPO 강화학습으로 agent 능력을 강화했다. 재무 분석·문서 작업·롤플레이 등 실제 업무 시나리오에서 우수한 성능을 보였다.
- 약 100억 활성 파라미터 MoE 아키텍처로 비용 효율성과 경쟁력 동시 달성
- 코드·검색·스프레드시트·슬라이드 생성 등 다양한 agent 도구 환경에 대한 대규모 합성 데이터 파이프라인 구축
- Interleaved thinking SFT: 추론과 행동이 교차하는 궤적 학습으로 복잡한 agent 루프 대응
- CISPO 정책 최적화 + agent RL: 환경과의 상호작용을 MDP로 모델링하여 에이전트 능력 강화
- 재무 분석·문서 관리·롤플레이 등 다양한 실용 도메인에서 강력한 성능 입증
- Reasoning data의 query-side/response-side/training-side 3축 스케일링 전략으로 OOD 일반화 향상
초록 PDF
240LLMs / NLParXiv:2605.26099
Language Models Need Sleep
이 논문은 대규모 언어 모델이 긴 문맥에 대해 더 깊은 추론을 수행할 수 있게 하는 오프라인 메모리 통합 메커니즘 'LLM Sleep'을 소개한다.
이 연구는 긴 문맥을 처리할 때 어텐션의 계산량과 캐시가 커지고, 문맥이 캐시에서 사라진 뒤에는 깊은 추론이 어려워지는 문제를 다룬다. 제안한 LLM Sleep은 최근 문맥을 지우기 전에 여러 번의 오프라인 순환 통과로 처리해 SSM 블록의 빠른 가중치에 지속 가능한 기억으로 통합한다. 추가 계산을 잠든 단계로 옮기므로 온라인 예측 단계의 한 번 통과 지연 시간은 유지할 수 있다. 셀룰러 오토마타, 다중 홉 그래프 검색, 긴 수학 추론 실험에서 잠든 단계의 반복 횟수를 늘릴수록 특히 깊은 추론이 필요한 사례의 성능이 좋아졌다. 다만 학습 때 더 깊은 순전파와 역전파가 필요해 속도가 느려지고 불안정해질 수 있다는 비용이 있다.
- GSM-Infinite는 다수의 산술 연산을 포함한 긴 문제를 생성하는 수학 추론 벤치마크다. 모델이 수천 개 토큰에 걸쳐 중간 결과와 논리를 유지하는 능력을 시험한다.
- 지연 시간 유지: 무거운 연산을 오프라인 단계로 옮김으로써 모델은 대화형 사용 중에도 빠른 속도를 유지한다.
- 깊은 추론 활성화: 물리적 레이어 수가 통상 허용하는 수준보다 논리적으로 더 '깊은' 문제를 모델이 풀 수 있게 한다.
초록 PDF
239AI / GeneralarXiv:2605.26114
MobileGym: A Verifiable and Highly Parallel Simulation Platform for Mobile GUI Agent Research
MOBILEGYM은 모바일 GUI 에이전트 연구를 위한 브라우저 기반 시뮬레이션 플랫폼으로, 구조화된 JSON 상태로 앱 상호작용을 모델링하는 경량·검증 가능·고도 병렬 환경을 제공한다.
MobileGym은 일상 모바일 앱의 화면 상호작용을 브라우저에서 재현하고 전체 상태를 구조화된 JSON으로 제어하는 경량 시뮬레이션 환경이다. 상태를 읽고 초기화하고 복제할 수 있어 결과를 결정적으로 판정하며, 한 서버에서 수백 개의 강화학습 롤아웃을 병렬 실행할 수 있다. MobileGym-Bench는 28개 앱에 걸친 416개 매개변수화 작업 템플릿과 자유 텍스트 오판을 줄이는 구조화된 답안 방식을 제공한다. Qwen3-VL-4B-Instruct의 GRPO 학습은 256개 테스트 작업에서 12.8%포인트를 높였고, 59개 실제 기기 부분집합에서는 시뮬레이션 학습 이득의 95.1%가 유지됐다. 다만 실제 앱과 세밀한 화면 모양이 다르고 실시간 백엔드 현상을 모두 재현하지 않으며, 각 모의 앱의 기능 범위도 주요 사용 시나리오에 한정된다.
- 실제 휴대폰에서 실행한 59개 작업의 부분 집합에서, 학습된 모델의 통과율은 32.2%에서 72.9%로 급등했다.
- 분석 결과 모델은 시뮬레이션에서 실제 환경으로 옮겨갈 때 성능 향상분의 95.1%를 유지했다.
- 학습의 민주화: 적은 RAM만 차지하면서 표준 서버에서 구동되므로, 대규모 컴퓨팅 클러스터가 없는 연구 그룹도 온라인 RL을 수행할 수 있다.
초록 PDF
238Machine LearningarXiv:2605.22731
Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation
이 연구는 손실 함수만이 아니라 지도가 적용되는 상태 분포를 강조하여 대규모 언어 모델 사후학습 방법을 재해석한다.
이 논문은 대규모 언어 모델의 사후학습을 토큰 손실뿐 아니라 감독이 적용되는 상태 분포의 관점에서 설명한다. 여기서 상태는 프롬프트와 지금까지 생성한 접두사이며, SFT는 고정 데이터의 상태를 쓰는 반면 강화학습과 온-폴리시 증류는 현재 학습자가 만든 상태를 사용한다. Qwen3-0.6B-Base를 GSM8K에 학습하고 TruthfulQA와 MMLU로 능력 보존을 확인하는 통제 실험을 수행했다. 약한 SFT는 망각이 적었지만 강한 SFT는 보존 성능을 크게 잃었고, 온-폴리시 증류는 성능이 낮아진 교사를 감독 원천으로 쓰고도 그 교사보다 세 평가에서 더 나았으며 강화학습도 보존 손실이 작았다. 결과는 감독 신호의 형태만큼 학습 상태의 출처와 학습자 주변에서의 국소성이 중요함을 보이지만, 단일 소형 모델과 제한된 과제에서 얻은 초기 증거라는 범위는 남는다.
- SFT는 본질적으로 파괴적이지는 않지만, off-policy 특성 때문에 높은 압력 하에서는 위험해진다. 개발자는 데이터셋 분포와 모델의 자연스러운 분포 간 정렬을 모니터링해야 한다.
- On-policy 학습은 안정화 장치다. RL이든 증류든, 학습자 자신의 분포에서 샘플링하면 업데이트가 적절성을 갖도록 보장하고 off-policy 방법보다 모델 본래의 능력을 더 잘 보존한다.
- 증류는 단순 복제 이상이다. 상태를 신호로부터 분리함으로써, on-policy 증류는 지도가 충분히 조밀하다면(단일 토큰 로짓이 아니라 연속을 사용한다면) 학생이 교사의 한계를 뛰어넘을 수 있게 한다.
초록 PDF
237RoboticsarXiv:2605.23733
Any2Any: Efficient Cross-Embodiment Transfer for Humanoid Whole-Body Tracking
LimX Dynamics의 연구진은 사전학습된 휴머노이드 전신 추적(WBT) 정책을 서로 다른 로봇 형상에 효율적으로 이전하는 프레임워크 ANY2ANY를 개발했다.
Any2Any는 한 휴머노이드에서 미리 학습한 전신 추적 정책을 다른 몸체의 로봇으로 적은 비용에 옮기는 사후학습 방법이다. 먼저 관절 배치와 기구학 차이를 정렬해 목표 로봇의 관측과 행동을 원래 정책이 이해할 수 있게 만든다. 그다음 동역학에 민감한 모듈에만 가벼운 저랭크 어댑터를 적용해 기존의 동작 지식을 보존하면서 새 로봇의 차이를 학습한다. 두 개의 사전학습 백본과 네 종류 휴머노이드 사이 여섯 개 전이에서 처음부터 학습하는 것보다 빠르게 수렴하고 경쟁력 있는 추적 성능을 보였다. 특히 전체 학습에 필요한 데이터와 연산의 약 1%만 사용하고 정책 매개변수의 약 5%만 수정해, 로봇마다 전신 제어기를 다시 만드는 비용을 크게 줄일 가능성을 제시한다.
- 희소 산란 행렬은 기본적인 대응 관계를 처리하여 목표 관절을 소스 배치의 대응 관절에 매핑하고, 여분의 관절은 버리거나 누락된 관절은 0으로 채운다.
- 병렬 관절 결합 행렬은 일부 로봇이 사용하는 비직렬 기구(예: 평행사변형 구동 발목)를 처리하여, 구동 관절 각도와 실제 기구학적 각도 사이의 차이를 보정한다.
초록 PDF
236Computer VisionarXiv:2605.25874
WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation
WBENCH는 대화형 비디오 월드 모델을 5개 차원(비디오 품질, 설정 준수, 상호작용 준수, 일관성, 물리 준수)에서 평가하는 멀티턴 벤치마크로, 289케이스·1,058상호작용 턴을 포함한다.
WBENCH는 대화형 비디오 월드 모델을 체계적으로 평가하기 위해 비디오 품질·설정 준수·상호작용 준수·일관성·물리 준수라는 5개 차원을 기준으로 설계된 종합 벤치마크다. 289개 테스트 케이스와 1,058개 상호작용 턴이 포함되며, 내비게이션·주체 행동·이벤트 편집·시점 전환의 4가지 상호작용 유형을 다룬다. 22개 자동 서브 지표가 전문 비전 모델과 대형 멀티모달 모델을 결합하여 평가하며, 20개 최신 모델 평가 결과 어느 모델도 모든 차원에서 우수하지 않다는 점을 발견했다.
- 5개 평가 차원(비디오 품질·설정 준수·상호작용 준수·일관성·물리 준수)으로 구성된 종합 평가 체계
- 289 케이스·1,058 상호작용 턴, 내비게이션/행동/이벤트 편집/시점 전환 4가지 상호작용 유형 포괄
- 내비게이션에서 text, 6-DoF pose, discrete action을 통합하여 다양한 입력 인터페이스 지원
- 22개 자동 서브 지표 + 전문 비전 모델·LMM 결합 평가, 인간 판단과의 정렬 검증
- 20개 SOTA 모델 평가 결과 단일 모델이 모든 차원을 domination하지 못함을 입증
- 모델별 강점·약점·미해결 과제에 대한 상세 진단 인사이트 제공
초록 PDF
235RoboticsarXiv:2605.24934
HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos
메릴랜드 대학교의 연구진은 몇 분 분량의 인간 1인칭 영상 시연만으로 제로샷 로봇 조작 정책 학습을 가능하게 하는 프레임워크 HumanEgo를 개발했다.
HumanEgo는 로봇 시연 없이 몇 분 분량의 사람 1인칭 영상만으로 조작 정책을 학습하는 프레임워크다. 사람의 손과 물체 관계를 개체 수준의 상호작용 중심 토큰으로 바꾸고, 흐름 정합 정책에 물체 움직임과 시각 궤적 및 잠재 일관성 보조 목표를 함께 학습한다. 과제당 30분의 사람 영상으로 네 가지 실제 작업에서 평균 성공률 92.5%를 기록했고, 15분만 사용해도 75%를 달성했다. 같은 시간의 로봇 원격조작 데이터보다 41% 높은 성능을 보였으며 새 로봇, 카메라, 환경에도 추가 학습 없이 전이됐다. 다만 스테레오 손 추적과 여러 외부 인식 모듈에 의존해 오류가 이어질 수 있고, 가림이나 빠른 움직임 및 1센티미터보다 정밀한 접촉 작업에는 추가 개선이 필요하다.
- 새로운 시점은 서로 다른 카메라 각도와 높이를 가리킨다.
- 시각적 방해 요소는 학습 중에는 없었던 추가 객체가 테이블 위에 놓인 경우다.
- 새로운 객체는 인간 영상에서 본 것과 다른 종류의 빵이나 컵을 사용하는 경우다.
초록 PDF
234RoboticsarXiv:2605.23856
Point Tracking Improves World Action Models
이 연구는 디퓨전 트랜스포머 내에서 시각적 잠재 표현, 가시성을 포함한 2D 포인트 트랙, 로봇 동작을 공동으로 디노이징하여 로봇 조작 능력을 향상시키는 통합 월드-액션 모델 JOPAT를 소개한다.
JOPAT은 미래의 픽셀 모양만 예측하면 조명과 질감 같은 불필요한 변화가 로봇 동역학 학습을 방해하는 문제를 다룬다. 하나의 확산 트랜스포머에서 시각 잠재 표현, 가시성을 포함한 2차원 포인트 궤적, 로봇 행동을 함께 잡음 제거하도록 설계했다. 포인트 궤적은 물체의 이동과 가림 및 화면 밖 움직임을 명시해 픽셀 표현의 의미 정보와 상호 보완한다. LIBERO와 실제 LeRobot 작업에서 픽셀 중심 기준 모델보다 높은 성능과 데이터 효율을 보였고, 행동이 없는 영상의 움직임 지식도 제어로 옮길 수 있었다. 다만 희소한 점은 미세 변형을 놓칠 수 있고 외부 추적기의 품질에 성능이 제한되며, 20Hz를 넘는 고주파 제어와 이동 카메라에는 현재 구조가 충분히 빠르거나 적합하지 않다.
- 레지스터 토큰 r은 전역 정보 처리를 돕는 학습 가능한 토큰이다.
- 잠재 표현만 사용하는 모델은 장기 동작에 필요한 정밀도가 부족하여, 시각적 단서가 미묘할 때 실패했다.
- 트랙만 사용하는 모델은 어떤 객체와 상호작용해야 하는지 식별하는 데 필요한 의미적 근거가 부족했다.
초록 PDF
233Computer VisionarXiv:2605.25343
Toward Native Multimodal Modeling: A Roadmap
텐센트 Youtu Lab 주도로 네이티브 멀티모달 모델링(NMM)의 발전 경로를 체계화한 로드맵으로, T2M·M2T·M2M 대칭 모델링 등 3축 분류와 데이터·평가 전략을 망라한다.
본 논문은 네이티브 멀티모달 모델링(NMM) 분야의 기술 동향을 T2M(텍스트→멀티모달 생성), M2T(멀티모달→텍스트 이해), M2M(대칭 멀티모달) 3축으로 분류하는 구조화 로드맵이다. 각 축 내에서 완전 이산화 통합 모델과 모달리티 특성 보존 모델의 두 설계 철학을 비교하며, token 압축·물리 일관성·오디오-비주얼 정렬 등 핵심 과제를 분석한다. 또한 고품질 데이터 구축 전략과 평가 방법론을 망라하여 향후 NMM 연구 방향을 제시한다.
- NMM 모델을 T2M(생성), M2T(이해), M2M(대칭) 3축으로 체계적 분류
- 완전 이산화 통합(digital token) vs 모달리티 특성 보존(연속 특징 공간) 설계 철학 비교
- Token explosion 해결을 위한 극단적 VAE 압축·동적 sparse attention pruning 기술 동향 정리
- 비디오 생성에서 물리 법칙 이해(강체 역학·중력·충돌)를 위한 explicit rule vs implicit emergence 접근 분석
- 오디오-비주얼 정밀 동기화를 위한 unified timeline anchoring과 deep architectural coupling 방안 제시
- Comprehension-Generation 딜레마 해소를 위한 physical decoupling·encoder-free modeling 등 데이터 및 평가 전략 수록
초록 PDF
232Machine LearningarXiv:2605.23857
Strong Teacher Not Needed? On Distillation in LLM Pretraining
프린스턴 대학교의 연구진은 대규모 언어 모델 사전학습에서 지식 증류의 근본 가정들을 체계적으로 재검토하여, 더 약한 교사도 이점을 제공할 수 있고(예: 0.7B 교사가 1.7B 학생의 다운스트림 정확도를 1.3% 개선) 지나치게 강하거나 과도하게 학습된 교사는 때때로 학생 성능을 저하시킬 수 있음을 입증했다.
이 연구는 지식 증류에서 교사가 반드시 학생보다 크고 강해야 한다는 통념을 대규모 언어 모델 사전학습에서 다시 검토한다. 연구진은 0.7B부터 8.0B까지 네 가지 모델 크기와 10B부터 300B까지 여섯 가지 교사 학습 토큰 예산을 조합하고, 언어 모델 손실과 증류 손실의 비중도 바꿔 비교했다. 적절한 손실 혼합을 사용하면 학생보다 작거나 덜 학습된 교사도 더 큰 학생의 성능을 개선할 수 있었다. 반대로 교사 크기나 학습량을 계속 늘리면 이득이 포화되거나 줄어들어, 절대 성능보다 교사와 학생의 구조적 호환성이 중요했다. 증류의 이득은 학습 분포 안의 적합도보다 분포 밖 perplexity와 여러 후속 과제의 일반화에서 더 쉽게 나타났다.
- 다운스트림 정확도는 MMLU나 GSM8K 같은 벤치마크에서의 성능이다.
- 완벽한 교사를 기다리지 말아야 한다. 더 큰 새 모델을 학습시키는 경우, 현재 보유한 최고 모델을 교사로 사용하는 것이 유익하며, 그 교사가 새 모델의 목표보다 더 작거나 덜 학습되었더라도 마찬가지다.
- 호환성을 우선해야 한다. 학생과 구조적으로 유사한 적당히 강한 교사가 거대한 최신 모델보다 더 효과적일 수 있다.
초록 PDF
231Computer VisionarXiv:2605.26115
TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction
TriSplat은 방향성 삼각형 primitive를 사용해 단일 forward pass로 시뮬레이션 가능한 mesh를 직접 출력하는 feed-forward 3D 장면 복원 네트워크다. 별도의 후처리 mesh 추출 없이 물리 엔진에 바로 활용할 수 있다.
TriSplat은 희소 뷰 이미지에서 oriented triangle primitive를 예측하여 시뮬레이션 준비가 완료된 mesh를 한 번의 forward pass로 생성하는 feed-forward 복원 네트워크다. 예측된 point map에서 기하학적 법선을 구성하고 이미지 조건부 normal head로 정제하며, mono-normal bootstrapping과 opacity/blur scheduling으로 학습을 안정화한다. RealEstate10K와 DL3DV에서 Gaussian 기반 baseline 대비 더 정확한 기하학 복원을 달성하면서도 경쟁적인 렌더링 품질을 보였다. 출력이 곧 mesh이므로 TSDF fusion 등 후처리가 필요 없어 물리 시뮬레이션과 게임 엔진에 즉시 활용 가능하다.
- Gaussian 대신 oriented triangle을 primitive로 사용하여 렌더링 결과물이 곧 mesh가 되는 구조 제안
- 예측된 point map에서 법선을 유도하고 image-conditioned U-Net으로 정제하여 삼각형 방향을 기하학에 고정
- Mono-normal bootstrapping + validity-aware masking으로 초기 학습 안정화, opacity/blur scheduling로 점진적 표면 선명화
- RealEstate10K·DL3DV에서 Gaussian feed-forward baseline 대비 우수한 geometry fidelity 및 경쟁적 NVS 품질 달성
- Zero-shot ScanNet 평가로 cross-dataset 일반화 능력 확인
- TSDF fusion 등 후처리 없이 physics engine·collision detector·표준 렌더링 파이프라인에 직접 활용 가능
초록 PDF
230Machine LearningarXiv:2605.23872
Training-Free Looped Transformers
텍사스 대학교 오스틴의 연구진은 고정된 트랜스포머 체크포인트에 순환 구조를 덧붙여 추론 시점에 대규모 언어 모델의 성능을 향상시키는 학습 불필요 방법을 제안했다.
이 논문은 이미 학습된 트랜스포머의 연속된 중간 레이어 블록을 추론할 때 반복 실행하는 학습 불필요 래퍼를 제안한다. 사전 정규화 잔차 블록을 상미분방정식의 오일러 단계로 보고, 한 번의 큰 갱신을 감쇠된 작은 단계들로 나눠 같은 끝점을 더 잘 근사한다. 단순히 블록을 반복하면 성능이 흔히 나빠졌기 때문에 반복 위치, 감쇠 방식, 혼합 전문가 모델의 레이어별 실행과 캐시 복원이 중요했다. 일곱 개 모델 계열에서 Qwen3-4B-Instruct의 MMLU-Pro를 2.64%포인트 높이는 등 지식 중심 선택형 과제에서 개선을 보고했다. 고정된 설정에서 평가 조합의 87%가 개선되거나 중립이었지만, 일부 3B 미만 증류 모델에서는 손실이 집중되어 모든 모델과 과제에 이득이 보장되지는 않는다.
- 일관된 성능 향상: 이 방법은 지식 집약적 벤치마크에서 일관된 개선을 제공했다. 예를 들어 Qwen3-4B-Instruct는 MMLU-Pro에서 2.64 퍼센트포인트가 상승했다.
- 반복 횟수 K에 대한 안정성: 반복을 추가할수록 붕괴하는 단순 루핑과 달리, 감쇠 RK 방식은 K가 증가해도 안정적으로 유지되거나 계속 개선된다(그림 3 참조).
- 연산 오버헤드: 추가 비용은 추가로 통과하는 레이어 수에 비례한다. 다만 작은 윈도(예: 4개 레이어)만 루핑하므로, 32레이어 모델에서 전체 디코드 루프를 돌릴 때의 총 실시간 오버헤드는 흔히 약 20% 수준에 그친다. 저자들은 또한 초기 프롬프트 처리 단계에서만 루핑하는 'bypass' 모드를 도입했는데, 이는 토큰 생성 중 오버헤드가 거의 0에 가깝다.
초록 PDF
229Computer VisionarXiv:2605.23903
Geo-Align: Video Generation Alignment via Metric Geometry Reward
USTC와 상하이 AI Lab의 연구진은 미터 기하 보상을 사용하여 목표 카메라 궤적을 정밀하게 따르는 새로운 시점의 영상을 합성하는, 카메라 제어 영상 생성용 강화학습 프레임워크인 Geo-Align을 개발했다.
Geo-Align은 목표 카메라 경로를 따르는 새로운 시점의 영상을 만들기 위해 비디오 생성 모델을 강화학습으로 정렬하는 방법이다. 생성 영상에서 미터 단위 카메라 자세를 추정하는 3차원 평가기를 사용해 목표 경로와의 회전 및 이동 오차를 직접 보상에 반영한다. 실제 조건 영상과 합성 데이터에서 얻은 크기 정보가 있는 카메라 궤적을 조합해, 동기화된 실제 다중 시점 영상 쌍 없이도 학습할 수 있게 했다. DAVIS 기반 500개 시험 사례에서 기존 지도학습 기준보다 카메라 제어 정확도와 영상 충실도 및 일관성을 꾸준히 높였다. 다만 매우 빠른 회전과 큰 이동, 카메라 가까이의 큰 물체나 동적 물체가 많은 입력에서 실패와 깜박임이 생길 수 있고, 배치마다 여러 전체 영상을 생성하는 강화학습 비용도 크다.
- 미터 모호성: 표준 학습 손실은 픽셀이나 추상적 특징을 비교한다. 이들은 미터나 도 같은 물리적 단위를 이해하지 못한다. 모델에게 카메라를 2미터 앞으로 이동하라고 지시하더라도, 손실 함수는 결과 픽셀이 참조와 달라 보일 때만 모델에 페널티를 부과한다. 이는 종종 스케일 드리프트로 이어지는데, 생성된 영상의 카메라가 일관되지 않은 속도로 움직이거나 장면의 깊이를 고려할 때 물리적으로 불가능한 경로를 따르게 된다.
- 미터 인식: 3D 평가자를 사용함으로써 모델은 카메라 움직임을 물리적 단위로 이해하도록 학습하여, 영상 합성에서 오랫동안 문제였던 스케일 드리프트를 해결한다.
- 확장 가능한 학습: 이 RL 프레임워크는 구하기 어려운 동기화된 다시점 영상의 필요성을 없애, 모델이 다양한 실세계 분포로부터 학습할 수 있게 한다.
초록 PDF
228Machine LearningarXiv:2605.23901
LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
ByteDance Seed, 버지니아대학교, 캘리포니아대학교 버클리의 연구진은 대형 언어 모델(LLM) 학습을 노이즈가 있는 채널을 통한 정보 전송으로 모델링하여 단조적 및 비단조적 스케일링 거동을 모두 설명하는 이론적 프레임워크인 섀넌 스케일링 법칙(Shannon Scaling Law)을 제안했다.
Shannon Scaling Law는 모델을 크게 하거나 학습 데이터를 늘려도 성능이 나빠질 수 있는 비단조 현상을 설명하려는 스케일링 법칙이다. 모델 매개변수를 통신 채널의 대역폭으로, 학습 토큰을 신호 세기로 대응시켜 대규모 언어 모델 학습을 잡음이 있는 정보 전달 과정으로 표현한다. 이 관점에서는 신호 대 잡음비를 충분히 유지하지 못한 확장이 잡음을 키워 손실 곡선을 U자형으로 바꿀 수 있다. Pythia와 OLMo2에 가우시안 잡음, 양자화, 여러 과제의 지도 미세조정을 적용한 실험에서 기존 단조 스케일링 법칙보다 손실 구간을 더 잘 맞췄다. 6.9B 이하 모델과 1,800억 토큰 이하 자료로 적합한 법칙이 보지 못한 12B 모델의 3,070억 토큰 지점까지 pooled R² 0.847로 예측해, 무조건적인 규모 확대보다 정보 밀도와 신호 대 잡음비 관리가 중요함을 시사한다.
- 제거 불가능한 노이즈(e): Chinchilla류 법칙의 상수항에 해당하며, 스케일링과 무관하게 제거할 수 없는 근본적 구조적 한계 또는 시스템 엔트로피를 나타낸다.
- 전략적 스케일링: U자형 곡선의 존재는 주어진 노이즈 수준에서 N과 D를 스케일링하는 최적의 스위트 스폿이 있음을 시사한다. 무차별적 스케일링이 항상 답은 아니며, 개발자는 자신의 학습 설정의 신호 대 잡음비를 고려해야 한다.
- 노이즈 인식: 지수 분석 결과 데이터 노이즈가 종종 학습 신호보다 빠르게 증가하는 것으로(δ가 β보다 큼) 드러났다. 이는 데이터 큐레이션과 노이즈 완화의 결정적 중요성을 부각한다. 학습 데이터에 노이즈가 많다면 단순히 더 많이 추가하는 것은 결국 역효과를 낳는다.
초록 PDF
227ResearcharXiv:2605.23463
StepAudio 2.5 Technical Report
StepFun-Audio 팀은 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 실시간 음성 상호작용 전반에서 특화 시스템의 성능에 필적하거나 이를 능가하는 통합 오디오-언어 기반 모델 StepAudio 2.5를 선보인다.
StepAudio 2.5는 음성 인식, 음성 합성, 실시간 음성 대화를 하나의 오디오-언어 기반 모델에서 처리하는 통합 시스템이다. 텍스트와 오디오의 공통 표현을 학습한 공유 백본에 과제별 데이터, 목적 함수, 디코딩 제약과 RLHF를 적용해 세 가지 운용 모드를 만든다. 음성 인식에는 검증 가능한 다중 토큰 디코딩을, 음성 합성에는 선호 기반 RLHF를, 실시간 대화에는 생성형 보상 모델을 사용한다. 평가에서 중국어 평균 글자 오류율 2.97%와 영어 평균 단어 오류율 3.68%를 기록했고, 32K 문맥으로 긴 음성에서도 강한 인식 성능을 보였다. 보고서는 특화 모델과 경쟁하는 결과를 제시하며, 하나의 백본도 서로 다른 최적화와 배포 방식을 통해 이해와 생성 및 실시간 상호작용을 모두 수행할 수 있음을 보여준다.
- ASR 정확도: 모델은 중국어 벤치마크에서 평균 글자 오류율(CER) 2.97%를, 영어 벤치마크에서 단어 오류율(WER) 3.68%를 달성했다. 32K 컨텍스트 윈도우 덕분에 장형 오디오에서의 성능이 특히 강력하다.
- 디코딩 효율: MTP-5 메커니즘 덕분에 모델은 실시간 계수(RTF) 0.0053을 달성하여 여러 특화 ASR 시스템보다 빠르다. MTP 토큰의 수용률은 약 0.9의 일관된 감쇠 계수를 보여, 다섯 개의 선행 분기를 선택한 것이 타당함을 입증했다.
- TTS 선호도: 아레나 방식 평가에서 StepAudio 2.5 TTS는 ElevenLabs와 Gemini Flash TTS 같은 기존 경쟁자들을 상대로 전체 승률 67.6%를 달성했다.
초록 PDF
226Computer VisionarXiv:2605.23888
GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction
뮌헨공과대학교와 화웨이 테크놀로지스의 연구진은 객체 수준 생성 모델을 적응시켜 희소한 다시점 이미지로부터 3D 장면 전체의 고충실도, 완전, 재조명 가능한 PBR 메시를 재구성하는 방법인 GenRecon을 개발했다.
GenRecon은 여러 시점의 RGB 이미지에서 편집과 재조명이 가능한 고품질 3차원 장면 메시를 복원하는 방법이다. 큰 장면을 서로 겹치는 공간 청크로 나누고, 각 청크를 강한 객체 생성 사전인 Trellis.2로 조건부 생성한 뒤 전역 장면으로 합친다. 카메라 자세가 있는 이미지 특징을 순서와 무관한 3차원 조건 표현으로 투영해 생성 결과를 실제 장면 위치에 고정한다. 합성 및 실제 실내 장면 평가에서 최신 복원 방법보다 16% 높은 결과를 보고했으며 PBR 재질을 포함한 완전한 메시를 만든다. 다만 유리와 거울 같은 비램버시안 표면에 약하고 약 5미터 높이의 실내 장면을 전제로 하며, 관측 증거가 약한 영역에서는 생성 사전이 내용을 만들어낼 수 있다.
- 이러한 청크별 예측은 겹치는 영역의 값을 평균하여 전역 격자로 다시 병합된다.
- 확장성: 청크 기반 생성은 이전에는 단일 객체에만 제한되었던 생성 모델을 크고 여러 방으로 이루어진 장면에 적용할 수 있게 한다.
- 기하 제어: 공간에 기반한 조건화는 생성 모델의 환각이 카메라 자세와 입력 이미지로 정의된 물리적 실재에 고정되도록 보장한다.
초록 PDF
225AI / GeneralarXiv:2605.23904
SkillOpt: Executive Strategy for Self-Evolving Agent Skills
마이크로소프트 연구진은 대형 언어 모델을 위한 자연어 에이전트 스킬을 체계적으로 진화시키는 텍스트 공간 최적화 방법인 SkillOpt를 제안한다.
SkillOpt는 동결된 에이전트의 자연어 스킬 문서를 학습 가능한 외부 상태로 보고 반복적으로 최적화하는 방법이다. 별도의 최적화 모델이 점수가 매겨진 실행 궤적을 분석해 추가, 삭제, 교체 편집을 제안하고, 편집 폭을 제한한 뒤 보류 검증 점수가 실제로 좋아질 때만 반영한다. 거부된 편집 기록과 느린 메타 갱신을 사용해 안정성을 높이며, 배포할 때는 최종 스킬만 사용하므로 추가 모델 호출이 없다. 여섯 벤치마크와 일곱 대상 모델 및 세 실행 환경의 52개 평가 조합에서 모두 최고 또는 공동 최고를 기록했고, 만든 스킬은 모델 크기와 실행 환경 및 가까운 수학 벤치마크 사이에서도 전이됐다. 다만 신뢰할 수 있는 자동 점수와 보류 검증 자료가 필요하고 최적화 단계의 추가 롤아웃 비용이 들기 때문에, 주관적이거나 일회성인 작업에는 적용 이점이 작을 수 있다.
- 교차 모델 전이: 대형 모델(예: GPT-4o)에 최적화된 스킬을 더 작은 모델(예: GPT-4o-mini)에 성공적으로 적용할 수 있다. 작은 모델은 종종 성능 향상의 상당 부분을 포착하는데, 이는 스킬이 작은 모델의 가중치에 결여된 일반적 절차 지식을 제공함을 시사한다.
- 교차 하네스 전이: 한 실행 환경(예: 기본 채팅 인터페이스)에서 학습된 스킬은 더 복잡한 에이전트 하네스(예: 코드 실행 샌드박스)로 옮겨졌을 때도 종종 유효하게 유지된다. 이는 학습된 규칙이 단지 학습 환경의 특정 형식적 특성을 이용하는 것이 아니라 과제 수준의 논리를 포착하고 있음을 나타낸다.
- 교차 벤치마크 전이: 한 데이터셋(예: OlympiadBench)에서 학습한 절차가 관련은 있으나 별개인 데이터셋(예: Omni-MATH)에서도 성능을 향상시키는 것으로 나타났으며, 이는 SkillOpt가 단순히 특정 학습 예제 집합에 과적합되는 것이 아님을 추가로 입증한다.
초록 PDF
224LLMs / NLParXiv:2605.22675
Self-Policy Distillation via Capability-Selective Subspace Projection
자기 정책 증류(SPD) 프레임워크는 중간 표현을 추출하여 능력별 부분공간에 투영하는 새로운 방법을 활용함으로써, 외부 신호 없이 자기 증류를 통해 대형 언어 모델이 스스로 향상되도록 한다.
Self-Policy Distillation은 외부 교사나 보상 및 실행 검증 없이 모델이 자신의 생성 결과로 특정 능력을 개선하는 자기 증류 방법이다. 정답을 결정하는 토큰의 기울기에서 저랭크 능력 부분공간을 추출하고, 자기 생성 중 키-값 활성화를 그 공간에 투영해 필요한 신호를 강조한다. 투영 훅으로 만든 원시 응답을 수집한 뒤 훅을 제거하고 원래 모델을 표준 다음 토큰 예측 손실로 미세조정한다. 코드 생성, 수학 추론, 객관식 질의응답 실험에서 기존 외부 신호 없는 자기 증류보다 최대 13%, 사전학습 기준보다 최대 16% 개선했으며 분포 밖 설정에서도 15% 높은 성능을 보고했다. 다만 세 능력 영역과 몇 가지 백본에서만 검증됐으므로 더 다양하고 안전이 중요한 과제에서의 효과는 아직 확인이 필요하다.
- 독립성: 외부 교사나 보상 모델이 필요하지 않다.
- 일반화 가능성: 이질적인 도메인 전반에서 작동하며 과제 간에 전이된다.
- 선택성: 표면적 패턴이 아니라 그 기저의 능력 신호를 표적으로 삼는다.
초록 PDF
223Computer VisionarXiv:2605.23902
PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion
PiD는 잠재 디코딩을 조건부 픽셀 확산 과정으로 재정식화하여, 잠재-픽셀 매핑과 공간적 업샘플링을 단일 생성 모듈로 통합한다.
PiD는 잠재 표현을 픽셀로 복원하는 과정을 조건부 픽셀 확산으로 바꿔 디코딩과 고해상도 업샘플링을 하나로 합친 모델이다. 잡음 수준을 아는 가벼운 어댑터가 잠재 정보를 픽셀 확산 백본에 주입해, 완전히 잡음 제거되지 않은 잠재에서도 이미지를 만들 수 있다. DMD2 증류로 추론을 네 단계로 줄였고 VAE 잠재뿐 아니라 SigLIP과 DINOv2 같은 의미 잠재에도 적용된다. RTX 5090에서 512×512 잠재를 2048×2048 픽셀로 1초 안에 디코딩했으며, 계단식 확산 초해상도 방식보다 약 6배 빠르면서 시각 품질도 높였다고 보고했다. 다만 잠재 확산을 너무 일찍 끝내면 의미 구조가 덜 형성되고, 생성형 디코더가 원래 잠재에 없던 세부 내용을 추가할 수 있어 종료 시점과 충실도 사이의 조절이 중요하다.
- 픽셀 확산 사전: rectified-flow 목표를 사용하여 고해상도 합성에 최적화된 1.3B 파라미터 트랜스포머다.
- 잠재 어댑터: 입력 잠재 변수 z를 처리하여 픽셀 트랜스포머의 공간 격자에 정렬하는 합성곱 네트워크다. 이 어댑터는 잠재 변수의 전역 구조와 의미 정보가 보존되도록 보장한다.
- 시그마 인식 게이팅: 모델이 잠재 조건에 의존하는 정도와 자체 생성 사전에 의존하는 정도를 조절하는 핵심 혁신이다. 잠재 변수의 영향은 게이팅 함수를 사용해 그 노이즈 수준 σ에 따라 조절된다.
초록 PDF
222RoboticsarXiv:2605.22283
Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action
비전-언어-행동 모델용 프레임워크인 SOMA는 다시점 관측으로 구성된 지속적 공간 메모리를 통합하여, 처음부터 또는 일시적으로 카메라 시야 밖에 있는 물체에 대한 견고한 로봇 조작을 가능하게 한다.
SOMA는 현재 카메라 화면 밖에 있는 물체도 다룰 수 있도록 비전-언어-행동 모델에 지속적인 공간 기억을 추가하는 프레임워크다. 움직이는 머리 카메라로 여러 방향을 관찰해 객체와 기하 관계를 하나의 공간-의미 기억으로 만들고, 새 관측으로 이를 갱신한다. 작업 지시와 관련된 기억만 현재 시각 특징에 불러와 물체가 보이지 않는 동안에도 위치를 추론하고 행동을 생성한다. 다섯 개의 실제 화면 밖 조작 과제에서 성공률을 높이고 목표 탐색 시간을 줄였으며, 완전히 보이는 RoboCasa와 SimplerEnv 설정에서도 기억 구조의 이점을 확인했다. 다만 현재 검증은 준정적인 탁상 장면 중심이고 기억의 의미 단위가 객체 수준이어서, 복잡한 상태 변화와 방 규모 환경 및 오래되어 틀린 기억을 안전하게 처리하는 문제가 남는다.
- 기하 추정: 기하 사전 네트워크(VGGT)가 카메라 자세와 대략적인 장면 기하를 추정하여 전역 3D 좌표계를 확립한다.
- 탐색 노력 감소: 목표 물체를 찾는 데 필요한 시간이 약 40~59% 감소했다.
- 결단력 있는 움직임: 로봇은 시점 보정(헤드 카메라가 목표를 포착한 뒤 방향을 재조정해야 하는 경우)을 더 적게 보였는데, 이는 공간 메모리가 로봇이 파지를 결단하기에 충분히 신뢰할 만한 추정을 제공했음을 시사한다.
초록 PDF
221RoboticsarXiv:2605.22183
Action with Visual Primitives
AVP 프레임워크는 로봇 조작을 안내하기 위해 시각적 프리미티브를 내부적으로 생성하는 종단간 비전-언어-행동 구조를 제안한다.
AVP는 비전-언어 모델과 로봇 행동 전문가 사이의 인터페이스로 점과 상자 같은 시각적 프리미티브를 사용하는 종단간 구조다. 비전-언어 모델이 다음 단계의 대상과 위치를 추론해 시각 프리미티브 토큰을 만들고, 흐름 정합 행동 전문가가 이를 보고 구체적인 움직임을 실행한다. 프리미티브의 정답은 말단 장치의 기구학에서 자동으로 얻으므로 별도 수작업 주석이나 외부 시각 프롬프트 모델이 필요하지 않다. 세 가지 실제 조작 과제에서 π0.5 기준보다 일관되게 높은 성공률을 보였고, 데이터 효율과 공간적 조합 일반화 및 새로운 객체 전이에서도 개선됐다. 다만 프리미티브 예측 뒤 행동을 생성하는 두 단계 방식이라 지연 시간이 늘고, 정확한 손-눈 보정에 의존해 카메라 외부 자세가 흔들리면 민감할 수 있다.
- 지시 및 장면 이해: 사전학습된 VLM이 이미지와 텍스트를 처리하여 멀티모달 맥락 토큰을 생성한다. 이 토큰들은 명령(예: "빨간 체스 말을 집어라")과 시각적 장면 사이의 의미적 관계를 포착한다.
- 공간적 조합 일반화: 모델은 두 단계로 말을 옮기도록(예: 말 A를 C로 옮긴 뒤 C를 B로 옮김) 학습되었다. 테스트 시에는 한 번도 본 적 없는 시퀀스인 A를 B로 직접 옮기라는 요청을 받았다. 베이스라인 모델은 완전히 실패한 반면(성공률 0%), AVP는 83%의 성공률을 유지했다. VLM이 직접 경로에 대한 새로운 어디로(프리미티브)를 추론할 수 있었기 때문에, 특정 궤적이 새로운 것이었음에도 행동 전문가가 어떻게를 실행할 수 있었다.
- 교차 도메인 일반화: AVP는 보지 못한 물체 범주와 서로 다른 배경(예: 체스판에서 단색 흰 천으로 전환)에서 테스트되었다.
초록 PDF
220AI / GeneralarXiv:2605.22681
Forecasting Scientific Progress with Artificial Intelligence
이 연구는 엄격한 시간적 지식 제약 하에서 과학적 진보를 예측하는 AI의 능력을 평가하기 위해 다학제 벤치마크 CUSP를 제안한다.
이 연구는 과학 문제를 잘 설명하는 능력이 미래의 과학 발전을 정확히 예측하는 능력과 같은지 평가한다. CUSP는 지식 기준 시점을 엄격히 제한한 상태에서 여덟 과학 분야의 4,760개 사건을 다루는 사건 수준 예측 평가 모음이다. 여섯 개 프런티어 모델은 미래 발전의 그럴듯한 원리는 자주 제시했지만, 실제 가능성 판단은 거의 우연 수준이었고 실현된 접근법과의 일치도 및 공개 시점 예측도 낮았다. 기준 시점 이전의 관련 지식을 더 제공하면 성능이 좋아졌지만 한계가 사라지지 않았고, 같은 정보 조건의 사람 비교에서도 모델은 가능성과 시점 예측에서 뒤처졌다. 따라서 연구 우선순위나 자원 배분에 AI 예측을 쓸 때는 과신, 방향 편향, 발전 시점을 늦게 보는 경향을 별도로 검증해야 한다.
- 지식 격차: 모델이 컷오프 날짜 이전에 존재한 관련 정보에 접근할 수 있을 때 관찰되는 성능 향상이다. 이는 모델의 실패가 단순히 이미 알려진 사실을 몰라서 발생한 정도를 측정한다.
- 예측 격차: 모델이 컷오프 이전 지식을 완전히 갖추었더라도 보이는 성능과 실제 결과 사이에 남아 있는 차이다. 이는 미지의 것을 예측하는 본질적 난이도를 나타낸다.
- 과신: 모델들은 경험적 정확도가 낮을 때조차 자신의 예측에 일관되게 높은 확신을 보고했다. 이러한 보정 오류는 인간 연구자가 AI의 예측을 언제 신뢰해야 할지 판단하기 어렵게 만든다.
초록 PDF
219LLMs / NLParXiv:2605.22821
Tokenisation via Convex Relaxations
ETH 취리히와 Kensho Technologies의 연구진은 토큰화를 정수 계획법으로 정식화한 뒤 선형 계획법으로 완화하여 전역 최적해를 근사하는 토큰화 알고리즘 ConvexTok을 개발했다.
ConvexTok은 탐욕적으로 토큰을 합치는 BPE와 달리 토크나이저 구성을 전역 최적화 문제로 다루는 알고리즘이다. 토큰 선택을 정수 계획으로 표현한 뒤 선형 계획으로 완화해 풀고, 분수 형태의 해를 세 가지 반올림 방식으로 실제 어휘로 바꾼다. 선형 계획의 값은 가능한 최적 압축률의 하한을 제공하므로 현재 토크나이저가 최적해에서 얼마나 떨어졌는지도 확인할 수 있다. 실험에서 여러 내재적 토큰화 지표와 언어 모델의 바이트당 비트 수를 개선했고, 일반적인 어휘 크기에서는 하한과 1% 이내의 압축 성능을 보였다. 다만 후속 과제의 성능 향상은 일관되지 않았고 압축 자체가 이미 포화에 가까워, 앞으로는 다른 목적 함수와 사전 토큰화 제약을 완화한 설정을 연구할 필요가 있다.
- 정수해 전용(Int): 선형 계획법이 거의 확신한 토큰, 즉 값이 0.999 이상인 토큰만 선택한다. 이 방식은 종종 허용된 예산보다 작은 어휘를 생성한다.
- 입증된 최적성 한계: 이제 압축을 위해 토큰화에서 짜낼 수 있는 여력이 얼마나 남았는지 알게 되었다. BPE는 이미 대규모에서 한계의 1% 이내에 도달해 있으므로, 연구자들은 압축보다는 언어 형태론이나 견고성 같은 다른 속성에 더 집중할 수 있다.
- 비탐욕적 대안: ConvexTok은 전체 데이터셋을 한 번에 반영하여 어휘를 구축하는 방법을 제공하며, 이는 어휘 예산을 더 잘 활용하게 한다.
초록 PDF
218AI / GeneralarXiv:2605.22166
Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents
베이징대학교 연구진은 모델 파라미터를 수정하지 않고 런타임 인터페이스를 적응시켜 동결된 대형 언어 모델(LLM) 에이전트의 성능을 향상시키는 방법인 LIFE-HARNESS를 제안했다.
Life-Harness는 모델 가중치를 바꾸지 않고 대규모 언어 모델 에이전트와 환경 사이의 실행 인터페이스를 개선하는 방법이다. 학습 궤적에서 반복되는 실패를 찾아 환경 계약, 절차 스킬, 실행 가능한 행동 변환, 궤적 회복의 네 계층 개입으로 바꾸고 평가 때는 이를 고정한다. τ-bench와 τ²-bench 및 AgentBench의 일곱 결정적 환경에서 18개 모델 백본의 126개 조합 중 116개를 개선했으며 평균 상대 향상은 88.5%였다. Qwen3-4B-Instruct의 궤적으로 만든 하네스가 다른 17개 모델에도 전이되어, 모델 고유 습관보다 재사용 가능한 환경 규칙을 포착했음을 보여준다. 다만 도구와 평가 규칙이 안정적인 결정적 환경을 전제로 하므로, 목표와 도구 및 성공 기준이 작업마다 바뀌는 개방형 환경으로 일반화하기는 어렵다.
- 행동 실현 실패(33.3%): 모델이 올바른 의도를 가지고 있으나 이를 실행 가능한 형식으로 표현하지 못하는 경우다. 인자 누락, 잘못된 구분자, 또는 구조화된 도구 호출 대신 자유 형식 텍스트를 생성하는 경우가 이에 해당한다.
- 환경 계약 불일치(23.2%): 모델이 구문적으로는 유효한 행동을 생성하지만 존재하지 않는 데이터베이스 컬럼에 접근하려 하거나 유효하지 않은 항공편 코드를 사용하는 등 도구나 API의 구체적 규칙을 위반하는 경우다.
- 궤적 퇴화(33.6%): 에이전트가 동일한 무효 행동을 반복하거나, 진전 없이 정체되거나, 피드백을 받았음에도 오류에서 회복하지 못하는 등 퇴화된 상태에 빠지는 경우다.
초록 PDF
217AI / GeneralarXiv:2605.22763
Advancing Mathematics Research with AI-Driven Formal Proof Search
Google DeepMind, Aarhus University 및 Google 연구진은 대규모 언어 모델을 Lean 증명 보조기와 통합하여 수학의 여러 미해결 연구 수준 문제를 자율적으로 해결한 AI 기반 형식 증명 탐색 프레임워크인 AlphaProof Nexus를 개발했다.
이 연구는 대규모 언어 모델이 만든 풀이를 Lean으로 검증하는 형식 증명 탐색이 실제 미해결 문제에도 통하는지 대규모로 평가했다. 가장 강한 에이전트는 에르되시 미해결 문제 353개 중 9개를 자율적으로 해결하고 OEIS 추측 492개 중 44개를 증명했다. 에르되시 문제 하나를 푸는 데 든 비용은 수백 달러 수준으로 보고되었다. 언어 모델의 생성과 Lean 검증을 번갈아 수행하는 기본 에이전트도 에르되시 문제에서 같은 성공을 재현했지만 어려운 문제일수록 비용이 더 많이 들었다. 결과는 조합론과 최적화 등 여러 수학 분야에서 형식 검증을 결합한 인공지능의 활용 가능성을 보여주는 동시에 비용과 에이전트 설계가 중요하다는 점을 드러낸다.
- 보조정리 환각: 에이전트가 실제로는 틀린 보조정리를 문헌의 잘 알려진 결과라고 주장하는 경우가 가끔 있었다. 에이전트가 그 특정 보조정리를 형식적으로 증명하려 시도하지 않았기 때문에, 오류는 후반 단계에 이르러서야 발견되었다.
- 필터로서의 형식화: 형식 증명 보조기는 AI가 생성한 수학을 연구자에게 유용하게 만드는 기준 진실을 제공한다. 이는 인간이 기본적인 논리적 오류를 점검할 필요를 없애 준다.
- 전략 발견을 위한 AI: AI는 고수준 계획을 제안하거나 인간이 간과할 수 있는 후보 반례를 식별함으로써 수학자를 도울 수 있다.
초록 PDF
216Bioinformatics / GenomicsbioRxiv:2025.07.24.666556
Scalable, Fast and Accurate Differential Gene Expression Testing from Millions of Cells of Multiple Patients
다중 GPU 변분 추론을 사용하는 베이지안 프레임워크로, 단일 세포 차등 발현 분석의 통계적 의존성 문제를 해결하며 다수 환자에 걸쳐 1,000만 개가 넘는 세포로 확장된다.
University of Trieste의 이 생물정보학 논문은 단일 세포 RNA 시퀀싱 데이터의 차등 유전자 발현 검정을 위한 베이지안 프레임워크를 도입한다. 전통적인 방법은 샘플 간 통계적 독립성을 가정하지만, 단일 세포 분석은 동일 개체에서 유래한 세포들이 상관되어 있어 이 가정을 위배한다. 저자들은 다중 GPU 인프라 상의 변분 추론을 사용하여 환자 수준에서 독립성을 회복함으로써 이 문제를 해결하며, 1,000만 개가 넘는 세포의 분석을 가능하게 한다. 이 프레임워크는 환자 간 변이를 진정한 전사적 차이로부터 분리하여, 수천 개의 샘플을 포함하는 대규모 임상 코호트, 세포 아틀라스 프로젝트, 약물 반응 스크리닝에 적합하다. 이는 단일 세포 차등 발현 분석을 대규모로 제약해 온 근본적인 계산 병목을 해결한다.
- 핵심 문제: 단일 세포 RNA-seq 세포들은 통계적으로 의존적이어서, 독립적인 벌크 샘플을 위해 설계된 전통적 차등 발현 검정의 가정을 깨뜨린다.
- 베이지안 프레임워크: 환자 수준에서 독립성 구조를 회복하여, 개체 간 변이를 진정한 전사적 차이로부터 깔끔하게 분리한다.
- 다중 GPU 변분 추론: 임상 코호트, 아틀라스 프로젝트, 약물 반응 스크리닝의 수천 개 샘플에 걸쳐 1,000만 개가 넘는 세포로의 계산적 확장성을 가능하게 한다.
- 실용적 영향: 기존 방법의 계산 병목이나 수학적 한계 없이 대규모 다중 환자 데이터셋을 마침내 통합할 수 있는 단일 세포 차등 발현 분석을 가능하게 한다.
초록 PDF
215AI Safety / TrustarXiv:2605.01428
Hallucinations Undermine Trust; Metacognition is a Way Forward
충실한 불확실성, 즉 모델이 말하는 바를 그것이 믿는 바와 일치시키는 것이야말로 단순히 지식을 확장하거나 오류를 줄이는 것을 넘어 신뢰할 수 있는 AI를 위한 빠진 조각이라고 주장한다.
Google Research와 Tel Aviv University의 이 입장 논문은 대부분의 개선이 모델이 모르는 것에 대한 인식을 향상시키기보다 모델이 아는 것을 확장하는 데 그쳤기 때문에 LLM의 환각이 지속된다고 주장한다. 저자들은 모델이 진실과 오류를 완벽하게 분리할 변별력을 갖추지 못하여, 환각 제거와 유용성 보존 사이에 상충 관계가 발생한다고 추측한다. 이들은 충실한 불확실성, 즉 언어적 출력을 내부 확신도와 일치시키는 것을 제3의 길로 제안한다. 이는 환각을 모든 오류가 아니라 확신에 찬 오류로 재정의하는 것으로, 적절히 유보된 답변은 환각이 아니라 가설이라는 의미다. 논문은 이 프레임워크를 메타인지가 도구 사용, 탐색 결정, 신념 갱신의 제어 계층이 되는 에이전트 시스템으로 확장한다. 저자들은 메타인지적 프롬프팅, 불확실성 표현을 위한 파인튜닝, 그리고 더 나은 평가 벤치마크에 대한 연구를 촉구한다.
- 핵심 논지: 대부분의 사실성 향상은 그 경계에 대한 인식, 즉 아는 것과 모르는 것을 구분하는 것을 개선하기보다 지식의 경계를 확장하는 데서 비롯된다.
- 변별 격차: 모델은 진실과 오류를 완벽하게 분리하는 능력을 근본적으로 결여할 수 있으며, 이는 환각 제거와 유용성 보존 사이에 내재된 상충 관계를 만든다.
- 충실한 불확실성: 언어적 불확실성, 즉 모델이 말하는 것을 본질적 불확실성, 즉 모델이 믿는 것과 일치시킬 것을 제안하며, 답하거나 유보하거나를 넘어선 제3의 길을 제시한다.
- 에이전트를 위한 메타인지: 에이전트 시스템에서 불확실성 인식은 언제 탐색할지, 무엇을 신뢰할지, 검색된 정보를 어떻게 가중할지를 관장하는 제어 계층이 된다.
- 실증적 증거: 진실성 탐침의 빈약한 일반화, 확신에 찬 환각, 그리고 정렬 기법의 실패는 모두 변별 격차의 존재를 뒷받침한다.
본문 초록 PDF
214AI / GeneralarXiv:2605.22794
MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems
MOSS는 자율 에이전트가 하네스 수준에서 자신의 소스 코드를 재작성함으로써 스스로 진화할 수 있게 하는 시스템이다.
배포된 에이전트는 보통 사용자와 상호작용해도 실행 코드가 바뀌지 않아 같은 구조적 실패를 반복한다. MOSS는 프롬프트나 메모리 파일만 고치는 대신 에이전트 하네스의 소스 코드를 직접 다시 쓰는 자기 진화 방식을 제안한다. 시스템은 실제 운영 실패 증거를 자동으로 묶고 정해진 여러 단계를 거쳐 외부 코딩 도구가 수정 후보를 만들도록 한다. 후보 코드는 임시 작업 환경에서 실패 사례를 다시 실행해 검증하며, 사용자 동의를 받은 교체와 상태 점검 기반 복구 절차도 둔다. OpenClaw의 네 가지 과제에서는 한 번의 진화 주기로 평균 평가 점수가 0.25에서 0.61로 올랐지만, 보고된 실증 범위는 이 단일 환경과 과제 묶음에 한정된다.
- 비효율적인 배칭 패턴을 차단하기 위해 사전 호출 훅에 거부 게이트를 구현한다.
- 근본 원인 해결: 하네스를 대상으로 삼음으로써, MOSS는 텍스트 기반 진화가 건드릴 수 없는 근본적인 아키텍처 결함을 수정할 수 있다.
- 프로덕션 유용성 확보: 실패 배칭, 시험 검증, 안전한 컨테이너 교체의 통합은 자기 재작성이라는 개념을 실제 응용에서 실현 가능하게 만든다.
초록 PDF
213Machine LearningarXiv:2605.21768
Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents
Memory-R2는 다중 세션 환경에서 장기 지평선의 메모리 증강 LLM 에이전트에 대한 신용 할당을 강화하고 메모리 형성과 진화를 공동으로 최적화하는 훈련 프레임워크를 도입한다.
여러 세션에 걸쳐 기억을 쓰고 지우는 에이전트는 각 실행의 중간 기억 상태가 달라져 단순한 궤적 비교가 불공정해질 수 있다. 이 문제는 GRPO 같은 그룹 상대 강화학습에서 장기 보상이 개별 기억 연산에 잘못 배분되는 원인이 된다. Memory-R2의 LoGo-GRPO는 전체 궤적 보상을 쓰는 전역 목표와 같은 중간 기억 상태에서 다시 실행하는 지역 비교를 결합한다. 사실 추출기와 기억 관리자는 하나의 언어 모델을 역할별 프롬프트로 함께 학습하며, 훈련 세션 길이는 8개에서 16개와 32개로 점차 늘린다. 이 설계는 장기 성과를 유지하면서 기억의 생성과 갱신에 더 공정하고 세밀한 학습 신호를 주려는 방법이다.
- 데이터 효율성: 놀랍게도 이러한 성능 향상은 단 두 개의 전체 대화 궤적만으로 훈련하여 달성되었으며, 이는 RL 패러다임의 효과성을 입증한다.
- 분포 외(OOD) 벤치마크: LongMemEval 및 MSC-Self-Instruct에서 높은 성능을 보인다.
- 다양한 모델 규모: 3B 모델에서 관찰된 훈련 개선이 7B 모델로도 전이되었다.
초록 PDF
212Computer VisionarXiv:2605.21605
GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation
GenEvolve는 최선-최악 생성 궤적에서 구조화된 시각적 경험을 증류함으로써 외부 도구와 내부 지식을 조율하는 자기 진화형 이미지 생성 에이전트를 개발하며, 이를 통해 내부 및 외부 지식 집약적 이미지 생성 벤치마크 모두에서 성능을 향상시킨다.
복잡한 이미지 생성 요청은 모델 내부 능력만으로 처리하기보다 검색과 참고 이미지, 생성 도구를 함께 조율해야 하는 경우가 많다. GenEvolve는 각 생성 시도를 증거 수집, 참고 자료 선택, 생성 기능 호출, 프롬프트 구성으로 이어지는 도구 사용 궤적으로 표현한다. 같은 요청에서 나온 좋은 궤적과 나쁜 궤적의 차이를 구조화된 시각 경험으로 만들고, 이를 정보가 더 많은 교사 분기에만 제공한다. 학생 모델은 자신의 현재 정책이 만든 결과를 따라가며 교사의 토큰별 분포를 학습해 검색과 참고 자료 선택 방식을 내부화한다. 공개 벤치마크와 새로 만든 GenEvolve-Bench에서 강한 기준 모델보다 큰 향상을 보였고, 성과는 이들 벤치마크 평가를 중심으로 보고되었다.
- 실패 메모리는 실패 회피에 관한 교훈이다.
- 프롬프트 풀은 2만 개의 요청을 사실과 사건 같은 지식 기반(Knowledge-Anchored)과 공간 구성, 텍스트 레이아웃 같은 품질 기반(Quality-Anchored)으로 나눈다.
- 교사 궤적: 강력한 모델을 사용해 초기 성공 궤적을 생성한 뒤, 정확성을 위해 VLM 심판이 이를 검수한다.
초록 PDF
211AI / GeneralarXiv:2605.21997
The Log is the Agent: Event-Sourced Reactive Graphs for Auditable, Forkable Agentic Systems
Untapped Capital의 ActiveGraph는 LLM 에이전트를 위한 이벤트 소싱 기반 반응형 그래프 런타임을 도입하여, 추가 전용 이벤트 로그를 모든 에이전트 활동과 상태의 주된 진실 원천으로 삼아 시스템을 재설계한다.
ActiveGraph는 대화형 언어 모델을 중심에 두는 대신 추가만 가능한 이벤트 로그를 에이전트 상태의 기준으로 삼는다. 현재 작업 그래프는 로그에서 결정적으로 다시 계산되며, 함수나 언어 모델 기반 동작은 그래프 변화에 반응해 새 이벤트를 기록한다. 이 구조는 과거 실행의 결정적 재생, 중간 지점에서의 저렴한 분기, 목표부터 개별 모델 호출까지 이어지는 계보 추적을 가능하게 한다. 논문은 재생을 성립시키는 결정성 규칙과 전체 원인을 로그만으로 복원할 수 있는 실사 사례를 제시한다. 다만 자기 개선 에이전트에 적합하다는 부분은 가능성으로 논의했을 뿐 실험으로 입증했다고 주장하지 않는다.
- 신서사이저는 주장과 증거에 반응하여 최종 메모를 작성한다.
- 감사 가능성: 모든 상태 변경에는 명확한 인과적 부모와 기록된 모델 및 도구 상호작용이 존재한다.
- 디버깅 용이성: 개발자는 임의의 시점으로 이동하여 그래프를 검사하고, 수정안을 테스트하기 위해 실행을 분기할 수 있다.
초록 PDF
210AI / GeneralarXiv:2605.22791
Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
NVIDIA 연구진이 개발한 Gated DeltaNet-2는 메모리 삭제 연산과 쓰기 연산을 별도의 채널별 게이트를 통해 분리함으로써 선형 순환 어텐션 모델을 향상시킨다.
선형 어텐션은 고정 크기 상태로 긴 문맥을 처리하지만 압축된 기억을 수정할 때 기존 정보가 뒤섞일 수 있다. 기존 델타 규칙 계열은 오래된 내용을 지우는 양과 새 값을 쓰는 양을 하나의 스칼라 게이트로 함께 조절했다. Gated DeltaNet-2는 채널별 지우기 게이트와 쓰기 게이트를 분리하고, 병렬 학습을 위한 청크 단위 알고리즘과 역전파 방법을 함께 제시한다. 1.3B 모델을 FineWeb-Edu 1000억 토큰으로 학습한 비교에서 Mamba-2, Gated DeltaNet, KDA, Mamba-3 변형보다 전반적으로 강한 결과를 냈다. 특히 긴 문맥의 다중 키 검색에서 장점이 컸으며, 보고된 비교 범위는 이 모델 규모와 기준 구조 및 벤치마크에 해당한다.
- 다중 키 검색: 유사한 연관 관계가 여러 개 존재하는 상황에서 Gated DeltaNet-2는 상당한 우위를 보였다. 이는 분리된 게이트가 고정 크기 상태 내에서 경쟁하는 정보 조각들을 모델이 더 잘 구분하도록 해준다는 점을 확인시켜 준다.
- 간섭 제어: 특정 채널을 선택적으로 삭제함으로써, 모델은 새로운 정보가 여전히 관련성이 있을 수 있는 기존 저장 데이터를 덮어쓰거나 흐리게 만드는 것을 방지한다.
- SWA는 작은 고정 윈도우, 예를 들어 최근 2,000개 토큰 내에서 국소적이고 고세분성의 상호작용을 처리한다.
초록 PDF
209Machine LearningarXiv:2512.04695
TRINITY: An Evolved LLM Coordinator
경량 코디네이터(0.6B 모델과 1만 파라미터 헤드)가 Thinker, Worker, Verifier 역할을 할당해 다양한 LLM 간 협업을 조율하며, 진화 전략으로 최적화된다. LiveCodeBench에서 86.2%를 달성하고 분포 외 과제로도 일반화되며, ICLR 2026에 채택되었다.
TRINITY는 서로 다른 파운데이션 모델을 가중치 병합 없이 추론 시점에 조합하는 경량 코디네이터 프레임워크다. 가중치 병합은 아키텍처 불일치와 폐쇄형 API 때문에 한계가 있는데, TRINITY는 소형 언어 모델(약 0.6B 파라미터)의 은닉 상태와 경량 라우팅 헤드(학습 파라미터는 2만 개 미만)로 구성된 코디네이터가 여러 LLM의 협업을 조율해 이 문제를 우회한다. 코디네이터는 매 턴마다 선택한 LLM에 Thinker, Worker, Verifier 중 하나의 역할을 부여하여, 복잡한 기술 습득을 코디네이터 자신이 아닌 외부 모델에 위임한다. 이진 보상의 신호가 약해 경사 기반 강화학습 최적화가 실패했기 때문에, 분리 가능한 공분산 행렬 적응 진화 전략(separable CMA-ES)으로 코디네이터를 최적화한다. 그 결과 코딩, 수학, 추론, 도메인 지식 전반에서 개별 모델과 기존 멀티 에이전트 기법을 일관되게 능가하고, LiveCodeBench에서 86.2% pass@1로 발표 시점 기준 SOTA를 기록했다. 또한 재학습 없이 AIME, BigCodeBench, MT-Bench, GPQA 등 미학습 과제로 제로샷 일반화하여 GPT-5, Gemini 2.5-Pro, Claude-4-Sonnet 같은 개별 모델을 앞섰다. 성능의 두 요인은 코디네이터 은닉 상태가 입력을 풍부하게 맥락화한다는 점, 그리고 고차원이고 엄격한 예산 제약 하에서 분리 가능한 CMA-ES가 블록-엡실론 분리 가능성을 활용해 강화학습, 모방 학습, 무작위 탐색보다 유리하다는 점이다. ICLR 2026 채택 논문이다.
- 핵심 아이디어는 컴팩트한 코디네이터(0.6B LLM과 1만 파라미터 경량 헤드)가 매 턴마다 Thinker, Worker, Verifier 역할을 할당해 여러 LLM에 작업을 위임하는 것이다.
- 분리 가능한 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화되어, 고차원성과 엄격한 예산 제약 하에서 RL, 모방 학습, 무작위 탐색을 능가한다.
- LiveCodeBench 86.2%를 포함한 표준 벤치마크에서 SOTA를 달성하며, 코딩, 수학, 추론, 도메인 지식 전반에 걸쳐 개별 모델 및 기존 멀티 에이전트 기법을 일관되게 능가한다.
- 코디네이터의 은닉 상태 표현이 풍부한 맥락화를 제공하며, 최적화 지형의 블록-엡실론 분리 가능성이 효율적인 진화 탐색을 가능하게 한다.
- 과제별 튜닝 없이도 분포 외 과제로 견고하게 일반화된다.
초록 PDF
208Machine LearningarXiv:2605.21468
You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories
이 논문은 검증 가능한 보상을 활용한 강화학습(RLVR) 훈련 과정에서 LLM 파라미터 궤적이 저랭크이며 선형적인 특성을 보인다는 점을 밝혀낸다.
이 연구는 검증 가능한 보상을 쓰는 강화학습에서 모델 가중치의 이동 경로가 매우 낮은 랭크로 나타나는 현상을 분석했다. 성능 향상의 대부분은 파라미터 변화의 랭크 1 근사로 설명되며, 그 크기는 학습 단계에 따라 거의 선형으로 변했다. RELEX는 짧은 초기 학습 구간에서 이 한 방향을 추정한 뒤 선형 회귀로 미래 체크포인트를 계산해 추가 강화학습 비용을 줄인다. 세 가지 모델에서 전체 학습 단계의 15퍼센트만 관찰하고도 원래 강화학습과 비슷하거나 더 나은 내부 및 외부 분포 성능을 보였고, 관찰 구간보다 10배에서 20배 먼 단계까지 확장했다. 분석은 랭크를 늘리거나 비선형 모델을 쓰는 이득이 없었으며, 랭크 1 투영이 확률적 최적화 잡음을 줄이는 효과가 핵심이라고 설명한다.
- 이 논문은 RLVR 가중치 궤적이 극도로 저랭크이며 매우 예측 가능하다는 점을 입증한다.
초록 PDF
207Computer VisionarXiv:2605.18746
ESI-Bench: Towards Embodied Spatial Intelligence that Closes the Perception-Action Loop
ESI-BENCH는 체화된 공간 지능을 평가하기 위한 벤치마크로, 에이전트가 인식-행동 루프를 닫음으로써 공간 질의를 해결하기 위해 3D 환경과 능동적으로 상호작용하도록 요구한다.
ESI-BENCH는 에이전트가 수동으로 화면만 보는 대신 이동과 조작을 선택해 필요한 공간 증거를 직접 모으도록 평가한다. OmniGibson 위에 핵심 공간 지식을 반영한 10개 과제 범주와 29개 하위 범주를 구성했다. 실험에서는 능동 탐색이 수동 관찰보다 좋았지만, 무작위로 시점을 많이 추가하면 이미지 수만 늘고 오히려 잡음이 생겼다. 주요 실패 원인은 시각 인식 자체보다 잘못된 행동이 나쁜 관찰을 만들고 이후 추론까지 무너뜨리는 행동 맹점이었다. 사람과 달리 모델은 반대 증거를 찾고 믿음을 고치기보다 이른 단계에 높은 확신으로 결론을 내리는 경향을 보여, 인식 개선만으로 해결되지 않는 자기 점검의 한계를 드러냈다.
- 방향성 편향: AI 모델은 종종 확증 편향을 보이는데, 새로운 정보를 탐색하기보다 자신의 초기 인상을 확인하는 행동을 반복적으로 선택한다. 그 초기 인상은 틀렸을 수도 있다. 또한 증거가 충분한지 여부와 무관하게 과정 초반에 높은 확신을 가지고 답을 확정해 버리는 경우가 많다.
- 지능적 행동 계획: 공간적 불확실성을 해소하기 위해 특화된 궤적을 계획할 수 있는 에이전트를 개발한다.
- 불확실성 관리 및 보정: 자신에게 충분한 정보가 없을 때를 이해하고 그에 따라 확신도를 조정할 수 있는 모델을 만든다.
초록 PDF
206Machine LearningarXiv:2605.22817
Vector Policy Optimization: Training for Diversity Improves Test-Time Search
Vector Policy Optimization(VPO)은 벡터 값 보상 구조와 확률적 스칼라화를 활용해 대규모 언어 모델이 다양한 후보 해를 생성하도록 학습시킨다.
일반적인 언어 모델 후학습은 하나의 보상을 최대화해 답변 분포를 좁히므로, 여러 후보를 탐색하는 추론 시점 검색에 필요한 다양성이 부족해질 수 있다. Vector Policy Optimization은 테스트 사례별 정답이나 여러 사용자 선호처럼 보상을 벡터로 표현하고 서로 다른 보상 절충에 특화된 해답 묶음을 만들도록 학습한다. 이 방식은 GRPO의 이점 추정 부분을 바꿔 넣을 수 있도록 설계되어 기존 강화학습 흐름에 적용하기 쉽다. 네 가지 과제에서 강한 단일 보상 기준선과 같거나 더 좋은 검색 성능을 냈고, 검색 예산이 커질수록 차이가 더 벌어졌다. 진화형 검색에서는 GRPO 모델이 풀지 못한 문제도 해결했으며, 결과는 다양한 후보 생성 자체를 후학습 목표로 삼을 필요성을 보여준다.
- Maze Navigation은 에이전트가 위험 요소인 용암을 피하면서 금과 다이아몬드 같은 아이템을 모아야 하는 합성 과제다. 목표들이 의도적으로 상충하도록 설계되어 있어서, 예를 들어 금이 종종 용암 근처에 있다. 파레토 프론티어 커버리지를 검증하기에 완벽한 시험대가 된다.
- MuSiQue는 다중 홉 QA 과제로, 최종 답변의 정확도와 중간 추론 단계에 대한 인용의 정확성 모두에 기반해 보상이 부여되는 질의응답 과제다.
- ToolRL은 모델이 구조적 제약을 충족하면서 동시에 높은 속성 수준 정확도를 달성해야 하는 함수 호출 벤치마크다.
초록 PDF
205Computer VisionarXiv:2605.22718
WorldKV: Efficient World Memory with World Retrieval and Compression
WorldKV는 자기회귀 비디오 월드 모델을 위한 학습 불필요 프레임워크를 제시해, 실시간 추론 속도를 유지하면서 장시간에 걸쳐 지속적이고 일관된 탐색 가능한 세계를 유지할 수 있게 한다.
자기회귀 비디오 세계 모델은 전체 KV 캐시를 유지하면 과거 장면을 일관되게 재현할 수 있지만 메모리와 계산량이 시간에 따라 늘어난다. 반대로 짧은 창만 쓰면 실시간 속도는 지키지만 오래전 장소의 정보를 잃는다. WorldKV는 창 밖으로 밀려난 캐시 조각을 GPU나 CPU 메모리에 보관하고 카메라와 행동의 대응 관계로 현재 장면에 맞는 조각만 다시 가져온다. 또한 기준 프레임과 비슷한 키 토큰을 제거해 조각당 저장량을 절반으로 줄이고 같은 예산에서 두 배의 이력을 담는다. Matrix-Game-2.0과 LingBot-World-Fast에서 추가 학습 없이 전체 캐시와 비슷하거나 더 좋은 기억 충실도를 약 두 배 처리 속도로 달성했다.
- 토큰 가지치기: 유사도 점수가 높은 토큰은 중복으로 간주되어 폐기된다. 가장 변별력 있는 토큰(유사도 기준 하위 P%)만 유지된다.
- LPIPS: 지각적 유사도를 측정한다(낮을수록 좋다).
- PSNR 및 SSIM: 신호 및 구조적 유사도를 측정한다(높을수록 좋다).
초록 PDF
204Computer VisionarXiv:2605.22818
MotiMotion: Motion-Controlled Video Generation with Visual Reasoning
MotiMotion이라는 프레임워크는 시각적 추론과 신뢰도 인식 제어를 통합해 모션 제어 비디오 생성을 향상시키며, 희소한 사용자 궤적으로부터 복잡하고 물리적으로 타당한 동역학을 추론할 수 있게 한다.
기존 동작 제어 영상 생성은 사용자가 준 희소하고 부정확한 궤적을 그대로 따라가면서 연쇄적으로 생기는 움직임을 놓치기 쉽다. MotiMotion은 먼저 시각 언어 모델이 주된 궤적 좌표를 다듬고 상식에 맞는 부차 동작을 추론한 뒤 영상을 생성한다. 계획의 신뢰도가 높을 때는 안내를 강하게 따르고 낮을 때는 생성 모델의 내부 지식을 더 활용하도록 제어 강도를 조절한다. 움직임으로 새 사건이 일어나는 상호작용 장면을 모은 MotiBench도 함께 만들어 논리적이고 물리적인 동작을 평가했다. 시각 언어 모델 평가와 사람 평가 모두 기존 방법보다 자연스러운 물체 행동과 상호작용을 보였으며 MotiMotion 결과를 더 선호했다.
- 의미적 일관성: 비디오가 사용자의 상위 수준 의도와 얼마나 잘 일치하는지를 나타낸다.
- 접근성: 프레임 단위 수동 애니메이션이나 정밀한 기술 사양의 필요성을 줄여 고급 비디오 제작을 더 폭넓은 사용자가 이용할 수 있게 한다.
- 교육적 벤치마킹: MotiBench는 연구 커뮤니티가 단순한 시각적 충실도가 아니라 비디오 생성의 논리적·물리적 측면에 집중할 수 있도록 하는 전문 도구를 제공한다.
초록 PDF
203Machine LearningarXiv:2605.21486
Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate
한 정량적 프레임워크는 손실 예측 가능성, 전이 견고성, 점근적 손실 저하에 대한 지표를 사용해 대규모 신경망에서 하이퍼파라미터 전이 전략의 품질을 평가한다.
이 연구는 작은 모델에서 찾은 최적 하이퍼파라미터를 큰 모델로 옮기는 품질을 세 가지 지표로 정량화한다. 지표는 스케일링 법칙의 적합도, 외삽 오차에 대한 견고성, 파라미터화 선택이 만드는 점근적 손실 불이익을 측정한다. AdamW 학습에서 최대 업데이트 파라미터화가 표준 파라미터화보다 잘 전이되는 가장 큰 이유는 임베딩 층 학습률을 충분히 크게 쓸 수 있기 때문으로 나타났다. 표준 파라미터화에서도 임베딩 학습률을 모델 너비만큼 키우면 학습 불안정이 줄고 전이 성능이 좋아졌다. 가중치 감쇠는 스케일링 법칙의 적합도를 높였지만 토큰 수를 파라미터 수에 맞춰 고정한 조건에서는 외삽 견고성을 낮추는 상반된 효과를 보였다.
- LayerNorm LR: SP는 Θ(1/n)을 사용하고, μP는 Θ(1)을 사용한다.
- 어텐션 스케일링: SP는 1/d를 사용하고, μP는 1/d를 사용한다.
- 고정 스텝: 너비와 무관하게 일정한 반복 횟수로 학습한다.
초록 PDF
202Computer VisionarXiv:2605.22809
Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving
Waymo 연구진은 실제 단안 비디오를 360도 카메라 뷰와 LiDAR 포인트 클라우드를 포함한 고충실도 멀티모달 자율주행 차량 센서 로그로 변환하는 생성 프레임워크 Sensor2Sensor를 소개한다.
자율주행 차량이 모은 센서 로그는 품질은 높지만 지역과 센서 구성, 드문 상황의 다양성이 제한적이고 일반 블랙박스 영상은 기존 자율주행 시스템 입력 형식과 맞지 않는다. Sensor2Sensor는 단안 블랙박스 영상을 여러 카메라 시점과 LiDAR 포인트 클라우드로 이루어진 차량 센서 로그로 바꾸는 생성 모델이다. 짝을 이룬 학습 데이터가 없다는 문제를 해결하기 위해 실제 차량 로그를 4D 가우시안 스플래팅으로 복원한 뒤 블랙박스 시점 영상으로 다시 렌더링한다. 이렇게 만든 대응 자료로 확산 모델을 학습해 반대 방향의 센서 변환을 수행한다. 논문은 생성 데이터의 충실도와 사실성을 정량 평가하고 인터넷과 블랙박스 영상 변환 사례를 보였지만, 실제 자율주행 안전 성능의 향상까지 입증한 것은 아니다.
- 자율주행 차량(AV) 차량군이 수집한 독점 데이터는 고충실도이긴 하지만 규모, 센서 구성의 다양성, 그리고 지리적·롱테일 행동 커버리지 측면에서 제한적이다.
초록 PDF
201Computer VisionarXiv:2605.20743
Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction
Draw2Think 프레임워크는 "제안-그리기-검증" 루프를 통해 비전-언어 모델(VLM)을 외부 동적 기하 제약 엔진인 GeoGebra와 통합해, 중간 작도 단계에 대해 대수적으로 정확한 기하학적 보장을 제공한다.
기존 비전 언어 모델의 기하 추론은 중간 관계가 글이나 그림 코드로만 남아 실제 제약을 만족하는지 확인하기 어렵다. Draw2Think는 모델을 GeoGebra 제약 엔진과 연결해 가설 제안, 작도, 검증을 반복하는 실행 가능한 작업 공간을 만든다. 엔진이 정확한 길이와 각도 및 관계를 돌려주므로 다음 추론은 검증된 작도 상태를 바탕으로 진행된다. GeoGoal에서는 개별 조건의 95.9퍼센트와 문제 전체의 84.0퍼센트가 엄격한 작도 검사를 통과했고, 평면과 입체 문제의 답 정확도도 각각 최대 4.1퍼센트와 16.4퍼센트 높아졌다. 이 결과는 중간 기하 상태를 외부 엔진으로 확인하는 이점을 보여주며, 보고된 평가는 작도와 답 및 렌더링 벤치마크 범위에 해당한다.
- 작도 충실도: VLM이 의도한 구성이 문제의 요구사항과 일치하는지를 측정하는 모델 수준 속성이다.
- 명시적 판독 채널: 관찰 결과 시스템이 도출한 정답의 74-91%가 엔진이 명시적으로 반환한 값을 최소 하나 이상 포함했다. 이는 VLM이 내부 사전지식에만 의존하지 않고 엔진을 진실의 원천으로 능동적으로 사용하고 있음을 확인해준다.
- 수정 및 재계획 가능성: 오류 메시지를 받고 객체 삭제 도구를 사용할 수 있어 모델이 경로를 교정할 수 있다. 작도 경로가 모순이나 무효 상태로 이어지면, 모델은 마치 컴퍼스와 자를 사용하는 인간 수학자처럼 되돌아가 대안 전략을 시도할 수 있다.
초록 PDF
200Computer VisionarXiv:2605.18324
Improved Baselines with Representation Autoencoders
이 연구는 확산 모델을 위한 Representation Autoencoder(RAE)를 크게 향상시켜, 다층 인코더 특징을 활용하고 효율적인 자기 안내를 가능하게 함으로써 10배 이상 빠른 수렴과 향상된 생성·재구성 품질을 달성하는 RAEv2를 제시한다.
Representation Autoencoder는 전통적인 VAE 대신 미리 학습된 시각 인코더의 표현을 확산 모델의 잠재 공간으로 쓴다. RAEv2는 인코더 마지막 층 하나가 아니라 마지막 여러 층의 합을 표현으로 사용해 별도 미세조정이나 특수 데이터 없이 재구성을 개선한다. 또한 RAE와 중간 확산 층에 표현을 맞추는 REPA가 서로 대체 관계가 아니라 보완 관계임을 대규모 실험으로 보였다. DiT 출력을 다시 매개변수화하면 REPA 신호를 추가 모델이 필요 없는 안내로도 활용할 수 있다. ImageNet-256에서 기존 RAE보다 열 배 넘게 빨리 수렴해 80에폭 만에 최고 수준의 생성 품질을 냈고, 텍스트 이미지 생성과 탐색 세계 모델에서도 개선을 확인했다.
- 이 논문은 여러 설계 선택을 체계적으로 조사해 RAE를 단순화하고 개선하는 세 가지 통찰을 발견한다.
- 첫째, 표현을 최종 인코더 층 하나만이 아니라 마지막 k개 인코더 층의 합으로 정의하는 일반화된 정식화를 연구한다.
초록 PDF
199Machine LearningarXiv:2605.21488
Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
Carnegie Mellon University의 연구진은 잠재 공간에서 작업 조건화된 어트랙터를 활용해 확장 가능하고 일반화 가능한 추론을 달성하는 반복적 모델 프레임워크인 Equilibrium Reasoners(EqR)를 개발했다.
Equilibrium Reasoners는 반복 추론의 일반화가 정답에 해당하는 안정된 잠재 상태인 과제 조건부 어트랙터를 학습하는 데서 나온다고 본다. 모델은 반복 횟수를 늘리는 깊이 확장과 여러 초기 상태의 확률적 궤적을 합치는 너비 확장을 함께 사용하며 외부 검증기나 과제별 사전지식을 요구하지 않는다. 실험에서는 추론 시점 계산을 늘렸을 때의 성능 향상이 정답 어트랙터로 더 강하게 수렴하는 현상과 밀접하게 연결되었다. 쉬운 문제는 1회에서 5회 반복으로 수렴하고 어려운 문제는 더 많은 반복에서 계속 이득을 얻어 난이도에 따라 계산량을 조절할 수 있었다. Sudoku-Extreme에서는 최대 4만 개 층에 해당하는 반복으로 순방향 모델의 2.6퍼센트 정확도를 99퍼센트 이상으로 높였지만 그만큼 큰 추론 시점 계산이 필요할 수 있다.
- Maze-Unique: 저자들은 작업의 모호성이 어트랙터 학습에 "독"이라는 사실을 발견했다. 여러 해가 존재하는 데이터셋(미로의 서로 다른 최단 경로 등)에서는 모델이 안정적인 어트랙터를 형성하기 어렵다. 경로가 유일하도록 미로 작업의 변형 버전을 만들어, EqR이 복잡한 30x30 미로를 높은 신뢰도로 풀 수 있을 만큼 확장됨을 입증했다.
- 규모 일반화: 테스트 시점에 단순히 반복 횟수를 늘림으로써 학습 중에 본 복잡도를 훨씬 뛰어넘어 일반화한다.
- 자가 진단: 고정점 잔차는 외부 검증기를 필요로 하지 않는 내장형 신뢰도 점수를 제공한다.
초록 PDF
198Computer VisionarXiv:2605.18740
Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation
Vision-OPD 프레임워크는 온-폴리시 자기 증류를 활용해 모델이 자신의 특권적 영역 인지로부터 학습하게 함으로써, 멀티모달 대규모 언어 모델이 세밀한 시각적 디테일을 식별하는 능력을 향상시킨다.
멀티모달 언어 모델은 작은 영역만 잘라 보여주면 맞히는 세부 질문도 전체 이미지에서는 관련 증거에 집중하지 못해 틀리는 경우가 많다. Vision-OPD는 같은 모델을 확대 영역을 보는 교사와 전체 이미지를 보는 학생으로 나눠 이 영역 대 전체 인식 차이를 줄인다. 학생이 현재 정책으로 생성한 답의 각 토큰에서 교사와 학생의 다음 토큰 분포 차이를 줄이는 온-폴리시 자기 증류를 사용한다. 외부 교사 모델, 정답 라벨, 보상 검증기, 추론 시점 도구 없이도 확대 관찰의 이점을 전체 이미지 정책에 옮긴다. 여러 세밀 시각 이해 벤치마크에서 훨씬 큰 공개 및 비공개 모델과 이미지 도구를 쓰는 에이전트에 견줄 만하거나 더 좋은 성능을 보였다.
- 질문 생성: 각 작은 영역에 대해 MLLM은 해당 영역 내부의 디테일을 봐야만 답할 수 있는 질문 q를 생성한다.
- 전체 이미지로의 그라운딩: 영역의 바운딩 박스를 전체 이미지 I 위에 겹쳐 학생 입력 x를 만든다. 학생이 어디에 집중해야 하는지 알 수 있도록 질문에 공간적 지시문(예: "빨간 박스를 보라")을 추가한다.
- 크롭 생성: 해당 영역을 잘라내어 크기를 조정(흔히 2배)해 교사 입력 x'를 만든다.
초록 PDF
197Computer VisionarXiv:2605.22819
Cambrian-P: Pose-Grounded Video Understanding
Cambrian-P라는 모델은 명시적 카메라 포즈 그라운딩을 통해 비디오 이해를 위한 멀티모달 대규모 언어 모델을 보강해 공간 추론의 한계를 해결한다.
비디오용 멀티모달 언어 모델은 보통 프레임을 독립된 이차원 장면처럼 처리해 카메라 위치와 방향이 만드는 공통 공간 좌표를 충분히 쓰지 않는다. Cambrian-P는 프레임마다 학습 가능한 카메라 토큰과 포즈 회귀 헤드를 넣어 비디오 이해를 카메라 움직임에 연결한다. 설계된 샘플링 방식과 함께 학습했을 때 VSI-Bench 같은 공간 추론 평가에서 4.5퍼센트에서 6.5퍼센트의 향상을 보였다. 추가 여덟 개 공간 및 일반 비디오 질의응답 평가로 일반화했고 ScanNet의 스트리밍 포즈 추정에서도 최고 수준의 결과를 냈다. 실제 영상에 자동 생성한 포즈 주석을 더한 학습이 일반 비디오 질의응답까지 개선해 카메라 포즈가 공간 문제 밖에서도 유용한 감독 신호임을 보여준다.
- 주석: 기성 포즈 추정기인 ViPE를 사용해 나머지 클립에 대한 외부·내부 카메라 파라미터를 생성한다.
- 모델 크기: LLM 크기가 0.5B에서 7B 파라미터로 커질수록 VQA 성능과 포즈 정확도가 일관되게 향상되었다.
- 데이터 크기: 학습 데이터의 양을 늘릴수록 포즈 그라운딩 모델과 베이스라인 간의 성능 격차가 벌어졌다.
초록 PDF
196Computer VisionarXiv:2605.18678
Lance: Unified Multimodal Modeling by Multi-Task Synergy
ByteDance의 Intelligent Creation Lab은 이미지·비디오 이해, 생성, 편집을 단일 프레임워크 안에 통합한 경량 통합 멀티모달 모델 Lance를 개발했다.
Lance는 이미지와 비디오의 이해, 생성, 편집을 한 모델에서 처리하는 가벼운 통합 멀티모달 모델이다. 공유된 교차 멀티모달 시퀀스를 학습하면서도 이해와 생성의 처리 경로는 분리한 이중 스트림 전문가 혼합 구조를 쓴다. 서로 다른 시각 토큰 사이의 간섭을 줄이기 위해 모달리티 인식 회전 위치 인코딩도 도입했다. 학습은 능력별 목표와 데이터 양을 조절하는 단계적 다중 과제 방식으로 진행해 의미 이해와 시각 생성을 함께 강화한다. 실험에서는 강한 멀티모달 이해를 유지하면서 기존 공개 통합 모델보다 이미지와 비디오 생성 성능이 높았으며, 비교 주장은 공개 모델 범위를 기준으로 한다.
- 이해를 돕는 생성: 반대로 비디오 편집 같은 생성 작업으로 학습하면 모델이 시간적 동역학과 공간적 관계를 더 깊이 이해하게 되며, 이는 비디오 이해 벤치마크에서의 성능을 향상시킨다.
- 비디오 생성: VBench 벤치마크에서 Lance는 총점 85.11을 기록해 발표 시점 기준 통합 모델 중 최고였다. 객체 그라운딩과 시간적 일관성에서 강력한 성능을 보였다.
- 멀티모달 이해: 시간적 인지와 비디오 추론을 평가하는 MVBench에서 Lance는 62.0점을 기록했다. 이는 차순위 통합 모델인 Show-o2(7B) 대비 11.3% 향상된 수치다.
초록 PDF
195LLMs / NLParXiv:2605.20613
HRM-Text: Efficient Pretraining Beyond Scaling
현재 대규모 언어 모델의 사전학습 패러다임은 방대한 데이터에 의존한다.
HRM-Text는 언어 모델의 계산을 천천히 변하는 전략 층과 빠르게 변하는 실행 층으로 나눈 계층형 순환 구조다. 깊은 순환 학습을 안정시키기 위해 MagicNorm과 준비 단계의 깊은 신용 할당 방법을 넣었다. 일반 원문을 다음 토큰으로 예측하는 대신 지시와 응답 쌍만 사용하고 과제 완료 목표와 PrefixLM 마스킹으로 처음부터 학습했다. 10억 파라미터 모델을 고유 토큰 400억 개와 약 1500달러 예산으로 학습해 MMLU 60.7퍼센트와 GSM8K 84.5퍼센트 등 경쟁력 있는 점수를 보고했다. 표준 기준선보다 토큰은 약 100배에서 900배, 추정 계산량은 96배에서 432배 적게 쓰고 20억에서 70억 파라미터 공개 모델과 견줄 성능을 보여, 구조와 목표의 공동 설계가 사전학습 비용을 낮출 수 있음을 보였다.
- 이와 대조적으로 생물학적 시스템은 전두두정 루프의 기능적 조직화처럼 다중 시간척도 처리를 통해 매우 표본 효율적인 학습을 보여준다.
초록 PDF