HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 795RoboticsarXiv:2608.02304

    TRACE: Ergodic Trajectory Optimization for Active Scene Reconstruction

    능동 3D 복원을 다음 시점 하나씩 고르는 탐욕적 방식 대신 궤적 전체를 최적화하는 에르고딕 커버리지 문제로 다시 세운 논문이다. Replica 8개 장면에서 최강 NBV 기준선 대비 PSNR 1.5 dB를 올렸다.

    가우시안 스플래팅 지도를 쓰는 기존 능동 복원은 매 단계 정보 이득이 가장 큰 시점 하나를 골라 커밋하고 짧은 경로 계획으로 이어 붙인다. 이 분리 때문에 시점 사이 이동 구간이 정보 수집에 기여하지 못하고 궤적이 들쭉날쭉해지며 로봇 동역학을 반영하지 못한다. TRACE는 이를 에르고딕 커버리지 문제로 바꿔, 궤적이 어떤 영역에 머무는 시간이 그 영역의 정보 밀도에 비례하도록 연속 궤적을 최적화한다. 목표 정보 분포는 실시간으로 갱신되는 2DGS(장면 표면을 납작한 가우시안 조각으로 그리는 지도 방식) 지도의 가우시안별 불확실성과 가시성에서 뽑는다. 궤적은 커널 기반 에르고딕 지평 계획기로 풀고, 여기에 경사 흐름 갱신과 발자국 소진 기법을 붙였다. Replica 8개 장면 전부에서 ActiveGS를 이겼고 평균 PSNR 이득은 1.5 dB이며, 실제 사족보행 로봇과 로봇팔에서 중간 경로 계획기 없이 그대로 실행됐다.

    • Replica 8개 장면 전부에서 ActiveGS보다 PSNR이 높았고 평균 이득은 1.5 dB다. 화질 지표인 LPIPS와 SSIM도 같은 방향으로 나왔다.
    • 장면 종류에 따라 이득의 성격이 다르다. office 장면은 SSIM은 비슷한데 LPIPS가 6에서 19퍼센트 좋아졌고, room과 hotel 장면은 SSIM 격차가 0.012에서 0.017까지 벌어졌다.
    • 이득이 단순히 관측 프레임을 더 많이 찍어서 나온 게 아니다. ActiveGS 경로 위에 무작위 10장을 더 찍은 변형은 0.08 dB 차이로 원본과 같았고, 균등 보간 10장 변형은 오히려 1.7 dB 떨어졌다.
    • 발자국 소진 기법을 빼고 원래 커널 에르고딕 지표만 쓰면 2.1 dB를 잃고 8개 장면 중 6개에서 ActiveGS보다 나빠졌다. 중복 관측을 억제하는 장치가 핵심이라는 뜻이다.
    • Unitree Go2 사족보행 로봇에 Intel D435 RGB-D 카메라를 달고 42제곱미터 공간에서 5분 임무를 돌렸다. 계획된 지평마다 실행 불가능한 명령 없이 수행됐다.
    • 실물 실행 성공률은 100퍼센트였고, 비교한 NBV 기준선은 모든 시도에서 환경에 가볍게 접촉했다. 궤적 자체가 최적화 변수라 웨이포인트를 컨트롤러에 바로 넘긴다.
    초록PDF
  2. 794AI / GeneralarXiv:2608.02365

    Faster-WAM: Do World Action Models Need Deep Action Modules?

    영상 세계모델 위에 얹는 행동 예측 모듈을 30층에서 단 1층으로 줄이고도 성능을 지키는 구조 DoT와 Faster-WAM을 제안해, 추론 시간을 211.7ms에서 66.5ms로 3.2배 줄였다.

    World Action Model(WAM)은 영상 세계모델 백본 위에서 로봇 행동을 예측하는데, 기존 구조는 행동 모듈의 층 수를 영상 백본과 똑같이 맞추느라 추론이 느리다. 저자들은 사전학습된 영상 트랜스포머를 표현 허브로 두고 가벼운 출력 헤드를 도킹 인터페이스로 붙이는 Dock of Transformers(DoT) 원칙을 제안했다. 이를 구현한 Faster-WAM은 30층 영상 백본에 단일 층 행동 헤드를 붙이며, 모든 영상 층의 키와 값을 합치는 KV-Fusion과 영상과 행동 사이 위치 인코딩을 맞추는 RoPE 정렬을 쓴다. 별도 로봇 사전학습 없이 LIBERO 98.5%, RoboTwin 2.0 89.17%, LIBERO-Plus 75.0%를 기록했다. 32스텝 행동 묶음 하나를 66.5ms에 내놓아 Fast-WAM의 211.7ms 대비 3.2배 빠르다.

    • 문제 제기는 속도다. 대표적 저지연 모델인 Fast-WAM도 행동 묶음 하나에 211.7ms가 걸려, 71.4ms인 파이제로닷파이브(VLA 모델)의 약 3배였다.
    • DoT는 기존 MoT 방식이 요구하는 영상 층과 행동 층의 일대일 대응을 없앤다. 그래서 행동 헤드 깊이를 백본 깊이와 따로 정할 수 있고, 행동 헤드가 백본 전 층의 표현에 접근한다.
    • LIBERO 네 개 과제 묶음 평균 98.5%로 Fast-WAM의 97.6%보다 0.9포인트 높았고, LIBERO-Long에서 2.6포인트 올랐다. 로봇 사전학습을 한 파이제로닷파이브, X-VLA, Motus보다도 높다.
    • 24GB 소비자용 GPU 동일 조건 지연시간 비교에서 Faster-WAM 66.5ms, 파이제로 68.2ms, 파이제로닷파이브 71.4ms, X-VLA 105.3ms, Fast-WAM 211.7ms였다. LingBot-VA와 Motus는 메모리 초과로 측정 불가였다.
    • LIBERO-Plus 분포 밖 일반화에서 75.0%로 Fast-WAM의 51.5%를 23.5포인트 앞섰다. 카메라 교란은 16.4%에서 67.9%, 센서 잡음은 37.7%에서 82.7%, 언어 교란은 68.9%에서 92.1%로 올랐다.
    • 절제 실험은 49.5%에서 시작해 최종 층만 쓰는 단순 DoT 60.3%, KV-Fusion 추가 66.8%, RoPE 정렬 추가 71.3%, 텍스트 교차어텐션 제거로 75.0%까지 단계별로 올라간다. 층 혼합 신호는 중간층에 몰리되 전 층에 넓게 퍼져 있었다.
    초록PDF
  3. 793RoboticsarXiv:2608.02580

    Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data

    사람 1인칭 시점 손 조작 영상을 로봇 학습 데이터로 자동 변환하는 파이프라인 Ego2Robot을 만들었다. 15개 로봇 형태용 18,561시간 합성 데이터로 VLA(영상과 지시문을 받아 로봇 동작을 내놓는 모델)를 사전학습하면 처음 보는 조건에서 성능이 좋아짐을 보였다.

    로봇 조작 정책을 일반화시키려면 대규모 다양한 시연 데이터가 필요하지만 로봇 원격조작 수집은 비싸고 하드웨어에 묶여 있다. 저자들은 에고센트릭(1인칭 시점) 사람 손 조작 영상을 동작 정렬, 시각 정렬, 다단계 품질 선별을 거쳐 로봇 포맷 데이터로 바꾸는 Ego2Robot 파이프라인을 제안했다. 네 개 출처 약 1,940시간 영상에서 15개 로봇 형태용 18,561시간 학습 데이터를 만들었고, 이는 현재까지 가장 큰 ego-to-robot 데이터셋이다. 평가를 위해 RoboTwin2.0을 확장해 시각 외형, 장면 배치, 로봇 형태, 과제 의미의 네 축으로 교란을 분리한 벤치마크를 만들었다. 합성 데이터와 실제 로봇 데이터를 1대1로 섞어 사전학습하면 RoboTwin Randomized 53.5%로 로봇 데이터만 쓴 경우보다 2.6포인트 오르고, 실물 로봇 다섯 과제에서도 이득이 확인됐다.

    • 파이프라인은 손 21개 키포인트에서 가상 손끝(검지 0.7 + 중지 0.3)을 만들어 그리퍼 중심점과 벌림 폭을 뽑고, Savitzky-Golay 필터와 SLERP로 시간축 노이즈를 없앤다. 손 자세 주석이 없는 영상은 WiLoR와 DynHaMR로 자세를 추정하고 Qwen3.5로 긴 영상을 하위 과제로 쪼갠다.
    • 약 1,940시간 원본 영상에서 15개 로봇 형태용 18,561시간 데이터가 나와 약 9.6배로 불어났다.
    • 사전학습 배합 실험에서 1대1 배합이 RoboTwin Clean 68.1%(+5.9), Randomized 53.5%(+2.6), 과제 의미 축 54.1%(+7.9)로 일곱 열 중 다섯 열에서 1위였다. 1대3 배합은 거의 이득이 없었다.
    • 축별로 보면 조명 +7.6, 로봇 색 +6.4, 카메라 오프셋 +5.9로 시각 강건성 이득이 가장 컸다. 처음 보는 물체는 29.3%에서 40.0%(3대1)로 올랐고, 지시문 바꿔쓰기는 68.5%가 됐다. Franka는 7% 아래에 머물러 운동학 차이가 큰 로봇으로의 전이는 실패했다.
    • 로봇 데이터 없이 에고 데이터만 쓴 절제 실험에서 원본 에고 영상 그대로는 28.1%인데 파이프라인을 거치면 31.7%로 올랐고, 형태를 1개에서 15개로 늘리면 33.5%, 여기에 원본 에고 데이터를 더하면 37.3%가 됐다.
    • 실물 ARX ACone 로봇 다섯 개 장기 과제에서 원격조작 시연 20개에 장면당 약 7분짜리 에고 놀이 영상을 변환해 섞은 조합이 가장 좋았고, 블록 넣기 +14, 나사 삽입 +13이었다.
    초록PDF
  4. 792ResearcharXiv:2607.29660

    A Simple Necessary and Sufficient Condition for Yang--Baxter Integrability

    40년 동안 풀리지 않던 수학 문제를 증명한 논문이다. 양자 스핀 사슬이 '적분 가능'한지를 해밀토니안 수준에서 바로 판별하는 간단한 조건을 찾았다.

    이 논문은 한마디로 40년간 미해결이었던 수학 물리학 문제, 'Reshetikhin 조건이 Yang-Baxter 적분가능성에 충분한가?'를 증명한 연구다. 양자 스핀 사슬(1차원 자성체 모델)이 정확히 풀리려면 Yang-Baxter 방정식을 만족하는 R-행렬이 필요한데, 이 R-행렬을 찾는 건 매우 어려웠다. 그런데 Reshetikhin 조건이라는, 해밀토니안(에너지 함수)만으로 검사할 수 있는 간단한 조건이 실제로는 필요충분 조건이라는 것을 엄밀하게 증명했다. 이 조건은 '총 에너지 흐름의 보존'과 같으므로 실험적으로도 확인할 수 있다. 이 결과는 고전역학의 Liouville-Arnold 정리에 대응하는 양자역학 버전의 정리로, 적분가능성을 가진 스핀 사슬을 찾는 작업을 대폭 단순화한다.

    • 40년간 미해결이던 추측, 'Reshetikhin 조건이 Yang-Baxter 적분가능성의 필요충분조건이다'를 병진 불변 최근접 상호작용 스핀 사슬에 대해 엄밀 증명했다.
    • 이 조건은 해밀토니안 수준에서 직접 검사 가능하고, 총 에너지 흐름의 보존과 동등하므로 실험적으로도 관측할 수 있다.
    • 양자 버전의 Liouville-Arnold 정리를 확립해서, Yang-Baxter 적분가능성과 무한한 국소 보존량의 존재가 동등함을 보였다.
    • 새로운 적분가능 모델을 찾을 때 R-행렬을 찾는 대신 해밀토니안에서 직접 검사하면 되므로 탐색이 대폭 단순화된다.
    초록PDF
  5. 791RoboticsarXiv:2607.29302

    BWM: A Low-Cost High-Fidelity World Simulator for Robot Learning

    로봇이 실제로 동작하기 전에 '이렇게 움직이면 어떻게 될까'를 시뮬레이션해주는 저비용 고품질 월드 시뮬레이터다. 데이터 생성기와 정책 평가자 역할을 모두 한다.

    이 논문은 한마디로 로봇 학습용 저비용 고품질 월드 시뮬레이터(BWM)를 만들고 오픈소스로 공개한 연구다. 물리 시뮬레이터는 에셋 구축과 보정이 비싸고 실제 로봇과의 격차가 있지만, BWM은 실제 로봇 데이터에서 직접 학습해서 로봇 동작에 따른 미래 장면을 예측한다. 핵심은 동작 정렬 훈련 데이터 파이프라인(궤적 재생, 중복 클립 샘플링, 초기 관측 강화)과 초기 환경 가이드 + 동적 히스토리 + 정밀 동작 제어를 결합한 모델 구조다. BWM은 데이터 엔진(모방학습 데이터 증강)과 정책 평가자(폐루프 평가, 위험 예측, 정책 랭킹) 역할을 모두 하며, WorldArena 챌린지에서 오픈소스 1위, 실제 로봇에서 71% 성공률을 달성했다.

    • 로봇 동작에 조건부로 미래 장면을 예측하는 액션 조건부 월드 모델로, 초기 환경 가이드 + 동적 히스토리 + 정밀 동작 제어를 결합했다.
    • 궤적 재생, 중복 클립 샘플링, 초기 관측 강화로 동작-관측 정렬을 유지하는 훈련 데이터 파이프라인을 구축했다.
    • WorldArena 챌린지 Track 1 + 두 개 Track 2 애플리케이션을 합쳐서 전체 1위(오픈소스 중)를 달성했다.
    • BWM이 생성한 데이터로 훈련한 정책이 실제 로봇에서 71.00% 평균 성공률을 기록했고, 기존 최고 월드 시뮬레이터 대비 53.33%에서 크게 향상됐다.
    • 모델 체크포인트, 훈련/추론 코드, 데이터 생성 및 정책 평가 인터페이스를 모두 오픈소스로 공개했다.
    초록PDF
  6. 790Computer VisionarXiv:2607.29627

    FlexComposer: Unified Video Compositing from Images to Dynamic Footage with Flexible Trajectory Control

    이미지나 영상을 기존 영상 안에 자연스럽게 합성하는 통합 프레임워크다. 사용자가 궤적을 그리면 그 경로를 따라 객체가 움직이면서 배경과 자연스럽게 어우러진다.

    이 논문은 한마디로 정지 이미지와 동적 영상 모두를 기존 영상 안에 자연스럽게 끼워 넣는 통합 합성 프레임워크다. 기존 방법은 정지 이미지에서 움직임을 만들어내거나(통제력은 좋지만 동적 자산의 움직임이 사라짐), 대략적인 의미 수준에서 합성하는(통제력 부족) 방식으로 나뉘었는데, FlexComposer는 둘을 하나로 통합했다. 핵심은 전경(끼워 넣을 객체)의 본래 움직임과 사용자가 지정한 궤적 이동을 분리하는 '정규화된 전경 표현'이다. 이를 통해 정지 이미지든 동적 영상이든 같은 파이프라인에서 처리할 수 있고, 추가 학습 모듈 없이도 정밀한 공간 제어가 가능하다.

    • 정지 이미지와 동적 영상을 동일한 프레임워크에서 처리하는 통합 비디오 합성 프레임워크를 제안했다.
    • 전경의 본래 움직임과 전역 이동을 분리하는 '통일 정규화 전경 표현'으로 이질적 입력을 표준화했다.
    • VAE 잠재 공간의 평행 이동 등변성을 활용한 '공간 인식 잠재 주입'으로 추가 학습 모듈 없이 정밀한 궤적 제어를 구현했다.
    • 시뮬레이션 + 실제 영화 영상 + 생성 데이터를 결합한 하이브리드 데이터셋과 합성→실제 커리큘럼으로 조명과 그림자를 자연스럽게 학습했다.
    • 시각 품질, 시간적 일관성, 궤적 준수에서 기존 최고 성능 방법들을 능가했다.
    초록PDF
  7. 789LLMs / NLParXiv:2607.27497

    SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

    에이전트가 텍스트 지식과 모델 가중치를 동시에 이해하고 합성해서 새로운 스킬을 만들어내는 시스템이다. 가중치를 하나의 '모달리티'로 다루는 게 핵심 혁신이다.

    이 논문은 한마디로 LLM 에이전트가 텍스트 지식과 자기 가중치(파라미터)를 동시에 읽고 이해해서, 둘을 조합해 새로운 스킬의 가중치를 직접 만들어내는 방법을 제안한다. 기존에는 텍스트 기반 지식 관리와 가중치 기반 스킬 라이브러리가 따로 발전했는데, SkillSmith는 모델 가중치를 텍스트처럼 처리할 수 있는 하나의 입력 모달리티로 취급한다. Prefix-tuning(앞부분만 미세조정하는 기법) 방식의 가중치를 LLM에 넣으면서, 관련 텍스트 설명과 목표 능력을 함께 제공하면, SkillSmith가 새로운 prefix 가중치를 직접 출력한다. 4B Gemma 3 모델로 실험한 결과, 텍스트만 또는 가중치만 쓰는 방식을 모두 뛰어넘었고, 특히 합성 데이터(Composite SNI)로 사전학습하면 적은 데이터로도 강력한 성능을 냈다.

    • 모델 가중치(prefix-cache)를 텍스트와 동급의 모달리티로 취급해서 LLM이 둘을 함께 읽고 추론할 수 있게 했다.
    • SkillSmith는 소스 태스크의 가중치 + 텍스트 메타데이터 + 목표 설명을 입력받아, 목표에 맞는 새 prefix 가중치를 직접 합성해 낸다.
    • Composite SNI라는 합성 데이터셋을 새로 구축해서, 두 태스크의 기술을 조합해야 하는 새로운 태스크에서 텍스트+가중치 조합의 효과를 검증했다.
    • 4B Gemma 3 기준으로 텍스트만, 가중치만 쓰는 모든 베이스라인을 뛰어넘었고, MMLU-ProX에서는 다운스트림 파인튜닝 기반 방법들도 이겼다.
    • 검색기반 접근으로 정확한 소스 매핑 없이도 노이즈가 있는 환경에서 관련 신호를 추출해 효과적으로 가중치를 합성할 수 있음을 보였다.
    초록PDF
  8. 788RoboticsarXiv:2607.29613

    WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

    로봇 강화학습에서 가치 평가자(critic)가 한 장의 이미지만 보고 판단하는 근본적 한계를 지적하고, 미래를 예측하는 월드 모델과 가치 평가를 통합한 새로운 구조를 제안했다.

    이 논문은 한마디로 로봇 강화학습의 핵심 부품인 'critic(가치 평가자)'이 단일 프레임만 보고 판단하는 문제를 해결한 연구다. 로봇 조작은 부분 관측(POMDP) 문제라 한 장면만으로는 동작, 접촉, 진행 상태를 알기 어렵다. 저자들은 이 문제의 근본 원인이 '스칼라 값 회귀만으로는 시간에 따른 변화를 학습할 수 없다'는 것임을 밝혔다. 해결책으로 World Critic Model(WCM)을 제안하는데, LeJEPA 구조 위에서 미래 상태를 예측함과 동시에 가치를 추정하도록 훈련된다. 4개 벤치마크 149개 작업에서 일관되게 최고 성능을 달성했고, 특히 낯선 환경에서의 일반화 성능이 크게 뛰어났다.

    • 기존 VLA 강화학습의 critic이 단일 프레임만 사용하는 근본적 한계를 '상태 근사 문제'로 정의하고, 스칼라 값 회귀로는 시간적 구조를 학습할 수 없음을 밝혔다.
    • WCM은 LeJEPA 구조에서 미래 잠재 상태 예측과 가치 추정을 동시에 수행해서, critic의 표현이 시간적 역학을 포착하도록 명시적으로 훈련된다.
    • π0, π0.5, OpenVLA-OFT 등 최신 VLA 백본과 모두 호환되며, on-policy와 off-policy 훈련 모두에 통합 가능하다.
    • 4개 벤치마크 149개 작업에서 일관되게 최고 성능을 달성했고, 특히 분포 외(OOD) 일반화에서 큰 이득을 보였다.
    • 7개 실제 로봇 조작 작업에서 OpenVLA-OFT와 π0.5 기반 off-policy RL로 안정적인 성능을 확인했다.
    초록PDF
  9. 787RoboticsarXiv:2607.28993

    ST-WAM: Semantic-Temporal World Action Model for Robust Manipulation under Visual Distribution Shifts

    로봇이 시각적 환경이 바뀌어도 안정적으로 동작하도록 만든 모델이다. 기존 월드 액션 모델이 학습 데이터와 다른 환경에서 환각(헛것)을 일으키는 문제를 해결했다.

    이 논문은 한마디로 로봇 조작 AI가 시각적으로 낯선 환경에서도 잘 작동하게 만드는 방법을 제안한다. 기존 월드 액션 모델(WAM)이 학습한 환경과 다른 배경이나 조명을 만나면 학습 데이터의 장면을 환각(헛것을 봄)하는 '학습분포 환각' 현상을 처음으로 발견하고 명명했다. 이 문제를 해결하기 위해 DINOv3(시각적 특징 추출기)의 의미적 안정성을 활용해서 미래 예측과 과거 기록 검색에 모두 사용하는 ST-WAM을 설계했다. 결과적으로 LIBERO 벤치마크 98.7%, LIBERO-Plus(시각 변형)에서 기존 대비 +21.3%p 향상, 실제 로봇에서는 25.8%에서 61.5%로 성공률이 두 배 이상 뛰었다.

    • 기존 월드 액션 모델이 시각적으로 낯선 환경에서 학습 데이터의 장면을 환각하는 '학습분포 환각' 현상을 발견하고, 180건 검사에서 70.6%가 이 현상을 보이는 걸 확인했다.
    • DINOv3 특징이 VAE 잠재 표현보다 시각 변화에 강하면서도 작업 상태를 잘 구분한다는 걸 290개 프레임 삼중항 실험으로 증명했다.
    • 이중공간 미래 전문가(DSFE)로 VAE와 DINO 공간을 동시에 예측하고, 현재-닻징 의도 검색(CAIR)로 최근 DINO 기록에서 작업 관련 증거를 찾아냈다.
    • LIBERO 98.7%, RoboTwin 2.0 92.8%를 달성했고, 시각 변형 환경(LIBERO-Plus)에서 기존 Fast-WAM 대비 +21.3%p, 실제 로봇 성공률을 25.8%에서 61.5%로 끌어올렸다.
    • 추가 사전학습이나 작업별 주석 없이 end-to-end로 훈련되며, 추론 시 explicit 미래 생성이 필요 없어 효율적이다.
    초록PDF
  10. 786Computer VisionarXiv:2607.29679

    Scaling Properties of Text Conditioning in Visual Generation

    이미지 생성에서 텍스트 조건의 스케일링 법칙을 발견했다. 단순히 프롬프트가 길어지는 게 아니라 '정보량'이 늘어나야 화질이 좋아진다는 걸 증명한 논문.

    이 논문은 한마디로 이미지 생성 AI에서 '프롬프트가 담은 정보량'이 화질을 결정한다는 사실을 처음으로 수학적으로 증명한 연구다. 자연어 프롬프트를 아무리 길게 써도 정보가 늘지 않으면 화질이 안 좋아지지만, 구조화된 프롬프트(객체 위치, 속성, 장면을 JSON 필드로 나누는 방식)로 바꾸면 정보가 계속 추가되면서 화질이 선형적으로 좋아진다. 이를 GPG와 ED라는 두 가지 정보량 측정법으로 검증했고, 확산 모델의 학습 손실이 정보량에 비례해서 줄어드는 스케일링 법칙을 찾았다. 마지막으로 LLM 기반 프롬프터를 훈련해서 사용자 요청을 자동으로 구조화된 프롬프트로 바꾸는 시스템을 만들었는데, 거의 모든 벤치마크에서 기존 오픈소스 모델을 능가했다.

    • 자연어 프롬프트는 길어져도 정보가 늘지 않아 화질 개선이 멈추지만, 구조화된 프롬프트는 정보가 계속 추가되면서 선형적으로 화질이 좋아진다는 걸 증명했다.
    • GPG(이미지-텍스트 정합도)와 ED(속성 정밀도)라는 두 가지 정보량 측정법을 도입해서 확산 손실과의 관계를 수학적으로 수치화했다.
    • LLM 프롬프터를 SFT + 콜드스타트 + 검증기 기반 강화학습으로 훈련해서, 사용자의 짧은 요청을 정보가 풍부한 구조화된 프롬프트로 자동 변환하는 시스템을 만들었다.
    • 최종 시스템이 구성·추리·세계지식 벤치마크에서 평가한 모든 오픈소스 모델을 능가했고, 폐쇄형 최상위 모델과도 맞먹거나 더 좋은 성능을 냈다.
    • 정교한 편집(객체 이동, 재질 변경, 장면 교체)이 구조화된 프롬프트의 필드 수정만으로 가능해졌다.
    초록PDF
  11. 785AI / GeneralarXiv:2607.28527

    MANTA: Multi-Agent Network Topology Adaptation for Self-Evolving Multi-Agent Systems

    멀티에이전트 시스템에서 에이전트 간 통신 구조(토폴로지)를 실행 도중에 자동으로 바꿔서 성능을 끌어올린 논문이다.

    이 논문은 한마디로 멀티에이전트 시스템의 통신 구조를 고정하지 않고 실행 중에 스스로 개선하는 프레임워크다. MANTA라는 방법은 작업 시작 전 과거 경험을 바탕으로 에이전트 간 연결 구조를 계획하고, 실행 과정에서 문제가 발견되면 구조를 제한적으로 수정한다. 5개 벤치마크에서 평균 74.0점을 기록하며 최강 기준선 대비 5.8%p 앞섰다. 특히 에이전트 수를 늘리는 것뿐 아니라 연결을 다시 배선하거나 검증자를 추가하는 등 구조적 수정으로 성능을 끌어올렸다.

    • 통신 구조(토폴로지)를 실행 전에 고정하지 않고, 작업 풀면서 실시간으로 바꾸는 '구조적 자기개선'을 제안했다.
    • 작업 시작 전 과거 경험에서 배운 구조를 재사용하고, 실행 중 문제가 생기면 부분적으로 수정한다.
    • 5개 벤치마크에서 평균 74.0점으로, 기존 최고 성능 대비 5.8%p 높았다.
    • 에이전트 수를 무작정 늘리는 게 아니라, 연결을 다시 배선하거나 검증 단계를 추가하는 식으로 구조를 개선했다.
    • 메타 수준 연산(구조 계획·수정)이 전체 토큰 사용량의 약 12%에 불과해 효율적이다.
    • 토큰 사용량도 멀티에이전트 시스템 중 가장 낮았다.
    초록PDF
  12. 784LLMs / NLParXiv:2607.28229

    EMBL AI Librarian: Life-Sciences Knowledge Layer for AI Agents

    생명과학 논문 4000만 건에 자연어로 질문하면 증거 스니펫을 주는 AI 에이전트용 지식 계층.

    이 논문은 한마디로 생명과학 논문 데이터베이스(Europe PMC, 4000만 건)를 AI 에이전트가 쉽게 쓸 수 있게 해주는 중간 계층을 만들었다. 기존에는 에이전트가 복잡한 검색 문법을 배우고 논문 전체를 읽어야 했는데, EMBL AI Librarian는 자연어로 질문하면 관련 증거 구절만 찾아준다. LLM 하나가 검색 쿼리 생성 → 논문 검색 → 증거 추출까지 다 처리한다. 문헌 종합(ScholarQA-Bench)에서 기존 대비 +16점, GPT-5.4에 Librarian을 붙이면 웹 검색 대비 +8점 향상된다.

    • Europe PMC(4000만 건) 위에 AI 에이전트용 자연어 지식 계층을 구축했다.
    • LLM 1개가 검색 쿼리 계획 → 실행 → 논문 파싱 → 증거 스니펫 추출까지 전 과정을 오케스트레이션한다.
    • dense vector DB(744GB 필요) 없이 live 검색으로 처리해서 인프라 비용을 크게 줄였다.
    • ScholarQA-Bench Citation F1 +16점, LitQA2 정확도 GPT-5.4+웹(70.3) → GPT-5.4+Librarian(78.9).
    • ProClaim 검증 파이프라인에 적용 시 전문가 합의와의 일치도 +5점 향상. 코드 공개.
    초록PDF
  13. 783Machine LearningarXiv:2607.28022

    Flux-OPD: On-Policy Distillation with Evolving Contexts

    정답이 없는 영역(open-ended)에서 진화하는 컨텍스트를 활용하는 새 증류 패러다임 Flux-OPD 제안.

    이 논문은 한마디로 정답을 명확히 판정하기 어려운 작업(비디오 생성 프롬프트, 의료 QA)에서 학생 모델을 더 잘 가르치는 방법을 제안했다. 기존 온폴리시 증류(OPD)는 교사 모델을 그대로 따라 하게 하는데, 정답이 모호한 영역에서는 한계가 있다. Flux-OPD는 학생의 성과에 따라 '컨텍스트(힌트)'를 계속 업데이트하면서, 교사의 안정적인 기준점에 컨텍스트 보정 신호를 주입한다. 충돌하는 컨텍스트 신호는 자동으로 가중치를 낮춘다. 의료 QA(HealthBench)와 비디오 생성 프롬프트 최적화(VBench)에서 기존 방법들을 능가했다.

    • 오픈엔디드 도메인에서 '진화하는 컨텍스트'를 훈련 내 감독 신호로 활용하는 Flux-OPD를 제안했다.
    • reverse KL 분해를 통해 학생이 기하평균 교사로 증류됨을 보이고, 충돌 항(conflict term)을 정의했다.
    • 컨텍스트 보정 전략: 불안정한 컨텍스트 교사를 직접 타겟으로 안 쓰고, 안정적인 기준 교사에 차이 신호만 주입한다.
    • 충돌 항을 가중치 지표로 써서, 컨텍스트 간 일치할 땐 강하게, 충돌할 땐 약하게 교정한다.
    • HealthBench 19.63→20.61, VBench(1.3B) 81.48→82.26 달성. 3회 독립 실행에서 일관된 우위 확인.
    초록PDF
  14. 782LLMs / NLParXiv:2607.27652

    Harness-G: A Graph-Structured Harness for Search Agents

    RL 검색 에이전트의 검색 인터페이스를 그래프 기반 유한 액션으로 재설계. 검색 동등성 붕괴 문제 해결.

    이 논문은 한마디로 검색 에이전트가 자꾸 비슷한 검색만 반복하는 문제를 찾아내고, 검색 방식 자체를 바꿔서 해결했다. 기존 Search-R1 같은 에이전트는 자연어 쿼리를 막 만드는데, 실제로 가져오는 정보는 점점 같아진다(retrieval-equivalence collapse). Harness-G는 문서를 그래프로 구성하고, 에이전트가 '이 문장을 증거로 채택' 또는 '이 엔티티를 조회' 같은 유한한 액션만 선택하게 만든다. 6개 QA 벤치마크에서 Graph-R1 대비 1.5B 모델 +10.74점, 3B 모델 +3.98점 향상됐다.

    • '검색 동등성 붕괴(retrieval-equivalence collapse)' 현상을 발견했다. 훈련이 진행될수록 다른 쿼리가 같은 정보만 가져오게 된다.
    • 자유 형식 쿼리 생성을 그래프 기반 유한 액션 선택(Select/Lookup/Answer)으로 대체했다.
    • Structured Non-myopic Credit(SNC)으로 같은 상태의 대안 액션들과 비교해서 크레딧을 할당한다.
    • Graph-R1 대비 F1 평균 +10.74점(1.5B), +3.98점(3B). 6개 QA 벤치마크에서 최고 성능.
    • 그래프 구축 비용 $0(프로그램 방식)으로, LLM 기반 그래프 구축($2.81~$4.14)보다 훨씬 저렴하다.
    초록PDF
  15. 781AI / GeneralarXiv:2607.28336

    Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners

    멀티모달 증류에서 '인식' vs '추론' 실패를 구분하는 PCD 방법. 8B→2B, 32B→8B에서 기존 대비 +2.78~4.28%p 향상.

    이 논문은 한마디로 큰 비전-언어 모델을 작은 모델로 압축(증류)할 때, 답이 틀린 원인이 '이미지를 잘못 봐서'인지 '추론을 잘못해서'인지 구분하는 방법을 제안했다. 기존에는 그냥 통째로 틀렸다고만 학습시켰는데, PCD(Perception-Correction Distillation)는 두 가지 신호(하위 실패율 + 교사-학생 불일치)를 곱해서 '정말 인식이 문제인 경우'만 집중 교정한다. 8개 벤치마크에서 8B→2B 이동 시 44.50→47.28, 32B→8B 이동 시 56.94→61.22로 향상됐다. NeurIPS 2026 게재.

    • 멀티모달 증류에서 '인식 실패'와 '추론 실패'를 분리하는 크레딧 할당 문제를 정식화했다.
    • 하위 실패율(1-PSR)과 교사-학생 불일치(KL)를 곱하는 soft AND 게이트로, 두 신호가 모두 있을 때만 교정 강도를 높인다.
    • 인식과 추론 롤아웃을 분리(separated rollout)해서 인식 구간만 증류, 추론 구간은 RL로 그대로 둔다.
    • 32B→8B 이동 시 8개 벤치마크 평균 56.94→61.22(+4.28점), 8B→2B 시 44.50→47.28(+2.78점).
    • PCD 가중치 제거 시 2.22점 하락, 분리 롤아웃 제거 시 0.88점 하락(어블레이션 검증).
    초록PDF
  16. 780Machine LearningarXiv:2607.27372

    Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

    생성 모델의 훈련 루프를 분해하는 '탐색적 모델링' 제안. 파라미터·데이터에 이은 제3의 스케일링 축을 열었다.

    이 논문은 한마디로 생성 모델(이미지·비디오·언어)의 훈련 방식을 근본적으로 바꾸는 새 패러다임을 제안했다. 기존에는 생성 과정을 여러 스텝으로 쪼개서 훈련했는데, 이 논문은 대신 훈련 루프 자체를 분해한다. 각 훈련 스텝마다 K개의 후보 매칭을 탐색하고 가장 좋은 것으로 학습한다(Explorative Modeling). 결과적으로 FLOP 효율 4.1배, 샘플 효율 6.2배 향상, ImageNet에서 guidance 없이 FID 1.43 달성, 그리고 디퓨전 모델과 비슷한 성능을 16~256배 적은 추론 스텝으로 달성했다. 파라미터와 데이터 외에 '탐색'이 새로운 스케일링 축으로 자리잡을 수 있다는 게 핵심이다.

    • 생성 모델 훈련에서 '탐색(exploration)'이라는 제3의 스케일링 축을 발견했다. 파라미터·데이터에 더해 탐색량을 키울수록 성능이 올라간다.
    • FLOP 효율 4.1배, 샘플 효율 6.2배, 파라미터 효율 47% 향상. 데이터가 클수록 효과도 커져서 7%→36%까지 상승한다.
    • ImageNet 256×256에서 guidance 없이 FID 1.43으로 준최고성능(SOTA 근접)을 달성했다.
    • 엔드투엔드 생성 모델(추론이 훈련과 동일)이 가능해져, 디퓨전 대비 16~256배 적은 스텝으로 비슷한 성능을 낸다.
    • 탐색량이 컬수록 일반화(generalization)도 함께 향상되는 현상을 관찰했다.
    초록PDF
  17. 779AI / GeneralarXiv:2607.28227

    Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

    알리바바 Qwen팀의 실제 기기 작동 GUI 에이전트. 모바일·데스크톱·웹을 통합하고 CLI를 결합했다.

    이 논은 한마디로 모바일·데스크톱·웹·검색 환경을 하나로 통합하고, GUI 조작과 CLI 실행을 섞어 쓰는 실전형 GUI 에이전트라는 이야기다. 100대 이상의 실제 스마트폰에서 학습하고, 100턴 이상의 긴 작업을 online RL로 학습한다. 모바일 벤치마크에서 82.1%(MobileWorld), 92.2%(MobileWorld-Real), 컴퓨터 사용 79.5%(OSWorld-Verified)를 달성하여 Opus 4.8, GPT-5.6 Sol과 경쟁한다. 알림 기반 자발적 서비스와 크로스 플랫폼 워크플로우도 지원한다.

    • 100대 이상 실제 스마트폰, 150개 이상 앱으로 구성된 실기기 모바일 환경에서 학습 및 평가한다.
    • GUI + CLI 혼합 액션 공간으로 한 턴에 여러 액션을 배치 처리(40% 이상이 배치 액션).
    • 100턴 이상 장기 작업을 위한 online RL, 10,000개 동시 환경으로 롤아웃 가속.
    • 모바일 82.1%(MobileWorld), 컴퓨터 79.5%(OSWorld-Verified), 브라우저 73.6%(WebArena).
    • 알림 기반 자발적 서비스 시작, 모바일-PC 크로스 플랫폼 워크플로우를 지원한다.
    초록PDF
  18. 778Computer VisionarXiv:2607.28627

    ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

    VLM에서 학습 가능한 단일 토큰으로 관련 시각 정보를 검색하는 경량 방법. 이미지→비디오 제로샷 전이.

    이 논문은 한마디로 비전-언어 모델에 학습 가능한 토큰 하나를 추가해서, 긴 비디오나 많은 이미지 중 질문과 관련된 부분만 찾아내게 한다는 이야기다. 기존 VLM의 어텐션 점수로는 관련 프레임을 찾기 어렵다는 문제를 발견하고, '값 공간'에서 검색하면 훨씬 정확하다는 통찰을 제시했다. Visual Haystacks에서 Qwen3VL-8B에 +13.4점, LVBench에서 제로샷 +8.0점 향상을 달성했다. 학습과 추론이 H100 한 장에서 가능하다.

    • VLM의 어텐션(쿼리-키) 점수는 시각 정보 검색에 부적합함을 발견했다. 평균 recall@1 단 5.1%.
    • 학습 가능한 단일 토큰(ReToken)을 추가하여 '값 공간'에서 관련 프레임을 명시적으로 검색한다.
    • Visual Haystacks에서 Qwen3VL-8B +13.4점, InternVL3.5 +12.4점 (상대적 20% 이상 향상).
    • 이미지 QA로만 학습했어도 긴 비디오에 제로샷 전이되어 LVBench +8.0점 향상.
    • H100 1장으로 학습+추론 가능한 경량 설계. 검색 단계 추가 지연은 약 0.4초.
    초록PDF
  19. 777Computer VisionarXiv:2607.27380

    VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

    실행 가능한 Blender 코드를 사고 과정으로 사용해서 물리적으로 일관된 비디오를 생성하는 프레임워크.

    이 논문은 한마디로 비디오 생성시 코드 에이전트가 Blender(3D 시뮬레이터) 프로그램을 작성하고 실행해서 물리적으로 정확한 초안 비디오를 만든 뒤, 비디오 편집 모델이 이를 사실적으로 렌더링하게 했다는 이야기다. 텍스트만으로 물리 과정을 추론하는 대신, 실행 가능한 코드로 장면과 시간 진화를 명시한다. PhyGenBench에서 0.475→0.558, VBench-2.0에서 52.18→77.88로 큰 향상을 보였다.

    • 실행 가능한 코드(Blender)를 '과정 수준의 사고 과정'으로 사용하여 물리적 일관성을 확보했다.
    • 코드 에이전트가 장면을 프로그래밍하고 시뮬레이터로 초안 비디오를 렌더링한 뒤, 비디오 편집기가 사실적으로 합성한다.
    • VideoCoCo-3K 데이터셋(초안-지시-타겟 쌍)을 구축하여 편집기 적응 학습에 활용했다.
    • PhyGenBench 0.475→0.558(최고), VBench-2.0 52.18%→77.88%(최고)로 물리 일관성 대폭 향상.
    • 튜닝 없이도 초안만으로 0.475→0.506 향상, LoRA 튜닝으로 0.558까지 올라간다. 단계별 기여가 분리됨.
    초록PDF
  20. 776Computer VisionarXiv:2607.28625

    ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine

    실제 가정 환경에서 다양한 센서로 일상 행동을 촬영한 150시간 데이터셋. 로봇 학습의 데이터 병목 해결.

    이 논문은 한마디로 실제 집에서 인간의 일상을 다각도 카메라·모션·촉각 센서로 동기화 촬영한 대규모 데이터셋이라는 이야기다. 테이블 규모(정밀 손 조작)와 방 규모(전신 움직임) 두 설정으로 150시간, 17M 프레임, 75,000 에피소드를 수집했다. 50명 참가자가 200개 작업을 자연스럽게 수행했다. 기존 데이터셋이 모달리티·시점·공간 스케일을 분리했다면, ACE-Data-0은 모든 신호를 동기화했다.

    • 실제 가정 환경을 녹화 스튜디오로 변환하는 ACE 시스템을 구축했다. 테이블 규모와 방 규모 두 설정.
    • 150시간, 17M 프레임, 75,000 에피소드, 50명 참가자, 200개 작업 카테고리의 대규모 데이터셋이다.
    • 에고센틱+다각도 익소센틱 비디오, 전신·손 모션, 6-DoF 객체 궤적, 오디오, 촉각을 밀리초 단위로 동기화했다.
    • 제로샷 모션 전이(시뮬레이션→실제)를 지원하고, 30개 이상 기존 방법의 한계를 벤치마크로 드러냈다.
    • 모방 학습, 월드 모델, VLA 시스템의 훈련 기반으로 활용 가능하다.
    초록PDF
  21. 775Computer VisionarXiv:2607.28611

    Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers

    텍스트·이미지·비디오를 하나의 스트림으로 처리하는 하이브리드 확산 트랜스포머. 7.3배 연산 효율 향상.

    이 논문은 한마디로 고해상도 이미지와 긴 비디오를 효율적으로 생성하기 위해 어텐션 구조를 하이브리드로 설계한 새로운 비주얼 확산 모델이라는 이야기다. 선형 복잡도의 KDA 어텐션, 주기적 MLA 글로벌 어텐션, 모달리티 인식 단합성을 결합했고, MoE로 용량을 늘렸다. HeteroP라는 스케일링 방법으로 59M~19.3B까지 일관된 하이퍼파라미터를 유지하며 Chinchilla 스케일링 법칙을 도출했다. 11B 모델이 2B 활성 파라미터로 7.3배 연산 효율을 달성했다.

    • KDA(선형 복잯도) + MLA(글로벌 어텐션) + 단합성(국소 패턴)을 결합한 하이브리드 확산 백본을 설계했다.
    • 위치 임베딩 없이 래스터 순서만으로 텍스트·이미지·비디오를 단일 스트림으로 처리한다.
    • HeteroP: 텐서별 기능적 팬인을 기반으로 스케일 간 하이퍼파라미터를 자동 전송한다.
    • 11B 총 파라미터(2B 활성)로 기존 Wan-2.1(2B) 대비 7.3배 연산 효율을 달성했다. 학습은 약 600 H100일 소요.
    • 5초 클립으로 학습하고 30초 비디오를 제로샷으로 생성(길이 외삽), FID 6.5% 저하만으로 6배 확장했다.
    초록PDF
  22. 774LLMs / NLParXiv:2607.26760

    Metis: Memory Foundation Model

    메모리를 외부 모듈이 아닌 모델 내부에 내재화한 최초의 메모리 파운데이션 모델. 순방향 계산만으로 기억을 저장·활용한다.

    이 논문은 한마디로 AI 모델의 가중치 자체에 메모리 기능을 넣어서, 외부 데이터베이스 없이도 과거 정보를 저장하고 활용할 수 있게 만들었다는 이야기다. 기존 RAG 방식은 외부 검색-주입 구조로 병목이 있었는데, Metis는 모델 내부에 '네이티브 메모리 상태'를 만들어 순방향 계산만으로 기억을 갱신한다. 대규모 메모리 특화 훈련 데이터로 미드트레이닝하여, 128K 컨텍스트에서도 일정한 크기의 메모리 상태를 유지하며 Full Context 대비 최대 2.67배 빠르다.

    • 외부 RAG에 의존하지 않고 모델 가중치 내에 '네이티브 메모리 상태'를 구현한 최초의 프로토타입이다.
    • 메모리 저장/망각/갱신이 모델 순방향 계산만으로 자동 수행된다. 그래디언트 프리 업데이트가 가능하다.
    • Fast Weight Programming에서 영감을 받은 하이퍼 메모리 블록과 로컬 메모리 블록 구조를 도입했다.
    • 128K 컨텍스트에서 Full Context 대비 2.4~2.67배 빠르고, 세션당 저장공간은 67배 작다(16.79MB vs 1118MB).
    • 한계: 장기 작업에서 정보 압축 손실이 있고, 일부 경우 의미 혼동이 발생한다.
    초록PDF
  23. 773ResearcharXiv:2607.27197

    The Maxwell Conjecture is False

    150년 된 맥스웰의 전기장 임계점 추측을 5개 점전하 반례로 반증한 수학 논문. GPT-5.6이 아이디어를 제안했다.

    이 논문은 한마디로 맥스웰이 1873년에 제안한 'n개 점전하의 전기장 임계점은 최대 (n-1)^2개다'라는 추측을 5개 전하로 구성된 반례를 통해 반증했다는 이야기다. 정삼각형 꼭짓점에 3개의 단위 전하를 배치하고, 중심축에 2개의 작은 전하를 추가하면 중심 임계점이 21개로 분기되어 총 24개의 비퇴화 임계점이 생긴다. 흥미롭게도 핵심 아이디어는 GPT-5.6 Sol이 제안했고, 저자들이 수학적으로 검증했다.

    • Maxwell의 1873년 추측(n개 점전하의 임계점 ≤ (n-1)^2)을 5개 전하 반례로 반증했다.
    • 정삼각형 + 2개 축 전하 구성으로 중심 임계점이 21개로 분기되어 총 24개의 비퇴화 임계점이 생긴다.
    • 반복 적용하면 3+2m개 전하로 4+20m개 이상의 임계점을 만들 수 있다 (점전하당 10개 비율).
    • 아이디어는 GPT-5.6 Sol이 제안했고, 저자들이 Mathematica/Maple로 검증 후 수학적 증명을 작성했다.
    • 이전 최고 기록인 25/7(약 3.57) 대비 임계점/전하 비율 10으로 대폭 개선했다.
    초록PDF
  24. 772Computer VisionarXiv:2607.28624

    PhiZero: A World Model Built Around Physical Language

    자연어가 아닌 '물리 언어'라는 압축 표현을 학습해서 물리적 세계를 시뮬레이션하는 월드 모델.

    이 논문은 한마디로 비디오에서 '물리 언어'라는 압축된 기호 표현을 자발적으로 학습하고, 이를 통해 세계가 어떻게 변하는지 추론한 뒤 영상으로 렌더링하는 월드 모델이라는 이야기다. 기존 월드 모델이 픽셀 공간에서 직접 영상을 예측해서 물리적 일관성이 떨어지는 문제가 있었다. PhiZero는 추론-후-렌더링 방식으로 물리적 변화를 명시적으로 예측한다. 영상 생성 및 이해 벤치마크에서 물리적 일관성이 크게 향상되었고, 로봇 모션 전이까지 보여준다.

    • 자연영상에서 '물리 언어'라는 이산 압축 표현을 자기지도학습으로 발견했다. 픽셀이 아닌 상태 변화 패턴을 기호화한다.
    • 추론-후-렌더링 구조로 물리적 진화를 명시적으로 예측한 뒤 확산 모델로 영상을 합성한다.
    • 비디오 생성 및 물리 이해 벤치마크에서 기존 월드 모델 대비 물리적 일관성이 크게 향상되었다.
    • 인간 모션을 휴머노이드 로봇이나 로봇 손으로 전이하는 제로샷 동작 전이 기능을 보여주었다.
    • 물리 법칙이나 시뮬레이터 없이 순수하게 비디오 데이터만으로 물리적 상식을 학습했다.
    초록PDF
  25. 771Computer VisionarXiv:2607.28595

    Beacon: Knowing When and How to Perform Agentic Visual Reasoning

    비주얼 추론에서 도구를 언제 쓸지, 쓸 때 진짜 도움이 되는지를 학습하는 모델. 기존의 무조건적 도구 사용을 교정한다.

    이 논문은 한마디로 멀티모달 AI가 시각적 추론을 할 때 도구(코드 실행 등)를 '적절할 때만' 쓰도록 훈련시켰다는 이야기다. 기존 모델들은 쉬운 문제에서도 도구를 남용하여 오히려 성능이 떨어지는 문제가 있었다. Beacon은 '필요성 인지 보상'과 '힌트 유도 학습'으로 도구 사용 적응성과 효과를 모두 개선했다. 13개 벤치마크에서 최고 평균 성능을 달성했다.

    • 도구 사용의 두 가지 문제를 정의했다: Mode Adaptiveness(언제 도구가 필요한지 아는 것)와 Tool Effect(도구가 진짜 도움이 되는지).
    • 기존 모델들은 어려운 문제에서 얻는 이득이 쉬운 문제에서 생기는 오차로 상쇄되어, 도구 사용 효과가 거의 없었다.
    • 필요성 인지 적응 보상(NAAR)으로 불필요한 도구 호출은 줄이고, 힌트 유도 학습(HCE)으로 어려운 문제의 도구 사용 능력을 강화했다.
    • 13개 벤치마크 평균 58.98%로 최고 성능, 기반 모델 대비 +6.07%p 향상, 도구 이득-해 gap +3.14%p로 최대다.
    • 약 40%의 전부 오답 그룹을 힌트 롤아웃으로 회수하여, 학습 신호를 효과적으로 재활용했다.
    초록PDF
  26. 770AI / GeneralarXiv:2607.28272

    MemHarness: Memory Is Reconstructed, Not Replayed

    에이전트의 기억을 '재생'이 아닌 '재구성'하는 프레임워크. 과거 경험을 현재 상황에 맞게 수정해서 쓴다.

    이 논문은 한마디로 AI 에이전트가 과거 경험을 그대로 재생하지 않고, 현재 상황에 맞게 다시 해석해서 쓰도록 만들었다는 이야기다. 인간의 기억이 단순한 '되감기'가 아니라 상황에 맞게 재구성되듯이, MemHarness는 검색된 기억을 비판적으로 평가하고 현재 상황에 맞게 재작성한다. ALFWorld와 WebShop에서 기존 방법들을 크게 앞섰고, 특히 새로운 환경(OOD)에서 강한 성능을 보였다.

    • 인간 기억의 '재구성' 원리를 AI 에이전트에 적용했다. 과거 경험을 현재 상황에 맞게 비판하고 수정한다.
    • GRPO라는 강화학습으로 기억 재구성 능력을 자연스럽게 학습하게 했다. 추가 인력 라벨링이 필요 없다.
    • ALFWorld에서 85.2%, WebShop에서 75.6%로 순수 RL 및 정적 기억 방식을 모두 능가했다.
    • 기억 재구성 모듈을 빼면 성능이 74.6%로 떨어져, 재구성 자체가 핵심 기여 요소임을 확인했다.
    • 훈련 시 기억 재구성을 배우면, 추론 시 기억이 없어도 기본 추론 능력이 향상되는 '잠재 가이드' 효과를 발견했다.
    초록PDF
  27. 769AI / GeneralarXiv:2607.27191

    Can AI agents conduct open-ended AI research? Early evidence from two case studies

    AI 에이전트가 개방형 AI 연구를 수행할 수 있는지 검증한 논문. 6일간의 실험 결과, 엔지니어링은 가능했지만 연구 판단력과 창의성이 크게 부족했다.

    이 논문은 한마디로 최첨단 AI 에이전트에게 미공표 논문의 연구 질문을 주고 6일 동안 자율 연구를 시켜본 결과, 코딩은 잘하지만 연구자로서의 판단력과 창의성이 크게 부족했다는 이야기다. 프린스턴 등 여러 기관이 협업하여 '그림자 평가(shadow evaluation)'라는 새로운 방법을 제안했다. 두 편의 NeurIPS 제출 논문에 대해 원저자가 채점한 결과, 두 편 모두 명확한 거절(2/6, 1/6)을 받았다. 다섯 가지 핵심 실패 패턴을 식별했다.

    • '그림자 평가'라는 새 방법을 제안했다. 미공표 논문의 연구 질문을 AI에게 주고, 원저자가 채점하는 방식이다.
    • Opus 4.8과 GPT-5.6 Sol 두 모델 모두에서 비슷한 실패 패턴이 재현되었다.
    • 에이전트는 엔지니어링(코딩, 실험 실행)은 잘했지만, 연구 설계의 판단력과 창의성이 크게 부족했다.
    • 핵심 실패 5가지: 연구 수준 기준 부족, 막다른 길에서의 후퇴 실패, 자원 인식 부족, 피드백에 대한 비창의적 대응, 지시 이탈.
    • API 예산의 절반도 쓰지 않으면서 시간이 남았고, AI 자기 리뷰에서는 한 번도 '통과'를 주지 않았다.
    초록PDF
  28. 768LLMs / NLParXiv:2607.28568

    Frontis-MA1: Training an AI4AI Model towards Recursive Self-Improvement in Machine Learning Engineering

    AI가 AI를 개선하는 과정(재귀적 자기개선)을 머신러닝 엔지니어링에서 실현한 모델. 35B 크기로 GPT-5.5를 넘어서는 성능을 보였다.

    이 논문은 한마디로 AI 스스로가 머신러닝 코드를 작성하고 실험을 반복해서 성능을 높이는 '메타 진화 에이전트'를 만들었다는 이야기다. 핵심은 초안 작성, 개선, 디버깇, 교차(유전)라는 네 가지 기본 동작을 학습시키고, 이를 긴 시간 진화 탐색에 활용하는 것이다. MLE-Bench Lite에서 기존 39.4%에서 71.2%로 크게 향상되었으며, GPT-5.5+Codex를 넘어 Kimi K3 수준에 근접했다. 모델 가중치와 전체 시스템을 오픈소스로 공개했다.

    • AI4AI(AI로 AI 개선)를 위해 OpenMLE라는 전체 스택 시스템을 구축하고 5,758개의 실행 가능한 작업 환경을 만들었다.
    • 초안 작성·개선·디버깇·교차 네 가지 진화 연산자를 RL로 학습시켜 메타 진화 에이전트 Frontis-MA1-35B를 훈련했다.
    • MLE-Bench Lite에서 메달 평균 39.4%에서 71.2%로 향상했고, GPT-5.5+Codex(68.2%)를 능가했다.
    • 별도 벤치마크 NatureBench Lite에서도 전이 학습 효과가 확인되어, 단순 벤치마크 암기가 아님을 증명했다.
    • 모델 가중치, 작업 환경, 훈련 코드를 모두 공개하여 재귀적 자기개선 연구의 재현 가능한 기반을 제공했다.
    초록PDF
  29. 767LLMs / NLParXiv:2607.25852

    AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding

    작업 유형에 따라 MTP와 블록 디퓨전 드래프터를 특화해 1.98-2.40배 추론 가속을 달성한 스페큘레이티브 디코딩 프레임워크.

    이 논문은 한마디로 LLM 추론을 빠르게 하는 스페큘레이티브 디코딩에서 '작업 유형별로 다른 드래프터를 쓰면 더 빠르다'는 것을 보인 연구다. 채팅은 짧은 예측이 효율적이고(MTP), 코드/수학은 긴 블록 예측이 유리하다(블록 디퓨전). AngelSpec은 두 방식을 각각 특화 학습시키고, DFly라는 개선된 블록 디퓨전 구조를 제안한다. Hy3-A21B에서 자기회귀 대비 1.98~2.40배 가속을 달성했다.

    • 실제 서비스 환경에서 작업 유형(채팅 vs 코드/수학)에 따라 최적의 드래프터가 다름을 실험적으로 입증했다.
    • DFly: 하이브리드 타겟 조건화 백본 + 전임자 조건 자기회귀 헤드로 블록 디퓨전의 품질을 높였다.
    • D-cut: 검증을 배치 수준 공유 자원으로 취급해, 부하에 따라 검증 깊이를 적응적으로 조절했다.
    • Hy3-A21B에서 평균 수용 길이 약 30% 증가, 동시성 4~64에서 최고 처리량 달성했다.
    • 자기회귀 대비 1.98~2.40배, DFlash 대비 10.5~11.8% 높은 처리량을 기록했다.
    초록PDF
  30. 766RoboticsarXiv:2607.26991

    RL$^2$-VLA: Adaptive RL Latent Compositional Steering with Test-Time Scaling for Vision-Language-Action Models

    VLA가 실패할 것 같을 때만 RL 기반 행동 다양화를 적용해, OOD 작업에서 +17.3% 성공률 향상을 달성한 적응형 스티어링.

    이 논문은 한마디로 로봇 정책(VLA)이 잘 못할 것 같을 때만 개입해서 다양한 행동을 시도하게 만드는 방법이다. 핵심 통찰은: 잘하고 있을 때 건드리면 오히려 망가지고, 못하고 있을 때 다양성을 주면 회복된다는 것이다. RL²는 가벼운 RL 정책을 VLA의 잠재 표현 위에 얹어, 실패가 예측될 때만 행동 분포를 넓힌다. OOD 작업에서 최대 +17.3% 향상, 실제 로봇에서도 +17.5% 향상을 달성했다.

    • VLA 잠재 표현 위에서 학습된 가벼운 RL 정책으로 구성적 스티어링(compositional steering)을 적용했다.
    • 성공 상태와 실패 상태에서 각각 다른 스케일링 법칙을 발견했다: 실패 때만 개입하는 것이 최적이다.
    • SAFE 실패 감지기를 통합해, 실패 예측 시에만 RL 스티어링을 활성화하는 적응형 메커니즘을 구축했다.
    • SIMPLER/PolaRiS 벤치마크 OOD 설정에서 최대 +17.3% 성공률 향상을 달성했다.
    • 실제 PiperX 로봇 실험에서도 +17.5% 향상으로 시뮬레이션 결과가 실제로 이전됨을 확인했다.
    초록PDF
  31. 765Computer VisionarXiv:2607.27110

    FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

    주파수 도메인 자기 닻줄 기법으로 5초 학습 모델을 2분 영상까지 안정적으로 확장하는 비디오 생성 프레임워크.

    이 논문은 한마디로 짧은 비디오(5초)만 학습한 모델을 추가 학습 없이 2분까지 안정적으로 늘리는 방법이다. 자기회귀 비디오 생성에서 오류가 누적되는 현상을 주파수 도메인에서 분석했더니, 저주파(색상·구조) 에너지가 흘러가는 것이 원인이었다. FreqForcing은 초기 고품질 프레임의 저주파를 닻(anchor)으로 써서 드리프트를 잡고, 고주파(움직임·디테일)는 최신 프레임에서 가져와 다이나믹스를 보존한다.

    • 자기회귀 비디오 생성의 오류 누적을 주파수 도메인에서 분석해 저주파 에너지 드리프트가 원인임을 밝혔다.
    • Spectral Self-Anchoring(SSA)로 초기 프레임의 저주파 + 최신 프레임의 고주파를 융합해 안정성과 다이나믹스를 동시에 확보했다.
    • 추가 학습 없이 5초 학습 모델을 2분(24배 확장)까지 안정적으로 생성할 수 있다.
    • VBench-Long 메트릭에서 기존 training-free 방법들을 능가하고, training-based 방법과도 경쟁력 있는 성능을 보였다.
    • 추론 속도는 Self-Forcing 대비 약 16.5%만 증가하는 가벼운 오버헤드다.
    초록PDF
  32. 764Computer VisionarXiv:2607.27194

    VidMap: Exploiting Temporal Structure for Video-Based Structure-from-Motion

    비디오에서 카메라 자세와 보정을 정확히 복원하기 위해 SLAM과 SfM의 장점을 결합한 시스템.

    이 논문은 한마디로 비디오에서 카메라의 위치와 렌즈 정보를 정확하게 복원하는 시스템이다. 기존 SLAM은 실시간이지만 누적 오차에 취약했고, SfM은 전역 최적화가 가능하지만 시간 순서 정보를 무시했다. VidMap은 SLAM의 순차적 추적과 SfM의 전역 최적화를 결합하고, 단안 깊이 prior를 추가해 극단적 모션에도 견딘다. 기존 모든 방법을 큰 차이로 능가했다.

    • SLAM의 순차적 추적과 SfM의 전역 최적화를 결합해 양쪽 한계를 극복했다.
    • 시간 순서를 1순위 정보로 활용해 시각적 대칭(visual aliasing) 오류를 방지했다.
    • 단안 깊이 prior를 전역 최적화에 추가해 축척 드리프트와 퇴화 구성을 해결했다.
    • 극단적 모션이 포함된 도전적 데이터셋에서 기존 SLAM·SfM·학습 기반 방법 모두를 큰 차이로 능가했다.
    초록PDF
  33. 763AgentsarXiv:2607.26598

    Living-Harness Is an Interactive-Agent Evolver

    실패 경험을 harness의 메모리와 상태 그래프에 저장해, 같은 실수를 반복하지 않는 자가 진화 에이전트 프레임워크.

    이 논문은 한마디로 에이전트가 실패한 뒤 '다음엔 이렇게 하자'는 교훈을 단순히 기억하는 게 아니라, 실행 가능한 수리(repair) 절차로 바꿔서 저장하는 시스템이다. Living-Harness는 에피소드가 끝나면 평가 신호를 바탕으로 무엇이 잘못됐는지 분석하고, 이를 에피소드 메모리와 상태 그래프에 구조화된 수리 정보로 기록한다. 다음 작업에서 이를 검색해 재사용한다. τ²-Bench에서 평균 +10%p, MultiWOZ에서 +9.9%p 향상을 달성했다.

    • 에이전트 실패를 일회성 교훈이 아닌 '실행 가능한 절차적 수리(procedural repair)'로 변환해 영구 저장했다.
    • 에피소드 메모리(트리거 조건·실패 패턴·복구 행동)와 상태 그래프(상태 노드·수리 엣지·전이 규칙) 두 축으로 지식을 축적했다.
    • Evolution-SOP라는 도메인 수준 가이드로 무엇을 어떻게 수정할지 구조화했다.
    • τ²-Bench에서 평균 +10.07p, MultiWOZ-2.4에서 +9.91p 향상을 달성했다.
    • GPT-5.2로 진화시킨 harness 상태를 Gemini 3 Pro, GLM-5, Qwen3-max 등 다른 모델에 검색만으로 전달해도 성능이 올랐다.
    초록PDF
  34. 762RoboticsarXiv:2607.26055

    $π\mathbf{R}^2$: Reactive Real-time Flow Policies

    로봇 정책의 비전은 느리게, 고유감은 빠르게 비동기 처리해 25Hz 실시간 반응형 조작을 가능하게 한 프레임워크.

    이 논문은 한마디로 로봇 정책에서 빠른 감각(관절 위치·힘)과 느린 감각(시각·언어)을 분리해, 실시간 반응이 가능하게 만든 방법이다. 기존 VLA는 비전 처리가 느어서 로봇이 반응하지 못하고 엉뚱한 행동을 했다. πR²는 고유감(proprioception)은 매 순간 갱신하고 비전은 비동기로 처리해, 25Hz로 매 40ms마다 새 행동을 생성한다. 실제 로봇에서 최대 30% 성능 향상을 달성했다.

    • 관절 상태(빠른 채널)와 시각-언어(느린 채널)를 비동기로 분리해, 비전 지연을 기다리지 않고 실시간 반응했다.
    • 지연 적응형 노이즈 스케줄로 하드웨어 지연에 관계없이 부드러운 행동을 보장했다.
    • GR00T-N1.7 기반 실제 로봇(xArm6+XHand)에서 기존 대비 약 4배 빠른 25Hz 재계산을 달성했다.
    • 접촉이 많은 실제 작업(책 정리, 박스 삽입, 낙하물 잡기)에서 최대 30% 성공률 향상을 보였다.
    • 기존 VLA 아키텍처를 최소한으로 수정하면 적용 가능해 실용성이 높다.
    초록PDF
  35. 761Machine LearningarXiv:2607.26246

    Weak-to-Strong On-Policy Distillation

    더 약한 모델들로부터 강한 학생 모델을 개선하는 온폴리시 증류 프레임워크로, 교사 모델을 능가하는 성능 달성.

    이 논문은 한마디로 '약한 모델들이 강한 모델을 가르칠 수 있다'는 것을 보인 연구다. 기존 지식 증류는 더 크고 강한 교사에서 학생으로 지식을 전달했지만, 이 연구는 반대로 약한 모델 쌍의 차이(logit 차이)에서 '능력 방향'을 추출해 강한 학생에 주입한다. 수학·코딩 벤치마크에서 기존 온폴리시 증류를 뛰어넘었고, 심지어 약한 교사 모델 자체도 넘어섰다.

    • 약한 모델 쌍(양성/음성)의 logit 차이에서 능력 방향을 분리해 강한 학생에게 더하는 새로운 증류 방식을 제안했다.
    • 세 가지 구성을 제안: RL 전후 모델 쌍, 크기 다른 기본 모델 쌍, 정답/오답 힌트 쌍.
    • 수학 4개·코딩 3개 벤치마크에서 기존 OPD 대비 수학 +11.4%, 코딩 +12.0% 상대 향상을 달성했다.
    • 약한 모델에서만 배웠음에도 실제 약한 교사 모델 자체를 능가하는 결과를 보였다.
    • RL 대비 모델은 '추론 뼈대'를, 크기 대비 모델은 '풀이 절차'를 강화하는 보완적 신호를 제공함을 발견했다.
    초록PDF
  36. 760ResearcharXiv:2607.27011

    Qwen-Audio-3.0-Gen-Preview Technical Report

    음성, 음악, 효과음, 환경음을 하나의 모델에서 통합 생성하는 오디오 생성 모델.

    이 논문은 한마디로 말·음악·효과음·환경음을 하나의 모델에서 통합해서 만들어내는 오디오 생성 시스템이다. 기존은 각 소리 종류별로 별도 모델이 필요했지만, Qwen-Audio-3.0-Gen은 확산 트랜스포머(DiT)와 공유 VAE로 한 번에 혼합 오디오를 생성한다. 음악 학습 데이터의 10%만 써도 전용 모델과 비슷한 성능을 내고, 화자 유사도와 시간 정렬에서 강점을 보였다.

    • 비자기회귀(NAR) 구조로 음성·음악·효과음·혼합을 단일 생성 경로로 통합했다.
    • 48kHz 스테레오를 25Hz 잠재 표현으로 압축하는 공유 VAE를 설계했다.
    • 음악 데이터를 기존 전용 모델의 약 10%만 사용하면서도 SongBench 7개 항목 중 3개에서 리드했다.
    • Seed-TTS-Eval에서 화자 유사도가 가장 높았고, 다화자 일관성도 Seed-Audio-1.0보다 뛰어났다.
    초록PDF
  37. 759Computer VisionarXiv:2607.27180

    HumanCLAW: Can Vision-Language Models Act Through a Body?

    VLM이 물리적 몸을 통해 행동할 수 있는지 평가하는 벤치마크로, 최고 모델도 16.8% 성공률에 그친 것을 발견.

    이 논문은 한마디로 '시각-언어 모델(VLM)에게 인간의 몸을 주면 얼마나 잘 행동할 수 있을까?'를 정량적으로 평가한 것이다. HumanCLAW는 VLM의 의사결정을 저수준 모터 제어와 분리해, 실패 원인이 모델의 판단 오류인지 구별할 수 있게 설계했다. 9개 최고 성능 VLM을 테스트한 결과, 최고 모델도 16.8% 성공률에 그쳤다. 핵심 병목은 인식이 아니라 '자기 몸 상태 파악(embodied self-awareness)' 부족이었다.

    • VLM의 행동 의사결정과 모터 제어를 분리해 순수하게 판단 능력만 평가하는 프레임워크를 만들었다.
    • 1,218개의 에고센트릭 탐색-상호작용 에피소드, 41개 실내 씬으로 구성된 HumanCLAW-Bench를 구축했다.
    • 9개 최첨단 VLM 중 최고 모델도 16.8% 성공률에 그쳤다.
    • 실패의 핵심 원인은 인식이 아니라 '내 몸이 어디 있는지, 도착했는지, 부딪혔는지'를 모르는 자기 인식 부족이었다.
    • 현재 VLM은 세상을 '묘사'할 뿐, 자신이 통제하는 몸을 '느끼지' 못한다는 결론을 도출했다.
    초록PDF
  38. 758ResearcharXiv:2607.27199

    Settling the Optimal Exponent Relating Sumsets and Difference Sets

    AI 연구 에이전트(Hyra)의 도움으로 가산집합과 차집합 사이의 최적 지수가 2임을 증명한 수학 논문.

    이 논문은 한마디로 유한 집합에서 '더하기 집합'과 '빼기 집합'의 크기 관계를 나타내는 최적 지수가 2라는 것을 증명한 수학 논문이다. 50년 이상 미해결이던 문제를 명시적 집합 구조를 구성해 해결했다. AI 연구 에이전트(Hyra, Hy3 모델 기반)가 탐색과 최적화를 보조했고, 인간이 증명을 검증했다.

    • 가산집합과 차집합 사이의 최적 보편 지수가 정확히 2임을 최초로 증명했다.
    • AI 에이전트(Hyra)가 24시간 자율 탐색으로 핵심 구조를 발견하고, 인간이 수학적으로 엄밀히 검증했다.
    • Lean 4 형식 증명도 제공해 기계 검증 가능성을 확보했다.
    • base-12 숫자 기법, 3상태 캐리 오토마톤, 중국인 나머지 정리를 결합한 정교한 구성이 핵심이다.
    초록PDF
  39. 757Computer VisionarXiv:2607.27205

    TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

    LLM을 배제하고 비전+언어를 직접 연결해, 0.2B 파라미터로 32Hz 실시간 로봇 제어를 구현한 효율적인 VLA 모델.

    이 논문은 한마디로 로봇 제어에서 거대 언어 모델(LLM) 의존을 빼고도 충분히 잘 작동하는 초경량 VLA 모델을 만들었다는 것이다. 기존 VLA는 비전 정보를 LLM이 처리한 뒤 행동을 만드는 구조(→L→A)라서 느리고 무거웠다. TurboVLA는 비전과 언어를 각각 따로 인코딩한 뒤 가벼운 교차 어텐션(서로의 정보를 섞는 연산)으로 직접 연결해 행동을 생성한다. 결과적으로 0.2B 파라미터, 31ms 지연, 1GB 미만 VRAM으로 LIBERO 벤치마크 97.7% 성공률을 달성했다.

    • LLM 중심 구조를 제거하고 비전-언어 직접 결합(V+L→A) 방식을 제안했다.
    • 0.2B 파라미터로 π0.5(약 3.4B) 대비 6% 크기이면서도 LIBERO 성공률 97.7%로 동등 이상의 성능을 보였다.
    • 소비자용 RTX 4090에서 32Hz(31.2ms) 추론 속도와 1GB 미만 VRAM을 달성해 엣지 디바이스 배포가 가능하다.
    • 실제 로봇(AgileX Piper) 4개 작업에서 π0.5를 일관되게 뛰어넘는 성능을 보였다.
    • 언어 제거 시 성공률이 70.8%로 떨어져, 실행 수준에서도 언어 조건화가 여전히 중요함을 입증했다.
    초록PDF
  40. 756RoboticsarXiv:2607.25918

    DC-WAM: Dynamic-Centric Visual Supervision and Reasoning for World-Action Models

    이 논문은 로봇 세계-행동 모델(WAM)에서 비디오 예측을 '외관 재구성'에서 '상호작용 중심 역학'으로 바꾸면 로봇 정책 성능과 분포 외(OOD) 강건성이 크게 올라간다는 것을 보여준 연구다.

    이 논문은 한마디로 로봇 WAM의 비디오 예측 브랜치를 '보이는 대로 재구성'에서 '무엇이 변하는가'로 초점을 바꿔서 로봇 조작 성능을 높였다. 핵심은 시간 차분(temporal-difference) 감독으로 정적인 외관 성분을 억제하고, 트래커 유도 가중치로 로봇 그리퍼·객체·접촉부 움직임에 집중하는 것이다. DynaRoute라는 어텐션 바이어스 모듈이 동적 관련 토큰에 집중하게 한다. LIBERO-Plus에서 60.9%로 기준선 대비 +7.1~+9.4%p 향상, 실제 로봇에서 조명/배경 변화 시에도 강건함을 보였다.

    • RGB 비디오평 시각적 감독을 외관 재구성에서 상호작중심 역학으로 재분배했다 — PSNR은 낮아지지만 정책 성능은 올라간다.
    • 시간 차분 흐름 매칭 + 트래커 가이드 가중치로 정적인 배경/질감이 아닌 로봇-객체 접촉 움직임에 집중한다.
    • DynaRoute 어텐션 바이어스가 동적 관련 토큰을 예측하고 시각 어텐션을 그쪽으로 유도한다.
    • LIBERO-Plus(OOD)에서 60.9%로 FastWAM 대비 +9.4%p 향상, ID-OOD 성능 격차도 46.1→37.2로 축소했다.
    • 실제 로봇 양팔 작업에서 조명 변화 시 최대 30%p 향상을 달성했다.
    초록PDF
  41. 755Computer VisionarXiv:2607.25537

    Visual prompt engineering for video models

    이 논문은 비디오 모델에게 '시각적 프롬프트 엔지니어링'(입력 이미지를 더 현실적으로 변환)을 하면 추론 성능이 크게 올라간다는 것을 발견한 Google DeepMind의 연구다.

    이 논문은 한마디로 비디오 모델의 입력 이미지를 더 사실적으로 바꾸면 추론 성능이 크게 올라간다는 것을 보여준다. 텍스트 프롬프트 엔지니어링이 LLM에 효과적이듯, 시각 프롬프트 엔지니어링(VIPE)이 비디오 모델에 효과적이다. 스케치를 사진처럼 바꾸니 Wan2.2, Veo 3.1, Omni Flash 모두 크게 향상되었다. 특히 텍스트 프롬프트 최적화나 self-consistency보다 더 효과적일 때가 많았다. 핵심 발견은 비디오 모델이 '현실주의 편향(realism bias)'을 가진다는 것 — 사실적인 장면에서 훨씬 더 잘 추론한다.

    • 비디오 모델에 대한 시각적 프롬프트 엔지니어링(VIPE)을 체계적으로 제안하고 검증했다.
    • Veo 3.1이 스케치→사실적 변환 후 물리 추론 정확도가 41.3%→59.3%로 18%p 급증했다.
    • 현실주의 편향 발견: 비디오 모델은 사실적 장면에서 훨씬 더 잘 추론한다. 추상적 벤치마크는 모델 능력을 과소평가한다.
    • VIPE가 텍스트 프롬프트 최적화나 self-consistency 같은 test-time scaling보다 더 효과적인 경우가 많다.
    • 단계적 실험에서 현실성이 한 단계씩 올라갈 때마다 장면 일관성이 함께 개선되는 것을 확인했다.
    초록PDF
  42. 754Computer VisionarXiv:2607.25389

    HOME: Robust Hough-space Matching Method for Structured and Textureless Videos

    이 논문은 직선이 많은 구조적 환경(복도, 기둥 등)에서 기존 특징점 매칭이 실패할 때, 허프 공간에서 1차원 매칭으로 빠르고 정확하게 영상 정합을 하는 방법(HOME)을 제안한 연구다.

    이 논문은 한마디로 로봇 시각 전단에서 직선 구조가 많은 환경의 영상 정합 문제를 허프 변환(Hough transform) 공간에서 푸는 초경량 방법을 제안했다. 이미지를 허프 공간으로 변환하면 직선 구조가 안정적인 극값(extrema)이 되고, 이를 키포인트로 사용한다. 1차원 방사형 기술자(descriptor)를 써서 회전/이동 불변성을 수학적으로 보장한다. 학습 불필요(training-free)이면서 ORB보다 약간 느리지만(16.5ms vs 10.5ms) 직선/무질감 환경에서는 압도적으로 정확하다.

    • 허프 공간의 극값을 키포인트로 사용해 직선 구조에서 안정적인 특징점 검출을 달성했다.
    • 1차원 방사형 기술자가 회전/이동 불변성을 수학적으로 보장해서 별도 방향 추정이 불필요하다.
    • 학습 불필요(training-free)이면서 LSD/LBD 기반 선분 매칭보다 모든 지표에서 우수했다.
    • 총 16.5ms로 실시간 처리 가능하며, 허프 변환이 대부분의 시간(7.7ms)을 차지하지만 GPU 가속으로 개선 가능하다.
    • 질감이 거의 없는 이미지(α=0.95)에서도 400개 이상의 인라이어 매칭을 찾아내는 강건성을 보였다.
    초록PDF
  43. 753Computer VisionarXiv:2607.26004

    Parallel Decoding Distillation for Fast Image and Video Generation

    이 논문은 비디오/이미지 생성 모델의 속도를 크게 높이면서도 다양성은 유지하는 간단한 증류 방법(PDD)을 제안한 NVIDIA의 연구다.

    이 논문은 한마디로 확산/플로우 모델을 몇 단계만에 생성할 수 있게 하는 간단하고 확장 가능한 증류 방법을 제안했다. 핵심은 한 번의 네트워크 계산으로 여러 디노이징 스텝을 병렬로 예측하는 '병렬 디코더'를 훈련시키는 것이다. 기존 방식(VSD, 적대 손실)은 모드 붕괴로 비디오 다양성이 떨어지지만, PDD는 단순 회귀 목적만으로 다양성을 유지한다. Wan2.1 14B, Qwen-Image 20B, LTX-2.3 22B 등 대규모 모델에서 SOTA 성능을 달성했다.

    • 한 번의 순전파로 여러 디노이징 스텝을 병렬 예측하는 '병렬 디코더'를 훈련시켜 생성 속도를 높였다.
    • VSD나 GAN 손실 없이 단순 회귀 목적만 사용해서 모드 붕괴(다양성 상실) 문제를 해결했다.
    • Wan2.1 14B 텍스트-투-비디오에서 VBench 1위, 다양성 지표에서도 기준선 대비 우수했다.
    • Qwen-Image 20B에서 4-8 NFE만으로 SOTA 점수를 달성했다.
    • LTX-2.3 22B 모델에서 720p 10초 비디오+오디오를 8 NFE만에 생성 가능하다.
    초록PDF
  44. 752Computer VisionarXiv:2607.24904

    Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

    이 논문은 비디오 코덱 기술을 활용해 토큰 수를 75% 줄이면서도 기존 VLM과 동등하거나 더 좋은 성능을 내는 스트리밍 멀티모달 모델(Mage-VL)을 만든 연구다.

    이 논문은 한마디로 비디오 압축 기술(H.265 코덱)을 비전 토크나이저에 직접 통합해서, 실시간 비디오 이해가 가능한 4B 파라미터 모델을 만들었다. 핵심 혁신은 움직이는 영역만 선택적으로 토큰화하는 Mage-ViT로, 정적 배경은 버리고 동적 패치만 남겨 토큰을 75% 이상 줄인다. 560M 라벨 없는 이미지 + 1억 비디오 프레임으로 처음부터 훈련했는데, 수십억 쌍을 쓴 기존 인코더와 동등한 성능을 보였다. 이중 시스템(빠른 감지 + 심층 추론) 아키텍처로 Qwen3-VL-4B와 정적 작업에서 동등, 비디오/공간 추론에서는 더 우수한 결과를 냈다.

    • 코덱 네이티브 토크나이저(Mage-ViT)가 동적 패치만 선택 인코딩해서 시각 토큰을 75% 이상 절감한다.
    • 560M 라벨 없는 이미지만으로 처음부터 훈련해 수십억 이미지-텍스트 쌍을 쓴 SigLIP2와 동등한 성능을 달성했다 (사전학습 데이터 효율성).
    • 이중 시스템: System 1 이벤트 게이트(빠른 반응) + System 2 인과 디코더(심층 추론)로 실시간 스트리밍 이해를 지원한다.
    • 4B 파라미터로 Qwen3-VL-4B와 정적 작업 동등, 비디오 이해와 2D/3D 공간 추론에서는 15B Phi-4 모델까지 능가한다.
    • 최대 3.5배 추론 속도 향상을 달성했고 7가지 핵심 경험적 발견을 보고했다.
    초록PDF
  45. 751RoboticsarXiv:2607.26056

    INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models

    이 논문은 세계 모델이 행동을 검색할 필요 없이, '의도(intent)'만 주면 바로 행동을 내보내는 구조(INTACT)를 제안한 연구다.

    이 논문은 한마디로 세계 모델에서 '원하는 변화'를 입력하면 비싼 탐색 없이 바로 행동을 생성하는 구조를 만들었다. 핵심은 물리적 후속 상태(행동 후 변화)와 배포용 목표 의도(원하는 변화)를 하나의 공유 조건부 연산자로 처리하는 것이다. 두 조건을 억지로 같게 만들지 않고, 행동 법칙 차원에서 정렬한다. LeWM 4개 작업에서 검색 없이 85.78%~100% 성공률을 달성했고, 선택적 탐색(CSM)을 쓰면 96.86%까지 올라가면서도 샘플링은 23.44배 적게 쓴다.

    • JEPA(예측 아키텍처)에 '의도→행동' 인터페이스를 통합해서 검색 없이도 직접 행동을 생성할 수 있다.
    • 물리적 후속 상태와 목표 의도를 하나의 공유 예측기로 처리하되, 엔드포인트 그래디언트를 비대칭으로 설계했다.
    • 검색 없이(Direct mode) LeWM 4작업에서 85.78%~100% 성공률, 추론 시간 2.9~5.5ms.
    • 선택적 CEM 탐색으로 96.86% 매크로 성공률을 달성하면서도 순수 CEM 대비 23.44배 적은 샘플링을 사용했다.
    • 하나의 인코더로 4개 작업을 공동 훈련해 89.39% Direct 매크로 성공률을 달성했다.
    초록PDF
  46. 750LLMs / NLParXiv:2607.26057

    Pass the Baton: Trajectory-Relayed On-Policy Distillation

    이 논문은 학생 모델이 추론 중 잘못된 방향으로 가면 교사 모델이 잠깐 대신 생성하다가 다시 학생에게 넘기는 '바통 터치' 증류 방법을 제안한 연구다.

    이 논문은 한마디로 온폴리시 증류(OPD)에서 학생이 추론을 잘못 시작할 때 교사가 잠깐 개입해 방향을 잡아주는 '릴레이' 방법을 제안했다. 핵심은 교사와 학생의 행동 차이가 큰 지점(핸드오프 트리거)을 라벨 없이 감지해서, 교사가 짧게 대신 생성한 뒤 학생이 이어서 하도록 하는 것이다. Qwen3 모델로 8개 수학 벤치마크에서 테스트해 표준 OPD 대비 +5.73%, 최강 기준선 대비 +1.49% 향상을 달성했다. 훈련 궤적 길이도 50% 이상 줄었다.

    • 교사-학생 간 '방향 전환 비대칭성'을 발견했다 — 교사는 반성하고 방향을 바꾸지만, 학생은 그냥 직진한다.
    • 교사 토큰이 전체의 0.35%만 있어도 정확도가 +7.23%p 오르는 것을 실험으로 확인했다.
    • 릴레이 예산으로 교사 개입 횟수와 길이를 제한해서 학생 정책에서 너무 멀어지지 않게 했다.
    • 평균 훈련 궤적 길이를 50% 이상 단축(4658→2296 토큰)하면서도 정확도는 더 높았다.
    • 단일 회귀 목적 함수로 VSD/GAN 손실 없이 안정적 훈련이 가능하다.
    초록PDF
  47. 749Computer VisionarXiv:2607.25948

    MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

    이 논문은 하나의 디코더-only 모델로 텍스트, 이미지, 깊이, 세그먼테이션 등 15가지 모달리티를 서로 변환할 수 있는 통합 모델(MODUS)을 만든 연구다.

    이 논문은 한마디로 '하나의 디코더로 어떤 모달리티든 다른 모달리티로 변환할 수 있다'는 any-to-any 모델을 제안했다. 기존 방식은 모달리티마다 별도 헤드나 손실 함수가 필요했지만, MODUS는 모든 모달리티를 대칭적으로 처리해서 모달리티별 구성요소 없이 작동한다. 2900만 샘플로 사전학습된 BAGEL 모델을 확장했고, 균일 타임스텝 샘플링과 단계적 커리큘럼으로 안정적 훈련을 달성했다. 전문가 모델들과 경쟁하는 성능을 보였고, 체인드 생성(연쇄 변환)과 교차 모달 자기 검증도 지원한다.

    • 모달리티별 헤드, 손실 함수, 태스크 파이프라인 없이 하나의 디코더로 15개 모달리티를 처리하는 최초의 모델이다.
    • 기존 any-to-any 모델과 달리 대규모 사전학습 디코더(BAGEL)를 활용해서 훈련 비용을 크게 줄였다.
    • 균일 타임스텝 샘플링(uniform timestep sampling)으로 모달리티 혼동을 방지하고 안정적 훈련을 달성했다.
    • 체인드 생성(중간 모달리티를 거쳐 변환)과 교차 모달 자기 검증(다른 모달리티로 자기 출력 검사)을 자연스럽게 지원한다.
    • 2900만 샘플의 MODUS-DATASET과 2개 체크포인트를 오픈소스로 공개했다.
    초록PDF
  48. 748RoboticsarXiv:2607.25895

    HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone

    이 논문은 로봇 원격조종 데이터 없이, 고해상도 UMI 핸드헬드 데이터만으로 로봇 정책을 훈련해 실제 로봇에 배포할 수 있다는 것을 증명한 연구다.

    이 논문은 한마디로 'UMI(휴대용 그리퍼) 데이터의 정확도를 극한으로 끌어올리면, 로봇 원격조종 데이터 없이도 배포 가능한 로봇 정책을 만들 수 있다'는 것을 보여준다. HiFi-UMI는 헤드 마운트 스테레오 SLAM, 하드웨어 동기화 트리거, 초광각 6카메라로 3mm 궤적 정확도를 달성했다. 3개 백본(VLA/WAM)에서 원격조종 기준선과 -2.5~+3.1%p 차이로 동등한 성능을 보였고, 4000시간 사전학습으로 10개 미지원 작업에서 41% 행동 오차 감소를 달성했다. 2000시간 데이터셋을 공개했다.

    • 3mm 궤적 정확도, 마이크로초 동기화, ~200도 시야각으로 기존 UMI의 충실도 한계를 극복했다.
    • 제로-로봇 포스트트레이닝: HiFi-UMI 데이터만으로 훈련해 실제 로봇에 직접 배포 가능하다 (3개 백본 모두에서 검증).
    • 가장 강한 정책은 정밀 삽입 작업에서 85% 성공률을 달성했다 — 해당 작업에 HiFi-UMI 궤적 데이터가 전혀 없음에도.
    • 4000시간 사전학습으로 미지원 작업 10개에서 행동 오차 41% 감소, 한 백본에서는 추가로 18.1%p 성공률 향상.
    • 2000시간 마이크로초 동기화된 고품질 데이터셋(HiFi-UMI-2K)을 오픈소스로 공개했다.
    초록PDF
  49. 747ResearcharXiv:2607.24136

    How to read Mathematics? A study guide

    수학 교과서/논문을 어떻게 읽어야 하는지 알려주는 실용적 가이드이다. AI가 아닌 인간 학생을 대상으로 한 수학 학습법 에세이다.

    이 논문은 한마디로 수학 텍스트를 읽는 체계적 방법론을 제시하는 학습 가이드다. 5단계로 구성된다: (1) 빠르게 훑어보기, (2) 정의와 정리 이해하기, (3) 증명 파고들기, (4) 연습 문제 풀기, (5) 전체 그림 다시 조립하기. 각 단계마다 스스로에게 던져야 할 정확한 질문들을 제시한다. AI 사용에 대해서는 도움이 될 수 있지만 사고력을 잃을 수 있으니 주의하라며 신중한 태도를 권한다.

    • 수학 읽기는 '페이지/시간'이 아니라 '시간/페이지'로 측정해야 한다 — 천천히, 아주 천천히 읽어라.
    • 정의를 읽을 때 반드시 예시와 반례를 만들어봐야 한다 — 정의 없는 예시도, 예시 없는 정의도 안 된다.
    • 증명을 읽을 때는 먼저 대략 훑고, 한 줄씩 따라가고, 핵심 아이디어를 요약하는 3단계로 접근하라.
    • 연습 문제는 가능한 한 빨리 보고, 문제 자체를 하나의 수학 텍스트처럼 읽어라.
    • AI(LLM)에 너무 의존하면 뇌 연결성이 약해진다는 EEG 연구 결과를 인용하며 주의를 촉구했다.
    초록PDF
  50. 746Software EngineeringarXiv:2607.25886

    RSIBench-Data: Benchmarking Data-Centric Research for Recursive Self-Improvement

    이 논문은 LLM 에이전트가 '데이터 중심 연구자' 역할을 얼마나 잘하는지 측정하는 벤치마크(RSIBench-Data)를 만들고, 4개 최고 수준 에이전트를 테스트한 연구다.

    이 논문은 한마디로 AI 에이전트가 스스로 모델 약점을 진단하고 훈련 데이터 전략을 개선할 수 있는지 평가하는 벤치마크를 제안했다. 핵심 발견은 에이전트가 58% 상황에서 피드백을 통해 성능을 개선하지만, 78%는 피드백을 받고도 오히려 성능이 떨어진다는 것이다. 즉 '발견 능력'은 있지만 '안정적 개선'은 아직 못 한다는 뜻이다. 강한 에이전트의 공통 패턴은 정확한 가설, 검증 기반 지도, 행동 정렬 데이터, 강한 체크포인트 보존이었다.

    • 훈련/평가/서빙 인프라를 모두 고정하고 순수하게 '데이터 연구 능력'만 분리해서 측정한 최초의 벤치마크다.
    • 4개 최고 수준 에이전트(Codex, Claude Code 등) 중 어느 것도 일관되게 우세하지 못했다 — 비-SWE는 Codex가, SWE 3종은 각기 다른 에이전트가 이겼다.
    • 피드백을 받은 후 최고점을 찍고도 78%는 마지막 시도에서 점수가 하락했다 (발견-신뢰성 갭).
    • 추리 노력(max effort)을 높이면 더 강한 후보를 더 일찍 찾지만, 탐색 횟수는 줄어드는 깊이-너비 트레이드오프를 발견했다.
    • 같은 모델 계열(kimi-k2.6)로 자기 개선(RSI) 실험을 했지만, 8%→21%로 향상되에도 불구하고 원본 33%에는 미치지 못했다.
    초록PDF