HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 895Computer VisionarXiv:2608.13556

    V-RAE: Rethinking Video Latent Spaces for Generation

    영상 생성용 잠재 공간을 '화질 복원'이 아니라 '의미 보존'으로 다시 설계하면 생성 품질과 학습 속도가 함께 좋아진다는 논문.

    이 논문은 한마디로 영상 생성 모델이 쓰는 압축 공간(잠재 공간)은 화질 복원이 아니라 의미를 얼마나 담느냐가 중요하다는 걸 보여준다. 저자들은 학습이 멈춰 있는(얼어 있는) 시각 기반 모델의 특징 위에 가벼운 시간 압축 모듈을 얹어 V-RAE를 만들었다. 결과는 복원 품질도 최상위(K600 rFVD 2.13)인데, 생성 품질은 더 좋아지고 학습 수렴은 최대 6배 빨라졌다. 또한 복원 점수가 좋다고 생성에 좋은 공간은 아니라는 걸 보여주는 새 진단 지표 tFVD를 제안했다.

    • 영상 잠재 공간을 화소 복원용으로 학습하는 대신, 얼어 있는 시각 기반 모델의 의미 있는 특징 공간 위에 구축했다.
    • K600 복원에서 rFVD 2.13으로 평가 대상 대형 영상 VAE를 모두 앞질렀고, 잠재 공간의 의미 정보 보존도 훨씬 좋았다(UCF101 분류 89.13% vs VAE 최고 30.83%).
    • 같은 학습 조건에서 생성 품질(gFVD)도 앞서고 수렴은 최대 6배 빨랐다.
    • 복원 점수(rFVD)와 생성 품질의 순위가 크게 달라진다는 걸 보여주고, 생성 적합성을 더 잘 반영하는 tFVD 지표를 제안했다.
    • Cityscapes 미래 영상 예측에서도 Wan 2.2 VAE 잠재 공간보다 나은 결과를 냈다(gFVD 111.36 vs 144.47).
    초록PDF
  2. 894Computer VisionarXiv:2608.13489

    DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation

    로봇이 명령한 대로 움직이는지까지 검증하는 액션 조건부 비디오 월드모델이다. WorldArena 2.0 트랙 1에서 1위.

    이 논문은 한마디로 로봇의 행동(액션)을 입력하면 그 결과 장면이 어떻게 변할지 영상으로 예측하는 월드모델이다. 그냥 영상이 그럴듯한 게 아니라 명령한 팔 경로를 정확히 따르도록 3D 공간 좌표(SE(3))를 어텐션(데이터에서 중요한 부분에 집중하는 기법)에 직접 주입했다. 여기에 깊이 정보와 물체 추적 마스크를 덧대어 잡은 물체가 사라지는 실수를 막았다. 그 결과 WorldArena 2.0 챌린지 트랙 1에서 1위, 트랙 2에서 공동 2위를 기록했다.

    • 로봇 양팔의 3D 이동 경로를 어텐션에 기하학적으로 주입해서, 영상은 그럴듯한데 잘못된 팔을 움직이는 문제를 막았다.
    • 깊이 예측 브랜치와 SAM3 마스크(물체 영역을 분리해주는 기법)로, 집은 물체가 영상 도중 사라지거나 뒤바뀌는 실수를 줄였다.
    • 여러 단계로 생성하던 모델을 몇 단계로 압축하는 증류(큰 모델의 지식을 작은 모델에 옮기는 기법)로 빠른 배포를 가능하게 했다.
    • WorldArena 2.0 트랙 1에서 31팀 중 1위(EWMScore-P 60.65), 트랙 2에서 공동 2위(67.19%)를 기록했다.
    • WorldArena 1.0 오프라인 평가에서 76.88점으로 기존 최고 기록(73.64)보다 3.24점 높았다.
    초록PDF
  3. 893LLMs / NLParXiv:2608.12149

    Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

    이 논문은 혼합 선형 어텐션 LLM에서 매우 큰 내부 활성값이 완전 어텐션 층의 위치에 맞춰 두 가지 반복 패턴을 만든다는 점을 분석했다.

    이 논문은 한마디로 선형 어텐션과 완전 어텐션을 섞은 언어 모델에서 신경망 내부 계산값이 매우 커지는 위치를 추적했다. 완전 어텐션 직전에는 값이 크게 튀었고, 그 사이 선형 어텐션 층에서는 높은 값이 고원처럼 이어졌다. 완전 어텐션 층이 많아질수록 두 패턴은 이어져 일반 트랜스포머의 안정적인 큰 활성값 형태에 가까워졌다. 저자들은 큰 값이 반대 부호의 업데이트로 사라지는 시점 차이가 두 패턴을 만든다고 해석한다.

    • 첫 번째 패턴은 완전 어텐션 층 바로 앞에서 값이 크게 튀는 현상이다. 두 번째 패턴은 그 값이 다음 스파이크 사이의 여러 선형 어텐션 층에서 높게 유지되는 현상이다.
    • 선형 어텐션 구조 5종, 혼합 비율 6종, 입력 분야 5종과 12억부터 3,970억 매개변수의 공개 모델에서 같은 패턴을 확인했다.
    • 통제된 3억 4,000만과 13억 매개변수 모델의 12대1 혼합 설정에서, 완전 어텐션 직전과 스파이크 위치의 일치율은 전체 평균 99.4%에서 100%였다.
    • 3억 4,000만 매개변수 통제 모델에서는 두 패턴이 첫 측정 시점인 학습 10억 토큰 뒤부터 보였다. 완전 어텐션 출력 게이트는 값의 크기를 줄였지만 층별 위치 패턴은 없애지 못했다.
    • 저자들은 빠른 상쇄가 스파이크를, 늦은 상쇄가 고원을 만든다고 설명하지만 상쇄 시점의 원인과 실제 계산 역할은 후속 과제로 남겼다.
    초록PDF
  4. 892RoboticsarXiv:2608.10232

    FACT: Failure-Aware Causal Training for World-Action Models

    이 논문은 로봇의 실패 행동을 버리지 않고 그 결과를 학습해, 잘못된 행동 뒤의 미래를 예측하고 필요하면 더 나은 행동 후보를 고를 수 있게 한 FACT를 제안했다.

    이 논문은 한마디로 로봇이 성공 사례뿐 아니라 실패의 결과에서도 배우게 만든다. 월드 액션 모델은 로봇 행동과 그 뒤의 미래를 함께 예측하는 모델이다. FACT는 먼저 행동을 만들고, 실제로 실행한 행동을 조건으로 미래 영상과 과제 진행도를 예측한다. 실패 궤적에서는 잘못된 행동을 따라 하는 학습은 끄고, 실제로 관찰된 실패 미래와 실패가 시작된 뒤 낮춘 과제 진행도 값을 학습시킨다. 이렇게 학습한 진행도 예측값은 여러 행동 후보 중 더 나은 것을 고르는 데도 쓸 수 있다.

    • 행동을 먼저 만든 뒤 그 행동을 조건으로 미래 영상과 진행도를 예측하며, 실패 행동은 모방하지 않고 결과 예측에만 사용한다.
    • RoboTwin 50개 과제에서 평균 성공률은 영상 공동 학습 없이 81.8%, 영상 공동 학습 시 85.6%, 실패 자료까지 넣었을 때 87.5%였다.
    • 실제 양팔 로봇에서 학습 때 본 과제는 82%에서 89%, 처음 보는 변형 과제는 67%에서 77%로 올랐다.
    • 실패 사례의 영상 예측 PSNR은 19.51에서 25.92로 올랐고, 성공 사례는 26.12와 26.08로 거의 같아 정상 예측은 유지됐다.
    • 행동 후보 4개를 진행도로 평가하면 본 과제 92%, 새 변형 과제 82%였지만 후보 평가를 위한 추가 계산이 필요하다.
    초록PDF
  5. 891Machine LearningarXiv:2608.11612

    Dion3: Full-Stack Orthogonal Updates

    이 논문은 Muon 옵티마이저의 직교화 계산과 분산 통신을 함께 줄여, 모델 품질을 유지하면서 옵티마이저 단계를 최대 6배 빠르게 만든 Dion3를 제안했다.

    이 논문은 한마디로 대규모 언어 모델 학습에서 Muon 옵티마이저의 느린 직교화 계산을 줄이는 방법을 제안한다. 직교화는 가중치 업데이트 방향을 고르게 만드는 계산이다. Dion3는 큰 직사각형 행렬 대신 더 작은 대칭 행렬에서 계산하고, 대칭성을 활용하는 GPU 커널과 여러 행렬을 한 번에 통신하는 방식을 결합한다. 또 매 단계에서 일부 행만 골라 직교화해 비용을 더 줄였다. 여러 모델 크기에서 Muon 계열의 손실을 유지하거나 낮추면서 옵티마이저 단계 시간을 단축했다.

    • Gram Newton-Schulz는 기존 방법을 수학적으로 같은 형태로 다시 쓰고, 큰 직사각형 행렬 대신 작은 대칭 행렬에서 반복 계산해 연산량을 줄인다.
    • 대칭성을 활용하는 GPU 커널과 같은 모양의 행렬을 묶어 통신하는 방식을 추가했다. 10억 매개변수 모델의 8분할 설정에서는 묶음 통신만 바꿔 옵티마이저 단계 시간을 80.7밀리초에서 52.1밀리초로 줄였다.
    • 매 단계에서 모멘텀 행렬의 일부 행만 골라 직교화해 계산과 통신을 줄였고, 이전 압축 방식인 Dion보다 속도와 손실이 모두 좋아졌다.
    • 30억부터 140억 모델을 100억 토큰으로 학습한 실험에서 모두 검증 손실이 낮았고, 140억 모델은 NorMuon보다 손실이 0.027 낮고 평균 정확도는 0.7%포인트 높았다.
    • 최대 6배 향상은 전체 학습이 아니라 옵티마이저 단계 기준이며, 저자 분석에서 이 단계가 전체 학습 시간에서 차지하는 비중은 설정에 따라 약 1%부터 17%였다.
    초록PDF
  6. 890Computer VisionarXiv:2608.12179

    Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs

    이 논문은 연속된 RGB 영상으로 복원한 3D 공간에서 물체 상자를 직접 예측해, 기존 단안 방식보다 CA-1M과 ScanNet200에서 높은 성능을 기록한 Map-Det3D를 제안했다.

    이 논문은 한마디로 깊이 센서 없이 여러 RGB 프레임만으로 실제 크기의 3D 물체 상자를 찾는 방법을 제안한다. 기존 방식처럼 화면에서 2D 물체를 먼저 찾고 깊이를 추정하지 않는다. 대신 MapAnything의 3D 복원 기능을 기하 정보 처리기로 사용하고, 짧은 시간 구간의 여러 영상을 합쳐 복원한 3D 공간에서 물체 상자를 직접 예측한다. CA-1M에서 기존 영상 기반 방법보다 높은 성능을 기록했고, 추가 학습 없이 ScanNet200에 적용한 시험에서도 가장 높은 점수를 냈다. 다만 실내 자료로만 학습했고, 물체 종류를 구분하지 않는 탐지에 한정된다.

    • 짧은 시간 구간의 RGB 프레임을 순서대로 처리하고, 3D 복원 모델이 예측한 크기 비율을 적용해 실제 단위의 물체 상자를 만든다.
    • 2D 탐지 결과를 3D로 바꾸는 단계를 없애고, 여러 시점의 영상에서 얻은 기하 정보를 합친 3D 공간에서 상자를 직접 예측한다.
    • CA-1M에서 한 프레임 기본 구성의 AP15는 11.7이었고 시간 정보와 카메라 정보, 학습 가능한 다중 화면 처리를 모두 사용하면 21.2로 올랐다.
    • 추가 학습 없이 적용한 ScanNet200에서 AP15 15.2를 기록해 기존 단안 방법의 최고값 11.7을 넘었다.
    • CA-1M에서는 기존 단안 및 다중 시점 영상 방법보다 높았지만, 실제 깊이 또는 3차원 점 자료를 쓰는 방법보다는 낮았다. 또한 실내 장면과 물체 종류를 구분하지 않는 탐지에 한정됐다.
    초록PDF
  7. 889ResearcharXiv:2608.11898

    On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin

    이 논문은 중국어 방언 인식률을 높이면서 표준 중국어 성능을 유지하기 위해, 학생 모델이 실제로 생성한 경로에서 고정된 교사 모델의 안내를 받는 음성 인식 학습법을 제안했다.

    이 논문은 한마디로 방언 음성 인식을 개선할 때 표준 중국어를 잊는 문제를 줄이는 방법을 제안한다. Qwen3-ASR-1.7B에 연속 사전 학습, 방언 지도 학습, 온폴리시 자가증류를 차례로 적용한다. 마지막 단계에서 학생 모델은 자신이 생성한 앞부분을 입력으로 쓰고, 고정된 교사 모델은 정답 문장을 추가로 참고해 다음 출력 후보의 확률을 알려준다. 이 방식은 학습 때 정답 앞부분만 보던 모델이 실제 사용 때 자기 출력에 의존해야 하는 차이를 줄인다.

    • 전체 학습 자료는 표준 중국어와 방언 약 10만 시간이며, 마지막 자가증류에는 오류율이 높은 방언 음성 약 5,000시간을 사용했다.
    • 학생은 자신이 생성한 앞부분을 입력으로 쓰고, 교사는 정답 문장을 추가로 참고해 다음 출력 후보마다 확률을 제공한다. 실제 배포할 때는 학생 모델만 사용한다.
    • 평가는 표준 중국어 공개 자료 8개, 방언 공개 자료 5개와 내부 방언 자료 18개에서 진행됐다.
    • 기본 모델과 비교해 평균 문자 오류율은 표준 중국어 3.46%에서 3.27%, 공개 방언 15.37%에서 12.79%, 내부 방언 21.01%에서 12.42%로 줄었다.
    • 같은 자료로 일반 지도 학습을 계속하면 표준 중국어 오류율이 4.43%로 높아졌지만 자가증류는 3.27%였고, 전체 평균 오류율도 10.74%보다 낮은 10.12%였다.
    초록PDF
  8. 888Machine LearningarXiv:2608.11859

    Small-Scale Experiments: Are We There Yet?

    이 논문은 작은 모델에서도 스케일링 법칙을 관찰할 수 있지만, 모델이 작을수록 좋은 학습 설정을 찾기 위해 훨씬 넓게 탐색해야 한다는 점을 보였다.

    이 논문은 한마디로 작은 모델의 실험 결과가 큰 모델로 잘 이어지지 않는 주된 원인이 모델 크기보다 학습 설정이라고 설명한다. 학습률처럼 학습 전에 정하는 값을 하이퍼파라미터라고 한다. 저자들은 약 400만 개부터 2억 6,800만 개 매개변수까지 실험했고, 작은 모델에서는 수백 가지 설정을 확인해야 정확한 스케일링 법칙이 나타남을 보였다. 모델이 커질수록 좋은 설정의 범위는 넓어졌지만, 작은 규모에서 너무 먼 크기를 예측하면 통계 오차가 커졌다.

    • 약 400만 개부터 2억 6,800만 개 매개변수까지 실험했다. 스케일링 법칙은 400만 개부터 3,400만 개 모델로 맞추고 더 큰 모델로 검증했다.
    • 크기별 설정을 4개나 16개만 시험하면 법칙이 보이지 않았고, 64개에서는 부정확했으며 256개에서 정확한 법칙을 얻었다.
    • 작은 모델은 학습 설정에 매우 민감했지만 모델이 커질수록 민감도가 낮아졌고, 최적점 부근에서 영향력이 큰 하이퍼파라미터 수는 1개 수준까지 줄었다.
    • 작은 규모에서 얻은 법칙은 약 10배 큰 모델까지는 잘 맞았지만, 더 먼 규모에서는 표본 오차가 크게 늘었다.
    • 이 방법으로 모델이 커질수록 사전 정규화가 더 유리하다는 대규모 결과를 재현했다. 다만 손실과 능력의 대응 관계는 사전 학습 자료의 구성을 같게 유지할 때만 적용된다고 밝혔다.
    초록PDF
  9. 887RoboticsarXiv:2608.11739

    G0.5: One Autoregressive Stream for Robot Reasoning and Action

    이 논문은 하나의 시각 언어 모델이 생각 과정과 로봇 동작을 같은 토큰 흐름으로 직접 생성하게 만든 로봇 제어 모델 G0.5를 제안했다.

    이 논문은 한마디로 시각 언어 모델을 로봇의 상황 해석기뿐 아니라 실제 행동 결정자로 사용하는 방법을 제안한다. G0.5는 별도의 동작 생성 모델을 붙이지 않고 하나의 트랜스포머가 추론 토큰과 동작 토큰을 차례로 출력한다. 서로 다른 로봇의 동작을 공통 토큰으로 바꾸는 압축기, 과제 분해와 물체 위치를 포함한 생각 과정, 몇 초 동안의 영상을 활용하는 시각 기억 장치를 결합했다. 모든 출력은 하나의 다음 토큰 예측 목표로 학습한다.

    • 추론과 동작이 같은 모델 가중치와 같은 토큰 흐름을 사용하며 별도의 동작 전문가 모델을 두지 않는다.
    • 실제 환경과 모의 환경의 로봇 14종을 학습하고, 서로 다른 동작 공간을 27차원 공통 공간과 하나의 토큰 사전으로 바꾼다.
    • 생각 과정에는 하위 과제, 물체 위치, 2D 이동 경로와 동작 힌트가 들어가며 시각 기억은 최근 몇 초의 영상을 활용한다.
    • 평균 성공률은 실제 로봇 76.7%, DROID의 새 환경과 물체 82.5%, LIBERO 98.9%, RoboTwin 2.0 93.3%, SimplerEnv-Bridge 87.3%였다.
    • BEHAVIOR 장기 과제 점수는 31.4%로 비교 모델의 26.3%보다 높았지만, 시각 기억은 몇 초로 제한되고 하체 동작은 별도로 평가하지 않았다.
    초록PDF
  10. 886Machine LearningarXiv:2608.12307

    AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses

    이 논문은 실험한 마음 이론 문제에서, 강한 모델이 실행 코드와 규칙을 포함한 하네스를 만들면 약한 모델의 가중치를 다시 학습하지 않고도 성능을 크게 높일 수 있음을 보였다.

    이 논문은 한마디로 강한 모델의 능력을 약한 모델에 옮길 때 재학습 대신 실행 환경을 개선하는 방법을 연구했다. 하네스는 프롬프트, 문제 분류 규칙, 계산 코드와 답변 형식 검사 등을 묶은 실행 절차다. 강한 제작 모델은 규칙과 호출 예시를 확인하고, 전체 평가 규모의 5%에 해당하는 별도 검증 표본으로 하네스를 반복해서 고친 뒤 완성된 하네스를 숨겨진 시험에 적용한다. 성능 향상의 주된 이유는 더 오래 생각하게 만든 것이 아니라 불안정한 계산을 코드와 규칙으로 옮긴 데 있었다.

    • 대상 모델의 가중치를 바꾸지 않고 프롬프트, 문제별 처리 규칙, 계산 코드와 답변 형식 검사를 조합한다.
    • 숨겨진 시험 문항은 마음 이론 문제 4종의 3,900개였고, 하네스 개선에는 별도의 검증 문항 195개가 제공됐다.
    • GPT-5.4-mini의 기본 평균 점수는 0.488이었고, 자동 생성 하네스를 적용한 전체 평균은 0.763, 최고 점수는 0.912였다.
    • 같은 입력이면 같은 결과를 내는 코드와 문제별 경로 선택, 엄격한 출력 형식이 긴 추론이나 추가 표본 생성보다 더 큰 효과를 냈다.
    • 약한 대상 모델에서 개선 폭이 컸지만 강한 대상 모델에서는 일부 성능 저하도 나타났으며, 실험 범위는 마음 이론 문제에 한정됐다.
    초록PDF
  11. 885Computer VisionarXiv:2608.12313

    AVA-Encoder: Towards Agent-Native Video Representation Learning

    이 논문은 완성된 영상을 에이전트가 읽고 고칠 수 있는 지식 그래프로 바꾸고, 영상 복원 오류를 이용해 표현 자체를 개선하는 AVA-Encoder를 제안했다.

    이 논문은 한마디로 영화 영상을 에이전트가 직접 검색하고 편집할 수 있는 구조로 바꾸는 방법을 제안한다. AVA-Encoder는 이야기를 사건과 장면으로 나누고, 인물, 배경, 물체, 카메라와 오디오 정보를 글과 자산으로 연결한 지식 그래프를 만든다. 이 그래프에서 영상을 다시 만든 뒤 원본과의 차이를 자연어 수정 지침으로 바꿔 공통 인코딩 정책과 영상별 그래프를 개선한다. 이 구조는 영상 재구성 평가뿐 아니라 장면 사이의 관계를 유지하는 편집에도 활용된다.

    • 이야기, 사건, 장면 계층 아래에 인물, 배경, 물체, 스타일, 카메라와 오디오 상태를 두고 관련 자산을 연결한다.
    • 복원 영상의 오류를 자연어 수정 지침으로 바꿔 공통 인코딩 정책과 영상별 지식 그래프를 두 단계로 개선한다.
    • 정책 개선에는 영상 6개를 사용했고, 평가는 겹치지 않는 영상 18개와 장면 129개, 핵심 화면 246개로 진행했다.
    • 종합 재구성 점수는 49.0%로 가장 강한 외부 비교 방법의 28.3%보다 20.7%포인트 높았다.
    • 정책만 비교했을 때 45.8%로 사람이 조정한 정책의 44.4%를 넘었고, 시스템 프롬프트는 31,336토큰에서 8,052토큰으로 줄었다.
    초록PDF
  12. 884Computer VisionarXiv:2608.12314

    StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

    이 논문은 영화와 게임 등의 사전 시각화를 한 번에 만든 영상이 아니라 계속 편집할 수 있는 3D 세계 상태로 다루는 StateFlow를 제안했다.

    이 논문은 한마디로 장면을 고칠 때마다 영상을 처음부터 다시 만들지 않고, 물체와 카메라 정보가 담긴 3D 세계를 계속 수정하는 방법을 제안한다. StateFlow는 정면 이미지와 위에서 본 이미지를 함께 사용해 초기 세계를 만들고, 사용자 요청이 들어오면 관련된 물체 상태만 바꾼다. 카메라 경로도 실제 렌더링 결과를 확인하면서 가림, 구도, 충돌 문제를 고친다. 다만 외부 생성 모델의 처리 속도에 의존해 아직 실시간으로 작동하지는 않는다.

    • 세계를 각 물체의 3D 모양, 위치와 자세, 의미 속성으로 구성된 편집 가능한 상태로 저장한다.
    • 정면 이미지는 물체 외형에, 위에서 본 이미지는 공간 배치에 활용하고 두 정보가 충돌하면 시각 언어 모델로 조정한다.
    • 장면 확장, 스타일 변경, 물체 이동과 자세 변경을 상태 일부의 수정이나 자산 교체로 처리해 전체 장면 재생성을 줄였다.
    • 카메라 경로를 먼저 제안한 뒤 렌더링 결과를 확인해 대상 가림, 나쁜 구도, 충돌 위험과 불안정한 움직임을 수정한다.
    • VBench 평균은 0.8484로 비교 방법 중 가장 높았고, 사용자 30명 평가에서 장면과 영상의 종합 점수는 모두 5점 만점에 4.5점이었다.
    초록PDF
  13. 883Machine LearningarXiv:2608.10703

    Your LLM, Your Style: Behavioral Mode Axes for LLM Behavioral Control

    이 논문은 LLM의 '성격'을 자기소개 설문이 아닌 실제 행동 데이터로 측정하고, 활성화 공간의 방향으로 행동 스타일을 제어하는 방법을 제안한다.

    이 논문은 한마디로 LLM의 성격을 설문지가 아닌 실제 선택과 행동으로 측정하고 제어하는 새로운 프레임워크를 제안한다. 기존 연구는 LLM에게 '너는 외향적이야?' 같은 설문을 했는데, 이는 질문 표현에 따라 결과가 크게 바뀌었다. 대신 3,200개의 구체적 행동 시나리오(예: '정리가 안 된 책상을 어떻게 할 것인가')를 만들어, 1인칭/조언/작업 실행 등 다양한 상황에서 행동을 관찰했다. 그리고 이 행동 패턴을 내부 활성화(뉴런 신호)의 방향으로 표현해(Behavioral Mode Axes), 이 방향을 조절하면 LLM의 행동 스타일을 정밀하게 바꿀 수 있음을 보였다.

    • 3,200개 행동 시나리오(20개 패턴 × 4개 상황)를 구성해 설문 기반 성격 측정의 한계를 극복했다.
    • LLM의 행동 스타일이 모델별로 안정적이면서도, 상황(1인칭 vs 조언 vs 작업)에 따라 의미 있게 변한다는 것을 발견했다.
    • 행동 모드 축(BMA)을 활성화 공간에서 추출해, 한 방향만 조절하면 행동 스타일을 정밀하게 제어할 수 있음을 7개 모델에서 입증했다.
    • 생각 과정에서 추출한 BMA가 응답에서 추출한 BMA보다 훨씬 정확한 제어를 제공했다 (trait drift 현상 발견).
    • 행동 제어가 효과적인 층(Behavioral Control Layer)이 모델 전체에 퍼져 있지 않고 특정 구간에 집중돼 있다는 것을 밝혔다.
    초록PDF
  14. 882RoboticsarXiv:2608.11204

    Surgical WAM: A World-Action Model for Data-Efficient Surgical Robot Learning

    이 논문은 수술 로봇이 동작 라벨이 없는 내시경 영상만으로 먼저 수술 장면의 변화를 학습한 뒤, 적은 양의 동작 데이터로도 정교한 수술 조작을 수행할 수 있게 하는 방법을 제안한다.

    이 논문은 한마디로 수술 로봇 학습의 데이터 부족 문제를, 동작 라벨이 없는 내시경 비디오만으로 해결하는 방법을 제시한다. Surgical WAM은 먼저 수술 비디오에서 장면의 시각적 변화(역학)를 학습한 뒤, 같은 모델에 동작 데이터를 추가 학습시킨다. 이렇게 하면 적은 동작 데이터로도 정교한 수술 조작이 가능해진다. 4개 수술 작업에서 비디오 사전학습으로 평균 성공률이 63.5%에서 77.8%로 올랐으며, 특히 양손 협력 작업에서 20%p 향상을 보였다.

    • 동작 라벨 없는 내시경 비디오로 먼저 수술 장면의 시각적 역학을 학습한 뒤, 동작 라벨이 있는 소량 데이터로 미세 조정하는 2단계 학습법을 제안했다.
    • 4개 SurRoL 벤치마크 작업에서 비디오 사전학습으로 평균 성공률 63.5% → 77.8% 향상을 달성했다.
    • PegTransfer 작업에서 20%p 절대 향상(66% → 86%), 특히 접촉이 많고 양손 협력이 필요한 작업에서 효과가 컸다.
    • 비디오 사전학습 모델이 절반의 미세조정 단계로 더 높은 성능에 도달해 학습 효율도 크게 개선했다.
    • 실제 수술 로봇 데이터(JIGSAW)에서도 같은 경향이 확인돼, 시뮬레이터의 산물이 아닌 진짜 효과임을 입증했다.
    초록PDF
  15. 881RoboticsarXiv:2608.10860

    Flex-$π$: A Multi-Stream World-Action Model with Compute Flexibility

    이 논문은 로봇 정책 모델이 RGB 영상뿐 아니라 3D 깊이와 객체 의미 정보도 함께 예측하도록 학습해서, 더 적은 데이터로 더 정확하게 로봇을 제어하는 방법을 제안한다.

    이 논문은 한마디로 로봇이 미래를 예측할 때 단순히 RGB 영상만 예측하는 게 아니라 3D 구조와 객체 정보까지 함께 예측하게 만들면 성능이 크게 올라간다는 것을 보여준다. Flex-π는 60억 파라미터 세계-행동 모델(WAM)로, 비디오 생성 모델의 VAE가 RGB뿐 아니라 3D 포인트맵까지 거의 손실 없이 인코딩한다는 발견을 활용한다. 학습 시 RGB·3D·객체 의미를 함께 예측하고, 추론 시에는 원하는 조합만 선택해 속도와 성능을 조절할 수 있다. 실제 로봇 작업에서 기존 최강 baseline 대비 2~7배 높은 성공률을 기록했다.

    • 비디오 생성 모델의 VAE가 RGB뿐 아니라 3D 포인트맵도 거의 손실 없이 인코딩한다는 '공짜 점심'을 발견했다.
    • RGB, 3D 깊이, DINO 객체 특징을 공유 잠재 공간에서 함께 예측하는 다중 스트림 세계-행동 모델을 구축했다.
    • 학습 시 무작위로 모달리티를 빼서('스트림 드롭아웃') 하나의 체크포인트가 추론 시 어떤 조합에서도 작동하게 했다.
    • 로봇 작업(RoboTwin)에서 적은 데이터(50 demo)일 때 기존 WAM 대비 1.9배, 실제 양팔 로봇에서 2~7배 성공률을 기록했다.
    • action-only 모드에서 π0.5보다 빠르면서도 더 높은 성공률을 달성했다 (약 60ms).
    초록PDF
  16. 880AI / GeneralarXiv:2608.11095

    Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding

    이 논문은 CLAUDE.md 같은 에이전트 지시 파일이 왜 끝없이 커지만 줄어들지 않는지 그 원인을 추적하고, '프롬프트 주석'이라는 해결책을 제안한다.

    이 논문은 한마디로 AI 코딩 에이전트의 지시 파일(CLAUDE.md 등)이 왜 통제 없이 커지는지 원인을 찾고 해결책을 제시한다. 저자는 1,867개 저장소의 247,694개 지시문 수명을 추적해 '파국적 기억(Catastrophic Remembering)' 현상을 발견했다. 지시문을 삭제하려면 왜 추가했는지 이유를 알아야 하는데, 그 이유가 시간이 지나면서 사라지기 때문에 삭제가 불가능해진다. 해결책은 소프트웨어 엔지니어링의 '주석'처럼 프롬프트에도 왜 이 지시를 추가했는지 적어두는 것이다. 이 방법으로 불필요한 지시 99.3%를 제거하면서 정확도는 유지했다.

    • 1,867개 GitHub 저장소의 247,694개 지시문을 추적해 에이전트 프롬프트가 평생 +226% 성장하고 삭제 확률은 낮아지기만 한다는 것을 입증했다.
    • 원인은 '불완전한 회상': 지시문을 추가한 이유가 사라지면 안전하게 삭제할 수 없어 추가만 계속된다 (O(2^|D|) 복잡도).
    • 76.8%의 지시문 삭제가 전체 파일을 밀어버리는 한 번의 커밋에서 발생한다. 즉 개별 삭제는 거의 일어나지 않는다.
    • 프롬프트에 '왜 이 지시가 필요한지' 주석을 달면 불필요한 지시를 99.3% 제거할 수 있다 (+211.3% → +1.4%).
    • 실제 WildIFEval 벤치마크에서 프롬프트 주석이 지시 수행 정확도를 최대 23.1% 향상시켰다.
    초록PDF
  17. 879AI / GeneralarXiv:2608.10915

    ComBodied Agents: a New Paradigm of Human-Centric Agentic AI

    이 논문은 소프트웨어 에이전트와 로봇 에이전트의 한계를 넘어, 인간의 상태와 자율성 자체를 모델링 대상으로 삼는 '인간 중심 에이전트(Combodied Agents)'라는 새로운 패러다임을 제안한다.

    이 논문은 한마디로 AI 에이전트의 목표를 '작업 완수'에서 '인간의 지속적 향상'으로 바꾸는 새로운 패러다임을 제안한다. 기존 디지털 에이전트는 소프트웨어 상태를, 로봇 에이전트는 물리적 상태를 다뤘지만, 어느 쪽도 '인간의 상태 변화' 자체를 모델링하지 않는다. Combodied Agents는 이벤트 기반 다중 모달 인식, 장기 기억, 개인 세계 모델(미래 상태 예측), 적절한 개입 정책으로 구성된 통합 루프를 제안한다. 핵심은 자동화 자체가 아니라 인간의 능력, 자율성, 안전, 관계를 보존하면서 도움을 주는 것이다.

    • 디지털 에이전트와 로봇 에이전트의 이분법을 넘어, 인간 상태 궤적 자체를 1차 모델링 대상으로 삼는 'Combodied Agents' 패러다임을 제안했다.
    • 다중 모달 인식 → 장기 기억 → 개인 세계 모델 → 적응적 개입 정책 → 피드백의 통합 폐루프를 설계했다.
    • 인간 디지털 트윈과의 차이점을 명확히 구분했다: 목적에 맞춘 불확실성 인식 표현을 사용하며, 완전한 복제를 요구하지 않는다.
    • 엣지 네이티브 개인 모델, 시나리오 중심 평가, 자율성 보존 지표, 거버넌스 방향을 포함한 전 설계 공간을 정리했다.
    • AI가 작업을 대신하는 것(대체)이 아니라, 인간의 능력과 판단력을 키우는 것(향상)을 성공 기준으로 삼아야 한다고 주장한다.
    초록PDF
  18. 878AI / GeneralarXiv:2608.08888

    Full-bandwidth transformer

    이 논문은 트랜스포머의 마지막 층 숨은 상태를 다음 입력으로 다시 주입해서, 글자를 길게 늘어놓지 않아도 더 깊은 계산을 수행하게 만드는 '전체 대역폭 트랜스포머'를 제안한다.

    이 논문은 한마디로 트랜스포머가 토큰(단어) 하나만 돌려주는 좁은 통로를, 전체 숨은 상태를 주고받는 넓은 통로로 바꿔서 추론 효율을 높인 연구다. 기존 트랜스포머는 이전 단계의 결과를 '단어 하나'로만 전달했는데, 이 연구는 이전 최상위 층의 전체 벡터를 게이트(gate, 정보를 선택적으로 통과시키는 장치)를 통해 다시 입력으로 주입한다. 1B(10억) 파라미터 모델을 400B(4천억) 토큰으로 학습해 실험한 결과, 거의 추가 비용 없이 토큰당 성능이 올라갔으며, 동일한 성능을 위해 훈련 데이터를 1.5~2배 줄일 수 있었다.

    • 이전 토큰의 최상위 숨은 상태 전체를 다음 입력으로 주입하는 '잠재 피드백 디코딩'을 도입했다.
    • 표준 트랜스포머 구조와 KV 캐시를 그대로 유지하면서 추가 추론 비용은 1% 미만이다.
    • 1B 파라미터, 400B 토큰 학습에서 검증 손실, 수학/코딩 생성, 명령어 수행 등에서 일관된 향상을 보였다.
    • 동일한 성능을 위해 훈련 토큰을 약 1.5배 절약할 수 있으며, 일부 작업에서는 5배 토큰 학습 모델에 근접했다.
    • 잠재 피드백을 켜면 추론 흔적(생각 과정)이 더 짧아지면서도 정확도는 유지되거나 향상됐다.
    초록PDF
  19. 877Computer VisionarXiv:2608.10744

    Beyond Pixels: From Video Priors to 4D Worlds

    이 논문은 비디오 생성 모델의 중간 표현(잠재 공간)을 4D(3D+시간) 장면으로 직접 변환해서, RGB 이미지를 거치지 않고도 동적 3D 장면을 만드는 새로운 방법을 제안한다.

    이 논문은 한마디로 비디오 AI의 '내부 표현'을 4D 장면으로 직접 바꾸는 방법을 제안한다. 기존 방식은 비디오를 RGB 이미지로 만든 뒤 다시 3D로 복원했는데, 이 과정에서 정보 손실과 오류가 누적됐다. Latent-to-4D는 비디오 모델의 VAE(변분 오토인코더, 데이터를 압축 표현하는 부분) 잠재 공간과 4D 디코더 사이에 직접 연결 다리를 놓는다. 약 1,000개 클립으로 학습한 단일 체크포인트가 여러 비디오 생성기에 변경 없이 적용되며, 기존 방식 대비 기하학적 품질과 시간적 안정성에서 우위를 보였다.

    • 비디오 생성 모델의 VAE 잠재 표현을 4D 디코더에 직접 연결하는 Latent-to-4D 프레임워크를 제안했다.
    • RGB 이미지를 생성하는 단계를 건너뛰어 정보 손실과 오류 누적을 방지했다.
    • 약 1,000개의 기존 복원 클립으로 학습해, 하나의 체크포인트로 여러 비디오 생성기에 재사용 가능하다.
    • Text4D-200 벤치마크에서 DINO-F1 2.88~3.45점 향상, I4D-200에서 5.81점 향상을 달성했다.
    • 인간 평가에서 기하학적 타당성, 완전성, 시간적 안정성 모두에서 기존 방식을 능가했다.
    초록PDF
  20. 876Neural NetworksarXiv:2608.09888

    BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

    이 논문은 언어 없이 '생각'하는 잠재 추론(latent reasoning)과 문맥 학습을 결합해서, ARC-AGI-1 벤치마크에서 150M 파라미터로 단 0.07센트에 29.5% 정확도를 달성한 연구다.

    이 논문은 한마디로 언어 모델이 글자를 일일이 출력하지 않고도 연속적인 '숨은 생각' 공간에서 추론하는 새로운 방법을 제시한다. BDH-CQ라는 1억5천만 파라미터(매우 작은 크기) 모델은 시연 예시를 보고 규칙을 스스로 파악한 뒤, 잠재 공간에서 반복 계산으로 정답을 낸다. ARC-AGI-1(추상 추론 벤치마크)에서 29.5% 정답률을 task당 0.0007달러라는 압도적 저비용으로 달성했다. 이는 기존 비용-정확도 균형(Pareto)을 뛰어넘는 새로운 기준점이다.

    • 토큰(글자)을 출력하지 않고 숨은 상태 공간에서 반복적으로 추론하는 '잠재 추론' 방식을 제안했다.
    • 150M 파라미터라는 매우 작은 모델로 ARC-AGI-1 29.5% 정답률을 달성했다 (task당 $0.0007).
    • 기존 최고 성능 시스템 대비 비용을 1000분의 1 수준으로 줄이면서도 새로운 비용-정확도 기준을 세웠다.
    • 시연 예시만으로 새로운 변환 규칙을 학습하는 문맥 학습 능력과, 색상 매핑·경계 전파·회전 등의 조합 실험을 통해 강점과 한계를 체계적으로 분석했다.
    • 1조 파라미터까지 자연스럽게 확장 가능한 아키텍처를 설계했으며, 초기 실험에서 트랜스포머급 스케일링 법칙을 확인했다.
    초록PDF
  21. 875LLMs / NLParXiv:2608.09096

    Evo-Bench: Can Language Models Improve Agent Harness?

    이 논문은 LLM이 에이전트 실행 프레임워크(하네스)를 스스로 개선할 수 있는지 평가하는 최초의 벤치마크(Evo-Bench)를 만들었다. 최고 모델은 16.6점 향상으로 사람이 만든 것에 근접했다.

    이 논문은 한마디로 LLM이 단순히 주어진 과제를 푸는 게 아니라, 과제를 푸는 방식(실행 프레임워크) 자체를 더 좋게 고칠 수 있는지를 체계적으로 평가했다. Search, Office, General 세 영역에서 9개 프론티어 모델을 테스트했고, GPT-5.6 Sol이 16.6점 향상으로 사람이 만든 베이스라인(47.5)에 근접했다. Search와 General에서는 자율 개선이 사람 설계를 넘기도 했지만, Office에서는 정해진 워크플로우가 필요해서 아쉬웠다.

    • LLM이 에이전트 하네스(실행 코드)를 자율적으로 개선하는 능력을 평가하는 최초의 벤치마크를 만들었다.
    • 하네스 민감도 기반 과제 선정과 검증/평가 분할로 과적합을 방지하는 엄격한 설계를 도입했다.
    • 9개 프론티어 모델 평가에서 최고 16.6점 향상, 사람 설계 베이스라인에 근접했다.
    • General 영역에서는 자율 진화가 사람 설계를 능가했지만 Office 워크플로우에서는 한계를 보였다.
    • 진화된 하네스가 다른 정책 모델에도 이전 가능한 추론 구조로 작동함을 확인했다.
    초록PDF
  22. 874AI / GeneralarXiv:2608.09703

    Matryoshka Language Model Suites

    이 논문은 여러 크기의 언어모델을 '마트료시카'처럼 하나의 중첩 구조로 학습해서 학습 비용 36% 절감, 추론 효율도 높이는 방법을 제안했다.

    이 논문은 한마디로 500M, 1.5B, 3B 세 모델을 따로 학습하지 않고 하나의 중첩된 구조(Matryoshka)로 동시에 학습하는 방법을 제안했다. 작은 모델의 출력이 큰 모델의 입력이 되도록 쌓고, 매 스텝 큰 모델에서 작은 모델로 증류가 자동으로 일어난다. 결과는 개별 학습 대비 36% 적은 연산으로 비슷한 성능을 달성했고, 추상적 추론 속도도 14-26% 빨라졌다.

    • 여러 크기의 하위 모델을 단일 중첩 구조로 end-to-end 학습하는 Matryoshka 프레임워크를 제안했다.
    • 학습 총 연산을 36% 줄이면서도 독립 학습 대비 동등한 성능과 검증/외부 퍼플렉서티를 달성했다.
    • 가장 큰 모델에서 작은 모델로 매 스텝 무료 증류가 자동으로 이루어진다.
    • 중첩된 드래프트 모델로 추상적 디코딩 처리량을 14-26% 향상했다.
    • 너비/깊이 설정, junction 메커니즘, 증류 손실의 중요성을 광범위한 ablation으로 입증했다.
    초록PDF
  23. 873Computer VisionarXiv:2608.09873

    Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

    이 논문은 과학 분야 비디오 생성 모델이 시각적 품질은 좋아도 과학적 정확성이 떨어진다는 것을 보여주는 벤치마크(Sci-VBench)를 만들었다. 60개 과목, 1,253개 전문가 주석 예제로 평가한다.

    이 논문은 한마디로 비디오 생성 모델이 '그럴듯해 보이는' 영상은 만들 수 있어도, '과학적으로 맞는' 영상을 만드는지는 다른 문제라는 걸 체계적으로 평가했다. 4개 학문 분야, 60개 과목, 1,253개 전문가 주석 예제로 구성된 Sci-VBench를 만들고, 16개 모델을 평가했다. 시각적 품질 점수는 비슷하지만 과학적 인과 정확성에서는 큰 차이가 났고, 특히 상용 모델과 오픈소스 모델 사이에 현격한 격차가 있었다.

    • 4개 학문 분야(자연과학, 의료, 인문사회, 공학) 60개 과목의 1,253개 전문가 주석 비디오 생성 과제를 구축했다.
    • 전문가 작성 평가 루브릭과 단계별 채점 기준(1-5점)을 모든 예제에 제공했다.
    • 비전문가 평가자도 루브릭을 받으면 전문가와 높은 일치(Cohen's κ = 0.842)를 보였다.
    • 16개 프론티어 모델 평가 결과 시각 품질은 비슷하지만 과학적 정확성에서 큰 격차를 발견했다.
    • 프롬프트 개선으로 일부 향상되지만 시공간 일관성 한계는 생성기 자체의 문제임을 밝혔다.
    초록PDF
  24. 872AI / GeneralarXiv:2608.09629

    Rethinking Self-Evolving Agents: Do We Still Need Prescribed Optimization Pipelines?

    이 논문은 자기 진화 에이전트에서 '프레임워크가 정해준 개선 절차'가 최신 프론티어 모델에서는 불필요할 수 있음을 보였다. GPT-5.5가 스스로 개선 과정을 조립하는 OEO가 정해진 파이프라인(SKILLOPT, GEPA)을 14회 중 12회 이겼다.

    이 논문은 한마디로 '에이전트가 스스로 학습하는 방식을 프레임워크가 정해줘야 할까, 아니면 충분히 똑똑한 모델은 스스로 학습 방법을 찾을 수 있을까?'를 물었다. Open-Ended Optimization(OEO)은 목표, 예산, 평가만 고정하고 개선 절차를 모델이 online으로 조립하게 한다. GPT-5.5 기준 OEO가 기존 정해진 파이프라인(SKILLOPT, GEPA)을 14회 중 12회 이기면서 토큰 예산의 34%만 썼다. 다만 중간급 모델에서는 정해진 구조가 더 좋아서, 능력에 따른 적응적 분업이 필요하다.

    • 프레임워크가 정한 개선 절차(최적화 메타정책)의 필요성을 최초로 체계적으로 질문했다.
    • GPT-5.5 기반 OEO가 SKILLOPT·GEPA 두 파이프라인 대비 14회 중 12승 1무 1패를 기록했다.
    • OEO는 SKILLOPT 대비 중앙값 34.3%의 토큰만 사용해서 효율성을 입증했다.
    • 중간급 모델에서는 정해진 파이프라인이 더 좋아서, 모델 능력에 따른 적응적 분업 경계를 확인했다.
    • 정해진 절차는 최적화 경로를 더 일관되게 만들지만 최종 행동의 차이보다 경로 차이가 큼을 밝혔다.
    초록PDF
  25. 871Computer VisionarXiv:2608.09438

    Unveiling the Secret of AdaLN-Zero in Diffusion Transformer

    이 논문은 Diffusion Transformer(DiT)의 핵심 조건화 기법인 adaLN-Zero가 왜 잘 작동하는지 분석하고, 영감을 얻은 새 초기화(adaLN-Gaussian)와 구조(SE-adaLN-Zero)를 제안했다.

    이 논문은 한마디로 DiT(이미지 생성용 트랜스포머)에서 성능을 좌우하는 핵심 기법인 adaLN-Zero가 왜 잘 되는지를 파헤쳤다. 세 가지 요소(SE 구조, 영 초기화, 점진적 가중치 갱신) 중 영 초기화가 가장 중요하고, 그 이유가 학습된 가중치 분포가 가우시안에 가까워지기 때문임을 발견했다. 이를 바탕으로 처음부터 가우시안으로 초기화하는 adaLN-Gaussian과 SE 구조를 강화한 SE-adaLN-Zero를 제안했다.

    • adaLN-Zero의 성능 향상 요인을 SE 구조, 영 초기화, 점진적 갱신 세 가지로 분해해서 분석했다.
    • 영 초기화가 가장 중요하며, 학습 후 조건 변조 가중치들이 가우시안 분포를 따르는 것을 발견했다.
    • 가우시안 분포로 초기화하는 adaLN-Gaussian을 제안해 분석을 검증하고 실용적 이득을 얻었다.
    • SE 구조에서 영감을 얻은 SE-adaLN-Zero로 추가 성능 향상을 달성했다.
    • ImageNet1K 등 4개 데이터셋에서 일관된 개선과 일반화를 확인했다.
    초록PDF
  26. 870Machine LearningarXiv:2608.09228

    Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation

    이 논문은 온폴리시 자기 증류(OPSD)의 성공이 '선생님이 정답을 알아서'가 아니라 '선생님 컨텍스트 자체의 행동 유도 효과' 때문일 수 있음을 실험으로 보였다.

    이 논문은 한마디로 '선생님 모델에 정답을 보여줘서 학생을 가르친다'는 통설을 의심했다. 정답 대신 아예 다른 문제의 풀이를 선생님 컨텍스트에 넣어도(OP2SD) 비슷한 성능 향상이 나왔다. 이는 OPSD의 이득이 정답 전달이 아니라 '선생님이 수학 풀이 컨텍스트에 있을 때 만드는 분포 변화' 때문일 수 있다는 것을 시사한다. 다만 물리 문제를 넣으면 효과가 떨어져서 컨텍스트의 '형식'도 중요하다.

    • OPSD의 이득이 '정답 전달'인지 '컨텍스트 유도 행동'인지 구분하는 통제 실험(OP2SD)을 설계했다.
    • 정답 대신 다른 수학 문제의 풀이를 선생님에게 줘도 OPSD와 비슷한 성능 향상이 나타났다.
    • 수학이 아닌 물리 문제를 컨텍스트로 주면 효과가 떨어져서, 컨텍스트의 도메인 일치가 필요함을 밝혔다.
    • 세 Qwen3 모델(1.7B, 4B, 8B)과 AIME/HMMT 벤치마크에서 일관된 패턴을 확인했다.
    • OPSD를 '특권 정보 전달'로만 해석하면 안 되며 컨텍스트 유도 행동도 중요한 요인임을 입증했다.
    초록PDF
  27. 869Computer VisionarXiv:2608.09931

    Perception Before Supervision: Self-Contained Visual Distillation from Counterfactual Blind Spots

    이 논문은 외부 모델이나 주석 없이 멀티모달 LLM 스스로 자기 시각적 맹점을 찾아내고 밀도 있는 자기 증류를 수행하는 프레임워크(CVPD)를 제안했다. 12개 벤치마크에서 일관된 향상을 보였다.

    이 논문은 한마디로 시각-언어 모델이 스스로 '내가 어떤 이미지 영역을 대충 보고 넘어갔는지'를 찾아내서, 그 부분을 확대한 뷰를 선생님으로, 해당 부분을 지운 뷰를 반면교사로 써서 자기 학습하는 방법을 제안했다. 핵심은 반사실 검증(zoom-in하면 답이 바뀌고, 지우면 답이 안 바뀌는 영역 = 맹점)이다. Qwen3-VL-8B에서 외부 GPT-4o 감독을 쓰는 방법들보다 더 높은 성능 향상을 달성했다.

    • 외부 모델, 주석, 도구 없이 모델 자체의 반사실 응답만으로 시각적 맹점을 찾아내는 3단계 검증 기준을 제안했다.
    • 맹점 영역을 확대한 뷰(긍정 교사)와 제거한 뷰(부정 교사)로 대비 증류를 수행했다.
    • Qwen3-VL-8B에서 12개 벤치마크 모두 향상, 단일 회귀도 없음을 확인했다.
    • OCRBench +3.60, MMStar 세밀 지각 +3.38, 논리 추론 +3.08 향상을 기록했다.
    • 외부 GPT-4o 감독에 의존하는 6개 자기진화 베이스라인을 모두 능가했다.
    초록PDF
  28. 868Computer VisionarXiv:2608.09730

    World Tokens: Enhancing Embodied Policies with Training-Time World Modeling

    이 논문은 비디오 세계 모델을 훈련 시에만 사용하고 배포 시에는 떼어내면서도, 세계 모델의 표현 능력을 행동 정책에 주입하는 방법(World Tokens)을 제안했다. VLA 수준의 속도로 세계 모델 수준의 동적 이해를 구현한다.

    이 논문은 한마디로 로봇 정책이 훈련할 때는 비디오 세계 모델의 예측 감독을 받되, 실제 사용할 때는 비디오 모델을 통째로 빼버려서 속도 저하 없이 동적 이해 능력만 남기는 방법을 제안했다. World Adapter가 VLM의 특징을 256개 토큰으로 압축하고, 이 토큰이 비디오 예측과 행동 생성 양쪽을 조건 지으면서 감독이 표현을 직접 형성한다. 2B 백본으로 LIBERO 98.2%, SIMPLER 최고 성능, 실제 로봇 성공률 59.4% → 76.0% 향상을 달성했다.

    • 비디오 세계 모델을 훈련 시에만 사용하고 배포 시 제거하는 World Tokens 아키텍처를 제안했다.
    • World Adapter가 VLM 특징을 256개 토큰으로 변환해 비디오 예측과 행동 생성을 모두 조건 지었다.
    • 행동 전문가가 VLM 전체 시퀀스를 직접 보지 못하게 해 세계 모델 감독을 우회할 수 없게 했다.
    • 2B 모델로 LIBERO 98.2%, SIMPLER-WidowX 71.5%, SIMPLER-GoogleRobot 82.1%을 달성했다.
    • 실제 R1 Pro 로봇에서 매칭 베이스라인 대비 성공률을 59.4% → 76.0%로 향상했다.
    초록PDF
  29. 867AI / GeneralarXiv:2608.09836

    Mismatch Matters: On-Policy Distillation Beyond Token Agreement

    이 논문은 온폴리시 증류(OPD)에서 학생이 반복 루프로 선생님과 '틀린 것처럼 보이게 속이는' 문제를 발견하고, 어긋나는 토큰에 집중하는 교정 방법(TIDE)을 제안했다.

    이 논문은 한마디로 LLM 후학습에서 선생님 모델의 답변을 학생이 흉내내는 과정(온폴리시 증류)에서, 학생이 의미 없는 반복을 해도 선생님과 토큰이 잘 맞는 것처럼 보여서 학습이 망가지는 현상을 발견했다. 이를 해결하기 위해 두 가지 문제 토큰(학생이 너무 많이 만드는 것, 선생님이 원하지만 학생이 안 만드는 것)을 교정하는 TIDE 방법을 제안했다. 수학 추론에서 기존 OPD 대비 큰 향상을 보였다.

    • 학생이 반복문으로 선생님과 높은 토큰 일치도를 속이는 '퇴화 합의(degenerate agreement)' 현상을 발견했다.
    • 학생 과잉 토큰(선생님이 0에 가깝게 평가)과 결손 토큰(선생님이 원하지만 학생이 안 만듦)을 구분했다.
    • Hellinger 거리 기반 bounded suppression으로 과잉 토큰을, 분석적 top-K 주입으로 결손 토큰을 교정하는 TIDE를 제안했다.
    • 강한 선생님-학생 불일치 상황에서 Avg@8을 6.9% → 20.3%로 끌어올렸다.
    • 평균 응답 길이를 3.6배 줄이면서 포맷 실패도 대폭 감소시켰다.
    초록PDF
  30. 866RoboticsarXiv:2608.09892

    XPolicyLab: A Unified Standard and Open Ecosystem for Robot Policy Evaluation and Deployment

    이 논문은 N개 로봇 정책과 M개 평가 환경을 연결하는 데 O(NM)이 걸리던 것을 O(N+M)로 줄이는 통합 표준(XPolicyLab)을 만들었다. 42개 정책을 통합했고, 적응 시간을 5시간에서 30분으로 줄였다.

    이 논문은 한마디로 로봇 정책(모델)마다 소프트웨어 의존성, 데이터 형식, 인터페이스가 달라서 새 벤치마크나 로봇에 연결할 때마다 매번 다시 짜야 하는 문제를 해결했다. XPolicyLab은 관찰·행동·궤적 표준 스키마와 의존성 격리 서빙 아키텍처를 제공해서, 정책 쪽과 환경 쪽이 각자 자기 소프트웨어를 유지하면서 하나의 인터페이스로 통신한다. 42개 정책을 통합하고 통합 시간을 5시간 → 30분으로 줄였다.

    • 로봇 정책-환경 연결 비용을 O(NM)에서 O(N+M)로 줄이는 통합 표준을 제안했다.
    • 42개 로봇 정책(VLA, WAM, 모방학습 등)을 하나의 인터페이스로 통합했다.
    • 정책 서버와 환경 클라이언트를 소프트웨어 의존성별로 격리하는 구조를 만들었다.
    • 새 정책 적응 시간을 5시간 이상에서 30분(패키지 스킬 사용 시)으로 단축했다.
    • RoboTwin, RoboDojo 시뮬레이션 및 실제 로봇 평가를 하나의 어댑터로 지원한다.
    초록PDF
  31. 865RoboticsarXiv:2608.09853

    RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

    이 논문은 로봇 학습의 병목인 보상 모델을 '시간적 거리(목표까지 얼마나 남았는가)'로 대체한 가치 기반 모델(RynnValue)을 만들었다. 선호도 라벨 없이 7,000시간 데이터로 학습해서 기존 최고 성능을 넘었다.

    이 논문은 한마디로 로봇이 어떤 행동이 좋은지 판단하는 기준을 '목표까지 남은 시간'으로 통일한 가치 기반 모델을 제안했다. 기존은 사람이 일일이 좋고 나쁨을 판단(선호도 라벨)해야 했는데, 타임스탬프만 있으면 라벨이 자동으로 만들어진다. 7,000시간, 300만 클립으로 학습한 RynnValue는 선호도 라벨을 쓴 기존 최고 모델보다 더 정확했고, 실제 로봇 성공률을 52.5% → 72.5%로 올렸다.

    • 보상 모델의 감독 대상을 진행도에서 '시간적 거리(목표까지 cost-to-go)'로 바꿔 선호도 라벨 없이 확장 가능하게 했다.
    • 7,000시간, 약 300만 클립의 이질적 로봇 데이터로 학습했다.
    • 시간 순서 섞기와 값 격리 어텐션으로 모델이 학숫값에만 의존하지 않게 했다.
    • 선호도 라벨을 쓴 기존 최고 모델(0.655)을 0.675로 넘어섰다.
    • 실제 로봇 RL에서 온라인 52.5%→72.5%, 오프라인 63.8%→82.5% 성공률 향상을 달성했다.
    초록PDF
  32. 864Computer VisionarXiv:2608.09926

    Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning

    이 논문은 비디오 모델이 단순히 픽셀을 맞추는 게 아니라 물리 법칙을 학습해서 훈련 분포 밖에서도 잘 일반화하도록 만든 세계 모델(LDR)을 제안했다. 26배 작고 143배 빠르면서도 외삽 오차가 20배 이상 적다.

    이 논문은 한마디로 비디오 생성 모델이 '다음 프레임이 뭘까'만 맞추는 게 아니라 '물체가 어떻게 움직일까'라는 역학을 학습하게 만들었다. 핵심은 Latent Dynamics Reasoning(LDR)으로, 구조화된 잠재 공간에서 저차 미분(위치, 속도, 가속도)은 수치 적분하고 모델은 고차 잔여만 예측한다. 이렇게 하면 적은 데이터로 학습한 물리 법칙을 훈련 분포 밖에서도 정확히 외삽할 수 있다. 빨간 공이 왼쪽으로 가는 걸로 학습하고 파란 사각형이 오른쪽으로 가는 상황도 맞춘다.

    • 잠재 공간에서 운동 법칙을 명시적으로 추론하는 최초의 비디오 세계 모델(LDR)을 제안했다.
    • 저차 미분은 수치 적분, 고차 잔여만 모델이 예측하는 구조로 물리 법칙 학습을 강제했다.
    • 비디오 확산 모델 대비 26배 적은 매개변수, 143배 빠른 속도로 동작한다.
    • 훈련 분포 내-외부 오차 격차가 20배 이상 작아 외삽 능력이 압도적이다.
    • 색깔, 형태, 방향이 바뀌어도 학습한 역학을 정확히 일반화함을 보였다.
    초록PDF
  33. 863Computer VisionarXiv:2608.09449

    Sekai2: From World Exploration to Interactive World Modeling

    이 논문은 비디오 세계 모델 학습을 위해 장시간 영상, 카메라 궤적, 시간별 주석을 함께 제공하는 2,826시간 규모의 데이터셋(Sekai2)을 구축했다. 113개국 영상과 360도 파노라마 재방문 영상이 핵심이다.

    이 논문은 한마디로 비디오 세계 모델을 학습하려면 긴 영상, 카메라 경로, 시간별 텍스트 주석이 다 필요한데, 기존 데이터셋은 이 셋을 같이 주지 못해서 Sekai2를 만들었다. 128,892개 클립, 2,826시간, 113개국 영상에 카메라 궤적과 피사체/환경/정적 장면/카메라 행동을 분리한 계층적 주석을 달았다. 특히 982개의 360도 파노라마 재방문 영상으로 공간 일관성 학습을 지원한다.

    • 2,826시간, 128,892클립, 113개국의 실세계 영상에 카메라 궤적과 계층적 주석을 함께 제공했다.
    • 피사체 이동, 환경 변화, 정적 장면, 카메라 행동을 분리한 649,597개 시간 단위 세그먼트를 만들었다.
    • 982개의 360도 파노라마 재방문(루프) 영상으로 장거리 공간 일관성 학습 감독을 제공한다.
    • 카메라 주석과 독립적으로 생성된 캡션이 실제 카메라 움직임과 정렬됨을 교차 검증했다.
    • 비디오 생성, 카메라 제어, 인터랙티브 세계 모델 사전학습용 확장 가능한 데이터 기반을 제공한다.
    초록PDF
  34. 862AI / GeneralarXiv:2608.09119

    Motif 3: Technical Report

    이 논문은 314B 총매개변수(토큰당 13.2B 활성)의 세밀한 전문가 MoE 언어모델(Motif 3)을 만들고, 새로운 어텐션 구조(GDLA)와 다중 교사 증류로 오픈웨이트 모델 중 최고 수준의 성능을 달성했다.

    이 논문은 한마디로 314B 매개변수 중 토큰당 13.2B만 쓰는 세밀한 MoE(전문가 혼합) 언어모델을 만들었다. 핵심 혁신은 Grouped Differential Latent Attention(GDLA)으로, 노이즈 억제 능력은 유지하면서 KV 캐시를 대폭 줄인다. 12.5조 토큰으로 사전학습하고 7명의 전문가 교사로부터 증류받아 추론·코딩·도구사용·장문 이해에서 오픈웨이트 최고 수준을 기록했다.

    • 384개 전문가 중 토큰마다 8개만 선택하는 초세밀 MoE 구조로 용량은 늘리고 연산은 줄였다.
    • Grouped Differential Latent Attention(GDLA)으로 노이즈 억제와 KV 캐시 압축을 동시에 달성했다.
    • 12.5조 토큰으로 사전학습하고 다중 교사 온폴리시 증류(MOPD)로 다양한 능력을 하나로 통합했다.
    • 256K 컨텍스트 길이를 지원하며 MXFP8 정밀도로 대규모 학습을 안정화했다.
    • 오픈웨이트 모델 중 에이전트 과제, 수학 추론, 과학 지식에서 경쟁력 있는 성능을 보였다.
    초록PDF
  35. 861Machine LearningarXiv:2608.09819

    Macaron-V1: Towards Open Continual Learning with Self-Improvement and Mixture-of-LoRA

    이 논문은 배포 후에도 계속 학습하는 에이전트 모델 패밀리(Macaron-V1)를 만들었다. Mixture-of-LoRA로 전문가 어댑터를 조합하고, 모델-하네스 공동 설계로 재귀적 자기개선을 추구한다.

    이 논문은 한마디로 '경험으로부터 배우고 배포 후에도 계속 발전하는' 에이전트 모델 시스템을 제안했다. 핵심은 Mixture-of-LoRA(MoL) 구조로, 베이스 모델(GLM-5.2 744B)은 얼려두고 채팅·에이전트·코딩·GenUI용 LoRA 전문가를 턴마다 선택한다. 모델과 하네스(실행 환경)를 버전별로 짝지어 재귀적으로 개선하는 루프를 설계했고, 벤치마크에서 의미 있는 결과를 냈다.

    • Mixture-of-LoRA 구조로 베이스 모델은 고정하고 턴마다 전문가 어댑터(chat, agent, coding, GenUI)를 선택하는 시스템을 만들었다.
    • 모델-하네스 공동 설계와 재귀적 자기개선 루프로 배포 후에도 지속 학습하는 프레임워크를 제안했다.
    • 744B GLM-5.2 베이스 기반 Venti 모델과 50B Qwen3.6 기반 Tall 모델을 공개했다.
    • UI4A라는 컴포넌트 네이티브 GenUI 하네스와 MindForge라는 에이전트 RL 프레임워크를 개발했다.
    • Personal Intelligence, GenUI, 일반 능력 벤치마크에서 프론티어 모델들과 경쟁하는 성능을 보였다.
    초록PDF
  36. 860RoboticsarXiv:2608.09381

    JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

    이 논문은 로봇 제어를 위해 비디오 생성 없이 잠재 공간에서 미래 상태를 예측하는 세계 모델(JEPA-WAM)을 만들었다. 추론 시 비디오 모델이 필요 없어 빠르면서도, 외부 상황 변화에 강하다.

    이 논문은 한마디로 로봇이 행동할 때 '다음에 뭐가 일어날까'를 비디오 생성 없이 잠재 표현(latent)으로 예측하는 방법을 제안했다. V-JEPA(비디오 사전학습 모델) 공간에서 현재-미래 관계를 jointly 예측하고, 그 예측이 행동 생성 백본을 직접 형성한다. 추론 시점에는 예측 브랜치를 떼어내서 VLA 수준의 속도를 유지하면서 LIBERO-Plus에서 79.2%(사전학습 없이 최고), π0.5 결합 시 86.3%(전체 최고)를 달성했다.

    • 미리 학습된 V-JEPA 표현 공간에서 비디오를 직접 생성하지 않고 현재와 미래의 공간 구조 관계를 예측하는 잠재 세계행동 모델을 제안했다.
    • 전이 예측과 연속 행동 생성을 하나의 예측기에 묶어 미래 감독 신호가 행동 표현을 만드는 핵심 구조를 직접 다듬게 했다.
    • LIBERO-Plus에서 사전 로봇 정책 학습이 없는 설정은 79.2%, π0.5에 결합한 설정은 86.3%로 각각 가장 높은 결과를 냈다.
    • RoboTwin 2.0과 실제 양팔 로봇에서도 시각·공간 조건 변화에 대한 일반화를 보여 비디오 생성 비용 없이 로봇 제어에 적용할 가능성을 보였다.
    • 전이 목표가 언어와 무관한 공통 시각 구조를 배우므로 같은 장면에서도 지시에 따라 미래가 크게 달라지는 과제에는 표현력이 부족할 수 있다.
    초록PDF
  37. 859LLMs / NLParXiv:2608.09802

    SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring

    이 논문은 기존 코딩 벤치마크의 한계(쉬움, 불량 테스트, 데이터 오염)를 극복하는 대규모 다언어 코드 리팩토링 벤치마크를 만들었다. 7개 언어, 평균 11.4개 파일 수정, 최고 모델도 41.2%만 해결한다.

    이 논문은 한마디로 AI 코딩 에이전트의 진짜 실력을 테스트하기 위한 더 어렵고 더 깐깐한 벤치마크를 만들었다. 기존 SWE-bench Verified는 75% 이상 찍고 테스트 품질도 나빠서 한계에 달했는데, SWE-Bench ProMax는 진짜 리팩토링(평균 11.4개 파일, 261.6줄 수정)을 7개 언어로 요구한다. 가장 좋은 모델도 41.2%밖에 못 풀어서 아직 갈 길이 멀다는 걸 보여준다.

    • 기존 벤치마크의 60%가 불량 테스트(너무 좁거나 너무 넓음)를 가지고 있다는 문제를 정량적으로 드러냈다.
    • 7개 프로그래밍 언어(Python, Java, TypeScript, Go, C, C++, Rust)를 아우르는 다언어 리팩토링 벤치마크를 구축했다.
    • 평균 11.4개 파일, 261.6줄 코드 수정이 필요한 대규모 작업으로 기존 대비 3배 이상 복잡하다.
    • GLM-5가 Claude Sonnet 4.6과 비슷한 성능을 1/20 비용으로 달성하는 등 오픈모델의 가성비를 보였다.
    • 실패 패턴 분석을 통해 '건드려야 할 파일을 충분히 수정하지 못하는 것'이 주요 실패 원인임을 밝혔다.
    초록PDF
  38. 858AI / GeneralarXiv:2608.09867

    Stealing Reasoning Traces from Proprietary LLM APIs

    이 논문은 주요 LLM API 업체들이 암호화해서 주는 '숨겨진 추론 과정'을, 같은 회사의 더 약한 모델을 이용해 원문 그대로 빼내는 보안 취약점을 발견했다.

    이 논문은 한마디로 OpenAI, Anthropic, Google이 암호화해서 클라이언트에 돌려주는 추론 과정(chain-of-thought) 블록이 세션과 사용자, 심지어 모델 간에도互환 가능하다는 취약점을 exploit한 연구다. 강력한 모델(예: Claude Opus)에서 생성된 암호화 추론 블록을 같은 회사의 더 약한 모델(예: Haiku)에 넣으면, 약한 모델이 그것을 평문으로 그대로 출력해버린다. 이 방법으로 공개 로그에서 367개의 개인정보와 182개의 자격증명(API 키, 비밀번호 등)을 복원했다.

    • 암호화된 추론 블록이 세션·사용자·모델 간에互환 가능한 근본적 설계 취약점을 발견했다.
    • 강한 모델의推論을 약한 모델로 '해독'시키는 크로스모델 공격 기법을 OpenAI·Anthropic·Google에 대해 실증했다.
    • 공개된 개발자 로그에서 62개의 API 키, 33개의 비밀번호, 30개의 이메일 등 실제 민감 정보를 복원했다.
    • 암호화 블록을 통한 보이지 않는 프롬프트 인젝션 공격 벡터도 추가로 확인했다.
    • 암호화 방식의 근본적 한계를 지적하며, 벤더와 사용자 양쪽을 위한 구체적 완화 방안을 제안했다.
    초록PDF
  39. 857LLMs / NLParXiv:2608.06329

    Benchmarking the Benchmarks: Evaluating Benchmarks for Conversational Agents

    대화형 에이전트 평가용 벤치마크 자체의 품질을 LLM 판사로 평가하는, '벤치마크를 벤치마킹하는' 프레임워크를 제안했다.

    이 논문은 한마디로 대화형 AI 에이전트를 평가하는 벤치마크의 품질을 검증하는 방법을 제안한다. 벤치마크에 모순된 과제가 있거나 너무 쉬운 시나리오만 있으면 에이전트 성능 평가 자체가 불신뢰해진다. 이 프레임워크는 LLM 판사(평가용 AI)를 활용해 일관성, 복잡도, 정책 커버리지를 참조 없이 평가한다. 다양한 성능의 LLM으로 생성한 벤치마크와 의도적으로 품질을 낮춘 벤치마크로 검증한 결과, 제안 지표가 품질 차이를 일관되게 구분했다. 사람 주석과도 중-강 수준의 상관관계를 보였다.

    • 대화형 에이전트 벤치마크의 일관성, 복잡도, 정책 커버리지를 참조 없이 평가하는 LLM 판사 기반 프레임워크를 제안했다.
    • 다양한 성능의 LLM으로 생성한 벤치마크를 활용해 검증했다. 능력이 다른 LLM이 만든 벤치마크 품질 차이를 일관되게 구분했다.
    • 의도적 품질 저하를 가한 벤치마크에서도 지표가 예상대로 품질 하락을 감지했다.
    • 사람 주석과의 상관관계 검증에서 중-강 수준의 통계적으로 유의한 상관을 보였다.
    • 수동으로 큐레이션한 벤치마크(τ3-bench)에도 적용해 실용성을 입증했다.
    초록PDF
  40. 856Computer VisionarXiv:2608.07409

    UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling

    이미지와 비디오에서 세계 모델을 따로 따로 학습하던 JEPA를 하나로 합쳐, 단 하나의 손실 하이퍼파라미터로 통합 학습하는 프레임워크다.

    이 논문은 한마디로 이미지와 비디오 모두에서 작동하는 통합 세계 모델(UniJEPA)을 하나의 잠재 공간에서 end-to-end로 학습하는 방법을 제안한다. 기존 JEPA 계열(I-JEPA, V-JEPA 2, DINO-WM 등)은 이미지 변환 예측과 비디오 시간 예측을 각각 다른 모델로 따로 학습했다. UniJEPA는 이 둘을 하나의 손실 함수로 묶어서, EMA나 stop-gradient 같은 트릭 없이도 표현 붕괴를 막는다(수학적 증명 포함). 이미지 분류, 비디오 이해, 제어 과제에서 개별 JEPA와 동급이거나 더 좋았고, 생성형 세계 모델보다 최대 수십 배 빠르게 계획을 세울 수 있다.

    • 이미지 수준 변환 예측과 비디오 수준 시간 예측을 하나의 잠재 공간에서 통합 학습하는 단일 목적 함수를 제안했다.
    • EMA, stop-gradient, 사전 학습된 인코더 없이 end-to-end 학습이 가능하며, Gaussian 정규화로 표현 붕괴를 수학적으로 방지한다.
    • 광도 예측은 불변 구조를, 시간 예측은 등변 동역학을 학습하며, 둘 사이의 비중을 조절해 추상화 수준을 제어할 수 있다.
    • ImageNet, Something-Something-v2, Epic-Kitchens, 제어 벤치마크에서 개별 JEPA 대비 동급 이상의 성능을 달성했다.
    • 액션 조건부 후학습 후 제로샷 계획이 가능하며, 생성형 세계 모델 대비 최대 수십 배 빠른 속도로 계획을 수립한다.
    초록PDF
  41. 855Software EngineeringarXiv:2608.03392

    Self-Evolving Coding Agents

    코드를 작성하는 AI 에이전트가 경험을 통해 스스로 진화하는 연구 동향을 '무엇이 진화하는가'를 기준으로 체계적으로 정리한 서베이다.

    이 논문은 한마디로 '스스로 진화하는 코딩 에이전트'라는 새로운 연구 분야의 경계를 정의하고, 기존 연구들을 체계적으로 정리한 서베이다. 코딩 에이전트는 단순히 코드를 생성하는 걸 넘어 저장소를 탐색하고, 테스트를 실행하고, 실패를 수정하면서 점점 더 능력이 향상될 수 있다. 이 서베는 '무엇이 진화하는가(프레임워크, 메모리, 스킬, 도구, 모델, 워크플로우)'를 중심 축으로 삼고, '언제 진화하는가'와 '어떤 증거가 진화를 이끄는가'를 보조 축으로 삼아 정리했다. 소프트웨어 엔지니어링이 실행 가능한 피드백(테스트, 컴파일 에러 등)이 풍부해서 에이전트 자기 진화의 천연 실험장이라는 점을 강조한다.

    • '자기 진화 코딩 에이전트'를 일반 코딩 에이전트 및 범용 자기 진화 에이전트와 구분하여 명확히 정의했다.
    • 진화 대상을 6가지로 분류: 프레임워크, 메모리, 스킬·도구, 모델, 워크플로우·토폴로지. 이 분류를 object-centered taxonomy라 부른다.
    • 진화 시점(과제 중, 과제 후, 단계별)과 소프트웨어 특유 증거(실행 피드백, 저장소 컨텍스트, 코딩 궤적)를 보조 축으로 추가했다.
    • 실행 가능한 피드백, 저장소 수준 컨텍스트, 코딩 궤적이 소프트웨어 엔지니어링을 에이전트 자기 진화의 '천연 도메인'으로 만든다고 분석했다.
    • 과제: 피드백 신뢰성, 벤치마크 오버핏, 안전성, 유지보수성, 비용, 일반화. 논문 리스트를 GitHub에 공개했다.
    초록PDF
  42. 854Machine LearningarXiv:2608.07110

    Modular TTT: Rethinking Test-Time Training as Composable Modules

    Test-Time Training(추론 시 학습)을 레고 블록처럼 조립 가능한 모듈로 쪼개어, 어떤 설계가 좋은지 체계적으로 분석한 프레임워크다.

    이 논문은 한마디로 시퀀스 처리 모델의 새로운 방식인 TTT(추론 시 학습)를 모듈화해서, 어떤 설계가 성능에 도움이 되고 어떤 게 방해가 되는지 체계적으로 분석했다. TTT는 모델이 데이터를 처리하면서 내부 파라미터를 업데이트하는 방식인데, 기존에는 각 버전을 따로따로 하드코딩해서 비교가 어려웠다. Modular TTT는 내부 학습기를 DAG(방향성 그래프)로 표현하고, 손실 함수·학습률·가중치 감쇠 등을 독립적으로 바꿀 수 있게 했다. 분석 결과: 작은 학습률 초기화, 가중치 감쇠, 단층 비선형성이 도움이 되고, 깊은 네트워크나 정규화는 오히려 해롭다. 최적 조합으로 410M/1.45B 모델을 학습해 Gated DeltaNet과 동급 성능을 달성했다.

    • TTT 내부 학습기를 DAG로 표현해 손실 함수, 학습률, 가중치 감쇠, 정규화 등을 독립적으로 조절 가능한 모듈형 프레임워크를 만들었다.
    • 작은 학습률 초기화, 가중치 감쇠, 단층 비선형성(SiLU)이 일관된 성능 향상을 가져왔다.
    • 반면 깊은 fast-weight 네트워크와 정규화는 활성화 값이 너무 커져서 오히려 성능을 해쳤다. 잔차 연결이나 게이팅은 효과가 미미했다.
    • 최적 변형으로 410M, 1.45B 모델을 100B 토큰으로 학습해 Gated DeltaNet과 동급의 성능을 달성했다.
    • ByteDance에서 개발했으며 최적화 구현체를 공개해 기존 TTT 대비 학습 처리량을 여러 배 향상시켰다.
    초록PDF
  43. 853Computer VisionarXiv:2608.07468

    SimWAM: A Simple World Action Model for End-to-End Autonomous Driving

    자율주행에서 비디오 생성 모델을 학습 시간에만 쓰고 실제 운전 때는 빼버리는, 간단하면서도 성능 좋은 세계-행동 모델을 제안했다.

    이 논문은 한마디로 자율주행 AI가 주행 궤적을 예측할 때, 비디오 생성 모델(미래 영상을 만드는 AI)을 학습할 때만 참고하고 실제 운전 때는 쓰지 않는 간단한 방법을 제안한다. 기존 세계-행동 모델(WAM)은 실시간으로 미래 영상을 만들면서 주행 판단을 해서 느렸다. SimWAM은 비디오 전문가와 행동 전문가를 함께 학습하되, attention 마스크로 행동 예측이 미래 프레임을 못 보게 막는다. 학습이 끝나면 비디오 부분을 통째로 빼버리고 가벼운 행동 모델만 남긴다. NAVSIM 벤치마크에서 91.5점으로 기존 최고 성능을 능가하면서도 추론 속도는 훨씬 빠르다.

    • 비디오 생성을 학습 시그널로만 쓰고 추론 때는 제거하는 'SimWAM' 구조를 제안했다. 실시간 비디오 생성이 필요 없어져서 추론이 빠르다.
    • 비디오 전문가와 행동 전문가가 파라미터를 공유하지 않아, 비디오 모델을 더 좋은 것으로 교체하거나 행동 모델을 키우기 쉽다.
    • NAVSIM 벤치마크에서 91.5 PDMS 달성. 기존 세계-행동 모델 기반 플래너보다 좋은 성능이면서 추론 지연은 크게 낮다.
    • 강화학습(GRPO)을 추가로 적용해 궤적 모방을 넘어 복합적인 주행 보상을 최적화했다.
    • nuScenes 데이터셋에 제로샷으로 전-transfer 가능하여 범용성도 확인했다.
    초록PDF
  44. 852AI / GeneralarXiv:2608.07449

    SkillProx: Self-Evolving Agent Skills via Proximal Textual Gradient Descent

    AI 에이전트의 '스킬(사용법)'을 자동으로 진화시키되, 검증 없는 수정은 거르고 쓸모없는 지식은 적극적으로 삭제하는 프레임워크를 제안했다.

    이 논문은 한마디로 AI 에이전트가 쓰는 '스킬(텍스트로 된 사용 설명서)'을 스스로 고쳐 나가되, 수정이 진짜 도움이 되는지 확인하고 쓸모없는 내용은 지우는 체계적인 방법을 제안한다. 기존 방식은 진단만 하고 바로 적용해서 되려 성능이 떨어지거나, 스킬이 쓸데없이 길어지는 문제가 있었다. SkillProx는 순방향(수정→실행→확인)과 역방향(지식 단위로 쪼개서 유용성 평가→삭제/통합)을 결합했다. 평균 정확도를 기존 대비 3.0%p 올렸다.

    • 스킬 수정을 '순방향-역방향' 최적화로 정식화했다. 순방향은 진단→수정→실행으로 검증하고, 역방향은 지식 단위별 유용성을 평가해 통합·삭제한다.
    • 수정 후 같은 과제에 다시 실행해보고 성능이 나빠지면 롤백하는 '결과 기반 검증 루프'를 도입했다.
    • 역방향에서 leave-one-out(하나씩 빼보기) 방식으로 각 지식 단위의 기여도를 측정해, 안 좋은 지식을 제거하니 정확도가 46%에서 54%로 올랐다.
    • 3개 백본 LLM에서 기존 최고 방법론 대비 평균 3.0%p 정확도 향상을 달성했다.
    • 단순히 스킬을 키우기만 하는 기존 방식과 달리, '무엇을 버릴 것인가'를 명시적으로 다룬 것이 핵심 차별점이다.
    초록PDF
  45. 851Computer VisionarXiv:2608.07408

    Addressable Memory for Video World Models

    비디오 세계 모델이 긴 시간이 지나도 이전 장면을 기억하지 못하는 문제를, 메모리를 '주소 가능'하게 만들어 해결했다. 추가 학습 없이 즉시 적용 가능하다.

    이 논문은 한마디로 AI 비디오 생성 모델이 긴 시간 동영상을 만들 때 이전 장면을 까먹는 현상을 '주소 가능한 메모리'로 해결한 연구다. 비디오 세계 모델은 이전 프레임을 KV 캐시(일종의 단기 기억)에 저장하는데, 생성이 길어지면 학습 때 본 적 없는 위치 정보가 들어가서 기억을 꺼내올 수 없게 된다. WorldTrace는 각 메모리 요약에 학습 범위 안의 가상 위치를 할당해 이 문제를 해결한다. Field 모드는 시간 흐름의 일관성을, Landmark 모드는 중요 장면 전환을 기억한다. LoopBench라는 새로운 평가 벤치마크에서 시간 일관성 +15.5%, 장면 회상 +19.5% 향상을 보였다.

    • 비디오 세계 모델의 장기 기억 실패 원인이 위치 인코딩(RoPE)의 분포 이탈이라는 점을 정확히 진단했다.
    • WorldTrace: 각 메모리 요약에 학습 범위 내의 가상 위치를 부여해, 추가 학습 없이 메모리 접근성을 복원하는 프레임워크.
    • WorldTrace-Field는 시간적 일관성을 +15.5% 개선하고, WorldTrace-Landmark는 이전 장면 회상을 +19.5% 향상시켰다.
    • LoopBench: 긴 우회 후 원래 장면으로 돌아왔을 때 복원할 수 있는지 측정하는 새로운 벤치마크를 제안했다.
    • NVIDIA에서 개발했으며, 별도의 재학습 없이 기존 모델에 바로 적용할 수 있다.
    초록PDF
  46. 850LLMs / NLParXiv:2608.06867

    LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

    어떤 질문을 어떤 AI 모델에 보낼지 자동으로 결정하는 '라우터'를 통합적으로 정의하고, 16종 이상을 공정하게 비교·평가하는 통합 인프라를 만들었다.

    이 논문은 한마디로 '질문 내용과 예산에 맞춰 최적의 AI 모델을 골라주는 시스템(라우터)'을 하나의 통일된 프레임워크로 정리한 연구다. 기존 라우터들은 각자 다른 방식으로 만들어져 공정한 비교가 불가능했는데, 이를 '순차적 의사결정 과정'으로 통합하고 5가지 구성 요소(문맥 인코더, 모델 인코더, 점수 함수, 결정 규칙, 학습 신호)로 분해했다. 18개 후보 모델에 대해 자동으로 평가 데이터를 구축하고, xRouteBench라는 벤치마크를 만들어 16개 이상의 라우터를 동일한 조건에서 비교했다. 학습된 라우터가 가장 비싼 단일 모델보다 14.6% 더 좋은 성능을 보였고, 비용이 빡빡할수록 가벼운 라우터가 유리해지는 등 구체적인 인사이트를 얻었다.

    • 라우터를 5가지 구성 요소로 분해하는 통일된 프레임워크를 제안해, 기존 16종 이상의 이기종 라우터를 같은 언어로 비교할 수 있게 했다.
    • 18개 모델 × 다양한 벤치마크 과제를 자동으로 돌려 라우팅 평가 데이터(xRouteBench)를 구축했다. 일반 NLP, 비전, 시계열, 개인화까지 포괄.
    • 학습된 라우터가 고정 모델 선택보다 14.6% 상대적 향상을 보였다. 단, 비용 제한이 빡빡해지면 가벼운 라우터가 역전한다.
    • 사용자 맞춤형 라우팅이 일관되게 개인화 효과를 가져왔다. 사용자 컨텍스트를 잘 모델링할 때만 효과가 있다.
    • 오픈소스 라이브러리(LLMRouter)를 공개해 새 라우터를 몇 줄만에 추가할 수 있게 했다.
    초록PDF
  47. 849LLMs / NLParXiv:2608.06370

    The Bitter Lesson of Tool Calling

    LLM에서 JSON 방식 대신 파이썬 코드로 도구를 호출하는 방식(PTC)이 14개 모델에서 더 정확하고 견고했다는 실험 논문이다.

    이 논문은 한마디로 LLM이 도구를 호출할 때 JSON 구조 대신 파이썬 코드를 직접 짜서 실행하게 하는 방식이 기존 방식보다 더 정확하고 튼튼하다는 것을 보인 실험 연구다. 14개 모델로 BFCL v4 벤치마크에서 비교한 결과, 11개 모델에서 파이썬 코드 방식이 JSON 방식과 같거나 더 좋았다. 특히 여러 도구를 동시에 호출하거나 연쇄적으로 호출할 때 코드 방식이 압도적으로 유리했다. 컨텍스트가 오염되는 조건에서도 코드 방식은 안정적인 반면 JSON 방식은 성능이 떨어졌다.

    • 14개 모델 중 11개에서 파이썬 코드 방식(PTC)이 JSON 방식과 같거나 더 좋은 정확도를 보였다. GPT-5.6 family는 10.6%까지 향상됐다.
    • 도구를 연쇄적으로 호출(chaining)할 때 코드 방식이 압도적으로 유리했다. chain 길이 12 이상에서는 JSON 대비 18.8% 높은 정확도를 기록했다.
    • JSON 방식은 한 번에 70개 이상 도구를 호출하면 호출 누락이 생기지만, 코드 방식은 100개까지도 100% 정확도를 유지했다.
    • 컨텍스트가 오염되는 조건(context rot)에서 코드 방식은 안정적이었지만 JSON 방식은 평균 2.3% 하락했고, 파일시스템 방식은 32%나 추락했다.
    • PTC 성능은 모델 패밀리보다 모델 세대(출시 시기)에 따라 결정되는 패턴을 보였다.
    초록PDF
  48. 848ResearcharXiv:2608.05459

    Moduli of the Sourceless Framed Beltrami-Vekua Normal Form

    복소해석학에서 벨트라미-베쿠아 방정식의 모듈리(분류 불변량)를 완전히 결정한 수학 논문이다.

    이 논문은 한마디로 특정 타입의 편미분 방정식(Beltrami-Vekua 정규형)을 완전히 분류하는 수학 논문이다. 질량(mass)과 전하(charge)라는 두 숫자만으로는 방정식을 구분할 수 없다는 것을 증명하고, 무한 차원의 모듈리 공간(분류 체계)을 제시한다. 순수 수학 연구로, AI나 머신러닝과는 직접적인 관련이 없다.

    • 경계가 있고 단순 연결된 영역의 무원본 벨트라미-베쿠아 방정식을 단위원판의 최소 형태로 줄이고 남는 대칭을 정확히 규정했다.
    • 계수장이 0이 없는 경우 쌍 ϑ와 K가 방정식을 완전히 분류하고, 가능한 불변량의 범위도 정했다.
    • 영점이 있는 위상 적분 가능 구역에서는 분류 자료를 ϑ와 dη, d⋆η의 세 값으로 넓혀 소용돌이 전하와 나머지 위상 곡률을 분리했다.
    • 질량과 전하가 같아도 서로 동등하지 않은 방정식을 직접 구성해 두 숫자만으로는 무한 차원의 분류 공간을 담지 못함을 보였다.
    • 다중 연결 영역에서는 주기 자료를 더해야 하고, 거친 가측 계수나 위상 적분이 안 되는 영점에서는 완전 분류가 아직 열린 문제다.
    초록PDF
  49. 847Machine LearningarXiv:2608.06216

    Continual Learning in Transition

    LLM 시대에 지속학습(continual learning)이 어떻게 바뀌고 있는지, '언제·어디서·어떻게' 3축으로 정리한 서베이 논문이다.

    이 논문은 한마디로 LLM과 에이전트 시대에 지속학습의 개념을 파라미터 조정에서 시스템 전체 적응으로 확장한 서베이다. 예전에는 모델 파라미터를 어떻게 업데이트하느냐가 전부였지만, 이제는 메모리(기억), 스킬 라이브러리(도구 모음), 추론 시점 적응 등 모델 바깥의 요소들까지 학습의 일부로 봐야 한다고 주장한다. '언제(When)' '어디서(Where)' '어떻게(How)' 3개 축으로 기존 연구들을 분류해서 보여주며, 어느 영역이 연구가 덜 됐는지도 짚어준다. 결론적으로 진짜 AGI로 가려면 파라미터만 건드리는 게 아니라 모델+외부 시스템 전체를 함께 진화시켜야 한다고 말한다.

    • 기존 지속학습은 '파라미터 업데이트'가 전부였지만, 이제는 메모리·스킬·프로토콜 등 모델 바깥의 요소까지 학습 영역으로 봐야 한다고 주장했다.
    • 3축 프레임워크(When·Where·How)를 제안해서 기존 수십 개 방법론을 하나의 지도에서 비교할 수 있게 했다.
    • on-policy 학습(모델이 직접 경험하면서 배우는 방식)이 기존 off-policy 방식보다 망각 문제를 줄이는 데 유리하다고 정리했다.
    • 검증 가능한 보상(verifiable reward)이 에이전트가 사람 도움 없이 스스로 개선하는 핵심 다리 역할을 한다고 분석했다.
    • 현재 연구가 밀집된 영역과 텅 빈 영역을 구분해서, 시스템 수준의 통합 학습이 앞으로의 핵심 도전 과제임을 지적했다.
    초록PDF
  50. 846Computer VisionarXiv:2608.05903

    Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models

    로봇 제어용 월드-액션 모델에 '의미론적 예지(semantic foresight)'를 추가해서, 조명이 바뀌어도 로봇이 안정적으로 동작하도록 만든 방법이다.

    이 논문은 한마디로 비디오 생성 모델을 로봇 제어에 쓸 때, 조명이나 색감이 바뀌어도 로봇이 안정적으로 동작하도록 '의미론적 예지'를 추가하는 간단한 post-training 방법을 제안했다. 기존 WAM은 비디오 생성 모델의 사전학습을 활용하지만 시각적 변화에 취약했다. Robust-WAM은 학습 가능한 쿼리 토큰을 추가해 DINOv3(시각적 의미를 추출하는 모델)의 특징으로 정렬한다. 이렇게 하면 로봇이 '겉모습'이 아니라 '장면의 의미'를 기준으로 행동하게 된다. 실제 로봇에서 조명 변경 시 성능 저하(OOD gap)를 22.7%p → 2.7%p로 줄였다.

    • VAE 기반 세계행동 모델의 대규모 영상 사전학습은 보존하면서 외형 변화에 강한 의미 정보를 더하는 사후 학습법을 제안했다.
    • 행동 흐름에 시간 위치가 붙은 학습용 질의 토큰을 넣고 미래 장면의 DINOv3 의미 표현과 맞춰 추론 시 추가 비용을 작게 유지했다.
    • LIBERO-Plus에서 FastWAM과 GE-Act의 분포 밖 성공률을 각각 9.2%포인트와 8.6%포인트 높이면서 정상 조건 성능은 유지했다.
    • 실제 Franka 로봇의 조명 색 변경에서 GE-Act 성공률을 57.3%에서 80.0%로 높였고 여러 세계행동 구조에 같은 방식을 붙일 수 있었다.
    • 검증한 변화는 두 모의실험 벤치마크와 한 실제 로봇의 조명·색 변화 중심이어서 더 복잡한 물체·배경·동작 변화에 대한 강건성은 추가 확인이 필요하다.
    초록PDF