HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 294Computer VisionarXiv:2606.02565

    Policy-based Foveated Imaging and Perception

    초고해상도 이미지 센서는 많은 시각 인식 작업에 중요한 정밀한 공간적 세부 정보를 포착할 잠재력을 제공하지만, 현실적인 대역폭, 지연 시간, 전력 제약 하에서 모든 픽셀을 전체 해상도로 획득하고 처리하는 것은 종종 실현 불가능하다.

    이 논문은 초고해상도 센서의 모든 픽셀을 전송하기 어려운 상황에서 중요한 영역에만 해상도를 집중하는 포비티드 이미징 시스템을 제안한다. 저해상도 전체 화면과 과거 관측을 이용해 다음에 고해상도로 측정할 위치를 정하는 센서 주의 정책을 학습함으로써 영상 획득과 인식을 하나의 순환 구조로 묶는다. 시뮬레이션의 객체 추적, 도로 문자 인식, 로봇 조작 과제에서 같은 픽셀 예산을 쓰는 공간·시간 다운샘플링 기준선보다 전반적으로 높은 성능을 냈다. 연구진은 2억 화소 듀얼 스트림 센서로 실제 영상도 촬영해 현실적인 대역폭과 지연 시간 제약 아래에서 작동 가능성을 확인했다. 따라서 이 방식은 모든 장면을 균일하게 줄이는 대신 현재 과제에 필요한 세부 정보부터 획득하는 고효율 비전 센서 설계에 의미가 있다.

    • 기존 접근법은 공간적 또는 시간적 다운샘플링과 같은 획득 전략을 통해 이 문제를 해결하는데, 이는 작업 관련성을 평가하기도 전에 정보를 돌이킬 수 없게 버린다.
    • 이 논문은 이미지 획득 시점에 직접 작동하는 실시간, 예측적, 작업 인식형 포비티드 이미징 시스템을 소개한다.
    • 여러 인식 작업에 걸친 광범위한 시뮬레이션을 통해, 이 접근법이 엄격한 픽셀 예산 하에서 높은 작업 성능을 달성하며 동일한 대역폭에서 작동하는 관련 기준선들을 크게 능가함을 입증한다.
    초록PDF
  2. 293AI / GeneralarXiv:2606.02568

    ClinEnv: An Interactive Multi-Stage Long Horizon EHR Environment for Agents

    임상 진료는 나열된 선택지 중에서 답을 고르는 것이 아니다. 의사는 이질적인 정보를 점진적으로 수집하며 불확실성 속에서 순차적이고 되돌릴 수 없는 결정을 내린다.

    ClinEnv는 실제 입원 기록을 여러 의사결정 단계로 구성해 대규모 언어 모델을 주치의처럼 평가하는 상호작용형 벤치마크다. 모델은 각 단계에서 네 종류의 전문 에이전트에게 필요한 정보를 직접 요청한 뒤 약물, 시술, 진단을 결정해야 하며, 결정 내용과 정보 수집 과정이 함께 채점된다. 일곱 모델 중 최고 모델도 의사결정 F1이 0.31에 그쳤고, 퇴원 진단은 비교적 잘 찾았지만 관리 행동은 훨씬 어려워했다. 사례가 진행될수록 불필요한 질의를 반복하는 현상도 나타나 최종 답만 보는 평가로는 드러나지 않는 정보 수집 약점을 보여줬다. 다만 단일 미국 의료기관의 실제 기록을 정답으로 삼기 때문에 다른 합리적 진료가 오답 처리될 수 있고, 다른 국가·언어·의료 체계로의 일반화도 아직 확인되지 않았다.

    • 정적 벤치마크는 이를 검증할 수 없으며, 기존의 상호작용형 의료 벤치마크는 각각 적어도 한 가지 측면에서 타협한다.
    • 이 논문은 종단적 입원 시뮬레이션(Longitudinal Inpatient Simulation)이라 명명한 패러다임 하에서 실제 입원 사례에 대해 LLM을 주치의로서 평가하는 상호작용형 벤치마크인 ClinEnv를 제시한다.
    • 각 사례는 순서가 있는 결정 단계의 시퀀스로 자동 구성된다. 모든 단계에서 모델은 약물, 시술, 진단을 확정하기 전에 4개의 전문화된 에이전트에게 능동적으로 질의해야 한다.
    초록PDF
  3. 292Computer VisionarXiv:2606.02569

    AdaCodec: A Predictive Visual Code for Video MLLMs

    비디오는 시간적으로 중복적이다. 인접한 프레임은 대개 대부분의 객체, 배경, 레이아웃을 공유한다.

    AdaCodec은 비디오의 인접 프레임이 반복하는 정보를 줄이기 위해 멀티모달 언어 모델용 예측 시각 코드를 제안한다. 장면을 이전 맥락으로 예측하기 어려울 때만 전체 참조 프레임을 보내고, 그 밖에는 움직임과 예측 잔차를 압축한 P-토큰으로 프레임 간 변화만 전달한다. 이를 위해 멀티모달 모델에 맞춘 예측 코덱과 P-프레임 토크나이저, 기존 모델과 표현을 맞추는 2단계 학습 절차를 구성했다. 11개 벤치마크에서 같은 시각 토큰 예산의 Qwen3-VL-8B 프레임별 RGB 기준선보다 성능이 높았고, 장편 영상에서는 7분의 1 토큰만으로도 큰 기준선을 앞섰다. 일반 영상 과제에서도 평균 점수를 높이면서 첫 토큰 지연 시간을 9.26초에서 1.62초로 줄여, 시간 중복을 모델 입력 전에 제거하는 접근의 효율성을 보여준다.

    • 그러나 기존의 비디오 멀티모달 대규모 언어 모델(video MLLM)은 보통 샘플링된 각 프레임을 독립적인 RGB 이미지로 인코딩하여, 시각 토큰이 이전 프레임에 이미 존재하는 내용을 반복하게 만든다.
    • 11개 벤치마크 전반에서 AdaCodec은 동일한 시각 토큰 예산 조건에서 Qwen3-VL-8B의 프레임별 RGB 기준선보다 향상된 성능을 보인다.
    • 심지어 7분의 1의 예산에서도 32k 토큰을 사용하는 AdaCodec은 모든 장편 비디오 벤치마크에서 224k 기준선을 능가한다. 5개의 일반 비디오 벤치마크에서는 평균 점수를 높이는 동시에 첫 토큰까지의 시간을 9.26초에서 1.62초로 대폭 단축한다.
    초록PDF
  4. 291Computer VisionarXiv:2606.02572

    VISReg: Variance-Invariance-Sketching Regularization for JEPA training

    자기지도 학습 방법은 모델링 휴리스틱이나 임베딩 공간의 명시적 정규화를 통해 임베딩 붕괴를 방지한다.

    VISReg는 자기지도 학습에서 임베딩 붕괴를 막으면서 표현의 전체 분포 형태를 안정적으로 제어하기 위한 정규화 방법이다. VICReg의 공분산 항을 슬라이스드 바서슈타인 기반 스케칭 목표로 바꾸고 분산 항은 유지해, 표현의 크기와 분포 형태를 따로 조절한다. 이 설계는 붕괴 상태에서도 유효한 기울기를 제공하며 계산량이 데이터 규모에 선형으로 증가하도록 구성됐다. 저품질·롱테일·저랭크 데이터 조건에서 기존 정규화보다 견고했고, ImageNet-1K 사전학습 모델은 분포 밖 데이터에서 강한 성능을 보였다. 다만 밀집 예측에서는 최상위 방법과 격차가 남았으며, ImageNet-22K로 학습한 모델이 10배 많은 데이터를 쓴 DINOv2의 분포 밖 성능과 비슷했다는 결과는 데이터 효율 가능성을 보여주는 비교로 해석해야 한다.

    • SIGReg와 같은 스케칭 기반 방법은 임베딩을 등방성 가우시안에 정렬하여 이를 해결하지만, 유연성이 부족하고 붕괴 상황에서 기울기 소실 문제를 겪는다.
    • VISReg는 선형적으로 확장되며, 저품질 데이터셋에서 기존 정규화 기법을 능가하고, 롱테일 및 저랭크 환경에서 견고함을 보인다.
    • ImageNet-1K로 사전학습된 VISReg는 분포 외 데이터셋에서 SOTA 성능을 달성한다.
    초록PDF
  5. 290Computer VisionarXiv:2606.02573

    HumanNOVA: Photorealistic, Universal and Rapid 3D Human Avatar Modeling from a Single Image

    이 논문은 단일 RGB 이미지로부터 3D 인간 아바타를 생성하는 사실적이고 범용적이며 빠른 모델인 HumanNOVA를 제시한다.

    HumanNOVA는 한 장의 RGB 이미지와 단순화한 인체 메시를 입력받아 3차원 사람 아바타를 빠르게 만드는 피드포워드 모델이다. 연구진은 기존 리깅 자산에 다양한 자세를 적용하고 다중 카메라 촬영 자료를 피팅하는 두 경로로 학습 자산을 10만 개까지 늘렸다. 이미지와 인체 메시를 각각 토큰으로 압축한 뒤 교차 주의로 결합해 트라이플레인 기반 3차원 표현을 만들며, 테스트 시점 최적화 없이 1초 이내에 추론한다. 여러 벤치마크의 정량·정성 평가에서 기존 방법보다 우수한 재구성과 다양한 입력 조건에 대한 견고성을 보고했다. 단일 시점에서 보이지 않는 부분을 복원하는 문제 자체에는 모호성이 남고, 사실적인 사람 재현 기술은 무단 콘텐츠 생성과 사생활 침해에 악용될 위험도 함께 고려해야 한다.

    • 사실성과 일반화를 모두 달성하는 것은 다양하고 고품질인 3D 인간 데이터가 부족하기 때문에 어렵다.
    • 이 두 가지 전략을 통해 10만 개의 자산까지 규모를 확장할 수 있으며, 견고한 모델 학습을 위한 데이터의 양과 다양성을 모두 크게 향상시킨다.
    • 여러 벤치마크에 대한 광범위한 실험은 정량적으로나 정성적으로 이 접근법의 우수성과 다양한 입력 이미지 조건에서의 견고성을 입증한다.
    초록PDF
  6. 289Computer VisionarXiv:2606.02575

    From Zero to Hero: Training-Free Custom Concept Spawning in World Models

    자기회귀 월드 모델은 대화형 영상 생성을 위한 강력한 패러다임으로 부상하여, 사용자가 동적으로 생성된 환경을 행동을 통해 탐색할 수 있게 한다.

    SPAWN은 실행 중인 자기회귀 월드 모델에 사용자가 지정한 인물·물체·건물 같은 개념을 추가하는 학습 없는 방법이다. 이미지-영상 모델의 문맥 메모리 첫 슬롯이 모든 생성 구간의 기준 프레임으로 고정된다는 구조적 특성을 이용한다. 짧은 구간 동안 이 기준을 외부 개념 잠재표현으로 바꿨다가 원래 기준으로 되돌리면, 새 개념이 모델의 메모리를 따라 이후 영상에 전파된다. 실험에서는 이미지나 텍스트로 지정한 개념이 조명·크기·원근에 맞게 들어가고 정체성과 시간 일관성도 유지됐으며, 여러 개념을 차례로 넣는 것도 가능했다. 다만 현재 장면에서 이동 가능한 영역 밖의 위치에는 개념을 생성할 수 없다는 공간적 제약이 남는다.

    • 이 논문은 개념 스포닝을 위한 학습 불필요 방법 SPAWN(Swapping Pinned Anchor with Windowed iNjection)을 소개한다.
    • SPAWN은 이미지-영상 백본의 구조적 속성을 활용한다. 즉, 컨텍스트 메모리의 첫 번째 슬롯은 참조 프레임에 고정되어 생성되는 모든 청크의 기초 앵커 역할을 한다.
    • 실험은 SPAWN이 정체성과 시간적 일관성을 보존하면서 일관된 조명, 스케일, 원근으로 개념을 통합함을 보여주며, 제어 가능한 개념 스포닝이 어떤 학습도 없이 기존의 자기회귀 월드 모델에서 달성 가능함을 입증한다.
    초록PDF
  7. 288Computer VisionarXiv:2606.02576

    ProtoAda: Prototype-Guided Adaptive Adapter Expansion and Geometric Consolidation for Multimodal Continual Instruction Tuning

    멀티모달 대규모 언어 모델(MLLM)은 명령어 튜닝을 통해 강력한 성능을 달성하지만, 실세계 배포에서는 새로운 비전-언어 능력을 지속적으로 습득해야 하므로 멀티모달 지속적 명령어 튜닝(MCIT)이 필수적이다.

    ProtoAda는 멀티모달 모델이 여러 과제를 순차적으로 학습할 때 의미가 비슷하지만 답 형식이 다른 과제를 같은 어댑터에 잘못 배정하는 문제를 다룬다. 좌표를 출력하는 그라운딩과 짧은 문장을 답하는 질의응답처럼 출력 구조가 다른 과제를 이미지·텍스트 유사도만으로 묶으면 매개변수 간섭과 망각이 생길 수 있다. 이 방법은 의미와 출력 형식을 함께 반영한 과제 프로토타입으로 어댑터의 생성과 라우팅을 결정하고, 형식이 호환되는 업데이트는 기하학적 관계를 고려해 통합한다. 여러 지속적 명령어 튜닝 벤치마크에서 특히 순차 학습으로 답 구조가 쉽게 손상되는 과제의 성능을 개선했다. 그러나 훨씬 긴 과제 흐름이나 더 다양하고 개방적인 응답 형식에서는 아직 검증되지 않아 대규모 실제 배치로의 확장성은 추가 평가가 필요하다.

    • 멀티모달 대규모 언어 모델(MLLM)은 명령어 튜닝을 통해 강력한 성능을 달성하지만, 실세계 배포에서는 새로운 비전-언어 능력을 지속적으로 습득해야 하므로 멀티모달 지속적 명령어 튜닝(MCIT)이 필수적이다.
    • 이 문제를 해결하기 위해, 이 논문은 프로토타입 기반 적응형 튜닝 프레임워크 ProtoAda를 제안한다.
    • 여러 벤치마크에 걸친 광범위한 실험은 ProtoAda가, 특히 답 구조가 순차적 튜닝에 의해 쉽게 손상되는 과제에서 우수한 성능을 달성함을 보여준다.
    초록PDF
  8. 287RoboticsarXiv:2606.02577

    RoboDream: Compositional World Models for Scalable Robot Data Synthesis

    로봇 학습을 확장하려면 대규모의 다양한 시연이 필요하지만, 원격 조작을 통한 실세계 데이터 수집은 여전히 엄청나게 비싸고 시간이 많이 든다.

    RoboDream은 적은 로봇 시연으로 새로운 물체·장면·시점의 사실적인 학습 영상을 합성하는 신체 중심 월드 모델이다. 렌더링한 로봇 동작을 생성의 기준으로 고정하고 장면과 물체 정보를 별도 조건으로 주어, 동작 궤적과 환경의 외형을 분리해 조합한다. 기존 궤적을 다른 환경에서 재사용하는 검색·재생 방식과, 작업자가 빈 공간을 조작한 뒤 모델이 물체와 장면을 채우는 소품 없는 원격조작 방식을 지원한다. 실제 로봇 실험에서는 이 합성 데이터를 더했을 때 다양한 조작 과제의 정책 성능이 꾸준히 좋아지고 필요한 실세계 데이터가 줄었다. 이는 비디오 확산을 단순한 외형 증강이 아니라 물리적으로 정해진 로봇 동작을 유지하는 데이터 생성 장치로 활용할 수 있음을 보여준다.

    • 이 논문은 새로운 객체, 새로운 장면, 새로운 시점에서 사실적인 시연을 합성하여 확장 가능한 데이터 생성을 달성하는 일반화 가능한 신체 중심 월드 모델을 제안한다.
    • 이 접근법은 생성을 렌더링된 로봇 동작에 고정하면서 명시적인 장면 및 객체 사전 정보를 조건으로 삼아, 궤적 실행을 환경 합성으로부터 효과적으로 분리한다.
    • 실세계 실험을 통해 생성한 데이터가 다양한 조작 과제 전반에서 다운스트림 정책 성능을 일관되게 향상시키고 실세계 데이터 요구량을 크게 줄임을 보여준다.
    초록PDF
  9. 286Computer VisionarXiv:2606.02578

    Mitigating Perceptual Judgment Bias in Multimodal LLM-as-a-Judge via Perceptual Perturbation and Reward Modeling

    최근의 멀티모달 대규모 언어 모델은 강력한 추론 능력을 보여주었으나, 자동 평가자로서의 신뢰성은 한 가지 치명적 약점에 의해 여전히 제한된다. 즉, 시각적 증거가 텍스트 단서와 충돌할 때 MLLM 심사자는 지각적으로 올바른 답보다 그럴듯한 서사에 보상을 주는 경향이 있다.

    이 연구는 멀티모달 언어 모델이 시각 증거와 텍스트 설명이 충돌할 때 눈으로 확인한 내용보다 그럴듯한 문장을 더 높게 평가하는 지각 판단 편향을 분석한다. 최소한으로 편집한 반사실 응답을 만들어 지각 오류만 분리한 PPJD 데이터셋을 구축하고, 검증 가능한 감독 신호를 제공한다. 이어서 구조화된 GRPO 보상과 배치 순위 목표를 결합해 명시적인 모든 쌍의 라벨 없이도 응답들의 일관된 전체 순서를 학습한다. 여러 멀티모달 심사 벤치마크에서 지각 충실도, 순위 일관성, 사람 평가와의 정렬이 개선됐다. 다만 매우 미세하거나 드문 시각 차이, 암묵적 3차원 구조, 복잡한 공간 관계와 다단계 추론에서는 여전히 잘못 판단할 수 있다.

    • 이 문제를 해결하기 위해, 이 논문은 지각적 오류를 분리하고 검증 가능한 감독을 가능하게 하는 최소 편집 반사실 응답을 구성하는 Perceptually Perturbed Judgment Dataset을 소개한다.
    • 다양한 MLLM-as-a-Judge 벤치마크 전반에 걸친 실험은 이 접근법이 지각적 충실도, 순위 일관성, 그리고 인간 평가와의 정렬을 상당히 향상시킴을 보여준다.
    • 이 결과는 지각적으로 근거가 있고, 해석 가능하며, 시각-추론 충돌에 견고한 멀티모달 심사자를 훈련하기 위한 확장 가능하고 일반화 가능한 경로를 확립한다.
    초록PDF
  10. 285Computer VisionarXiv:2606.02580

    Thinking in Blender: Staged Executable Inverse Graphics with Vision-Language Models

    역 그래픽스는 이미지를 렌더링, 재조명, 조작이 가능한 편집 가능한 3D 장면으로 재구성하려는, 오래되고 매우 제약이 부족한 문제다.

    SEIG는 한 장의 이미지를 편집 가능한 Blender 장면 코드로 바꾸는 단계형 역 그래픽스 프레임워크다. 별도의 2차원·3차원 기반 모델이나 미분 렌더링, 다중 시점 감독 없이 범용 비전-언어 모델만 사용한다. 기하, 재질, 장면 구성, 조명을 한꺼번에 생성하지 않고 각 요소를 생성기와 검증기 순환으로 차례로 고쳐 나간다. 픽셀·지각·의미 수준의 여러 지표로 다양한 장면을 평가한 결과, 단계적 분해가 단일 통과 방식보다 재구성 충실도를 높였고 결과 장면은 시점 변경·편집·재조명에 활용할 수 있었다. 다만 여러 단계에서 모델을 반복 호출하므로 한 번에 생성하는 방식보다 실행 시간과 API 비용이 크게 늘어난다.

    • 이 논문은 기하, 재질, 구성, 조명을 포함한 장면 요인들을 실행 가능한 Blender 코드 공간에서 직접 점진적으로 정제함으로써 단일 이미지로부터 3D 장면을 재구성하는 에이전트 프레임워크 Staged Executable Inverse Graphics(SEIG)를 소개한다.
    • 실험은 단계적 재구성이 재구성 충실도를 상당히 향상시킴을 보여주며, 범용 VLM을 활용한 실행 가능한 역 그래픽스에서 과제 분해의 중요성을 부각한다.
    • 마지막으로, 재구성된 편집 가능한 Blender 장면이 가능하게 하는 다양한 다운스트림 응용을 시연한다.
    초록PDF
  11. 284Computer VisionarXiv:2605.31598

    Linear Scaling Video VLMs for Long Video Understanding

    긴 영상 이해를 위한 선형 스케일링 비디오 VLM이다.

    비디오 비전-언어 모델(VLM)은 장기 시야 및 스트리밍 환경에서 점점 더 많이 사용되고 있지만, 대부분의 비디오 인코더는 여전히 시공간 셀프 어텐션에 의존하여 연산량과 지연 시간이 프레임 수에 대해 제곱으로 증가한다. 기존의 효율화 방법들은 확장성을 개선하지만, 예컨대 공격적인 프레임이나 토큰 제거나 거친 어텐션 근사를 통해 완전한 셀프 어텐션 대비 정확도를 잃는 경우가 많다. 이 논문은 사전학습된 긴 영상 VLM을, 고정 용량의 중요도 기반 순환 상태로 프레임 간 맥락을 운반하고 디코딩에 사용되는 두 번째의 프레임별 전체 캐시와 짝지어, 선형 시간 비디오 프리필에 적응시키는 추론 시점 방법 StateKV를 소개한다. 세 개의 긴 영상 벤치마크와 세 계열 및 여러 규모에 걸친 일곱 개 모델 전반에서, StateKV는 미세조정이나 구조 변경 없이도 완전한 셀프 어텐션에 근접하며 지배적인 슬라이딩 윈도우 및 최근성 기반 스트리밍 근사를 일관되게 능가한다. StateKV는 또한 측정된 FLOPs로 비디오 프리필 비용을 절감하여, 고정된 연산 예산에서 더 큰 모델을 실행함으로써 더 강력한 정확도를 가능하게 한다. 이러한 결과는 확장 가능한 긴 영상 이해를 향한 실용적인 진전을 시사한다.

    • 기존의 효율화 방법들은 확장성을 개선하지만, 예컨대 공격적인 프레임이나 토큰 제거나 거친 어텐션 근사를 통해 완전한 셀프 어텐션 대비 정확도를 잃는 경우가 많다.
    • 이러한 결과는 확장 가능한 긴 영상 이해를 향한 실용적인 진전을 시사한다.
    • 비디오 비전-언어 모델(VLM)은 장기 시야 및 스트리밍 환경에서 점점 더 많이 사용되고 있지만, 대부분의 비디오 인코더는 여전히 시공간 셀프 어텐션에 의존하여 연산량과 지연 시간이 프레임 수에 대해 제곱으로 증가한다.
    초록PDF
  12. 283Machine LearningarXiv:2605.29548

    Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention

    더 큰 모델이 왜 더 많이 학습하는지를 용량, 간섭, 희귀 과제 보존이라는 관점에서 분석한다.

    더 큰 모델은 더 작은 모델이 학습하지 못하는 과제를 학습한다. 무엇이 이 현상을 일으키는가? 이 논문은 거듭제곱 법칙 스케일링이 이미, 무한한 학습 데이터가 있더라도 더 큰 모델이 더 작은 모델은 학습하지 못하는 데이터 분포의 일부를 학습할 수 있음을 시사한다는 단순한 현상론적 논증을 전개한다. 이 주장을 검증하고 그 원인을 규명하기 위해, 단조로운 스케일링 곡선을 보이는 과제들의 혼합으로 구성된 합성 설정에서 모델 스케일링의 효과를 연구한다. 그 결과는 자원(뉴런)을 둘러싼 데이터 유발 경쟁을 가리킨다. 구체적으로, 더 작은 모델은 뉴런을 고빈도이거나 저복잡도인 과제에 할당하므로, 희귀하고 복잡한 과제에서 성능이 떨어지는 해를 학습한다. 더욱이 이는 원하는 과제를 표현할 수 있는 해가 존재하는 경우에도 발생한다. 이어서 더 큰 모델이 이 데이터 중심적 병목을 어떻게 우회하는지 평가하며, 그것이 간섭 감소 메커니즘으로 거슬러 올라감을 발견한다. 즉, 더 큰 모델은 흔한 과제에 충분한 자원을 할당할 수 있어 해당 과제에 대한 그래디언트 업데이트가 약해지고, 그 결과 희귀 과제 특징이 천천히 축적되는 동안 그것을 덮어쓰지 않게 된다. 마지막으로, 이러한 주장을 더 검증하기 위해 다양한 빈도와 복잡도의 새로운 과제에 대해 OLMo 모델(4M부터 4B 파라미터)을 사전학습한다. 그 결과는 합성 데이터 실험의 결과를 반영한다. 즉, 더 큰 OLMo 모델만이 빈도가 낮고 복잡한 과제를 학습하며, 이 더 큰 모델들은 표현에 더 많은 과제 특징을 임베딩하고 과제 간 그래디언트 간섭을 더 적게 보인다. 종합적으로, 왜 더 큰 모델이 더 작은 모델이 실패하는 과제를 학습하는지에 대한 데이터 중심적 설명을 제시한다. 이는 실제로 더 큰 모델이 더 나은 이유를 설명하는 데 도움이 되며, 모델 크기 설정과 학습 데이터 혼합에 관한 실용적 질문에 정보를 줄 수 있다.

    • 그 결과는 자원(뉴런)을 둘러싼 데이터 유발 경쟁을 가리킨다.
    • 이 논문은 거듭제곱 법칙 스케일링이 이미, 무한한 학습 데이터가 있더라도 더 큰 모델이 더 작은 모델은 학습하지 못하는 데이터 분포의 일부를 학습할 수 있음을 시사한다는 단순한 현상론적 논증을 전개한다.
    • 이 주장을 검증하고 그 원인을 규명하기 위해, 단조로운 스케일링 곡선을 보이는 과제들의 혼합으로 구성된 합성 설정에서 모델 스케일링의 효과를 연구한다.
    초록PDF
  13. 282Machine LearningarXiv:2605.30865

    GlucoFM: A Dual-Stream Foundation Model for Continuous Glucose Monitoring

    GlucoFM은 연속 혈당 모니터링을 위한 듀얼 스트림 파운데이션 모델이다.

    연속 혈당 모니터링(CGM)은 일상적 대사 생리에 대한 조밀한 관점을 제공하지만, 기존의 범용 시계열 및 CGM 특화 파운데이션 모델은 혈당 추적치를 단일 스트림 시퀀스로 얽어서 인코딩하는 경우가 많아 혈당 동역학의 고유한 시간적 구조를 암묵적으로만 모델링한 채 남겨둔다. 이 논문은 불규칙한 기록을 24시간 시간순 격자에 정렬하고 관측 마스크를 보존하며, 혈당 동역학을 느린 생리 상태 스트림과 일시적 이벤트 스트림으로 분해하여 저주파 혈당 기저선과 급성 생리 반응이나 센서 아티팩트를 반영할 수 있는 단기 편차를 포착하는 경량 CGM 파운데이션 모델 GlucoFM을 제안한다. GlucoFM은 477명의 피험자로부터 얻은 109,066시간 분량의 레이블 없는 CGM 기록에 대해 두 가지 상호 보완적인 목표로 사전학습된다. 즉, 융합된 일별 표현에 대한 마스킹된 맥락적 잠재 예측과 상태 및 이벤트 스트림에 대한 시간적 동역학 예측이다. 네 개의 다양한 코호트와 일곱 개의 임상 예측 과제 전반에서 GlucoFM은 평가된 베이스라인 중 가장 강력한 피험자 분리 선형 프로빙 성능을 달성하며, 최고의 CGM 특화 파운데이션 모델 대비 평균 PR-AUC를 4.1점 향상시킨다. 그 향상은 핵심 대사 결과에서 가장 두드러지며, 모든 당뇨 위험 및 β-세포 기능장애 과제와 4개 인슐린 저항성 과제 중 3개에서 PR-AUC를 선도한다. GlucoFM은 또한 평가된 방법 중 전반적으로 가장 우수한 데이터셋 간 전이 성능과 강력한 퓨샷 적응을 달성하며, 피험자 수준 예측을 위해 여러 날을 집계할 때 일관된 향상을 보여, 생리 인식 기반 분해가 전이 가능한 CGM 표현 학습을 위한 효과적인 귀납적 편향임을 부각한다.

    • 네 개의 다양한 코호트와 일곱 개의 임상 예측 과제 전반에서 GlucoFM은 평가된 베이스라인 중 가장 강력한 피험자 분리 선형 프로빙 성능을 달성하며, 최고의 CGM 특화 파운데이션 모델 대비 평균 PR-AUC를 4.1점 향상시킨다.
    • 그 향상은 핵심 대사 결과에서 가장 두드러지며, 모든 당뇨 위험 및 β-세포 기능장애 과제와 4개 인슐린 저항성 과제 중 3개에서 PR-AUC를 선도한다.
    초록PDF
  14. 281AI / GeneralarXiv:2605.31264

    COLLEAGUE.SKILL: Automated AI Skill Generation via Expert Knowledge Distillation

    COLLEAGUE.SKILL은 전문가 지식 증류를 통해 AI 스킬 생성을 자동화한다.

    LLM 에이전트는 고립된 작업을 완수하는 것뿐만 아니라 인간의 전문성, 판단, 상호작용 방식을 제한된 형태로 담아내는 것까지 점점 더 요구받고 있다. 어떤 사람이나 역할에 결부된 실행 가능한 지식은 보통 깔끔한 지침으로 작성되기보다 이질적인 흔적 속에 내재되어 있기 때문에, 이러한 사람 기반 에이전트를 구축하는 일은 여전히 어렵다. 기존의 메모리 및 페르소나 시스템은 이러한 증거의 단편을 포착하고, 스킬 프레임워크는 이식 가능한 패키징 포맷을 제공하지만, 이 흔적들을 검사 가능하고 수정 가능하며 에이전트가 사용할 수 있는 스킬로 증류하는 종단 간 워크플로는 존재하지 않는다. 이 논문은 전문가 지식 증류를 통해 사람 기반 AI 스킬을 생성하는 자동화된 흔적-스킬 증류 시스템을 제안한다. 대상 인물이나 역할로부터의 자료가 주어지면, COLLEAGUE.SKILL은 두 개의 조율된 트랙을 갖는 버전 관리된 스킬 패키지를 생성한다. 즉, 실무 관행, 정신 모델, 의사결정 휴리스틱을 다루는 역량 트랙과, 의사소통 방식, 상호작용 규칙, 수정 이력을 다루는 제한된 행동 트랙이다. 이 패키지는 검사, 호출, 자연어 피드백을 통한 업데이트, 롤백, 여러 에이전트 호스트에 걸친 설치가 가능하며, 선택적으로 통제된 배포를 위해 준비될 수도 있다. 저자들은 오픈소스 시스템에 구현된 산출물 계약, 생성 워크플로, 수정 수명주기, 배포 표면, 도메인 프리셋을 기술한다. 집필 시점 기준으로 공개 저장소는 약 18.5k개의 GitHub 스타를 보유하고 있으며, 갤러리에는 165명의 기여자가 올린 215개의 스킬과 등재된 스킬 카드 전반에 걸쳐 누적 10만 개 이상의 스타가 나열되어 있다. 이 시스템은 사람 기반 스킬이 불투명한 프롬프트나 숨겨진 메모리가 아니라 이식 가능하고 수정 가능한 패키지로 표현될 수 있음을 보여준다.

    • LLM 에이전트는 고립된 작업을 완수하는 것뿐만 아니라 인간의 전문성, 판단, 상호작용 방식을 제한된 형태로 담아내는 것까지 점점 더 요구받고 있다.
    • 이 논문은 전문가 지식 증류를 통해 사람 기반 AI 스킬을 생성하는 자동화된 흔적-스킬 증류 시스템을 제안한다.
    • 저자들은 오픈소스 시스템에 구현된 산출물 계약, 생성 워크플로, 수정 수명주기, 배포 표면, 도메인 프리셋을 기술한다.
    초록PDF
  15. 280Machine LearningarXiv:2605.29713

    The Little Book of Generative AI Foundations: An Intuitive Mathematical Primer

    생성형 AI의 기초를 직관적인 수학으로 풀어내는 작은 입문서다.

    이 책은 현대 생성형 인공지능의 수학적 기초에 대한 간결하고 유도 중심적인 입문을 제공한다. 최근의 모든 구조나 구현 세부 사항을 망라하기보다는, PCA, 확률적 PCA, 변분 오토인코더, 디퓨전 모델에서부터 정규화 흐름, 자기회귀 분해, GAN, Wasserstein GAN, 에너지 기반 모델에 이르기까지 주요 생성 모델 계열을 잇는 아이디어들을 관통하는 일관된 경로를 전개한다. 그 목적은 이러한 모델들이 어떻게 유도되고 서로 연관되는지를 이해하는 데 필요한 수학적 내용을 덜어내지 않으면서 생성 모델링의 구조를 더 쉽게 접근할 수 있도록 만드는 데 있다. 이 책은 수학에 호기심을 가진 연구자, 실무자, 학생을 위한 기초 형성용 입문서로 의도되었다.

    • 이 책은 현대 생성형 인공지능의 수학적 기초에 대한 간결하고 유도 중심적인 입문을 제공한다.
    • 그 목적은 이러한 모델들이 어떻게 유도되고 서로 연관되는지를 이해하는 데 필요한 수학적 내용을 덜어내지 않으면서 생성 모델링의 구조를 더 쉽게 접근할 수 있도록 만드는 데 있다.
    • 이 책은 수학에 호기심을 가진 연구자, 실무자, 학생을 위한 기초 형성용 입문서로 의도되었다.
    초록PDF
  16. 279LLMs / NLParXiv:2605.31268

    Mellum2 Technical Report

    Mellum2 기술 보고서다.

    이 보고서는 토큰당 2.5B 활성 파라미터를 갖는 오픈웨이트 12B 파라미터 MoE 언어 모델 Mellum 2를 소개한다. Mellum 2는 소프트웨어 엔지니어링에 특화된 범용 언어 모델로, 코드 생성 및 편집, 디버깅, 다단계 추론, 도구 사용 및 함수 호출, 에이전트 코딩, 대화형 프로그래밍 지원을 아우르며, 완성에 초점을 둔 4B 밀집 모델 Mellum의 후속 모델이다. 구조는 MoE(64개 전문가, 8개 활성) 위에 구축되며, KV 헤드 4개를 갖는 Grouped-Query Attention, 매 4개 층 중 3개 층에 적용되는 Sliding Window Attention, 그리고 보조 사전학습 목표이자 추측 디코딩을 위한 내장 드래프트 모델 역할을 겸하는 단일 Multi-Token Prediction 헤드를 결합한다. 각 선택은 보급형 GPU에서의 추론 효율을 설계 제약으로 두고 어블레이션으로 검증되었다. 사전학습은 약 10.6조 토큰에 걸쳐 진행되며, 다양한 웹 데이터에서 선별된 코드 및 수학 콘텐츠로 혼합 비율을 점진적으로 전환하는 3단계 커리큘럼을 따르고, FP8 하이브리드 정밀도와 0까지 선형 감쇠하는 Warmup-Hold-Decay 스케줄 하에서 Muon으로 최적화된다. 사전학습된 베이스는 층 선택적 YaRN을 통해 128K 컨텍스트 윈도우로 확장된 뒤 2단계(지도 미세조정에 이은 RLVR)로 후속 학습되어, 직접 답하는 Instruct 모델과 최종 답 이전에 명시적 추론 흔적을 출력하는 Thinking 모델이라는 두 가지 변형이 공개된다. 코드 생성, 수학 및 추론, 도구 사용, 지식, 안전성 벤치마크 전반에서 Mellum 2는 4B-14B 범위의 오픈웨이트 베이스라인과 경쟁력을 보이면서도 2.5B 밀집 모델의 토큰당 연산량으로 동작한다. 저자들은 베이스, instruct, thinking 체크포인트를 그 배경이 되는 구조 결정, 데이터 파이프라인, 학습 레시피를 담은 이 보고서와 함께 Apache 2.0 라이선스로 공개한다.

    • 이 보고서는 토큰당 2.5B 활성 파라미터를 갖는 오픈웨이트 12B 파라미터 MoE 언어 모델 Mellum 2를 소개한다.
    • 코드 생성, 수학 및 추론, 도구 사용, 지식, 안전성 벤치마크 전반에서 Mellum 2는 4B-14B 범위의 오픈웨이트 베이스라인과 경쟁력을 보이면서도 2.5B 밀집 모델의 토큰당 연산량으로 동작한다.
    • 저자들은 베이스, instruct, thinking 체크포인트를 그 배경이 되는 구조 결정, 데이터 파이프라인, 학습 레시피를 담은 이 보고서와 함께 Apache 2.0 라이선스로 공개한다.
    초록PDF
  17. 278LLMs / NLParXiv:2605.31584

    LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards

    LongTraceRL은 루브릭 보상을 활용해 검색 에이전트 궤적 기반으로 롱컨텍스트 추론을 학습한다.

    롱컨텍스트 추론은 대규모 언어 모델의 핵심 난제로 남아 있으며, 방대한 방해 정보 속에서 핵심 정보를 찾아 통합하는 데 실패하는 경우가 많다. 검증 가능한 보상을 활용한 강화학습(RLVR)은 이 과제에서 가능성을 보여주었으나, 기존 방법들은 혼동성이 낮은 방해 항목과 희소하고 결과만 반영하는 보상 신호에 한정되어 중간 추론 단계를 감독하지 못한다. 이 논문은 이러한 문제를 해결하기 위해 LongTraceRL을 제안한다. 데이터 구성 측면에서, 지식 그래프 랜덤 워크를 통해 멀티홉 질문을 생성하고 검색 에이전트 궤적을 활용해 계층화된 방해 항목을 구축한다. 즉, 에이전트가 읽었으나 인용하지 않은 문서(높은 혼동성)와 검색 결과에는 등장했으나 한 번도 열어보지 않은 문서(낮은 혼동성)를 만들어, 무작위 샘플링이나 단일 검색으로 구축한 것보다 훨씬 까다로운 학습 컨텍스트를 생성한다. 보상 설계 측면에서, 각 추론 사슬을 따라 등장하는 정답 엔티티를 세밀한 엔티티 수준의 과정 감독으로 사용하는 루브릭 보상을 제안한다. 이 루브릭 보상은 최종 답이 정확한 응답에만 적용되며(긍정 전용 전략), 정답 응답들 사이의 추론 품질을 구별하고 보상 해킹을 방지한다. 다섯 개의 롱컨텍스트 벤치마크에서 세 가지 추론 LLM(4B~30B)으로 수행한 실험은 LongTraceRL이 강력한 베이스라인을 일관되게 능가하며 포괄적이고 근거에 기반한 추론을 유도함을 보여준다. 코드, 데이터셋, 모델은 https://github.com/THU-KEG/LongTraceRL 에서 제공된다.

    • 다섯 개의 롱컨텍스트 벤치마크에서 세 가지 추론 LLM(4B~30B)으로 수행한 실험은 LongTraceRL이 강력한 베이스라인을 일관되게 능가하며 포괄적이고 근거에 기반한 추론을 유도함을 보여준다.
    • 검증 가능한 보상을 활용한 강화학습(RLVR)은 이 과제에서 가능성을 보여주었으나, 기존 방법들은 혼동성이 낮은 방해 항목과 희소하고 결과만 반영하는 보상 신호에 한정되어 중간 추론 단계를 감독하지 못한다.
    • 이 논문은 이러한 문제를 해결하기 위해 LongTraceRL을 제안한다.
    초록PDF
  18. 277Computer VisionarXiv:2605.30561

    VLM3: Vision Language Models Are Native 3D Learners

    VLM3: 비전 언어 모델은 본질적으로 3D 학습자다.

    비전 언어 모델(VLM)은 프롬프팅을 통해 단일 모델이 다양한 비전 과제를 풀 수 있게 한다. 이들은 의미 이해에서 유망한 성능을 보여 왔다. 그러나 3D 이해는 여전히 복잡한 과제별 설계를 갖춘 전문 비전 모델에 크게 의존하고 있다. 이 연구가 제기하려는 핵심 주장은 VLM이 본질적으로 3D 학습자라는 것이다. 심층적인 대규모 연구는 첫째 초점 거리 통일, 둘째 텍스트 기반 픽셀 참조, 셋째 데이터 혼합 및 스케일링만 있으면 효과적인 3D 학습에 충분하다는 것을 보인다. 모델 구조 변경, 대형 모델, 무거운 데이터 증강, 그리고 회귀 정식화를 포함한 복잡한 손실 함수 등 전문 비전 모델의 근간을 이루는 많은 요소가 실제로는 필요조건이 아니다. 그 결과로 저자들은 표준 VLM이 다양한 3D 과제를 능숙하게 수행할 수 있게 하는, 가장 단순한 설계의 확장 가능한 방법인 VLM3를 제안한다. VLM3는 VLM의 깊이 추정 정확도를 큰 폭으로 향상시킬 뿐만 아니라(0.84에서 0.9로), 픽셀 대응, 카메라 자세 추정, 객체 수준 3D 이해 같은 다양한 3D 과제를 가능하게 하면서도 표준 구조와 텍스트 기반 학습을 유지한 채 전문 비전 모델의 정확도에 필적한다. VLM3는 단순하고 확장 가능한 3D 학습을 위한 새로운 패러다임을 연다.

    • 그 결과로 저자들은 표준 VLM이 다양한 3D 과제를 능숙하게 수행할 수 있게 하는, 가장 단순한 설계의 확장 가능한 방법인 VLM3를 제안한다.
    • 심층적인 대규모 연구는 첫째 초점 거리 통일, 둘째 텍스트 기반 픽셀 참조, 셋째 데이터 혼합 및 스케일링만 있으면 효과적인 3D 학습에 충분하다는 것을 보인다.
    • 비전 언어 모델(VLM)은 프롬프팅을 통해 단일 모델이 다양한 비전 과제를 풀 수 있게 한다.
    초록PDF
  19. 276Computer VisionarXiv:2605.31604

    Representation Forcing for Bottleneck-Free Unified Multimodal Models

    병목 없는 통합 멀티모달 모델을 위한 Representation Forcing이다.

    통합 멀티모달 모델(UMM)은 인식과 생성을 단일 모델에서 처리하는 것을 목표로 한다. 그러나 기존 UMM은 여전히 이미지 생성을 위해 동결된, 별도로 사전학습된 VAE에 의존하며 이는 구조적 병목을 초래한다. 이를 단순히 제거하면 모델이 고수준 구조와 저수준 세부를 모두 원시 픽셀로부터 학습해야 하므로 품질 격차가 생긴다. 이 논문은 표현 예측을 모델의 고유 기능으로 만들어 이 격차를 메우는 기법인 Representation Forcing(RF)을 제안한다. 구체적으로 RF는 디코더가 픽셀에 앞서 시각적 표현을 중간 토큰으로 자기회귀적으로 예측하도록 강제하며, 이 토큰들은 이후 동일한 백본 내에서 픽셀 확산을 안내하기 위해 컨텍스트에 유지된다. 표현을 인식의 출력에서 생성의 타깃으로 전환함으로써, RF는 외부 생성 잠재 공간의 필요성을 제거한다. RF는 이해와 생성 모두에 이롭다. 이미지 생성에서 RF를 적용한 픽셀 공간 모델은 최신 VAE 기반 통합 모델에 필적한다. 이미지 이해에서 픽셀 공간 RF는 일반적으로 그 VAE 기반 변형을 능가한다. 종합하면, 이러한 결과는 종단간의 병목 없는 UMM을 향한 효과적인 한 걸음을 제시한다.

    • 이 논문은 표현 예측을 모델의 고유 기능으로 만들어 이 격차를 메우는 기법인 Representation Forcing(RF)을 제안한다.
    • 이를 단순히 제거하면 모델이 고수준 구조와 저수준 세부를 모두 원시 픽셀로부터 학습해야 하므로 품질 격차가 생긴다.
    • 구체적으로 RF는 디코더가 픽셀에 앞서 시각적 표현을 중간 토큰으로 자기회귀적으로 예측하도록 강제하며, 이 토큰들은 이후 동일한 백본 내에서 픽셀 확산을 안내하기 위해 컨텍스트에 유지된다.
    초록PDF
  20. 275LLMs / NLParXiv:2605.28732

    MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

    저장 대학교와 알리바바 그룹의 연구진은 실행 흐름을 구조화된 메모리 진화 그래프로 변환함으로써 복잡한 대규모 언어 모델 메모리 시스템 내의 오류를 추적하고 귀속시키는 프레임워크인 MemTrace를 제시한다.

    MemTrace는 장기 작업용 언어 모델 메모리 시스템에서 오류가 어느 연산에서 시작됐는지 추적하는 프레임워크다. 메모리 갱신·읽기·답변 생성 과정의 변수와 의존 관계를 기록해 실행 가능한 메모리 진화 그래프로 바꾼다. Long-Context, RAG, Mem0, EverMemOS 등 대표 시스템에서 수집한 MemTraceBench를 만들고, 실패 사례의 연산 하위 그래프를 거슬러 올라가 정보 손실과 검색 불일치 같은 원인을 자동으로 찾는다. 이렇게 얻은 귀속 신호로 프롬프트를 자동 최적화하는 폐루프를 구성했을 때 최종 과제 성능이 최대 7.62% 향상됐다. 다만 추적 품질은 개발자가 어떤 변수와 연산을 어느 세밀도로 계측했는지에 의존하므로, 기록되지 않은 계산까지 자동으로 완전하게 포착하는 도구는 아니다.

    • 갱신 오류: 기존 메모리 상태를 잘못 수정하거나 덮어쓰는 경우다.
    • 삭제 오류: 유용한 정보를 부적절하게 제거하는 경우다.
    • 검색 오류: 주어진 질의에 대해 관련 메모리 단위를 찾지 못하는 경우다.
    초록PDF
  21. 274Computer VisionarXiv:2605.30341

    GPIC: A Giant Permissive Image Corpus for Visual Generation

    스탠퍼드 대학교를 비롯한 여러 기관의 공동 연구 성과인 GPIC는 고품질 합성 텍스트 캡션을 갖춘 1억 장의 이미지로 구성된, 허용적이고 안정적이며 대규모이고 접근성 높은 이미지 코퍼스를 제안하며, 시각 생성 모델링을 위한 현대적 벤치마크로 설계되었다.

    GPIC는 현대 시각 생성 모델의 대규모 학습과 비교 평가를 위해 만든 약 28조 픽셀 규모의 이미지 코퍼스다. 최신 비전-언어 모델이 생성한 캡션과 함께 학습용 1억 장, 검증용 20만 장, 시험용 100만 장을 제공한다. 모든 이미지는 연구와 상업적 이용이 가능한 허용적 라이선스를 갖추며, 안전 필터링과 중복 제거를 거쳐 Hugging Face에 중앙 호스팅된다. 연구진은 데이터만 공개하는 데 그치지 않고 생성 모델 평가 규약과 픽셀 공간 흐름 정합 기준 모델도 함께 제공했다. 따라서 오래되고 규모가 작은 ImageNet 중심 평가를 넘어, 풍부한 텍스트 조건을 쓰는 최신 생성 연구를 같은 안정적 자료에서 재현하고 비교하려는 기반으로 의미가 있다.

    • Long: 전경, 배경, 그리고 특정 OCR 텍스트를 묘사하는 매우 상세한 5~7개 문장이다.
    • GPIC-Nano: 100만 장의 이미지로, 빠른 프로토타이핑에 적합하다.
    • GPIC-Lite: 1000만 장의 이미지로, 보다 본격적인 개발에 적합하다.
    초록PDF
  22. 273LLMs / NLParXiv:2605.29682

    Scaling Laws for Agent Harnesses via Effective Feedback Compute

    하얼빈 공업대학의 연구진은 에이전트 하니스에서 폐루프 피드백의 유용성을 정량화하는 트레이스 수준 스칼라 척도인 Effective Feedback Compute(EFC)를 개발했다.

    이 연구는 에이전트 하니스가 쓴 토큰이나 도구 호출 수 대신 실제로 도움이 된 피드백의 양을 재는 Effective Feedback Compute를 제안한다. 이 지표는 피드백이 유효하고 중복되지 않으며 이후 상태에 보존됐는지를 궤적 수준에서 계산하고, 현실적인 로그를 위한 추정형 지표와 과제 난이도 정규화도 함께 제공한다. 통제 실험에서 과제 난이도로 나눈 Oracle-EFC는 성능 변동을 0.99의 결정계수로 설명했고, 실제 궤적의 정규화 지표도 원시 계산량보다 훨씬 높은 0.93을 기록했다. EFC를 기존 하니스의 피드백 선택·메모리 갱신·중단 제어에 붙인 어댑터는 평균 통과율을 61.2%에서 68.2%로 높이면서 평균 원시 비용을 213.8에서 85.1로 줄였다. 결과는 에이전트 확장이 무조건 더 오래 실행하는 문제가 아니라 과제에 충분한 유용한 피드백을 남기는 효율의 문제임을 보여준다.

    • 단계 복잡도(L): 필요한 추론 또는 행동 단계의 최소 개수다.
    • 라우터: 더 높은 품질의 라우터는 모델이 적절한 시점에 적절한 도구를 호출하도록 보장함으로써 η를 크게 증가시킨다.
    • 메모리 충실도: 더 나은 상태 관리는 유용한 정보가 보존되고 활용되도록 보장하여, 중복적인 상호작용을 방지한다.
    초록PDF
  23. 272Computer VisionarXiv:2605.30248

    GenClaw: Code-Driven Agentic Image Generation

    GenClaw는 이미지 생성을 위한 코드 기반 에이전트형 패러다임을 제안하여, AI 에이전트가 텍스트 프롬프트 최적화에만 의존하는 대신 실행 가능한 코드를 정밀한 시각적 구성을 위한 직접적인 붓으로 사용하도록 한다.

    GenClaw는 이미지 생성을 프롬프트를 반복 수정하는 검은 상자 과정이 아니라 개념화, 스케치, 채색의 세 단계로 나눈다. 에이전트가 먼저 검색과 추론으로 필요한 지식과 문맥을 정리한 뒤 SVG, HTML, ThreeJS 같은 실행 가능한 코드로 배치와 구조를 그린다. 마지막에는 이미지 생성 모델이 이 코드 기반 시각 초안에 질감, 재질, 사실감을 더한다. 코드가 중간 캔버스로 남기 때문에 사용자는 세부 배치를 직접 고칠 수 있고, 오류가 검색·코드·최종 렌더링 중 어느 단계에서 생겼는지도 구분하기 쉽다. 다만 최종 이미지 모델이 코드 초안의 세부 구조를 정확히 따르지 않을 수 있어 일부 상황에서는 결과의 안정성이 제한된다.

    • 최종 렌더링: 이미지 모델은 이 물리적 초안을 시각적 가이드로 삼아 사실적인 장면을 생성한다.
    • 검색 결과가 틀렸다면, 이는 인지 오류다.
    • 레이아웃이 비논리적이라면, 이는 코드 오류다.
    초록PDF
  24. 271Computer VisionarXiv:2605.30215

    Déjà View: Looping Transformers for Multi-View 3D Reconstruction

    DéjàView는 단일한 시간 조건부 블록을 반복적 정제에 재사용하는, 다중 시점 3D 재구성을 위한 루핑 트랜스포머 구조를 제안한다.

    DéjàView는 다중 시점 3차원 재구성에서 깊은 트랜스포머의 서로 다른 층을 쌓는 대신 하나의 블록을 여러 번 반복해 예측을 정제한다. 학습할 때 반복 횟수를 범위 안에서 바꾸므로 하나의 체크포인트에서 추론 시간과 품질의 균형을 조절할 수 있다. 실내·실외·물체·주행 장면을 포함한 다섯 벤치마크에서 훨씬 큰 피드포워드 기준선과 비슷하거나 더 좋은 성능을 내면서 매개변수 수와 계산량을 줄였다. 같은 데이터와 계산량에서 단계마다 독립된 매개변수를 둔 모델보다도 반복 블록이 더 좋아, 명시적 반복 자체가 유용한 구조적 편향임을 보여줬다. 그러나 학습 범위를 넘는 반복 횟수로는 안정적으로 외삽하지 못하고, 가변 반복 학습은 같은 예산의 고정 반복보다 품질이 높지 않으며 동적 장면도 직접 처리하지 않는다.

    • 레지스터 토큰: 트랜스포머의 전역 스크래치패드로 사용되는 네 개의 토큰이다.
    • 카메라 토큰: 해당 시점의 자세와 내부 파라미터에 관한 정보를 저장하는 특수 토큰이다.
    • 프레임 어텐션: 이 하위 블록은 각 이미지에 대해 독립적으로 작동하여, 모델이 단일 시점 내의 국소 기하 구조를 추론할 수 있게 한다.
    초록PDF
  25. 270Computer VisionarXiv:2605.30263

    minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

    minWM은 양방향 비디오 확산 모델을 실시간 상호작용이 가능하고 카메라 제어가 가능한 자기회귀(AR) 월드 모델로 변환하는 오픈소스 프레임워크다.

    minWM은 양방향 텍스트-비디오 또는 이미지-비디오 확산 모델을 실시간 상호작용형 월드 모델로 바꾸는 전체 오픈소스 절차를 제공한다. 먼저 카메라 제어를 학습시킨 뒤 자기회귀 확산 학습, 인과 ODE 또는 일관성 증류, 비대칭 DMD를 거쳐 적은 단계로 영상을 이어 생성하게 한다. Wan2.1-T2V-1.3B와 HY1.5-TI2V-8B처럼 조건 주입 구조가 다른 공개 백본에 적용해 구조 확장성을 확인했고, 기존 HY-WorldPlay를 새 데이터와 지연 목표에 맞추는 기능도 지원한다. 실행 스크립트와 체크포인트뿐 아니라 카메라 궤적 품질, 제어 학습 단계, 최소 배치 크기에 관한 실용적 절제 실험도 공개했다. 현재 지원 범위는 두 계열 모델과 카메라 제어가 중심이며, 자세 같은 추가 제어 조건과 더 많은 백본으로의 확장은 후속 과제로 남아 있다.

    • 학습 단계: 카메라 제어성은 즉각적으로 생기지 않는다. HY1.5 백본을 사용했을 때, 모델은 2,000 스텝에서는 반응성을 보이지 않았고, 5,000 스텝에서 제어의 징후를 보이기 시작했으며, 8,000 스텝 이후에야 안정화되었다.
    • 체화 AI: 로봇에게 행동의 시각적 결과를 예측할 정신적 시뮬레이터를 제공한다.
    • 게임 개발: 플레이어의 움직임에 즉석에서 반응하는 무한하고 상호작용 가능한 환경을 생성한다.
    초록PDF
  26. 269Machine LearningarXiv:2605.27734

    Learn from your own latents and not from tokens: A sample-complexity theory

    이 연구는 모델 자신의 잠재 표현으로부터 학습하는 것이 계층적 구조에 대한 데이터 효율성을 크게 향상시킨다는 것을 보이는 표본 복잡도 이론을 제시한다.

    이 논문은 토큰 자체가 아니라 모델이 만든 잠재표현을 예측하는 자기지도 학습이 왜 데이터 효율적일 수 있는지 표본 복잡도로 분석한다. 자연어와 이미지의 계층적 조합 구조를 나타내는 깊이 L의 확률적 문맥 자유 문법을 이론적 데이터 모형으로 사용한다. 이 설정에서 감독학습이나 토큰 수준 자기지도 학습은 숨은 트리를 복원하는 데 L에 대해 지수적으로 많은 표본이 필요하지만, 잠재 예측은 로그 요인을 제외하면 L과 무관한 수의 표본으로 가능함을 증명한다. 계층 군집 알고리즘, 잠재값을 층마다 예측하는 신경망, data2vec 분석의 세 방식으로 이 경계를 확인했으며 data2vec가 암묵적으로 계층적 잠재 예측을 수행한다고 해석한다. 다만 결론은 분석 가능한 확률 문법이라는 이론적 설정에 기반하므로 실제 대규모 자연 데이터에서 같은 크기의 이득이 그대로 나타나는지는 별도 검증이 필요하다.

    • 예측기(Predictor): 잠재값의 튜플을 입력받아 그 사촌 잠재값의 분포를 예측하려는 네트워크다.
    • 군집기(Clusterer): 예측기의 출력을 이산적 코드 또는 군집 정체성으로 압축하는 네트워크다. 이 코드가 다음 계층의 입력이 된다.
    • 리프터로서의 교사: EMA 교사는 학습된 잠재값을 자신의 타깃에 점진적으로 통합한다. 이는 학습이 진행되는 동안 예측 과제를 토큰 수준에서 잠재 수준으로 끌어올린다.
    초록PDF
  27. 268AI / GeneralarXiv:2605.27276

    SIA: Self Improving AI with Harness & Weight Updates

    Hexo Labs와 옥스퍼드 대학교의 연구진은 운영 스캐폴드와 기저 모델 가중치를 모두 반복적으로 갱신함으로써 AI 성능을 자율적으로 개선하는 시스템 SIA를 개발했다.

    SIA는 과제용 에이전트의 도구·프롬프트·검색 절차 같은 하니스와 기저 언어 모델의 가중치를 하나의 피드백 에이전트가 번갈아 개선하는 체계다. 하니스만 고치는 방식과 가중치만 학습하는 방식을 분리하지 않고, 과제 검증 결과에 따라 두 종류의 업데이트를 모두 수행한다. 중국 법률 혐의 분류, H100 GPU 커널 최적화, 단일세포 RNA 잡음 제거의 세 영역에서 하니스와 가중치를 함께 갱신한 방식이 하니스 전용 반복보다 모두 우수했다. 이전 최고치와 비교해 LawBench는 25.1% 높았고, GPU 커널은 12.4% 빨랐으며, 잡음 제거 지표도 20.4% 개선됐다고 보고했다. 다만 두 최적화가 같은 고정 검증기를 함께 공략하므로 검증 점수에는 강하지만 하니스나 정책이 달라지면 취약한 결합형 굿하트 문제가 생길 수 있다.

    • SIA-H(Harness 전용): 에이전트는 분류 파이프라인을 구축해 50.0% 정확도에 도달했다. 그러나 프롬프트와 코드가 한계에 이르면서 성능이 정체되었다.
    • SIA-W+H(Weights + Harness): 가중치 갱신을 추가하자 모델이 법률적 미묘함을 내재화하는 법을 학습했다. 정확도는 70.1%로 도약했으며, 이는 이전 최고 성능인 45.0%를 크게 상회하는 결과다.
    • SIA-W+H: 이 시스템은 초기 베이스라인 대비 14.02배의 속도 향상을 달성했다. 여기서 가중치 갱신이 결정적이었는데, 모델이 공유 메모리 타일링과 레지스터 누산 같은 특정 H100 하드웨어 패턴을 학습했으며 이는 스캐폴드 반복만으로는 발견할 수 없는 것이었다.
    초록PDF
  28. 267Machine LearningarXiv:2605.29157

    Parallax: Parameterized Local Linear Attention for Language Modeling

    Parallax는 대규모 언어 모델 사전학습을 위해 Local Linear Attention(LLA)의 이론적 이점을 확장하는 Parameterized Local Linear Attention 메커니즘을 제안한다.

    Parallax는 소프트맥스 주의의 국소 상수 추정을 국소 선형 추정으로 확장한 대규모 언어 모델용 주의 메커니즘이다. 기존 Local Linear Attention의 수치 해법을 없애고 키-값 공분산을 살피는 추가 질의형 투영기를 학습해 계산 안정성과 확장성을 높인다. 하드웨어 친화적 스트리밍 알고리즘과 시제품 디코드 커널은 여러 배치 크기와 문맥 길이에서 FlashAttention 2·3과 비슷하거나 더 빠른 성능을 보였다. 6억과 17억 매개변수 사전학습에서 퍼플렉서티와 후속 과제 정확도가 꾸준히 좋아졌고, 매개변수와 계산량을 맞춘 비교에서도 이점이 유지됐다. 다만 보고된 개선은 Muon 최적화기와 강하게 결합돼 있었고 평가 규모와 시제품 커널의 하드웨어 범위가 제한적이어서 더 큰 모델과 다양한 장치에서의 재현이 필요하다.

    • Perplexity: Parallax는 LAMBADA, WikiText 같은 데이터셋에서 Transformer 베이스라인 대비 일관되게 더 낮은 perplexity, 즉 모델이 표본을 얼마나 잘 예측하는지를 나타내는 척도를 달성했다.
    • 다운스트림 과제: 질의응답과 상식 추론을 다루는 제로샷 벤치마크인 HellaSwag, ARC 등에서 Parallax는 뚜렷한 성능 향상을 보였다.
    • 대조 실험: 성능 향상이 단순히 더 많은 파라미터나 더 많은 연산량 때문이 아님을 확인하기 위해, 저자들은 표준 Transformer의 파라미터 일치 버전과 연산량 일치 버전을 만들었다. Parallax는 두 버전 모두를 능가했으며, 이는 개선이 파라미터화된 국소 선형 메커니즘 자체에 내재된 것임을 시사한다.
    초록PDF
  29. 266Computer VisionarXiv:2605.27310

    How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning

    통합 멀티모달 모델(UMM)에서 교차 시점 공간 추론을 위해 시각적 사고(visual thinking)가 실제로 작동하게 만드는 View Dropout(VDrop) 훈련 기법과 최적의 시각적 표현 유형을 분석한다.

    본 연구는 통합 멀티모달 모델에서 교차 시점 공간 추론을 할 때 생성되는 thinking-image가 실제로 활용되도록 만드는 View Dropout(VDrop) 훈련 기법을 제안한다. VDrop은 답변 구간에서 한 입력 뷰의 일부를 가려서, 정답이 thinking-image를 거치도록 강제한다. Learnability-Informativeness(L-I) 트레이드오프 프레임워크를 통해 파노라마·탑다운·포인트 매칭 세 가지 시각적 사고 전략을 비교한 결과, 파노라마 시각 사고가 유일하게 두 축에서 모두 높은 점수를 기록하며 최상의 OOD 일반화를 달성했다.

    • Visual thinking의 핵심 실패 모드인 '생성했지만 사용하지 않음' 문제 식별
    • View Dropout(VDrop): 답변 구간에서 입력 뷰 일부를 마스킹하여 thinking-image를 거치도록 강제하는 훈련 기법
    • Learnability-Informativeness(L-I) 트레이드오프 프레임워크로 세 가지 시각적 사고 표현(파노라마·탑다운·포인트 매칭) 비교
    • 합성 데이터(Infinigen Indoors) 8K 샘플로 훈련 후 5개 실제 OOD 벤치마크에서 평가
    • 파노라마 visual thinking + VDrop이 유일하게 두 축에서 높은 점수를 기록하며 최상 OOD 성능 달성
    • 3× 더 많은 데이터로 학습한 기존 방법들보다도 우수한 6.7포인트 OOD 향상 달성
    초록PDF
  30. 265LLMs / NLParXiv:2605.28773

    Rethinking Memory as Continuously Evolving Connectivity

    Zhejiang University와 Alibaba Group의 연구진은 메모리를 동적으로 진화하는 이종 그래프로 모델링하고 지속적인 상호작용을 통해 그 구조와 내용을 적응시키는 LLM 에이전트용 메모리 프레임워크 FluxMem을 개발했다.

    FluxMem은 언어 모델 에이전트의 메모리를 고정 저장소가 아니라 연결 구조가 계속 바뀌는 이종 그래프로 표현한다. 초기 연결 형성, 환경 피드백에 따른 정제, 장기 통합의 세 단계에서 빠진 연결을 복구하고 방해 연결을 지우며 기억의 추상화 수준을 과제에 맞춘다. 반복해서 성공한 행동 경로는 재사용 가능한 절차 회로로 압축하고, 하나의 지표로 기억의 일반화 가능성과 성숙도를 관리한다. LoCoMo, Mind2Web, GAIA에서 기존 기준선보다 높은 성능을 보고했으며, 예를 들어 GAIA의 Kimi K2 평균 성공률은 52.12에서 64.85로 올랐다. 다만 반복적인 언어 모델 호출의 지연·비용을 체계적으로 측정하지 않았고 정적 벤치마크만 사용했기 때문에 실시간 열린 환경에서의 효율과 적응성은 아직 확인이 필요하다.

    • 성공: 이러한 위상적 및 단위 수준 편집을 통해 에이전트는 작업을 성공적으로 완료했다.
    • 자기 교정 검색: 환경 피드백을 통해 '과잉 연결' 및 '연결 부족' 문제를 동적으로 수정한다.
    • 세분성 조정: 저장된 메모리의 상세 수준을 현재 작업 요구에 맞게 적응시킨다.
    초록PDF
  31. 264Machine LearningarXiv:2605.28109

    Long Live The Balance: Information Bottleneck Driven Tree-based Policy Optimization

    Information Bottleneck-driven Tree-based Policy Optimization(IB-TPO)은 대규모 언어 모델을 위한 온라인 강화학습에서 탐색-활용 불균형 문제를 다룬다.

    IB-TPO는 온라인 강화학습에서 언어 모델이 새로운 풀이를 탐색하는 정도와 정답 신호를 활용하는 정도의 균형을 맞추는 방법이다. 단계별 추론 다양성과 정답 사이의 상호정보량을 함께 반영하는 IB-Score를 만들어 기존 GRPO의 학습 불균형을 진단한다. 이 점수를 세밀한 최적화 목표로 사용하고, 유용한 분기 지점에서만 트리를 확장해 같은 접두부와 KV 캐시를 재사용한다. 그 결과 같은 토큰 예산에서 독립 샘플링보다 궤적을 50% 더 만들었고 표준 벤치마크에서 GRPO보다 2.9%에서 3.6% 높은 성능을 보고했다. 이는 불확실성만 키우는 탐색이 아니라 정답과 연결된 다양성이 있는 단계에 계산을 집중하는 강화학습 설계가 더 효율적일 수 있음을 보여준다.

    • 효율성: 접두부를 재사용하고 KV 캐싱을 효과적으로 활용하여, 독립 샘플링 대비 동일한 토큰 예산 내에서 더 많은 궤적(더 높은 G)을 생성할 수 있게 한다.
    • 적응형 탐색: IB-Score를 기준으로 분기함으로써, 모델은 높은 다양성과 정답을 향한 강한 신호가 모두 존재하는 '핵심' 단계에 탐색을 집중한다.
    초록PDF
  32. 263LLMs / NLParXiv:2605.28814

    Self-Improving Language Models with Bidirectional Evolutionary Search

    하버드와 MIT의 연구진은 진화 연산자를 목표 분해를 위한 후방 탐색과 통합하는 프레임워크인 Bidirectional Evolutionary Search(BES)를 개발하여, 언어 모델과 에이전트 시스템이 더 높은 품질의 해를 발견할 수 있게 한다.

    BES는 언어 모델의 후보 답을 앞에서 이어 쓰는 탐색과 목표를 뒤에서 세부 과제로 나누는 탐색을 결합한다. 전방 탐색에서는 여러 부분 궤적을 재조합·삭제·교체하는 진화 연산으로 한 번의 자기회귀 생성에서 나오기 어려운 후보를 만든다. 후방 탐색은 원래 문제를 확인 가능한 하위 목표로 재귀적으로 분해해 희소한 최종 채점 대신 촘촘한 중간 피드백을 제공한다. 이론 분석은 진화 연산이 확장 전용 탐색의 좁은 후보 영역을 벗어나고 후방 분해가 정답을 찾는 표본 수를 지수적으로 줄일 수 있음을 보였으며, 실험에서도 후처리 학습과 세 개의 열린 문제 해결 벤치마크에서 기존 공개 프레임워크를 앞섰다. 다만 후처리 실험은 계산 자원 제약으로 최대 80억 매개변수 모델까지만 수행돼 더 큰 모델에서의 효과는 확인되지 않았다.

    • 결합: 이 연산자는 동일한 시작점을 공유하는 서로 다른 두 추론 경로를 취해 각자의 고유한 접미부를 병합한다. 이를 통해 모델은 여러 시도에서 나온 성공적인 구성 요소들을 종합할 수 있다.
    • 삭제: 궤적에서 단일 내부 단계를 제거한다. 이는 추론을 간소화하거나 모델을 잘못된 방향으로 이끌 수 있는 중복된 '채움' 단계를 제거하는 데 도움이 된다.
    • 전위: 한 궤적의 한 단계가 다른 궤적의 단계로 교체된다. 이는 동일한 맥락에서 다른 접근이 더 잘 맞는지 확인하기 위해 논리의 한 조각을 '교체'하는 것과 유사하다.
    초록PDF
  33. 262RoboticsarXiv:2605.30280

    Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

    Qwen Team이 개발한 Qwen-VLA는 로봇 조작 및 시각-언어 내비게이션 같은 다양한 체화 의사결정 문제를 단일 시각-언어-행동 모델로 통합한다.

    Qwen-VLA는 로봇 조작, 시각-언어 내비게이션, 궤적 예측을 하나의 시각-언어-행동 모델로 통합한다. Qwen의 시각-언어 구조에 DiT 기반 행동 디코더를 붙이고, 로봇 궤적·사람 1인칭 영상·시뮬레이션·내비게이션·보조 시각언어 데이터를 함께 사전학습한다. 로봇별 몸체와 제어 규칙을 텍스트로 알려주는 조건을 사용해 팔, 이동 플랫폼 등 서로 다른 형태의 연속 행동을 같은 모델에서 생성한다. 여러 벤치마크에서 일관된 다중 과제 성능을 보였고, 실제 ALOHA의 분포 밖 조건에서 평균 성공률 76.9%, DOMINO 동적 조작에서 제로샷 성공률 26.6%를 보고했다. 그러나 평가는 여전히 비교적 짧고 정해진 벤치마크 중심이며, 장시간 실제 환경의 실패 복구와 촉각·힘 같은 물리 피드백은 후속 과제로 남아 있다.

    • 보조 시각-언어 데이터(8.5%): 모델이 장면을 묘사하거나 객체에 대해 추론하는 방법을 잊지 않도록 하는 범용 VLM 데이터다.
    • 통합 구조: 공유 행동 전문가와 텍스트 조건화를 통해 하나의 모델이 다양한 체화 형태(팔, 손, 이동 베이스)를 제어할 수 있음을 입증한다.
    • 모달리티 간 전이: 시각-언어 학습이 더 나은 객체 인식과 명령 파싱을 제공함으로써 로봇 행동에 직접적으로 도움이 됨을 보여준다.
    초록PDF
  34. 261AI / GeneralarXiv:2605.26340

    ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence

    이 연구는 AI가 생성한 연구에서 검증 가능한 주장을 위한 Chain-of-Evidence(CoE) 프레임워크를 도입하고, 문헌 검토부터 논문 작성까지 증거 사슬을 유지하도록 설계된 자율 연구 시스템 ScientistOne을 제시한다.

    ScientistOne은 자율 연구 시스템이 만든 수치·인용·방법 설명을 실제 증거와 끝까지 연결하기 위한 Chain-of-Evidence 체계를 사용한다. 문헌 조사, 해법 탐색, 실험, 논문 작성 단계마다 주장에 근거를 붙이고, 사후 감사에서는 점수 재실행, 규칙 위반, 참고문헌, 방법과 코드의 일치 여부를 검사한다. 다섯 시스템이 만든 75편을 조사했을 때 기준 시스템들에서는 환각 인용, 재현되지 않는 점수, 코드와 다른 방법 설명이 체계적으로 발견됐다. 논문이 보고한 ScientistOne 결과는 환각 참고문헌 0건, 점수 검증 12건 모두 통과, 방법-코드 일치 15건 중 14건으로 비교군 중 가장 높았다. 이 연구의 핵심 의미는 보기 좋은 논문이나 높은 표면 점수보다 각 주장을 재현 가능한 로그·코드·문헌으로 추적하는 감사를 자율 연구의 필수 산출물로 만든 데 있다.

    • 점수 검증(I1): 감사자는 보고된 점수가 재현 가능한지 확인하기 위해 '골든' 평가기에서 에이전트의 코드를 재실행한다.
    • 사양 위반(I2): 시스템은 에이전트가 규칙을 우회했는지(예: 정답 하드코딩 또는 제한된 데이터 임포트) 점검한다.
    • 참고문헌 검증(I3): 모든 인용은 환각을 탐지하기 위해 전 세계 학술 데이터베이스와 대조 확인된다.
    초록PDF
  35. 260AI / GeneralarXiv:2605.28655

    AutoScientists: Self-Organizing Agent Teams for Long-Running Scientific Experimentation

    AUTOSCIENTISTS는 중앙 조율 없이 장기 과학 실험을 수행하도록 설계된 분산형 자기 조직화 멀티에이전트 프레임워크다.

    AutoScientists는 중앙 계획자 없이 여러 AI 에이전트가 장기 계산 과학 실험을 병렬로 수행하는 프레임워크다. 에이전트들은 공유 실험 상태를 보고 유망한 가설 주위에 팀을 만들며, 계산 자원을 쓰기 전에 서로 비평하고 성공과 실패를 공유해 중복 탐색을 줄인다. 같은 실험 예산에서 BioML-Bench 24개 과제의 평균 순위 백분위 74.4%를 기록해 가장 강한 기존 에이전트보다 8.33% 높았다. 언어 모델 학습 최적화에서는 목표 검증 지표에 Autoresearch보다 1.9배 빨리 도달했고, ProteinGym 217개 분석에 적용한 방법은 기존 최고치보다 스피어만 상관을 6.5% 높였다. 다만 일부 비교는 공개 벤치마크의 원래 하드웨어와 다른 통합 GPU 환경에서 수행됐고, 세부 통찰 중 일부는 한 과제·한 백엔드·한 실행에서 나온 만큼 일반성 해석에 주의가 필요하다.

    • 공유 포럼(F): 에이전트들이 구조화된 토론을 게시하고, 특정 변경이 왜 효과적이었는지 가설을 세우며, 다른 에이전트의 제안을 비판하는 공간이다.
    • 분석가 제거: 이는 제안 품질의 상당한 저하로 이어졌는데, 실험 에이전트들이 중복되거나 근거가 빈약한 시도를 피할 전략적 감독을 갖추지 못했기 때문이다.
    • 에이전트 간 피드백 제거: 동료 비평을 비활성화하자 '잘못된 출발'의 비율이 높아졌는데, 이는 다른 에이전트가 쉽게 결함을 식별할 수 있었던 가설을 시스템이 추구하는 경우였다.
    초록PDF
  36. 259Computer VisionarXiv:2605.27367

    SpatialBench: Is Your Spatial Foundation Model an All-Round Player?

    포괄적 벤치마크인 SpatialBench는 다양한 작업, 도메인, 입력 밀도에 걸쳐 공간 파운데이션 모델(SFM)을 평가한다.

    SpatialBench는 공간 파운데이션 모델을 특정 데이터셋 하나가 아니라 과제, 장면 영역, 입력 프레임 밀도, 계산 방식 전반에서 비교하는 벤치마크다. 5개 공간 영역의 19개 데이터셋과 546개 장면을 모아 6개 구조 계열의 41개 모델을 5개 과제 묶음과 4개 입력 밀도에서 결정론적으로 평가한다. 결과는 현재 모델이 모든 조건에 강한 범용 모델은 아니며, 전체 문맥 주의는 정확도에 유리한 반면 제한 메모리 방식은 긴 영상의 확장성에 유리함을 보여준다. 체화·1인칭 과제에서는 단순한 데이터 양보다 목표 영역과의 일치와 데이터 품질이 더 중요했다. 연구진은 특히 부족했던 1인칭·손목 시점 자료를 보완하기 위해 DA-Next-5M 데이터셋과 DA-Next 기준 모델도 함께 공개했다.

    • DENSE: 장기 시계열 비디오 시퀀스에 초점을 맞추며, 최대 500프레임 한계까지 거의 모든 프레임을 입력한다.
    • 로보틱스용: DA-Next-5M 또는 유사한 1인칭 시점 데이터셋으로 학습된 모델을 사용한다. 표준 실내/실외 파운데이션 모델은 손목 장착형 조작 작업에서 실패할 가능성이 높다.
    • AR/VR용: 온라인 스트리밍 또는 청크 기반 모델이 선호된다. 이러한 시스템은 모바일 기기나 헤드셋의 메모리 한계를 초과하지 않으면서 긴 세션을 처리해야 한다.
    초록PDF
  37. 258ResearcharXiv:2605.28781

    The sum-product conjecture is false for real numbers

    실수에 대한 sum-product 추측의 강한 형태를 반증한 논문로, 충분히 큰 차수의 실대수적 정수환에서 |A+A|와 |AA| 모두 |A|^(2-c) 이하인 반례를 구성했다.

    본 논문은 실수에 대한 sum-product 추측(max(|A+A|, |AA|) ≥ |A|^{2-o(1)})이 거짜임을 증명한다. 저자들은 차수가 log|A|에 비례하는 완전 실대수체(totally real number field)의 대수적 정수 부분집합 A를 구성하여, max(|A+A|, |AA|) ≤ |A|^{2-c}를 만족하는 임의로 큰 집합을 생성했다. 동일 기법으로 many sums and products 추측, p-adic·유한체·양특성 함수체에서의 변형, 그리고 승법군에서의 선형 방정식 해의 개수에 대한 새로운 하한을 얻었다.

    • 실수 위에서 sum-product 추측(1.1)을 반증: |A+A|와 |AA|가 모두 |A|^{2-c} 이하인 반례 구성
    • 완전 실대수체(totally real number field)의 대수적 정수를 활용한 고차원 Balog–Wooley 유형 구조
    • Many sums and products 추측 또한 반증: max(|kA|, |A^(k)|) ≤ |A|^{C log k / log log k}
    • p-adic, 유한체 Fp, 양특성 함수체 Fq((t)) 등 다양한 환에서의 변형 결과
    • 승법군에서 선형 방정식 x1+...+xk=1의 해 개수에 대한 새로운 하한 및 단위 방정식 응용
    • GPT-5.5 Pro가 초기 탐색에 사용되었으나 최종 증명은 거의 인간이 생성 (OpenAI 단위거리 추측 반례에서 영감)
    초록PDF
  38. 257Computer VisionarXiv:2605.26519

    R³: 3D Reconstruction via Relative Regression

    미시간 대학교와 Westlake University의 연구진이 개발한 R3는 직접적인 전역 프레임 회귀에서 학습된 신뢰도 점수를 갖춘 쌍별 상대 자세 회귀로 전환하는 3D 재구성 프레임워크를 도입한다.

    R³는 긴 영상의 카메라 자세를 하나의 전역 좌표에서 직접 예측하지 않고 프레임 쌍 사이의 상대 회전과 이동으로 재구성한다. 가벼운 MLP가 상대 자세와 회전·이동별 신뢰도를 예측하며, 이 신뢰도는 학습 손실의 가중치이자 추론 때 여러 쌍을 하나의 궤적으로 합치는 기준이 된다. 같은 체크포인트로 전체 문맥 오프라인 처리와 제한 메모리의 인과적 스트리밍을 모두 지원하고, 스트리밍에서는 신뢰도 기반 키프레임 저장소를 유지한다. 3억7200만 매개변수로 다양한 3차원 과제에서 10억급 모델과 비슷하거나 더 좋은 성능을 냈고 수천 프레임에서도 제한된 메모리로 초당 20프레임 이상을 보고했다. 다만 매우 긴 영상에서는 주기적 재설정이 없으면 누적 오차가 생기고, 먼 시점·가림·장기 시퀀스의 기하 불일치와 수동 임계값 의존이 남아 있다.

    • 스케일 안정성: 인접한 두 프레임 사이의 상대적 이동(베이스라인)은 보통 작고 예측 가능한 반면, 긴 여정의 시작점으로부터의 거리는 그렇지 않다.
    • 원점 독립성: 시퀀스 내 어떤 프레임도 다른 프레임의 기준이 될 수 있다. 시스템은 더 이상 첫 관측에 '사슬처럼' 묶여 있지 않다.
    • 신규성: 새 프레임의 시각적 특징이 이미 저장된 것과 충분히 다를 경우, 해당 프레임이 뱅크에 추가된다.
    초록PDF
  39. 256Machine LearningarXiv:2605.26535

    Recursive Flow Matching

    Recursive Flow Matching(RecFM)은 복잡한 시공간 동역학을 예측하기 위한 생성 프레임워크를 도입하며, 이산화 스케일 전반에 걸친 자기 일관성을 강제함으로써 높은 물리적 정확도와 계산 효율성을 달성한다.

    Recursive Flow Matching은 복잡한 시공간 물리 현상을 한두 번 또는 몇 번의 생성 단계로 빠르게 예측하기 위한 흐름 정합 방법이다. 서로 다른 시간 이산화 크기에서 얻은 궤적이 일치하도록 하나의 네트워크에 재귀적 자기 일관성을 강제해 단계 축소로 생기는 오차를 줄인다. 과학 벤치마크에서 1단계와 2~4단계 생성만으로 여러 단계의 최신 해법과 비슷한 충실도를 보였다고 보고했다. 주요 확산 기반 에뮬레이터보다 최대 20배 빠르면서 예측 정확도를 높였고, 기본 흐름 정합과 비교해서는 평균제곱오차를 15% 넘게 줄였다. 다만 물리 방정식 기반 자료보다 의미 변화가 복잡한 실제 영상으로 확장하는 일은 아직 어렵고, 현실적 비디오 영역의 검증은 후속 과제로 남아 있다.

    • 트레이드오프 제거: 대부분의 모델이 속도와 정확도 사이의 선택을 강요하는 반면, RecFM은 재귀적 학습을 사용해 두 가지를 동시에 향상시킨다.
    • 명시적 스케일 정렬: '교사' 모델을 사용해 '학생'을 증류하는 일관성 모델과 달리, RecFM은 단일 네트워크를 사용하며 내부적으로 다중 스케일 정렬을 강제한다. 이는 학습 중 더 견고한 그래디언트 신호를 제공한다.
    • 물리적 충실도: 궤적을 '직선화'함으로써, RecFM은 생성 모델을 가속할 때 보통 손실되는 고주파 디테일(파동과 와류 등)을 보존한다.
    초록PDF
  40. 255Machine LearningarXiv:2605.26282

    Scaling World-Model Reinforcement Learning Through Diffusion Policy Optimization

    MBDPO는 월드 모델 내에서 탐색과 정책 최적화를 diffusion 과정으로 통합하여 기존 model-based RL의 구조적 정렬 문제를 해결하는 프레임워크다.

    MBDPO(Model-Based Diffusion Policy Optimization)는 월드 모델 기반 강화학습에서 탐색과 가치 학습 간의 구조적 불일치 문제를 해결하기 위해, 정책 최적화를 잠재 월드 모델 상의 diffusion 과정으로 재정식화한다. 암시적 에너지 함수로 데이터셋의 행동 분포에 정책을 고정하면서, 상상 궤적을 통해 score field를 정정하여 최적 Gibbs 정책으로 수렴시킨다. 다중 태스크 오프라인 사전학습·온라인 학습·오프라인-투-온라인 미세조정 전반에서 일관된 성능 향상을 보였으며, 모델 용량이 증가함에 따라 단조적 성능 개선을 달성했다.

    • 월드 모델 기반 RL의 핵심 병목인 탐색-가치 학습 간 구조적 불일치(misalignment) 식별
    • 정책 최적화를 잠재 월드 모델 상의 diffusion process로 재정식화하여 탐색과 정책 최적화 통합
    • 데이터셋이 유도하는 암시적 에너지 함수(KL trust region)로 정책을 행동 분포에 고정
    • 상상 궤적의 누적 보상으로 score field를 정정하여 최적 Gibbs 정책으로 수렴
    • 다중 태스크 오프라인 사전학습·온라인·오프라인-투-온라인 설정 전반에서 일관된 성능 향상
    • 모델 용량 증가에 따른 단조적 성능 개선으로 확장성 입증
    초록PDF
  41. 254Computer VisionarXiv:2605.28816

    Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

    Gamma-World는 대화형 시뮬레이션을 위해 설계된 생성형 멀티에이전트 월드 모델로, 순열 대칭적 에이전트 정체성을 위한 Simplex Rotary Agent Encoding과 효율적인 에이전트 간 통신을 위한 Sparse Hub Attention을 도입한다.

    Gamma-World는 여러 플레이어나 로봇이 같은 공간에서 동시에 행동하는 영상을 생성하는 멀티에이전트 월드 모델이다. Simplex Rotary Agent Encoding은 각 에이전트에 구별되는 위상을 주면서 순서를 바꿔도 동등하게 취급해 고정 슬롯 정체성 없이 여러 주체를 표현한다. Sparse Hub Attention은 학습 가능한 허브 토큰을 통해 에이전트 사이 정보를 전달해 교차 주의 비용을 에이전트 수의 제곱에서 선형으로 줄인다. 전체 문맥 확산 교사를 KV 캐시를 쓰는 인과적 학생 모델로 증류해 행동에 반응하는 영상을 초당 24프레임으로 생성했다. 멀티플레이 가상 환경에서 슬롯 기반·밀집 주의 기준선보다 영상 품질과 행동 제어, 시점 간 일관성이 좋아졌고 추가 학습 없이 두 명에서 네 명으로 일반화했지만 실제 로봇 환경에서의 성능은 이 평가로 확인되지 않았다.

    • 허브 토큰은 모든 에이전트 토큰과 다른 허브 토큰에 어텐션을 수행한다.
    • 양방향 교사 학습: 모델은 우선 전체 시간 시퀀스에 접근할 수 있는 표준 디퓨전 모델로 학습된다. 이 '교사'는 멀티에이전트 상호작용의 전체 분포를 높은 충실도로 학습한다.
    • 인과적 학생 학습: 실시간 롤아웃을 가능하게 하기 위해 '학생' 모델은 인과적 구조를 사용해 학습된다. 교사와 달리 학생은 과거와 현재만 본다. Sparse Hub Attention 마스크와 각 프레임 블록마다 독립적으로 샘플링된 노이즈 레벨을 사용한다.
    초록PDF
  42. 253Computer VisionarXiv:2605.28820

    From Pixels to Words -- Towards Native One-Vision Models at Scale

    S-Lab, NTU, SenseTime Research가 개발한 NEO-ov는 네이티브 인코더 프리 비전-언어 모델을 소개하며, 종단간 자기회귀 구조를 통해 단일 이미지, 다중 이미지, 비디오 이해를 공간 지능과 함께 통합한다.

    NEO-ov는 별도 비전 인코더나 어댑터 없이 픽셀과 언어 토큰을 하나의 모델에서 끝까지 학습하는 네이티브 비전-언어 모델이다. 이 모델은 통합 시각 직렬화와 시공간 어텐션을 사용해 단일 이미지, 다중 이미지, 영상, 공간 지능을 같은 구조로 다룬다. 모듈 경계를 없애 픽셀과 단어의 초기 상호작용 및 프레임 사이 대응을 모델 내부에서 직접 학습하도록 설계했다. 실험에서는 강한 모듈형 모델과의 성능 격차를 크게 줄였고, 세밀한 시각 인식과 공간 추론에서 뚜렷한 장점을 보였다. 이 연구는 네이티브 구조가 대규모 통합 시각 모델의 실현 가능한 대안임을 보이며 코드와 모델도 공개한다.

    • 인과적 종속성의 경우, 인덱스 j가 i보다 크거나 같으면 토큰의 표준 순차 순서를 따른다.
    초록PDF
  43. 252AI / GeneralarXiv:2605.27366

    MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation

    MUSE-Autoskill은 대규모 언어 모델 에이전트가 재사용 가능한 자신의 스킬을 자율적으로 생성, 관리, 평가, 개선할 수 있게 하는 포괄적인 에이전트 프레임워크를 제시하며, 5단계 스킬 생애주기와 다층 메모리 시스템을 통합한다.

    MUSE-Autoskill은 에이전트 스킬을 일회성 파일이 아니라 생성, 기억, 관리, 평가, 개선의 생애주기를 갖는 자산으로 다루는 프레임워크다. 에이전트는 필요한 스킬을 실행 중에 만들고, 작업별 경험을 스킬 메모리에 쌓으며, 단위 테스트와 실행 피드백으로 재사용 가능성을 점검한다. SkillsBench와 SkillLearnBench의 주요 설정에서 MUSE-Autoskill은 비교한 에이전트들보다 높은 성능을 기록했다. 생성에 성공한 작업만 보면 자체 스킬의 정확도가 85.24%로 같은 작업의 인간 작성 스킬 81.17%를 넘었고, Hermes로 옮긴 스킬도 51.90%의 정확도를 보였다. 다만 전체 성능을 제한한 주된 요인은 아직 쓸 수 있는 스킬을 만들지 못한 작업이 많다는 점이어서, 스킬 품질뿐 아니라 적용 범위를 넓히는 일이 중요하다.

    • 테스트는 스킬이 Skill Bank에 들어가도록 허용되기 전에 스킬이 올바르게 작동하는지 검증하는 데 사용되는 단위 테스트다.
    • 메모리는 이전 실행에서 얻은 관찰과 교훈을 저장하는 고유한 파일(.memory.md)이다.
    • 레벨 1(단일 노드 압축)에서는 특정 도구 출력이 방대할 경우(예: 20,000 토큰 분량의 로그 파일), 주변 대화는 그대로 유지하면서 그것을 간결한 요약으로 대체한다.
    초록PDF
  44. 251Information RetrievalarXiv:2605.24938

    Your Embedding Model is SMARTer Than You Think

    SMART라는 이름의 프레임워크는 기존의 잠재된 지역적 의미 정보를 활용하여 단일 벡터 멀티모달 임베딩 모델을 다중 벡터 변형으로 변환한다.

    SMART는 단일 벡터 멀티모달 임베딩 모델의 중간 은닉 상태에서 지역 정보를 꺼내 다중 벡터 검색에 활용하는 방법이다. 저자들은 풀링된 벡터에 적용한 대조 학습의 기울기가 앞선 토큰 표현의 검색 구조까지 형성한다는 점을 분석했다. 이에 따라 모델을 다시 학습하지 않고도 은닉 상태에 늦은 상호작용을 적용하고, 전역 점수와 지역 점수를 함께 사용한다. 여러 모달리티와 MMEB-V2 평가에서 기존 단일 벡터 모델의 성능을 꾸준히 높였으며, 가벼운 후속 학습은 시각 문서 검색에서 추가 개선을 만들었다. 이 방식은 전체 데이터베이스와 모델을 처음부터 다시 만들지 않고도 세밀한 검색 증거를 활용할 수 있다는 데 실용적 의미가 있다.

    • 효율성 측면에서, 개발자는 전체 데이터베이스를 다시 인덱싱하거나 비용이 큰 재학습을 수행하지 않고도 기존 검색 시스템을 '다중 벡터' 지원으로 업그레이드할 수 있다.
    • 정확도 측면에서, SMART는 이미지 분류 같은 전역 작업과 100페이지 매뉴얼에서 특정 문장을 찾는 것 같은 지역 작업 모두에서 잘 작동하는 '범용' 검색 모델로 가는 길을 제공한다.
    초록PDF
  45. 250LLMs / NLParXiv:2605.25604

    DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning

    동적 분산 적응 어드밴티지 최적화(DVAO)는 GRPO(Group Relative Policy Optimization) 프레임워크 내에서 다중 보상 강화학습을 위한 방법을 도입하며, 보상 분산에 기반하여 목적 가중치를 동적으로 조정함으로써 상충하는 목표 간의 우수한 트레이드오프를 달성한다.

    DVAO는 여러 보상을 함께 최적화하는 GRPO에서 고정 가중치가 만드는 불안정성과 목표 간 고립 문제를 해결하려는 방법이다. 각 롤아웃 그룹에서 보상별 경험적 분산을 계산해 학습 신호가 강한 목표의 비중은 높이고 잡음이 큰 신호는 억제한다. 저자들은 이 조합의 어드밴티지 크기가 제한되어 안정적인 학습을 돕는다는 성질과 목표 사이의 적응형 정규화 효과를 이론적으로 제시했다. Qwen3와 Qwen2.5를 사용한 수학 추론 및 도구 사용 실험에서는 기준 방법보다 나은 다목적 파레토 경계와 안정성을 보였다. 다만 매우 작은 롤아웃 그룹에서는 분산 추정이 불안정할 수 있고, 실험이 주로 두 개 목표에 집중됐으며 보상 함수 자체의 품질에도 의존한다.

    • 사용 편의성 측면에서, 알고리즘이 데이터에 기반하여 최적의 균형을 적응적으로 찾아내므로 실무자가 보상 가중치를 수동으로 조정할 필요를 줄여준다.
    • 안정성 측면에서, '크기 폭발'을 피하는 데 필요한 이론적 안정성을 추가하면서도 GRPO 프레임워크의 효율성을 보존한다.
    • 시너지 측면에서, 교차 목적 정규화를 통해 모델이 추론 정확도 같은 더 어렵고 중요한 목표를 희생하면서 단지 '가장 쉬운' 보상만 최적화하지 않도록 보장한다.
    초록PDF
  46. 249Computer VisionarXiv:2605.26102

    InstructSAM: Segment Any Instance with Any Instructions

    InstructSAM은 복잡한 자연어 지시에 따라 다중 인스턴스 분할을 수행하는 종단간 프레임워크를 제공하며, 명시적인 쿼리 기반 메커니즘을 통해 VLM과 SAM3를 통합한다.

    InstructSAM은 자유 형식 지시를 만족하는 여러 객체를 한 번에 분할하기 위한 통합 프레임워크다. 비전-언어 모델 안에 학습 가능한 인스턴스 질의 묶음을 넣고, 각 질의가 서로 다른 대상의 슬롯으로 작동하도록 지시와 시각 정보를 결합한다. 혼합 어텐션으로 슬롯 사이 중복을 줄인 뒤 이 질의를 SAM3의 검출 질의 공간에 투영해 한 번의 순전파로 여러 마스크를 만든다. 연구진은 자유 형식 지시와 인스턴스 마스크를 연결한 Inst2Seg 데이터셋과 평가 기준도 구축했다. 2B 규모 모델의 실험은 복잡한 지시 및 구문 기반 분할에서 기존 종단간 방법과 여러 단계의 SAM3 에이전트 파이프라인보다 강한 결과를 보여준다.

    • 디코딩 단계에서는 마지막으로 스코어 헤드가 쿼리가 유효한 대상 인스턴스에 해당하는지 판단하고, 분할 헤드가 이진 마스크를 생성한다.
    • 단일 대상의 경우 지시에서 언급된 하나의 특정 객체를 식별한다.
    • 다중 대상의 경우 복잡한 조건을 만족하는 모든 인스턴스를 찾는다(예: '모든 나무 의자').
    초록PDF
  47. 248Computer VisionarXiv:2605.27365

    LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

    LocateAnything은 Parallel Box Decoding(PBD)을 활용하는 비전-언어 모델을 소개하며, 전체 바운딩 박스나 점을 원자 단위로 예측함으로써 빠르고 고품질의 시각적 그라운딩 및 탐지를 가능하게 한다.

    LocateAnything은 바운딩 박스 좌표를 토큰별로 순서대로 생성하는 대신 박스나 점을 하나의 원자적 단위로 병렬 예측하는 시각 그라운딩 모델이다. Parallel Box Decoding은 한 박스 안의 좌표 관계를 보존하면서 생성 단계를 줄이고, 필요에 따라 빠른 모드와 견고한 모드를 선택할 수 있게 한다. 연구진은 1억 3,800만 개가 넘는 학습 샘플로 구성된 LocateAnything-Data도 구축해 다양한 정밀 위치 찾기 과제를 학습했다. 여러 검출과 그라운딩 평가에서 높은 IoU의 위치 정확도를 개선하면서 경쟁 방법보다 최대 2.5배 빠른 디코딩을 보고했다. 다만 현재 학습은 주로 지도 미세조정에 의존하므로, 어려운 밀집 장면과 긴 꼬리 사례의 강건성을 높이기 위한 강화학습은 후속 과제로 남는다.

    • NTP를 위한 인과적 어텐션에서 표준 토큰은 자신보다 앞서 나온 토큰만 볼 수 있다.
    • Fast 모드는 모든 것에 병렬 디코딩을 사용한다. 이는 가장 높은 처리량을 제공하지만, 매우 밀집하거나 복잡한 장면에서는 가끔 오류를 낼 수 있다.
    • Slow 모드는 표준 순차 NTP로 되돌아간다. 더 견고하고 정밀하지만 훨씬 느리다.
    초록PDF
  48. 247Computer VisionarXiv:2605.25979

    LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

    Glint Lab, AIM for Health Lab, MVP Lab의 연구진은 비디오를 연속적인 비트 비용 스트림으로 처리하는 비전-언어 모델 LLaVA-OneVision-2를 개발했으며, 이는 전통적인 프레임 중심 패러다임에서 벗어나 네이티브 비디오 코덱 구조를 활용한다.

    LLaVA-OneVision-2는 압축 영상을 고정 간격의 프레임 묶음이 아니라 비트 비용이 변하는 연속 스트림으로 처리하는 비전-언어 모델이다. 비트 비용으로 시간 구간을 나누고 움직임 잔차로 중요한 공간 증거를 골라, 제한된 토큰을 사건이 많은 부분에 집중한다. 약 800만 개의 재캡션 영상과 400만 개의 공간 학습 샘플을 사용했으며, 이미지와 프레임 및 코덱 캔버스를 공통 3차원 위치 표현에 놓는다. 8B 모델은 JumpScore에서 74.9 mAP를 기록했고 같은 토큰 예산에서 코덱 스트림 입력이 균일 프레임 샘플링보다 시간 위치 찾기를 9.7점 높였다. 이 결과는 영상 코덱의 예측 정보를 장시간 영상 이해와 공간 추론을 위한 선택적 지각 자원 배분에 활용할 수 있음을 보여준다.

    • 3단계(긴 비디오)에서는 모델이 약 800만 개 클립으로 구성되고 총 1,040억 토큰에 달하는 길이 계층화된 비디오 캡션 코퍼스에 노출된다. 이 비디오들은 30초에서 15분까지 다양하며, 모델이 긴 시간 동안 맥락을 유지하도록 학습시킨다.
    • 4단계(코덱 및 공간)에서는 코덱 네이티브 학습이 도입된다. 10~15분 길이의 비디오는 가변 길이 GOP 파이프라인을 사용하여 재인코딩된다. 추가로, 모델은 실내 스캔에서 객체를 식별하거나 체화된 시뮬레이터에서 움직임을 추적하는 등 2D 및 3D 공간 추론에 초점을 맞춘 400만 개 샘플을 포함하는 LLaVA-OneVision-2-Spatial-4M 코퍼스로 학습된다.
    • 코덱 스트림 접근법은 시간적 그라운딩과 시각 인식에서 현저히 더 우수했다. '이벤트를 담은' 순간에 토큰을 재할당함으로써, 균일 샘플링이 놓치는 움직임 역학을 포착한다.
    초록PDF
  49. 246LLMs / NLParXiv:2605.26431

    Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

    LLM이 통사론의 위상(phase) 구조를 인코딩하는지를 wh-movement 자극으로 검증한 연구로, UD가 표현하지 못하는 형식 통사론 추상을 13개 모델에서 확인했다.

    본 연구는 대형 언어 모델이 Universal Dependencies(UD)가 포착하지 못하는 형식 통사론적 추상인 위상 구조(phase structure)를 인코딩하는지 검증한다. UD 거리가 조건 간 동일하도록 설계된 wh-movement 자극을 사용하여, 4개 패밀리의 13개 LLM에서 위상 수에 따른 기울기(phase-count gradient)와 13/13 부호 비대칭을 발견했다. 이는 최소주의 프로그램(MP)의 위상 내 응집력 예측과 일치하며, activation patching으로 인과적 활동성도 확인했다.

    • UD tree distance가 조건 간 불변하도록 설계된 wh-movement 자극으로 UD 이상의 구조 탐지
    • 13개 LLM(4개 패밀리) 중 12개에서 위상 수에 비례하는 거리 기울기(βfin > βinf > 0) 확인
    • 위상 내 응집력 예측을 정확히 맞추는 13/13 부호 비대칭 발견 — UD 기반 probing으로는 불가능한 결과
    • Canonical-layer reporting 도입: per-contrast peak 보고의 자유도 제거로 더 엄격한 기준 적용
    • Activation patching으로 probe 결과의 인과적 활동성을 12/13 모델에서 확인
    • 분포적 사전학습이 주석 기반 probing 한계를 넘어서는 형식 통사론 표현을 유도할 수 있음을 시사
    초록PDF
  50. 245Machine LearningarXiv:2605.26106

    Looped Diffusion Language Models

    KAIST, KRAFTON, UC Berkeley의 연구진은 선택적 루핑을 마스킹 확산 모델에 통합한 구조인 LoopMDM을 소개했다.

    LoopMDM은 마스킹 확산 언어 모델의 초중반 레이어 일부를 같은 가중치로 반복 실행하는 구조다. 반복 블록은 매개변수를 늘리지 않고 유효 깊이를 키우며, 학습할 때 반복 횟수를 바꿔 다양한 계산량에 적응하도록 한다. 여러 사전학습 말뭉치에서 같은 크기의 기준 모델과 비슷한 성능을 최대 3.3배 적은 학습 연산량으로 달성했고, GSM8K에서는 최대 8.5점의 향상을 보고했다. 추론할 때 반복 횟수를 늘리거나 확산 단계에 맞춰 조절하면 계산량과 성능 사이의 선택도 가능하다. 다만 실험은 주로 중간 규모 모델과 사람이 정한 반복 위치 및 중지 규칙에 한정되어, 대규모 모델과 긴 문맥에서의 효과는 아직 검증 과제다.

    • Head는 순전파 시작 시 한 번 실행되는 일정 수의 레이어로 구성된다. 주된 역할은 초기 입력 임베딩을 처리하고 네트워크의 나머지 부분에 시작 표현을 제공하는 것이다.
    • Tail은 Mid-block이 반복을 마친 후 한 번 실행되는 일정 수의 레이어로 구성된다. 이 레이어들은 표현을 최종화하고 이를 어휘 공간으로 투영하여 토큰 확률을 예측한다.
    초록PDF