HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 945Machine LearningarXiv:2608.17286

    Abra: Scaling Diffusion Image Training

    텍스트-이미지 확산 모델의 컴퓨트 최적 스케일링 법칙을 정립해 파라미터당 이미지 토큰 200개라는 친칠라의 10배 규칙을 제시한 연구다.

    이 논문은 한마디로 이미지 생성 확산 모델도 언어모델처럼 예측 가능한 스케일링 법칙을 따르지만 최적 데이터량은 10배 많아야 한다는 분석이다. 60M에서 2B 파라미터 모델군을 세 자릿수 컴퓨트 구간에서 학습해 얻은 결론이다. 컴퓨트 최적점은 파라미터당 약 200개 이미지 토큰이며 과잉 학습에 성능이 크게 무너지지 않아 작은 모델에 데이터를 더 쓰는 쪽이 안전하다고 권한다. 해상도가 높아지면 최적 토큰량이 더 늘고 학습 곡선이 보편적 형태로 수렴하는 스케일링 붕괴도 확산 모델에서 처음 확인했다.

    • 10의 19승에서 22승 FLOPs 구간의 통제된 모델군으로 텍스트-이미지 확산 모델의 컴퓨트 최적 점을 측정했다.
    • 최적점은 파라미터당 약 200 이미지 토큰으로 언어모델 친칠라 규칙(20토큰)의 10배다.
    • 확산 모델은 과잉 학습에 강해서 예산이 남으면 모델을 키우기보다 데이터를 더 쓰는 쪽이 낫다.
    • FID와 CLIPScore 같은 생성 품질 지표, 표현 품질, 최적 CFG 설정도 컴퓨트에 따라 예측 가능하게 변한다.
    • 해상도가 오를수록 최적 토큰 수가 늘어서 고해상도 학습은 데이터 병목이 아니라 컴퓨트 병목이다.
    초록PDF
  2. 944Machine LearningarXiv:2608.17981

    Recirculation

    학습 없이 트랜스포머 깊은 층의 표현을 얕은 층에 조금 흘려보내는 것만으로 상태 추적이 좋아지고 퍼플렉시티가 23% 줄었다는 연구다.

    이 논문은 한마디로 이미 학습된 트랜스포머에 깊은 층 표현을 얕은 층으로 살짝 되먹여주는 구조(리서큘레이션)만 추가해도 성능이 크게 오른다는 발견이다. 순방향 구조라서 깊은 층에서 확정된 해석을 얕은 층이 다시 쓰지 못하는 문제를 겨냥한다. 가중치를 건드리지 않고 하이퍼파라미터만 소량 튜닝하는 적응형 변형이 Gemma3에서 퍼플렉시티 23% 감소, GSM8k 정확도 21% 증가를 달성했다. 생성 시 추가 지연은 거의 없지만 입력 처리를 토큰 단위로 순차 진행해야 해서 긴 입력에서 느려진다.

    • 트랜스포머는 순방향이라 깊은 층에서 문맥이 반영된 해석이 만들어져도 얕은 층은 그 해석을 다시 쓸 수 없는데, 리서큘레이션은 이 표현을 아래로 새어 들게 해 상태 추적을 돕는다.
    • 모델 가중치를 전혀 바꾸지 않고 적응형 변형의 소량 하이퍼파라미터 튜닝만으로 Gemma3 제품군에서 퍼플렉시티 23% 감소, GSM8k 정확도 21% 증가를 얻었다.
    • GSM8k 오답률은 pass@1에서 8.8%, pass@128에서 20.9% 각각 줄었다.
    • 생성 단계에서는 두 스택을 병렬로 돌려 추가 비용이 거의 없지만, 프리필을 토큰마다 순차 처리해야 해 긴 문맥에서는 비용이 될 수 있다.
    • 저자들은 새 구조를 억지로 설계하기보다 학습된 모델의 성질에서 구조 개선 단서를 읽는 접근이라고 제안한다.
    초록PDF
  3. 943AI / GeneralarXiv:2608.17271

    ASI-Bench: At the Dawn of Artificial Superintelligence

    사람의 방법론 지도를 단계적으로 걷어내며 AI가 스스로 프로젝트 단위 연구를 어디까지 하는지 측정한 최초의 벤치마크다.

    이 논문은 한마디로 연구 방법을 알려주는 정도를 점차 줄여가며 AI가 프로젝트 단위 연구를 얼마나 스스로 수행하는지 잰 벤치마크다. 11개 분야 60개 과제를 40명 넘는 전문가가 3만 시간 이상 들여 만들었다. 전체 지도가 주어지면 평균 50.91점이지만 방법 이름만 주면 29.10, 방법까지 스스로 정하면 26.62로 뚝 떨어진다. 사람 지도가 빠지면 성능이 절반 가까이 무너지므로 자율 연구에는 아직 큰 격차가 있다는 결론이다.

    • 같은 과제를 전체 절차 제공, 방법만 지정, 방법 자율, 혼선 정보 추가 4단계로 지도를 줄여가며 평가해 지시 이행과 자율 연구를 분리해 측정한다.
    • 18개 에이전트-모델 조합 평균이 전체 지도 50.91에서 방법만 지정 29.10, 방법 자율 26.62로 하락했다.
    • 같은 모델도 하니스(에이전트 실행 환경)에 따라 점수가 크게 달라졌다. MiMo V2.5 Pro는 자체 하니스 16.17에서 Claude Code 하니스 23.25로 올라갔다.
    • 방법 이름만 주는 조건이 오히려 가장 비싸서 과제당 평균 691만 토큰을 썼고, 불완전한 지도가 탐색 비용을 키웠다.
    • 최고 성능 조합은 51.60%였고 저가 조합은 4분의 1 비용으로 비슷한 성능을 내 비용 대비 효율 편차가 크다는 점도 보여줬다.
    초록PDF
  4. 942RoboticsarXiv:2608.18077

    Hydra-0: Action Flow for Generalist World Modeling and Control

    로봇 행동을 '화면 위 픽셀 움직임'으로 통일해 표현하면 여러 로봇과 사람 영상을 한 월드모델로 함께 배울 수 있다는 NVIDIA 연구다.

    이 논문은 한마디로 로봇 행동을 관절 각도 대신 이미지 위 점의 움직임(액션 플로우)으로 나타내면, 서로 다른 로봇과 사람 시범 영상까지 하나의 월드모델이 함께 배울 수 있다는 연구다. 이 공통 표현 덕분에 이기종 데이터를 섞어 쓸 수 있고 카메라 시점에서 움직임의 결과를 예측할 수 있다. 순방향으로는 명령의 결과를 예측하는 시뮬레이터로, 역방향으로는 원하는 물체 움직임에서 로봇 움직임을 뽑는 제어기로 쓸 수 있다. 로봇 움직임 예측 오차는 기존 대비 90.4% 줄었고 정책 성공률 재현 상관은 0.96이었다.

    • 로봇 명령을 이미지 평면의 점 궤적으로 바꿔 조건으로 주면, 월드모델이 기체별 좌표계를 몰라도 움직임의 결과를 예측할 수 있다.
    • 사람 1인칭 시범, 핸드그리퍼, 양팔·한팔 로봇 등 이기종 영상을 같은 표현으로 담아 하나의 범용 월드모델을 학습했다.
    • 순방향 예측에서 로봇 움직임 오차 90.4%, 물체 움직임 오차 60.2% 감소했고 RoboLab 정책 5개의 성공률 재현 상관은 0.96이었다.
    • 역방향 모드는 사람 시범의 물체 움직임만 보고 호환되는 로봇 움직임을 생성하고, 학습된 액션 헤드가 실행 가능한 명령으로 바꿨다.
    • 오픈루프 방식의 정책 평가까지만 다뤘고 폐루프 평가는 남은 과제라고 밝혔다.
    초록PDF
  5. 941Machine LearningarXiv:2608.17310

    Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements

    긴 호라이즌 에이전트 파인튜닝에서 강화학습 대신 진화 전략을 쓰면 GPU 메모리를 거의 안 쓰고도 더 잘 된다는 주장이다.

    이 논문은 한마디로 에이전트 파인튜닝을 강화학습 대신 진화 전략(ES, 파라미터를 무작위로 흔들어 좋은 방향으로 업데이트하는 기법)으로 하면 긴 과제에서 유리하다는 논증이다. 강화학습은 역전파 때문에 GPU 메모리를 많이 쓰고, 긴 궤적에서 어떤 행동이 성과를 냈는지 계산하기 어렵다. 진화 전략은 순전파만 쓰므로 추론 수준 메모리로도 전체 파라미터를 튜닝할 수 있고 프롬프트·스킬 최적화와도 자유롭게 결합된다. 스도쿠 긴 호라이즌에서 강화학습 대비 12.5% 앞섰고 27B 웹 에이전트도 H100 4장으로 풀 파인튜닝했다.

    • 무작위 매개변수 교란을 순전파로 평가하는 진화 전략을 써서 추론 수준의 GPU 메모리만으로 전체 매개변수를 조정했다.
    • 긴 궤적의 보상을 토큰별로 나누지 않고 하나의 정책 교란에 귀속해, 상호작용이 길어질수록 어려워지는 강화학습의 신용 할당을 피했다.
    • 15차례 스도쿠에서 강한 GRPO 기준보다 12.5% 높았고, ReAct 수학·문서 질의응답에서도 GRPO보다 평균 8.3% 향상됐다.
    • Qwen3.5-27B 웹 에이전트를 H100 네 장으로 전체 미세조정했고, 매개변수와 프롬프트를 함께 바꾼 휴리스틱 탐색은 36개 설정 중 28개에서 기준을 넘었다.
    • 교란 크기 같은 추가 조정값이 필요하고 환경 평가가 비싸면 많은 순전파 비용이 불리해지며, 계속 학습할 때 무관한 방향으로 떠도는 문제도 아직 분명하지 않다.
    초록PDF
  6. 940ResearcharXiv:2608.16753

    Mathematics in the age of AI

    테런스 타오가 'AI가 연구급 수학을 할 수 있다고 가정하면, 수학 공동체의 목표와 가치는 무엇인가'를 묻는 에세이다.

    이 논문은 한마디로 AI 수학 능력 논쟁을 접어두고, AI가 실제로 연구급 수학을 하게 되었을 때 수학계가 무엇을 지향해야 하는지 따지는 글이다. 증명이 희소에서 풍요로 바뀌면 저널, 동료평가, 업적 평가 같은 기존 제도가 흔들린다고 진단한다. 근거로 퍼스트 프루프 프로젝트에서 10문제 중 7문제를 최소 한 AI 시스템이 통과 성적으로 풀었다는 결과를 든다. 라이덴 선언의 권고처럼 도구 사용 공개와 인간 저자성 유지가 출발점이라고 제안한다.

    • AI 능력 자체를 따지지 않고 'AI가 연구급 수학을 한다'는 가정을 전제로, 수학 공동체가 암묵적으로 밀어온 목표와 가치를 명시해야 한다고 주장했다.
    • 퍼스트 프루프 프로젝트 2차 배치에서 10문제 중 7문제가 최소 한 AI 시스템으로부터 사실상 완벽한 수준의 통과 평가를 받았다.
    • 해당 평가의 컴퓨터 비용은 문제당 수십에서 수백 달러 수준이었다.
    • AI는 측정과 대상 사이 틈을 잘 찾아내서 굿하트 법칙(지표가 목표가 되면 더 이상 좋은 지표가 아니다) 위험이 특히 크다고 경고한다.
    • 증명이 넘치는 풍요의 시대에는 증명 생성보다 증명 소화(설명, 심사, 정전화)에 문화의 무게를 옮기라고 제안한다.
    초록PDF
  7. 939LLMs / NLParXiv:2608.16647

    Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models

    같은 기반 모델에서 갈라진 교사의 풀이 행동은 넓게 옮겨지지만, 여러 교사는 학생의 여러 능력을 서로 자기 쪽으로 끌어당긴다는 연구다.

    이 논문은 한마디로 학생이 직접 만든 답에 교사가 토큰별 지도를 주는 온폴리시 증류가 어디까지 일반화되는지 조사한다. 수학 문제에서는 교사가 항상 맞히는 문제와 전혀 못 푸는 문제로 학습해도 최종 성능이 거의 같아, 정답 암기보다 풀이 행동이 옮겨진다고 해석한다. 같은 기반 모델에서 나온 교사와 학생 조합은 중국어, 긴 추론과 다른 분야까지 교사 수준에 가까워졌지만, 기반이 다른 조합은 주로 학습한 분포에서만 좋아졌다. 이런 넓은 전이는 여러 교사를 섞을 때 장점만 되지 않았다. 교사별 자료 비율이 바뀌면 여러 분야의 능력이 배정된 분야와 무관하게 한 교사 쪽으로 함께 움직였다.

    • 온폴리시 증류는 학생이 생성한 답의 각 시점에서 교사와 학생의 다음 토큰 분포 차이를 줄인다. 학습 때부터 학생이 실제로 방문하는 문맥에서 지도를 받는 방식이다.
    • BigMath에서 교사가 4회 모두 맞힌 문제, 모두 틀린 문제와 무작위 문제를 각각 2만 5천 개씩 뽑았다. 여러 교사와 학생 조합에서 세 집단의 최종 수학 정확도는 거의 같았다.
    • 같은 기반 모델에서 갈라진 교사는 영어 단기 수학으로만 가르쳐도 중국어, 장기 수학, 코드와 과학에서 학생을 교사 수준에 가깝게 끌어올렸다. 기반이 다른 교사는 더 강해도 이런 넓은 전이가 약했다.
    • 교사 둘의 자료 비율을 바꾸자 학생의 여러 분야 점수가 더 많이 사용한 교사의 원래 능력 쪽으로 함께 움직였다. 첫 교사 배치에서 BeyondAIME와 OlymMATH 평균은 혼합 조건에 따라 25.1퍼센트에서 27.1퍼센트로 달라졌다.
    • 실험은 수학, 코드, 과학과 지시 수행 모델에 한정되고 다중 교사 실험도 교사 2명과 고정된 분야 기반 라우팅만 다뤘다. 교사의 원치 않는 행동도 다른 분야로 퍼질 수 있어, 분야별 분배를 안전 경계로 보면 안 된다고 지적한다.
    초록PDF
  8. 938Computer VisionarXiv:2608.16765

    TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation

    여러 참고 이미지를 조합하는 능력을 네 가지 기본 연산으로 나눠, 모델이 무엇에서 실패했는지 찾는 TRACE-Bench를 제안했다.

    이 논문은 한마디로 여러 참고 이미지를 사용하는 이미지 생성 평가를 작업 이름이 아니라 필요한 능력으로 나눈다. TRACE-Bench는 대상을 유지하는 Anchor, 속성을 떼어내는 Disentangle, 그 속성을 목표에 붙이는 Apply, 여러 대상을 장면에 놓는 Compose의 네 연산을 정의한다. 각 요청을 이 연산의 수식으로 표현하고 연산 칸 수 1개부터 8개까지 난도를 조절한다. 9개 모델을 평가하자 장면 구성보다 속성을 분리하고 올바른 대상에 붙이는 능력이 더 큰 약점으로 나타났다. 다만 전체 평가는 시각 언어 모델의 채점에 의존하므로 사람 평가와의 일치도를 함께 봐야 한다.

    • 요청을 대상 유지, 속성 분리, 속성 적용과 장면 구성의 네 연산으로 표현한다. 같은 수식 구조를 문제 생성, 항목별 채점과 실패 원인 추적에 모두 사용한다.
    • 자료는 약 1,600개 평가 사례, 수식 틀 631개와 참고 이미지 약 4,000개로 구성된다. 연산 칸 수 1개부터 8개까지 복잡도를 조절한다.
    • 상용 모델 4개와 공개 모델 5개를 비교했다. Nano Banana 2의 네 연산 평균이 0.8205로 가장 높았지만 속성 분리는 0.7384, 속성 적용은 0.7989에 머물렀다.
    • Emu3.5 사례 200개를 더 단순한 하위 문제로 쪼개자 전체 진단 결과의 38.5퍼센트가 여러 참고 대상을 함께 구성할 때 생긴 간섭으로 분류됐다. 자동 분석과 사람의 실패 위치 판단은 82.6퍼센트 일치했다.
    • 전체 평가는 Gemini-2.5-Pro가 체크리스트를 채점한다. 200개 사례에서 두 모델이 만든 출력 400개를 사람이 다시 확인했을 때 네 채점 모델의 항목별 일치율은 85.4퍼센트에서 88.4퍼센트였다.
    초록PDF
  9. 937RoboticsarXiv:2608.16837

    HAF: Adapting Generalist VLAs to Humanoid Whole-Body Loco-manipulation via Hierarchical Action Flow and Spectral Latent RL

    일반 로봇 VLA를 휴머노이드 전신 작업에 맞게 단계별 행동 생성과 저차원 강화학습으로 바꾸는 HAF를 제안했다.

    이 논문은 한마디로 영상과 언어를 보고 행동을 내는 범용 VLA를 휴머노이드의 이동과 양팔 조작에 맞게 바꾸는 HAF를 제안한다. HAF-VLA는 머리와 이동, 허리, 양팔 조작 순서로 행동 공간을 넓히며 세 단계에서 전신 동작을 만든다. HAF-Steer는 큰 VLA를 고정한 채 행동 잡음을 시간 주파수 성분 8개로 압축하고, 행동 복제와 실제 로봇 강화학습으로 이 작은 공간만 조정한다. 실제 휴머노이드 2종의 7개 장기 작업에서 단일 단계 VLA보다 높은 점수를 냈다. 다만 단계가 늘어 추론 지연이 생기고, 기본 VLA가 심하게 틀린 동작은 작은 보정만으로 고치기 어렵다.

    • HAF-VLA는 머리와 이동, 허리, 양팔 조작을 세 단계로 차례로 활성화한다. 단계 표시와 이전 단계의 KV 캐시를 사용해 앞선 몸동작과 뒤의 조작 동작이 이어지게 만든다.
    • HAF-Steer는 VLA가 사용하는 시간축 잡음을 이산 코사인 변환으로 압축해 앞쪽 계수 8개만 학습한다. 행동 복제로 시작한 뒤 오프라인 자료와 실제 상호작용을 섞은 SAC 강화학습을 적용하며 VLA 본체는 고정한다.
    • TienKung 2.0과 3.0에서 세탁물 넣기, 바구니 옮기기와 공 던지기 등 7개 작업을 시험했다. 작업마다 원격 조작 시연 120개를 모으고, 방법과 작업별로 10회씩 실행했다.
    • 7개 작업의 평균 진행 점수는 HAF-VLA가 70.5퍼센트로 가장 강한 비교 모델 파이0.5의 53.3퍼센트보다 높았다. 모든 작업에서 최고 또는 공동 최고 점수를 기록했다.
    • HAF-Steer는 두 과제의 기존 위치와 새 위치, 총 4개 조건에서 HAF-VLA의 성공률을 모두 높였다. 예를 들어 새 위치의 장난감 보관은 10회 중 8회 성공에서 10회 성공으로 올랐다. 다만 추가 계산 지연과 기본 VLA의 행동 범위에 묶이는 한계가 있다.
    초록PDF
  10. 936Machine LearningarXiv:2608.16760

    On the Principles Behind Neural Network Optimizers

    Adam의 수렴 조건과 트랜스포머에서 강한 이유를 이론과 실험으로 해석하고, 그 원리를 메모리 절약형 Adam-mini 설계로 연결한 박사학위 논문 축약본이다.

    이 글은 새 단일 실험 논문이 아니라 Adam 연구를 네 단계로 묶은 박사학위 논문의 축약본이다. 먼저 Adam의 수렴과 발산 사이에 문제와 배치 크기에 따라 달라지는 경계가 있음을 이론적으로 보인다. 이어 헤시안이라는 손실 곡률 행렬이 트랜스포머 학습 중 거의 블록 대각 구조와 강한 블록별 차이를 갖게 되며, 이 구조가 Adam의 좌표별 보정을 유리하게 만든다고 설명한다. 마지막으로 블록당 하나의 학습률만 쓰는 Adam-mini로 옵티마이저 상태 메모리를 50퍼센트 줄이면서 AdamW 수준의 성능을 유지했다. 다만 정확한 수렴 경계와 현대 구조 전체의 엄밀한 분석은 남아 있다.

    • Adam은 항상 수렴하거나 항상 발산하는 것이 아니다. 문제와 미니배치 수에 따라 안전 구간이 달라지며, 배치가 작을수록 두 번째 모멘텀 계수인 베타2를 더 크게 잡아야 한다는 조건을 제시한다.
    • 트랜스포머의 헤시안은 학습하면서 거의 블록 대각 구조로 바뀌고 블록마다 곡률 크기도 크게 달라졌다. 저자는 이 구조가 좌표별 학습률을 쓰는 Adam이 SGD보다 유리한 이유라고 설명한다.
    • 연속된 큰 행렬 곱이 이런 헤시안 구조를 만든다는 점을 단순 신경망과 무작위 행렬 이론으로 분석했다. 이 관점은 어텐션 헤드마다 Muon 보정을 나누는 설계로도 이어진다.
    • Adam-mini는 두 번째 모멘텀 값의 99.9퍼센트 이상을 블록별 스칼라로 바꿔 옵티마이저 상태 메모리를 50퍼센트 줄인다. 기존 Adam은 130억 매개변수 모델에서 두 모멘텀에만 약 104GB가 필요하다고 계산했다.
    • C4에서 3,900만부터 10억 매개변수의 Llama 2 구조를 학습하자 Adam-mini가 AdamW의 검증 손실을 비슷하게 따라갔다. 다만 이 원고는 분량 제한이 있는 축약본이라 증명이 빠져 있고, 어텐션과 전문가 혼합 구조의 엄밀한 분석도 후속 과제로 남았다.
    초록PDF
  11. 935RoboticsarXiv:2608.15875

    GigaBrain-0.7: Scaling Embodied Foundation Models to Emergent Capabilities with a Three-System Architecture

    로봇이 장면을 이해하고 다음 상태를 예상하고 몸을 움직이는 세 기능을 묶어, 여러 기종과 과제에서 재사용하려는 대규모 기반 모델이다.

    이 논문은 한마디로 로봇의 계획, 동작과 미래 예측을 세 체계로 나눈 GigaBrain-0.7을 제안한다. System 2는 장면과 과제를 이해하고, System 1은 연속 동작을 만들며, System 3는 미래 장면과 과제 진행도를 예측한다. 실물 로봇 16종을 포함한 여러 출처의 궤적 37,256.98시간과 시각 언어 표본 약 2억 7,200만 개로 이해와 동작을 함께 학습했다. 과제별 추가 학습 뒤 복합 조작 평균 성공률은 AgileX PiPER 84.9퍼센트, Maker H01 74.1퍼센트였다. 다만 과제당 실물 평가가 보통 10회에서 20회로 작고 분포 밖 조건에서는 성능이 떨어졌다.

    • System 2는 PaliGemma2 3B로 장면과 과제를 이해한다. System 1은 PaliGemma2 3B와 0.5B 동작 모델로 제어값을 만들고, System 3는 5B 세계 모델로 미래 영상과 진행도를 예측한다.
    • 궤적 자료는 실물 로봇 20,535.65시간, UMI 사람 시연 8,251.83시간, 1인칭 사람 영상 2,862.36시간, 시뮬레이션 1,453.92시간과 세계 모델 생성 4,153.22시간으로 구성된다.
    • System 3 절제 실험에서 AgileX PiPER-X의 선물 포장 성공률은 기본 모델 0퍼센트에서 미래 영상과 진행도 조건을 함께 쓸 때 80퍼센트가 됐다. AgileX PiPER의 옷 접기 완료 시간은 107초에서 75초로 줄었다.
    • RoboTwin 2.0의 50개 과제에 과제당 깨끗한 시연 50개를 쓰고 한 정책을 함께 추가 학습한 Co-Train 조건에서 Easy 66.8퍼센트, Hard 67.9퍼센트와 평균 67.35퍼센트였다. 파이0.5는 각각 70.7퍼센트, 46.0퍼센트와 평균 58.35퍼센트였다.
    • 실물 로봇 과제는 설정당 보통 10회에서 20회만 평가했고 신뢰구간이 없다. 최종 MiMo 점수 0.5704도 평가 자료가 학습에 들어가 독립 시험 결과가 아니다.
    초록PDF
  12. 934Information RetrievalarXiv:2608.15949

    Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation

    추천 대화의 각 응답이 후보 불확실성을 얼마나 줄이는지 보상으로 삼아, 더 효율적인 질문과 추천을 배우게 하는 방법이다.

    이 논문은 한마디로 여러 차례 추천 대화에서 후보의 불확실성을 가장 많이 줄이는 응답을 학습하는 방법을 제안한다. 같은 대화에서 모델이 여러 번 만든 추천 목록의 불확실성을 섀넌 엔트로피로 재고, 다음 사용자 답변 뒤 한 턴과 대화 전체에서 얼마나 줄었는지를 응답의 정보량으로 본다. 이 보상으로 좋은 지도 학습 사례를 고르거나 DPO 선호 학습의 응답 순위를 정한다. 엔트로피 보상 자체는 정답 영화 없이 계산할 수 있지만 실험의 원래 선호 쌍은 정답 적중을 포함한 CollabLLM 보상으로 만들었다. Llama 3.2 1B 실험에서 INSPIRED의 모의 대화 적중률은 27.94퍼센트, ReDial은 32.83퍼센트까지 올랐다. 다만 실제 사용자가 아니라 Claude Sonnet 4 모의 사용자를 썼다.

    • 추천 목록에 나온 영화의 빈도와 순위를 이용해 불확실성을 계산하고, 현재 응답과 다음 사용자 답변이 그 값을 얼마나 줄였는지를 보상으로 삼는다.
    • INSPIRED는 학습 대화 801개와 시험 대화 99개, ReDial은 필터링 뒤 학습 8,631개와 시험 1,036개다. 모의 대화는 최대 5턴까지 진행한다.
    • 세 번 실행 평균에서 턴 엔트로피 DPO의 INSPIRED 모의 대화 적중률은 27.94퍼센트로 CollabLLM 보상의 26.60퍼센트보다 높았다. ReDial에서는 대화 전체 엔트로피 DPO가 32.83퍼센트로 30.03퍼센트보다 높았다.
    • ReDial에서 정답 영화에 도달한 평균은 2.74턴으로 CollabLLM DPO의 2.86턴보다 적었다. 그러나 실제 사람과의 대화 효율을 측정한 값은 아니다.
    • 평가는 자동 추천 지표와 LLM 모의 사용자에 의존한다. 추천 5개를 5번 뽑는 설정의 민감도도 검증하지 않았고, 직접 추천 Hit@1은 INSPIRED 3.32퍼센트와 ReDial 2.24퍼센트에 머물렀다.
    초록PDF
  13. 933ResearcharXiv:2608.16360

    Contrastive Learning with Variational Regularization for Multi-Session EEG-to-Speech Decoding

    같은 일본어 문장을 다른 날 들을 때 측정한 EEG를 한 쌍으로 묶어, 측정 회차의 흔적을 줄이면서 말소리 내용을 복원하려는 방법이다.

    이 논문은 한마디로 날짜와 전극 위치에 따라 달라지는 EEG 신호에서 말소리 정보를 더 안정적으로 읽는 방법을 제안한다. 같은 참가자가 같은 문장을 다른 회차에서 들은 EEG를 같은 것으로 묶는 대조 학습과 잠재 공간을 넓게 유지하는 변분 정규화를 결합한다. 확률 잠재 변수는 학습 손실에만 쓰고 실제 음성 디코더에는 넣지 않는다. 한 참가자의 일본어 듣기 자료에서 문자 오류율은 기준 0.968에서 0.948로 낮아졌고, 회차 분류 정확도는 우연 수준과 구별되지 않는 2.08퍼센트로 내려갔다. 그러나 오류율 자체가 매우 높고 한 사람만 평가해 실제 음성 복원이나 사람 간 일반화를 보여준 것은 아니다.

    • SpREAD 자료는 한 참가자가 화자 18명의 일본어 1,353문장을 들은 EEG다. 각 문장을 서로 다른 날 세 번 측정해 9일 동안 45개 회차를 구성했다.
    • 학습, 개발, 평가 표본은 각각 3,195개, 432개와 432개다. 같은 문장의 세 반복 측정은 항상 같은 분할에 넣었다.
    • 평가 표본 432개에서 문자 오류율 0.948은 기준 0.968보다 유의하게 낮았다. 학습 표본으로 회차 분류기를 학습하고 개발 표본에서 측정한 정확도는 2.08퍼센트로 우연 수준 2.2퍼센트와 차이가 없었다.
    • 대조 학습만 쓰면 음향 상관계수가 0.282에서 0.262로 나빠졌다. 변분 정규화를 더하면 0.274로 회복됐지만 기준보다 좋아진 것은 아니며 화자 정보 향상도 유의하지 않았다.
    • 참가자가 한 명이고 화자 18명은 학습과 평가에 공통으로 들어간다. 들은 일본어만 다뤘고 현재 EEG 음성 복원 정확도는 실용 수준과 거리가 멀다.
    초록PDF
  14. 932ResearcharXiv:2608.16869

    The New Mathematics of Democracy

    투표 공식을 고르는 데서 그치지 않고, 실제 유권자 행동과 제도 제약, 시민 참여와 AI의 역할까지 함께 봐야 한다는 조사 글이다.

    이 글은 새 알고리즘이나 실험을 제안하지 않고 투표 이론, 참여예산과 숙의 민주주의의 최근 연구와 실제 적용을 정리한다. 핵심 주장은 이상적인 선호표만 분석하지 말고 기권, 불완전 투표, 전략 행동, 제도 제약과 실제 자료를 모델에 넣어야 한다는 것이다. 참여예산에서는 예산 제약을 투표지에 반영하는 배낭 투표와 여러 유권자 집단에 지지 규모에 맞는 몫을 보장하려는 균등 몫 방식을 소개한다. 시민 의회를 꾸릴 때는 서로 겹치는 인구 집단의 할당량 아래에서 개인별 선정 확률과 추첨의 무작위성을 함께 최적화하는 방법을 설명한다. 다만 어떤 가치를 우선할지는 정치적 판단이며 글도 세 사례만 다룬다.

    • 자체 실험표는 없으며 세 분야의 이론, 실제 선거 자료, 제도 도입 사례와 열린 연구 문제를 모아 해석한다.
    • 글이 인용한 약 3천 건의 IRV와 STV 선거 분석에서는 IRV와 콩도르세 방식이 99퍼센트 넘게 같은 승자를 골랐다. 다만 다른 규칙을 실제로 썼다면 유권자 행동도 달라질 수 있다.
    • 배낭 투표는 실제 참여예산 선거 32건에 쓰였다. 균등 몫 방식은 폴란드 비엘리치카에서 승인 사업을 하나도 받지 못한 유권자 비율을 기존 방식의 28퍼센트에서 18퍼센트로 낮췄다.
    • 겹치는 인구 할당량을 만족하는 시민 패널의 존재를 판정하는 일은 NP 완전이다. 관련 도구 Panelot은 2024년과 2025년의 서로 다른 294일에 시민 의회 추첨 1,071건에 쓰였다.
    • 균등 몫 방식은 예산을 남길 수 있고 비례성과 전체 만족도도 충돌할 수 있다. AI는 결정을 대신하기보다 시민의 표현을 검토 가능한 수학 표현으로 옮기는 보조 수단이어야 한다고 본다.
    초록PDF
  15. 931Computer VisionarXiv:2608.16485

    HiFi-BRep: High-Fidelity Latent Representation for Robust B-Rep Generation

    CAD 표준 형식인 B-Rep의 곡면 모양과 연결 관계를 함께 복원하고, 닫힌 입체 규칙을 학습에 넣어 깨진 3D 부품을 줄이는 생성 모델이다.

    이 논문은 한마디로 CAD의 곡면 모양과 연결 구조를 함께 압축하고 생성하는 HiFi-BRep을 제안한다. B-Rep은 곡면과 곡선 같은 형상 정보에 면과 모서리의 연결 관계를 함께 담는 CAD 경계 표현이다. 모델은 실제로 연결된 면과 모서리만 서로 정보를 주고받게 하고, 학습 가능한 질의로 입력 길이와 무관한 고정 길이 표현을 만든다. 디코더는 면과 모서리 수, 베지에 형상과 인접 행렬을 함께 예측하며 모서리 하나가 두 면에 속한다는 닫힌 입체 규칙도 학습한다. DeepCAD와 ABC에서 완전한 닫힌 입체의 비율을 높였지만 열린 부품과 대형 조립체는 아직 다루지 못한다.

    • 면과 모서리를 분리해 처리하되 실제로 연결된 쌍만 정보를 교환하게 한다. 학습 가능한 질의 48개로 입력 길이와 무관한 압축 표현을 만든다.
    • 중복 제거와 복잡도 제한 뒤 DeepCAD 형상 8만 3,611개와 ABC 형상 18만 6,148개로 학습했다. Valid는 STEP 내보내기, 물이 새지 않는 폐곡면과 매니폴드 연결을 모두 통과한 비율이다.
    • 무조건 생성의 Valid는 DeepCAD 72.20퍼센트, ABC 32.66퍼센트로 DTGBrepGen의 43.20퍼센트와 24.88퍼센트보다 높았다. 다만 ABC의 분포 지표 COV, MMD-CD와 JSD는 모두 DTGBrepGen이 더 좋았다.
    • DeepCAD 재구성에서 전체 모델의 Valid는 95.2퍼센트였다. 형상을 먼저 복원한 뒤 연결 관계를 예측하면 69.3퍼센트로 낮아졌고, 비병렬 생성 시간은 형상당 3.83초였다.
    • 닫힌 입체와 정해진 최대 면 및 모서리 수만 지원한다. 잘못 잘린 면, 접합부 불일치, 가느다란 면과 자기 교차가 남으며 정확한 교차와 잘라내기는 CAD 커널에 맡긴다.
    초록PDF
  16. 930RoboticsarXiv:2608.16794

    Neurosymbolic Embodied Agents

    눈으로 필요한 상태를 먼저 확인한 뒤, 형식 규칙으로 실행 가능한 행동만 허용해 긴 집안일 계획의 오류를 줄이는 에이전트다.

    이 논문은 한마디로 시각 탐색과 형식 규칙을 결합해 긴 집안일 계획의 오류를 줄이는 뉴로심볼릭 에이전트를 제안한다. 첫 단계에서는 영상 언어 모델이 여러 시점과 상호작용으로 목표에 필요한 물체와 관계를 확인한다. 두 번째 단계에서는 행동 조건과 결과를 적은 PDDL 규칙이 실행 가능한 행동만 허용하고, 몬테카를로 트리 탐색이 목표까지 갈 계획을 고른다. VirtualHome 200개와 ALFWorld 134개 과제에서 Qwen3.5 4B, 9B와 27B 세 모델의 성공률 범위는 각각 94.5퍼센트에서 99.5퍼센트, 90.3퍼센트에서 97.8퍼센트였다. 다만 시각 인식과 물체 연결, 형식 규칙이 모두 맞아야 하며 평가는 두 시뮬레이터의 이산 행동에 한정됐다.

    • 첫 단계는 여러 시점과 시뮬레이터 안에서 직접 열어 보거나 집어 보는 상호작용으로 물체 위치와 관계를 확인한다. 보지 못한 물체를 모델의 추측만으로 상태에 넣지는 않는다.
    • 두 번째 단계는 현재 상태에서 조건을 만족하는 행동 토큰만 생성하게 한다. 탐색 시간은 과제당 최대 250초였고 완성된 계획은 실행 중 피드백을 받지 않는다.
    • VirtualHome 200개와 ALFWorld의 미공개 분할 134개를 평가했다. 전체 행동 예산은 각각 20회와 55회였으며 모델에는 장면 그래프나 정답 상태를 보여주지 않았다.
    • Qwen3.5-27B의 ALFWorld 성공률은 제약만 썼을 때 32.3퍼센트, 탐색만 썼을 때 29.2퍼센트, 둘을 합쳤을 때 95.5퍼센트였다. 같은 모델 크기끼리 두 환경의 비용을 평균하면 생성 토큰은 긴 추론 방식보다 최대 4배 적었다.
    • 남은 실패는 주로 첫 단계에 몰렸다. 상태를 잘못 얻은 비율은 VirtualHome 약 2.3퍼센트, ALFWorld 약 4.5퍼센트였으며 작은 물체를 놓치는 시각 오류가 대표적이었다.
    초록PDF
  17. 929AI / GeneralarXiv:2608.16884

    Improving the matrix multiplication exponent with modern optimization and AlphaEvolve

    행렬 곱셈 코드를 바로 빠르게 만든 것이 아니라, 이론상 필요한 연산 수의 최선 상한을 최적화와 AlphaEvolve로 조금 낮춘 결과다.

    이 논문은 한마디로 큰 정사각 행렬 두 개를 곱할 때 필요한 산술 연산 수의 이론적 상한을 개선한다. 행렬 곱셈 지수의 알려진 상한을 2.371339에서 2.371177로 낮췄다. 차이는 0.000162이며 실제 프로그램 속도가 그만큼 빨라졌다는 뜻은 아니다. 연구진은 재귀 깊이를 3에서 4로 늘리고 약 2만 5천 개였던 최적화 변수를 약 700만 개로 확장한 뒤 기울기 기반 최적화와 AlphaEvolve를 적용했다. 마지막에는 모든 값을 유리수로 다시 계산해 부동소수점 오차가 증명을 깨지 않는지 확인했다.

    • 새 결과는 행렬 곱셈의 연산 수가 이론상 입력 크기의 2.371177제곱보다 조금 작은 수준 안에 든다는 상한이다. 실사용 행렬 곱셈 시간을 측정한 결과는 아니다.
    • 기존 조합 손실 분석은 최대 재귀 깊이 3에서 약 2만 5천 변수를 썼다. 새 방식은 깊이 4에서 약 700만 변수를 다뤘다.
    • 확률 분포는 소프트맥스로 표현하고 최대 엔트로피 분포는 Sinkhorn-Knopp 계산으로 구했다. 자동 미분과 Adam을 쓰고 JAX 텐서 계산으로 병렬화했다.
    • 기울기 방식만으로 이전 상한을 약 0.000097 낮췄다. AlphaEvolve가 최적화 코드를 바꾼 뒤 전체 개선 폭은 약 0.000162가 됐으며 후보 한 번은 단일 GPU에서 약 5시간 걸렸다.
    • 최종 해를 유리수로 반올림하고 로그에도 안전한 방향의 유리수 경계를 적용해 검증했다. 저자들은 큰 추가 개선에는 새로운 수학 아이디어가 필요하다고 밝혔다.
    초록PDF
  18. 928RoboticsarXiv:2608.16222

    HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object-Interaction

    사람의 전신 동작과 실제 물체 상호작용을 높은 정밀도로 기록하고, 수집할 동작의 범위도 체계적으로 넓힌 휴머노이드용 자료다.

    이 논문은 한마디로 휴머노이드 학습에 필요한 사람 전신 동작과 물체 상호작용을 정밀하게 모은 HiPHI를 제안한다. 사람 행동의 의미를 분류한 FrameNet을 수집 설계에 써서 흔한 동작뿐 아니라 드문 동작도 포함했다. 논문이 제시한 배포 예정 규모 617.5시간은 좌우 반전 자료를 포함한 값이며 실제 촬영 원본은 308.7시간이다. 132명의 동작을 초당 90프레임으로 기록했고, 물체 상호작용에는 물체 궤적과 3D 모형도 넣었다. 비교 실험에서는 비교 대상 자료보다 더 넓고 고른 동작 공간을 차지했지만, 힘과 촉각은 측정하지 않았고 여러 사람이 함께하는 동작도 없다.

    • 전체 617.5시간은 전신 동작 371.8시간과 물체 상호작용 245.7시간으로 구성된다. 약 2억 10만 프레임이며, 22개 FrameNet 범주와 세부 동작 표지 214개가 있다.
    • 물체 상호작용에는 12개 종류의 실제 물체 40개를 썼다. 무게는 0.45킬로그램에서 6.25킬로그램이며 물체 궤적과 3D 모형이 동기화돼 있다.
    • 각 자료에서 최대 5천 개의 1초 구간을 뽑아 비교했다. HiPHI가 차지한 동작 공간 칸은 1,620개로 BONES-SEED의 1,438개보다 많았고, 희귀 영역 비율도 14.1퍼센트로 10.7퍼센트보다 높았다.
    • 바닥 기준이 같은 자료끼리 비교했을 때 바닥 관통 깊이는 8밀리미터였다. 물체와 인체가 겹치지 않는 비율은 98.1퍼센트, 물체 표면 20센티미터 안에 인체가 있는 비율은 95.7퍼센트였다.
    • 자료량을 3시간과 20시간으로 맞춘 Unitree G1 전신 동작 추적 실험에서 가장 높은 성공률을 보였다. 다만 그래프에 정확한 수치는 없고 실제 로봇 결과도 사례 영상 중심이며, 전체 자료도 논문 작성 시점에는 공개 예정 상태였다.
    초록PDF
  19. 927RoboticsarXiv:2608.16590

    Zetta $ζ$: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

    로봇 정책 자체는 고정하고, 실행 중 실패를 감시하는 코드와 복구 동작을 경험으로 계속 고치는 체계다.

    이 논문은 한마디로 로봇 기본 정책을 다시 학습하지 않고도 실패 감시와 복구 기술을 계속 개선하는 Zetta를 제안한다. 영상과 지시를 받아 행동을 내는 VLA 모델의 가중치는 고정한다. 대신 동작 순간의 감시, 여러 실행 결과의 실패 분석, 검증을 통과한 기술 갱신이라는 세 반복 과정을 운영한다. 새 기술은 기존 실패 묶음을 모두 해결하고 별도 검증 조건에서도 효과가 확인돼야 추가된다. RoboCasa 18개 과제의 평균 성공률은 73.56퍼센트에서 93.56퍼센트로, LIBERO-Pro 40개 과제 설정은 32.00퍼센트에서 71.13퍼센트로 올랐다. 다만 주요 결과는 모두 시뮬레이션에서 얻었다.

    • LIBERO-Pro는 고정된 파이0.5를, RoboCasa는 고정된 GR00T N1.5를 기본 정책으로 썼다. 감시 코드는 이상을 제안하고 고정된 조정 에이전트가 복구 실행 여부를 결정한다.
    • RoboCasa는 과제마다 개발 조건 50개와 별도 시험 조건 50개를 썼다. LIBERO-Pro도 개발 조건 50개와 겹치지 않는 시험 조건 20개를 사용했다.
    • RoboCasa는 네 차례 누적 개선을 거치며 73.56퍼센트에서 93.56퍼센트로 올랐다. LIBERO-Pro의 Goal T와 Goal S는 각각 31.0퍼센트에서 92.5퍼센트, 38.0퍼센트에서 89.0퍼센트로 올랐다.
    • PnP-Stove에서 익힌 복구 기술을 관련 과제 3개에 추가 개선 없이 적용하자 평균이 64퍼센트에서 84퍼센트로 올랐다. 8대의 A100 실험에서는 동시 실행 16개에서 분당 22.09회를 처리했다.
    • 초록의 LIBERO-Pro 90.8퍼센트와 본문 표 3의 전체 평균 71.13퍼센트는 서로 일치하지 않아 여기서는 표 수치를 썼다. 실제 로봇 영상은 제시하지만 정량 평가는 보고하지 않아 시뮬레이션의 개선 폭을 그대로 현실 성능으로 보면 안 된다.
    초록PDF
  20. 926LLMs / NLParXiv:2608.16798

    ClawGym II: Exploring Black-Box RL on Agent Harness

    공개되지 않은 에이전트 실행 도구를 뜯어고치지 않고, 모델 호출만 모아 강화학습하는 훈련 틀이다.

    이 논문은 한마디로 OpenClaw와 Claude Code처럼 내부 동작을 볼 수 없는 에이전트 실행 도구를 그대로 둔 채 모델만 강화학습하는 ClawGym II를 제안한다. 작업마다 임시 환경을 만들고, 흩어지거나 갈라진 모델 호출 기록을 접두사 트리로 묶어 여러 차례 대화를 복원한다. 이 구조에 맞게 PPO와 GRPO 강화학습을 바꾸고 실제 생성 토큰과 학습 토큰도 일치시킨다. Qwen3-30A3B 계열의 ClawGym-Bench Pass@1은 OpenClaw에서 콜드 스타트 초기 모델의 52.64에서 62.62로, Claude Code에서는 원본 모델의 37.06에서 51.87로 올랐다. 두 실행 도구는 시작 모델이 달라 결과를 서로 직접 비교하면 안 된다.

    • 작업 환경과 실행 도구를 각각 임시 환경에 격리한다. 모델 요청은 중간 서버가 받아 입력 토큰, 출력 토큰과 생성 확률을 기록한다.
    • ClawGym-Bench는 코드 검사만 쓰거나 코드 0.7과 평가 기준 0.3을 합산했다. 평가 기준 판정에는 GPT-5.4를 썼고, PinchBench는 멀티모달 과제를 뺀 30개를 평가했다.
    • Qwen3-30A3B 계열의 PinchBench 점수는 OpenClaw에서 콜드 스타트 초기 모델의 75.61에서 87.32로 올랐다. Claude Code에서는 원본 모델의 54.14에서 71.42로 올랐다.
    • 같은 실행 예산에서 PPO는 256개 과제를 한 번씩, GRPO는 32개 과제를 여덟 번씩 실행했다. 두 방식 모두 약 200회에서 400회 학습 동안 성능이 안정적으로 올랐다.
    • JobBench-Easy는 20.46에서 27.20으로, OfficeQA-Full은 8.53에서 21.54로 올랐다. WhiteBox AgentLoop에서 학습한 모델을 OpenClaw로 옮긴 점수는 50.33으로, OpenClaw에서 직접 학습한 62.62보다 낮았다.
    초록PDF
  21. 925Computer VisionarXiv:2608.16721

    GenRouter: Unified Workflow Routing for Agentic Image Generation

    그림 요청마다 같은 무거운 절차를 돌리지 않고, 요청 난이도에 맞춰 검색, 추론, 검증 과정과 이미지 모델을 골라 주는 라우터다.

    이 논문은 한마디로 이미지 생성 요청마다 알맞은 작업 흐름과 모델을 고르는 GenRouter를 제안한다. GenCanvas는 문장 다듬기, 분해, 검색, 추론, 도구 호출, 검증, 수정과 밑그림이라는 8개 기본 기능을 정해진 작업 흐름으로 조합한다. GenRouter는 요청을 7개 요구 점수로 분석하고, 과거 실행 기록으로 품질과 비용과 시간을 예상한 뒤 성능이 낮으면서 더 비싼 후보를 제거한다. Qwen-Image 조건의 5개 평가 평균은 71.3으로 GEMS의 68.7보다 높았고, 도구 실행 비용은 59.70달러에서 2.97달러로 줄었다. 다만 이 비용에는 이미지 모델 자체의 생성 비용이 들어 있지 않다.

    • GenCanvas는 가벼운 직접 생성부터 검색, 공간 밑그림과 반복 검증을 쓰는 무거운 흐름까지 정해진 틀로 제공한다.
    • GenRouter는 요구 분석, 후보 제거, 경험 기록 매칭과 품질 대비 비용 필터 순서로 알맞은 흐름을 고른다.
    • 주요 비교는 Qwen-Image-2512와 Z-Image-Turbo를 생성기로 쓰고 공통 언어 및 시각 도구를 Kimi K2.5로 맞춘 조건이다.
    • 9개 벤치마크에서 뽑은 500개 혼합 문장 실험에서는 세 벤치마크의 경험을 쌓은 뒤 점수가 73.5에서 75.2로 오르고 비용과 시간은 각각 8.7퍼센트와 7.9퍼센트 줄었다.
    • 새 벤치마크마다 평가와 분리된 보정 문장 10개를 쓰며, 각 문장에 가능한 작업 흐름과 생성기 조합을 모두 실행한다. 비용과 시간 가중치도 사람이 정하므로 완전한 무준비 적용으로 보기는 어렵다.
    초록PDF
  22. 924RoboticsarXiv:2608.16885

    $τ_0$-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation

    로봇이 긴 일을 수행할 때 애매한 다음 작업을 바로 실행하지 않고, 후보 결과를 영상으로 미리 상상해 비교하는 계층형 모델이다.

    이 논문은 한마디로 긴 로봇 작업에서 다음 행동이 애매할 때 여러 후보의 결과를 미리 비교하는 tau0-VLA를 제안한다. 진행 상황을 기억하고 다음 작은 작업을 정하는 상위 정책과 그 작업을 실제 동작으로 바꾸는 하위 정책으로 나뉜다. 상위 정책의 단어 확신도가 낮으면 추가 계산을 켜고, 여러 작업 후보의 마지막 카메라 장면을 세계 모델로 예측한 뒤 가치 모델과 성찰 모델로 최종 작업을 고른다. 하위 정책은 4만 115시간의 여러 실제 로봇 자료로 학습했지만 배치할 과제마다 소량의 추가 학습이 필요했다. 실물 평가 수가 조건별 10회로 작고 세계 모델도 머리 카메라의 마지막 장면만 예측한다.

    • 상위 정책은 현재 관찰, 전체 지시, 이전 작은 작업과 실행 기록을 함께 보고 다음 작업을 제안한다.
    • 추가 계산에서는 후보를 여러 단계로 넓히고, 예측한 마지막 장면과 누적 점수로 좋은 후보만 남긴 뒤 최종 작업을 다시 생성한다.
    • 긴 작업 4종을 과제당 실제 로봇 10회씩 평가했다. 같은 하위 정책을 쓴 직접 실행의 평균 성공률 27.5퍼센트가 검색 없는 계층형 실행에서 45.0퍼센트로 올랐다.
    • 추가 계산을 켠 3개 과제의 성공 횟수는 차 만들기 5회에서 7회, 책 정리 6회에서 9회, 방 청소 5회에서 7회로 늘었다.
    • 보지 못한 책 배치의 다음 작업 예측 정확도는 단일 예측 50.0퍼센트, 한 단계 후보 비교 57.5퍼센트, 여러 단계 추가 계산 74.0퍼센트였다. 다만 과제별 추가 학습과 기준값 조정이 들어갔다.
    초록PDF
  23. 923Computer VisionarXiv:2608.16887

    An Empirical Study of Training Pixel-Space Text-to-Image Diffusion Models

    픽셀에서 처음부터 배우게 하기보다, 압축된 표현에서 먼저 익힌 뒤 픽셀 생성으로 옮기는 편이 더 빠르고 실용적이라는 대규모 실험이다.

    이 논문은 한마디로 텍스트 이미지 확산 모델을 픽셀 공간에서 효율적으로 학습하는 방법을 실험으로 찾는다. 같은 구조, 자료와 계산량을 둔 비교에서 픽셀 공간 사전학습은 잠재 공간 학습보다 훨씬 느리게 수렴했다. 이에 잠재 공간 체크포인트에서 시작하고 자체 생성 이미지와 실사진을 섞은 뒤, 픽셀 예측 목표와 가벼운 DiP 디코더로 전환한다. 이어 패치 크기를 16에서 32로 단계적으로 키우고 생성 단계를 줄여 두 모델 계열에서 3.18배에서 4.75배의 추론 속도 향상을 얻었다. 다만 잠재 공간 사전학습에 의존하며 모든 평가 지표에서 기존 잠재 모델보다 좋아진 것은 아니다.

    • 같은 Z-Image 구조와 200억 쌍이 넘는 동일 자료 조건에서 예측 공간만 바꾼 실험은 픽셀 사전학습의 느린 수렴을 보여줬다.
    • DiP 디코더는 1,024 해상도와 단일 H800에서 디코더만 실행했을 때 매개변수 1,009만 개와 6.02밀리초를 사용했고, GenEval 0.7545와 DPG 87.54를 기록했다.
    • 잡음 크기 실험에서는 2가 GenEval 0.7545와 DPG 87.54로 가장 좋았다. 이론에서 나온 값 8은 각각 0.7316과 85.64에 그쳤다.
    • 1,024 해상도, 단일 H800과 100회 모델 계산 조건에서 Z-Image 생성 시간은 20.12초에서 4.56초로 줄었고 GenEval은 0.7510에서 0.7644로 높아졌다.
    • 같은 Z-Image 비교에서 OneIG는 0.566에서 0.564로, LongText는 0.9332에서 0.9252로 조금 낮아졌다. 검증된 모델 계열도 Z-Image와 FLUX2-klein 두 종류다.
    초록PDF
  24. 922Machine LearningarXiv:2608.16844

    Proteus: Incremental Memory Activation for Long-Context Sequence Modeling

    긴 글을 처음부터 큰 기억 공간에 넣지 않고, 초반에는 좁게 압축한 뒤 뒤로 갈수록 새 공간을 여는 메모리 관리법이다.

    이 논문은 한마디로 긴 문맥 모델의 메모리를 처음부터 모두 쓰지 않고 점차 활성화하는 Proteus를 제안한다. 고정 크기 메모리를 처음부터 열어 두면 앞부분 정보가 지나치게 많은 공간을 차지하고 뒷부분이 덮어쓰기를 일으킬 수 있다는 문제에서 출발한다. 전체 크기는 그대로 두고 여러 블록으로 나눈 뒤, 초반에는 일부만 읽고 쓰게 하며 문맥이 길어질수록 나머지를 차례로 연다. SWLA, Comba, Titans와 Hope-Attention 네 구조에 적용해 매개변수나 총 메모리 증가 없이 긴 문맥 성능을 높였다. 다만 활성화 순서는 위치에 따라 균등하게 여는 고정 규칙이고 짧거나 이미 포화된 과제에서는 효과가 거의 없었다.

    • 기본 실험은 메모리를 16개 블록으로 나눴다. 읽기와 쓰기를 모두 현재 활성화된 블록에만 허용하고 잠긴 블록은 열릴 때까지 보존한다.
    • 13억 매개변수와 학습 토큰 1천억 개 조건에서 Titans의 WikiText 혼란도는 15.36에서 14.94로, LAMBADA 혼란도는 13.18에서 13.03으로 낮아졌다.
    • FineWeb에서 8K 문맥으로 학습한 뒤 16K로 평가한 S-NIAH-3에서 Titans 정확도는 21.4에서 29.8로, S-NIAH-2는 69.4에서 74.2로 높아졌다.
    • LongBench 6개 과제 평균은 Hope-Attention이 15.72에서 16.65로, Comba가 13.05에서 13.23으로, Titans가 13.80에서 14.15로 올랐다.
    • 최적 활성화 순서는 따로 찾지 않았다. MLP 블록으로의 확장도 Hope-Attention 한 구조에서만 확인한 개념 검증 수준이다.
    초록PDF
  25. 921Computer VisionarXiv:2608.16859

    HarnessEval-W: Agentifying the Evaluation of Visual Worlds

    세계 모델 영상에 한 점수만 매기지 않고, 평가 질문을 작은 검증 과제로 나눠 어떤 장면 근거로 판단했는지 보여주는 평가 체계다.

    이 논문은 한마디로 영상 세계 모델의 결과를 근거와 함께 평가하는 HarnessEval-W를 제안한다. 관찰 품질, 상태 전환의 정확성, 세계 지속성이라는 세 축을 8개 세부 조건으로 나눈다. 각 사례에 맞는 평가 기술을 고른 뒤 여러 에이전트와 도구가 장면 근거를 모으고 검증자가 이를 확인한다. 18개 모델을 같은 330개 사례에서 평가했으며 모델마다 텍스트 지시, 카메라 경로와 제어 명령 같은 기본 입력 방식은 유지했다. 사람 판단과 높은 순위 상관을 보였지만, 사람 대조 검증은 가장 어려운 두 조건에 한정됐다.

    • 평가 항목은 렌더링, 물리 관찰, 탐색 전환, 의도 전환, 물리 전환, 불필요한 장면 변화 억제, 재방문 일관성과 화면 밖 변화까지 8개다.
    • 평가기는 질문을 측정 가능한 작은 문제로 나누고, 필요한 기술과 도구만 골라 장면 근거를 수집한다.
    • 같은 330개 사례에서 Seedance 2.0이 종합 75.5점으로 1위였다. 다만 모델마다 입력 방식이 달라 완전히 같은 입력 조건의 직접 대결로 보면 안 된다.
    • 9개 모델에서 모은 사람의 비교 판단 5천 건과 대조했을 때 의도 전환의 스피어먼 순위 상관계수는 0.93, 물리 전환은 0.87이었다.
    • 같은 영상과 GPT-5.5 평가기 조건에서 기존 WBench보다 사람 판단 일치율이 높았다. 다만 검증은 8개 조건 중 두 개에 집중됐고 평가 기술이 준비되지 않은 새로운 상황에는 알맞은 방법을 찾지 못할 수 있다.
    초록PDF
  26. 920Machine LearningarXiv:2608.14106

    Forecast Collapse in Time-Series Foundation Models

    예측값이 평평한 것은 모델 실패만이 아니라 예측할 신호가 적고 종목 사이 순서를 학습 목표가 보지 않기 때문일 수 있다.

    이 논문은 한마디로 시계열 모델의 예측값이 거의 평평해지고 여러 종목의 순서도 맞추지 못하는 예측 붕괴 현상을 분석한다. 원인을 예측 가능한 신호가 적어 적정 예측 폭이 작아지는 문제와, 종목별 손실 함수가 종목 사이 관계를 보지 않는 문제로 나눈다. 이를 보완하려고 평균제곱오차와 같은 시점의 종목 간 상관관계를 함께 학습하는 CalibRank를 제안한다. 미국 주식 1,000개 자료에서 CalibRank는 평균제곱오차만 학습할 때보다 종목 간 상관관계를 약 2.7배 높였고, 순위만 학습할 때의 지나치게 큰 예측 폭은 크게 줄였다. 다만 이 결과는 한 금융 자료와 피어슨 상관계수에 한정된다.

    • Finance1K는 2015년부터 2026년 초까지 미국 주식 1,000개의 시간별 자료 28,510개 시점으로 구성된다. 주가 수익률과 거래량 변화를 같은 조건에서 비교한다.
    • 주가 수익률처럼 예측 가능한 신호가 적은 목표에서는 정확한 점 예측도 실제 변동보다 작아질 수 있다. 종목별 오차만 줄이는 학습은 같은 시점의 종목 순서를 직접 보장하지 않는다.
    • 기준 모델에서 평균제곱오차 학습의 예측 폭은 실제의 0.027배였고 종목 순서를 재는 IC는 0.046이었다. CalibRank는 예측 폭 1.836배에서 IC 0.126을 기록했다.
    • 12개 예측 모델에서 CalibRank는 모든 모델의 IC를 높였다. 평균 IC는 0.062에서 0.123으로 올랐고, 평균제곱오차는 0.00043에서 0.00058로 변했다.
    • 종목 사이 문제와 해결책은 Finance1K 한 자료에서만 확인됐다. CalibRank는 피어슨 상관계수 하나만 다루며, 꼬리 위험이나 전체 공동분포를 모델링하지 않고 단일 시계열에도 그대로 적용할 수 없다.
    초록PDF
  27. 919AI / GeneralarXiv:2608.14071

    Scaling Domain Data Repetition in LLM Pretraining

    고품질 데이터를 몇 번 되풀이할지는 데이터 양보다 그 분야가 얼마나 안정적으로 학습되는지가 더 좋은 단서였다.

    이 논문은 한마디로 대규모 언어 모델을 사전 학습할 때 제한된 전문 데이터를 몇 번 반복해야 하는지 조사한다. 모델 매개변수 하나당 학습 토큰 수인 TPP를 고정하고 코드, 수학, 위키와 의료 데이터를 반복해 넣었다. 적정 반복 횟수는 분야별 최소 검증 손실과 가장 강하게 관련됐고, 같은 TPP에서는 모델이 커질수록 조금 늘었다. 시험한 데이터 비율 범위에서는 고유 전문 데이터의 양 자체가 적정 횟수와 거의 관련이 없었다. 따라서 작은 시험 모델에서 찾은 안전한 반복 횟수를 큰 모델의 보수적인 기준으로 쓸 수 있다고 제안한다.

    • 코드, 수학, 위키와 의료 4개 분야를 시험했다. 고유 전문 데이터 비율은 전체 학습량의 2.5퍼센트, 5퍼센트와 10퍼센트로 두고 각 데이터를 1회부터 7회까지 반복했다.
    • 적정 반복 횟수와 최소 검증 손실의 피어슨 상관계수는 마이너스 0.944였다. 모델 크기와는 0.400, 고유 데이터 비율과는 0.018이었다.
    • 수학 데이터의 적정 반복 횟수는 약 5회에서 6회였고 의료 데이터는 약 3회에서 4회였다. 같은 전문 데이터 총량에서 수학은 4회 반복까지 손실 증가가 작았지만 위키는 2회를 넘으면 성능 저하가 뚜렷했다.
    • 수학 데이터와 일반 웹 데이터의 총비율을 고정하면, 반복 횟수가 바뀌어도 ArXiv와 뉴스 자료의 검증 손실은 대체로 안정적이었다. 학습률을 일찍 낮추면 더 적은 반복에서도 성능 저하가 시작됐다.
    • 한 번의 학습에서는 전문 분야 하나만 반복했다. 여러 분야를 함께 반복할 때의 상호작용과 작은 모델 결과로 큰 모델의 정확한 반복 횟수를 예측하는 공식은 아직 제시하지 않았다.
    초록PDF
  28. 918Computer VisionarXiv:2608.14391

    Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination

    현재의 위기 영상 탐지기는 생성기나 게시 방식이 바뀌면 성능이 크게 흔들린다는 점을 체계적으로 보여준 연구다.

    이 논문은 한마디로 실제 위기 영상과 합성 영상을 짝지은 RA-Bench를 만들고, 탐지기가 현실적인 변화에 얼마나 버티는지 평가한다. 자료는 10개 사회 위험 범주의 실제 영상 1,830개와 9개 생성기가 만든 영상 16,056개다. 기존 탐지기와 멀티모달 모델은 생성 모델과 입력 조건이 달라지자 성능이 크게 흔들렸다. 특히 사람이 진짜라고 본 생성 영상과 압축, 축소, 프레임 감소를 거친 영상에서 탐지 실패가 늘었다. 실험은 소리 없는 이미지 기반 생성 영상에 한정된다는 점도 주의해야 한다.

    • RA-Bench는 실제 영상 1,830개와 생성 영상 16,056개를 합친 17,886개 영상으로 구성된다. 실제 영상은 10개 사회 위험 범주를 다룬다.
    • 전통 탐지기 7개의 공개 자료상 AUC는 67.6퍼센트에서 98.6퍼센트였다. RA-Bench의 생성기별 평균은 43.9퍼센트에서 57.3퍼센트에 그쳤다.
    • 사람은 오픈소스 생성 영상의 68.6퍼센트를 합성으로 알아봤지만 비공개 생성기 영상은 52.9퍼센트만 알아봤다. 다섯 명 모두 진짜라고 판단한 생성 영상도 633개였다.
    • 압축, 화면 축소, 초당 프레임 감소와 뉴스 배지를 모두 적용하자 추가 학습된 멀티모달 탐지기의 평균 생성 영상 탐지율이 46.0퍼센트에서 1.4퍼센트로 떨어졌다.
    • 실험은 9개 이미지 기반 영상 생성기와 소리 없는 영상 탐지에 한정된다. 실제 허위 정보에는 음성 합성, 편집과 여러 플랫폼의 반복 처리도 함께 쓰일 수 있다.
    초록PDF
  29. 917ResearcharXiv:2608.14523

    The Okinawa Lectures on Entropy

    엔트로피를 하나의 공식이 아니라 드문 변동의 확률과 가설검정, 양자 상태를 잇는 큰 틀로 정리한 259쪽 대학원 강의 노트다.

    이 글은 새 실험 결과를 제시하는 논문이 아니라 2026년 봄에 진행한 대학원 강의 10회를 확장한 노트다. 고전 엔트로피를 평균에서 크게 벗어나는 사건의 확률이 얼마나 빠르게 줄어드는지를 나타내는 값으로 설명한다. 이어 통계적 가설검정을 통해 고전 상대 엔트로피와 양자 상대 엔트로피를 연결한다. 무한한 양자계를 다루기 위한 폰 노이만 대수와 모듈러 이론을 소개하고, 마지막에는 고전 및 양자 동역학의 엔트로피까지 정리한다.

    • 클라우지우스, 볼츠만, 깁스, 아인슈타인, 폰 노이만, 섀넌, 레니와 콜모고로프가 엔트로피 개념을 어떻게 확장했는지 역사부터 설명한다.
    • 고전 엔트로피는 큰 변동의 확률이 표본 수에 따라 얼마나 빠르게 줄어드는지를 나타내는 값으로 풀이한다. 사노프, 크라메르, 게르트너 엘리스와 바라단 정리를 중심으로 전개한다.
    • 고전 및 양자 가설검정에서 한 종류의 오류를 제한했을 때 다른 오류가 줄어드는 속도가 상대 엔트로피와 같다는 점을 설명한다.
    • 유한한 양자 상태의 폰 노이만 및 우메가키 엔트로피에서 시작해, 임의의 폰 노이만 대수에서 아라키와 울만의 상대 엔트로피를 정의하는 과정까지 다룬다.
    • 마지막에는 고전의 콜모고로프 시나이 엔트로피와 양자 동역학 엔트로피를 연결한다. 자료의 배열과 접근법, 일부 증명을 빼면 새 내용은 없다고 저자가 밝히며 열역학 제2법칙과 블랙홀 적용은 다루지 않는다.
    초록PDF
  30. 916Computer VisionarXiv:2608.14144

    Self-Supervised Visual On-Policy Distillation

    정답표나 더 큰 교사 모델 없이, 학생에게 일부러 손상된 이미지를 보여 주는 차이만으로 시각 추론을 가르치는 방법이다.

    이 논문은 한마디로 별도로 학습한 강한 교사 없이 학생 가중치의 이동 평균을 교사로 쓰는 자기지도 학습법 S2VOPD를 제안한다. 교사는 원본 이미지를 보고 학생은 해상도를 낮추고 잡음을 넣은 이미지를 본다. 학생이 만든 답에 대해 깨끗한 이미지를 본 교사의 출력 분포를 배우므로 정답, 관심 영역 표시와 외부 보상이 필요하지 않다. FineVision 질문 1만 2천 건으로 Qwen3.5 4B와 9B를 학습하자 세밀한 시각 인식과 수학 추론이 함께 좋아졌다. 다만 이미지를 너무 심하게 바꾸면 질문에 필요한 정보도 사라져 성능이 다시 낮아졌다.

    • 교사 모델은 깨끗한 이미지를 본다. 학생 모델은 같은 이미지의 손상된 버전을 보고 자기 답을 만든 뒤 교사의 출력 분포를 배운다.
    • 가장 좋은 설정은 학생 이미지의 해상도를 원본의 0.3배에서 0.6배로 낮추고, 절반의 확률로 가우시안 잡음을 더하는 방식이었다.
    • 학습에는 Qwen3.5 4B와 9B를 사용했다. 평가는 시각 인식 6종과 수학 추론 3종에서 진행했다.
    • FineVision 질문 1만 2천 건으로 학습한 4B 모델의 시각 인식 6종 평균은 70.68퍼센트에서 77.44퍼센트로 6.76퍼센트포인트 올랐다.
    • 같은 이미지를 교사와 학생에게 보여 준 실험은 평균 70.52퍼센트에 그쳤고 정보 차이를 준 전체 방법은 76.35퍼센트였다. 다만 일부 분석은 주요 평가보다 짧은 출력 제한을 사용했다.
    초록PDF
  31. 915LLMs / NLParXiv:2608.14277

    SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning

    긴 문맥을 쓰는 강한 수학 모델의 추론을, 문장을 나누는 방식이 다른 짧은 문맥 모델에도 안정적으로 옮기는 방법이다.

    이 논문은 한마디로 문장을 토큰으로 나누는 방식이 서로 다른 모델 사이에서도 추론 능력을 옮기는 SimpleOPD를 제안한다. 학생 모델이 직접 만든 답을 교사 모델이 평가하며 배우고, 두 모델에서 같은 문자열 구간을 차지하는 토큰만 연결한다. 종료 토큰에 대한 교사 모방 손실을 제외하고 초기 학생 모델과 출력 분포가 지나치게 멀어지지 않게 제한해 답변 길이 폭증과 잘림을 줄였다. 여러 학생 모델의 수학 증명과 일부 과학 문제 성능이 올랐지만, 토큰 분할 차이가 큰 모델에서는 일부 점수가 떨어졌다.

    • 두 모델에서 같은 문자열 구간을 차지하는 토큰만 교사 모델의 점수와 연결하고, 맞지 않는 부분에는 학생 모델 자체의 점수를 사용한다.
    • 교사 모델은 10만 토큰이 넘는 추론이 가능한 SU-01이다. 학생 모델은 Qwen3, Qwen3.5, Intern-S2, GLM-4.7과 Gemma-4 계열이다.
    • ProofBench는 DeepSeek-V4-Flash가 채점했으며 Intern-S2의 점수는 21.70에서 44.50으로 올랐다. AnswerBench는 76.03에서 80.10, AIME25는 88.33에서 95.00으로 올랐다.
    • 수학 자료만으로 학습했지만 Intern-S2의 HiPhO 점수는 38.6에서 41.1, FrontierScience Research는 1.7에서 5.0으로 올랐다.
    • 종료 토큰의 교사 모방 손실을 제외하고 초기 학생 모델과의 출력 분포 차이를 제한하자 답변 잘림 비율이 거의 0까지 낮아졌다. 다만 Gemma의 AnswerBench는 68.8에서 67.5로 떨어져 모든 능력이 함께 좋아진 것은 아니다.
    초록PDF
  32. 914Computer VisionarXiv:2608.14530

    Marionette: Predicting World States, Rendering Geometry, Painting Appearance

    영상 전체를 한 번에 상상하지 않고, 행동과 몸 상태, 기하와 외형을 나눠 오래 가는 게임 세계를 더 쉽게 통제하려는 모델이다.

    이 논문은 한마디로 게임 영상을 바로 이어 그리지 않고 세계 상태를 먼저 예측하는 Marionette를 제안한다. 모델은 캐릭터 두 명의 관절과 이동, 회전을 담은 276차원 상태를 만든다. 고정된 그래픽 처리기가 이를 뼈대 영상으로 바꾸고, 50억 매개변수 영상 생성 모델이 외형을 입힌다. 이 구조에서는 행동 입력이 자세를 실제로 바꾸는지 확인하고, 캐릭터 간 거리나 지면 충돌 같은 규칙도 상태에 직접 적용할 수 있다. 다만 장기 생성에서는 외형이 달라지고 현재 동작 모델도 한 종류의 몬스터에 한정된다.

    • ActionGPT가 행동을 고르고 PoseGPT가 자세를 만든다. 고정된 그래픽 처리기가 뼈대와 가림 관계를 계산한 뒤 영상 생성 모델이 외형을 입힌다.
    • 동작 모델은 초당 20프레임의 1,395개 구간으로 학습했고, 현재 동작 범위는 한 종류의 몬스터에 한정된다.
    • 48개 시험 구간에서 잘못된 행동을 강제로 넣자 관절 오차가 0.272미터에서 0.357미터로 31퍼센트 늘어, 행동 토큰이 자세를 통제한다는 점을 보였다.
    • 지면 충돌 규칙을 적용하자 관절이 땅을 뚫는 프레임 비율이 0.337에서 0.114로 줄었다. 거리 제한 규칙은 캐릭터 사이 거리를 21.2미터에서 5.1미터로 낮췄다.
    • 영상 품질 지표 FVD는 831로 픽셀 기반 모델의 975보다 낮았지만 신뢰 구간이 겹쳤다. 장기 외형 변화와 학습 때와 다른 자세 입력 문제도 남아 있다.
    초록PDF
  33. 913Computer VisionarXiv:2608.14138

    SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation

    깊이 지도부터 공간 질문의 답까지, 서로 다른 공간 작업을 한 모델이 같은 지시문으로 처리하게 만든 연구다.

    이 논문은 한마디로 3D 복원, 장면 사이 대응점 찾기와 공간 추론을 하나의 7B 멀티모달 모델에서 처리하는 SPARGen을 제안한다. 카메라 자세와 질문 답변처럼 짧고 구조화된 결과는 토큰으로 출력한다. 깊이 지도, 3D 점 지도와 광학 흐름처럼 화면 전체의 값이 필요한 결과는 이미지로 생성한다. 공개 모델 비교에서 여러 공간 작업을 고르게 잘했지만, 일부 3D 복원 지표는 전문 모델보다 낮았다. VAE 이미지 압축은 정밀한 경계와 물리량 표현을 제한한다. 또한 깊이와 점 지도를 상대 크기로 정규화하므로 실제 거리의 절대 크기를 복원하지 못한다.

    • 기존 시스템은 3D 복원과 공간 질문 답변을 서로 다른 모델이나 별도 모듈로 처리하는 경우가 많았다.
    • SPARGen은 카메라 자세와 텍스트 답변은 토큰으로 만들고, 깊이와 점 지도, 광학 흐름은 이미지처럼 생성한다.
    • 공간 추론, 시각 기하와 광학 흐름 자료를 함께 학습했으며, 64대의 H100 GPU에서 10만 번 학습했다.
    • 공개 모델 비교에서 공간 추론 15개 세부 항목 중 13개가 1위였다. 추가 학습 없이 진행한 KITTI 광학 흐름 평가에서는 EPE 4.09와 F1-all 13.34를 기록했다.
    • 전문 3D 모델 VGGT가 일부 복원 지표에서는 더 좋았다. 정규화된 깊이와 점 지도를 예측하므로 실제 미터 단위의 절대 크기도 알아낼 수 없다.
    초록PDF
  34. 912AI / GeneralarXiv:2608.14290

    Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning

    트랜스포머의 지식 저장과 추론 계산을 분리해, 비슷한 답을 더 적은 학습 데이터와 더 짧은 추론으로 내보내려는 언어 모델 구조다.

    이 논문은 한마디로 언어 모델의 지식 저장 부분과 추론 부분을 분리하는 Mobius 구조를 제안한다. 모든 추론 층이 하나의 큰 공유 메모리에서 필요한 지식을 읽고, 내부 표현을 여러 번 다듬은 뒤 여러 토큰을 함께 예측한다. 처음부터 학습한 7B 모델은 같은 크기의 트랜스포머가 사용한 데이터의 62.6퍼센트만으로 비슷한 점수에 도달했다. Qwen3.5-35B를 바꿔 만든 모델은 정확도를 유지하거나 높이면서 전체 추론 속도를 약 4배 높였다고 보고한다. 다만 이런 효율이 생기는 정확한 원리는 아직 확인되지 않았다.

    • 기존 트랜스포머는 지식 저장과 추론 계산이 층마다 묶여 있어, 다른 층의 지식이 필요하면 여러 층을 거쳐야 한다.
    • Mobius는 모든 추론 층이 같은 지식 저장소를 읽게 하고, 토큰을 출력하기 전에 내부의 연속된 표현을 반복해서 다듬는다.
    • 7B 비교에서는 기존 트랜스포머가 전체 학습 데이터를 썼을 때의 점수에 Mobius가 62.6퍼센트의 데이터로 도달했다.
    • 35B 모델은 일반 평가 평균 67.88을 기록했다. 원래 Qwen3.5-35B와 비슷한 정확도를 유지하면서 질문 입력부터 답변 완료까지의 속도를 약 4배 높였다고 보고했다.
    • 한 선형대수 사례에서는 같은 정답을 516개 토큰으로 내고 원래 모델은 2,364개를 썼다. 다만 짧은 추론과 높은 데이터 효율이 생기는 원리는 아직 가설 수준이다.
    초록PDF
  35. 911RoboticsarXiv:2608.14284

    PRM-as-a-Judge 1.5: A Toolkit for Robot Process Assessment

    로봇이 성공했는지만 세지 않고, 어디까지 갔고 언제 멈추거나 회복했는지를 실행 영상에서 읽어내는 평가 도구다.

    이 논문은 한마디로 로봇의 최종 성공 여부뿐 아니라 작업 과정의 품질까지 평가하는 방법을 제안한다. PRM-as-a-Judge 1.5는 실행 영상을 시점별 진행 곡선으로 바꾸고, 실패 직전까지의 진척도와 후퇴 뒤 회복 정도, 성공 과정의 효율과 안정성을 계산한다. RoboDojo 실험에서는 단순 성공률과 과정 지표의 모델 순위가 서로 달랐고, 시뮬레이션과 실제 환경의 순위 상관도도 낮거나 중간 수준이었다. 다만 진행이 나빠지는 구간을 자동으로 찾는 능력은 아직 제한적이다.

    • 성공률만 보면 거의 성공한 실패와 시작부터 막힌 실패를 구분할 수 없고, 성공 과정의 망설임과 불필요한 동작도 놓친다.
    • 실행 영상을 진행 곡선으로 바꾼 뒤 도달 수준, 진행 효율, 정체, 후퇴와 회복을 여러 지표로 계산한다.
    • 새 지표인 FNS는 실패가 성공에 얼마나 가까웠는지, DRR은 큰 후퇴 뒤 얼마나 회복했는지, SQS는 성공 과정이 얼마나 안정적이었는지를 보여준다.
    • RoboDojo에서 성공률과 과정 지표의 모델 순위가 달랐고, 시뮬레이션과 실제 환경의 순위 상관도는 0.18에서 0.58에 머물렀다.
    • RoboPulse++는 700개 실행 궤적과 사람 주석 구간 2,244개로 평가 모델을 검사한다. 진행 감소 구간의 최고 F1 점수도 0.63이어서 결과를 절대값처럼 받아들이면 안 된다.
    초록PDF
  36. 910AI / GeneralarXiv:2608.09696

    Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models

    LLM이 가설을 제안하고 베이지안 실험 설계가 가장 배울 게 많은 실험을 골라, 적은 실험만으로 시스템의 인과 메커니즘 모델을 찾아내는 자율 과학 에이전트(MDA)를 만든 논문.

    이 논문은 한마디로 LLM과 베이지안 실험 설계를 결합해, 적은 실험 횟수로 시스템의 작동 원리(메커니즘 모델)를 찾아내는 자율 발견 에이전트다. '이 약을 투여하면 어떻게 될까' 같은 개입 질문에는 곡선 맞춤이 아니라 진짜 인과 모델이 필요한데, 그런 모델은 실험을 해야만 알 수 있고 실험은 비싸다. MDA는 LLM이 후보 모델 구조를 제안하고, 순차 몬테카를로(SMC, 입자로 믿음을 갱신하는 추론 기법)로 모델 확률을 계산하고, 정보 가치(VoI) 최대화로 다음 실험을 고른다. 물리·화학·생물 세 벤치마크에서 순수 LLM 방식보다 훨씬 적은 데이터로 새 최고 성능을 냈다.

    • 관찰만 한 데이터로는 인과 구조를 특정할 수 없다는 통찰이 출발점이다. 답을 얻으려면 직접 개입하는 실험이 필요하다.
    • LLM은 가설 제안자, 베이지안 기계(SMC·SBI·VoI)는 검증과 실험 설계 담당으로 역할을 나눴다.
    • 현재 가설 집합에 정답이 없을 때(M-open 상황) 예측 검사로 부족함을 감지하고, LLM이 새 모형을 추가해 탐색 공간을 스스로 넓힌다.
    • 발견과 실험 설계가 서로를 강화한다. 설계된 실험이 제안된 메커니즘을 확인하고, 확인된 메커니즘이 예측을 좋게 만들어 잔여 오차에서 다음 발견이 가능해진다.
    • 부분 관측 상황의 단일 뉴런 전기생리학 벤치마크(NEURONBENCH)를 새로 만들었다.
    초록PDF
  37. 909AI / GeneralarXiv:2608.13433

    Algebraic Decomposition Theory for Transformer Length Generalization

    트랜스포머가 학습 때보다 긴 입력에도 버티는지(길이 일반화)를 정규 언어(규칙 기반 문자열 문제) 대상으로 수학적으로 완전히 규명하고, 다항 시간 판정 알고리즘까지 만든 이론 논문.

    이 논문은 한마디로 '트랜스포머가 어떤 문제에서는 입력이 길어져도 잘하고, 어떤 문제에서는 급격히 망가지는지'를 수학으로 완전히 설명한 이론 연구다. 저자들은 C-RASP(트랜스포머가 배울 수 있는 프로그램의 종류를 표현하는 형식 도구)에 속하는 정규 언어에서만 길이 일반화가 일어남을 증명하고, 임의의 정규 언어가 여기 속하는지 다항 시간에 판정하는 알고리즘을 만들었다. 돌파구는 기존 유한 대수 이론(크론-로즈 분해)이 안 되던 걸 정수의 무한 덧셈 군을 쓰는 새 분해 이론으로 푼 것이다. GPT-2로 125개 정규 언어를 실험한 결과 이론 예측이 실제 길이 일반화 성패를 정확히 맞췄다.

    • 구조가 거의 같아 보이는 두 문제도 길이 일반화가 되는 쪽과 안 되는 쪽으로 갈리는데, 기존 이론은 이 차이를 설명하지 못했다. 이 논문이 처음으로 완전한 판정 기준을 줬다.
    • 판정 알고리즘이 다항 시간에 돈다. 이론에 그치지 않고 실제로 확인 가능한 도구를 준 셈이다.
    • 핵심 발견은 '무한히 세는 능력(unbounded counting)'이 트랜스포머 길이 일반화의 씨앗이라는 것. 이를 정수 덧셈 군의 반복 wreath product로 형식화했다.
    • GPT-2를 길이 50까지 학습시키고 최대 500까지 테스트했더니, C-RASP 안의 언어는 정확도를 유지하고 밖의 언어는 훈련 길이 직후 급락했다.
    • JSON 같은 구조화 출력과 에이전트의 상태 추적이 길어지면 왜 무너지는지 이해하는 이론적 기초를 준다.
    초록PDF
  38. 908ResearcharXiv:2608.13446

    Blue Noise as a Lattice Gibbs Ensemble

    컴퓨터그래픽스의 블루노이즈(고르면서 불규칙한 점 분포) 생성을 격자 통계역학 모형으로 정식화해, 타일로 나눠 그려도 결과가 정확히 같고 메모리도 일정하게 만든 수학적 방법론 논문.

    이 논문은 한마디로 이미지를 점으로 표현하는 블루노이즈 기법을 '격자 위의 입자가 서로 밀어내는' 통계역학(깁스 분포) 모형으로 정의해, 출력 크기와 무관하게 메모리가 일정한 샘플러를 만든 연구다. 기존 최고 성능 기법들은 점 전체를 한꺼번에 계산해서 이미지가 커지면 메모리가 폭발했다. 이 논문은 각 점이 영향을 미치는 반경이 수학적으로 정해져 있다는 성질을 이용해, 작은 타일로 나눠 따로 그려도 전체를 한 번에 그린 것과 비트 단위로 같은 결과가 나옴을 보장했다. 덕분에 14K 해상도의 점 그림(스티플링)도 51MiB 메모리로 가능했다(경쟁 기법은 12K에서 16GiB 초과로 실패).

    • 점 사이 반발을 이진 격자 점유의 깁스 분포로 정식화해 밀도와 반발 세기, 작용 거리, 커널 경도를 한 모형에서 조절했다.
    • 유한 거리 상호작용과 뒤로 추적하는 표본 추출을 이용해 충분한 둘레를 둔 타일 결과가 전체 영역 생성과 비트 단위로 같음을 보장했다.
    • 메모리가 출력 전체가 아니라 타일 크기로 정해져 14K 점묘 영상도 51MiB 메모리로 생성할 수 있었다.
    • 같은 분포 틀을 적응형 밀도와 여러 종류의 점 배치로 넓혀 큰 그래픽 작업을 순서와 통신 제약 없이 나눠 처리할 수 있게 했다.
    • 격자는 점 위치를 양자화하고 뒤쪽 이력 절단은 정확성과 비용을 맞바꾸며, 질서를 강하게 할수록 의존 반경이 커져 타일 방식의 이점이 사라질 수 있다.
    초록PDF
  39. 907Machine LearningarXiv:2608.13040

    Latent On-Policy Self-Distillation

    자기증류에서 선생에게 줄 '특권 정보'(정답·성공 궤적 등 사람이 설계하던 입력)를 잠재 벡터로 직접 학습하게 만든 LOPD — 롤아웃 예산 30% 미만으로 GRPO·Skill-SD를 이겼다.

    이 논문은 한마디로 '스스로를 가르치는 AI 선생에게 줄 특권 정보'조차 AI가 직접 학습하게 만든 자기진화 기법이다. 기존 자기증류(OPSD)는 정답·꿀팁·성공 궤적 같은 특전을 사람이 설계해 선생에게 줬다면, LOPD는 과거 경험을 검색해 잠재 토큰(모델이 쓰는 압축된 기억 벡터)으로 바꾸고, 그것을 받은 선생이 학생에게 토큰 단위의 촘촘한 지도를 준다. 학습이 끝나면 학생 모델만 남고 검색 장치·기억 압축기는 전부 버려도 성능이 유지된다. 도구 사용·코드 생성 7개 벤치마크에서 기존 강화학습(RLVR)과 자기증류 계열을 모두 이겼고, GRPO보다 30%도 안 되는 롤아웃 예산으로 앞섰다.

    • '선생에게 무엇을 보여줄지' 사람이 정하지 않고 학습이 알아서 정한다 — 경험 표현 자체를 end-to-end으로 최적화한 설계 전환.
    • 학습 후에는 학생 모델만 남고 검색 DB·압축기·잠재 토큰을 전부 삭제해도 성능이 유지된다(경험이 정책 안으로 내면화됨).
    • GRPO·Skill-SD보다 30% 미만의 롤아웃 예산으로 승리 — 자기진화의 계산 비용 문제를 크게 줄였다.
    • 선생이 학생과 똑같아지는 붕괴를 막는 '특전 마진' 제약이 핵심이며, 제약을 빼면 지도 신호가 사라진다는 것을 소거 실험으로 증명했다.
    • 학생의 행동도 바뀐다: 도구를 한 번에 마구 호출하던 습관에서 순서대로 계획을 실행하는 스타일(스텝당 호출 3.50→1.11)로 이동했다.
    초록PDF
  40. 906Machine LearningarXiv:2608.12629

    CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

    GPU 커널 에이전트가 쓰는 프로그래밍 표현(Cake IR)과 컴파일러 하네스를 함께 진화시켜, 에이전트가 전문가급 GPU 커널을 재현·개량하게 만든 컴파일러-에이전트 공동 설계 논문.

    이 논문은 한마디로 AI가 GPU 프로그램(커널)을 짤 때 컴파일러를 블랙박스로 두지 않고 함께 진화시키는 시스템 CAKE를 제안한다. 기존 에이전트는 코드를 던져 넣고 오류 메시지와 실행 시간만 돌려받았다면, CAKE는 하드웨어 동작이 드러나는 중간 표현(Cake IR)으로 코드를 쓰게 하고 어느 부분이 왜 틀렸는지 위치를 짚어주는 진단을 준다. 반복되는 실패는 검증 규칙·새 명령어·성능 모델 보정으로 축적돼 컴파일러 자체가 점점 똑똑해진다. 결과는 B200 GPU에서 Flash-KMeans 재현 시 튜닝된 기준의 1.144배(직접 CUDA는 0.928배)였고, 에이전트가 만든 Kimi Delta Attention 커널은 공식 구현 대비 2.05배 빨랐다.

    • '무엇이 왜 틀렸는지' 위치를 알려주는 컴파일러와 함께 작업하면 블랙박스 환경보다 전문가급 GPU 커널에 훨씬 가까워진다.
    • 하네스 자체도 진화 대상이다 — 반복되는 실패를 검증 규칙·새 IR 명령·성능 모델 보정으로 바꿔 일회성 우회가 아니라 축적되는 지식을 만든다.
    • 같은 예산의 clean-start에서 Cake IR 표현은 튜닝 기준치 1.144배, 직접 CUDA/PTX는 0.928배 — 코드 표현 방식 자체가 성능을 가른다.
    • 에이전트가 만든 Kimi Delta Attention 커널이 공식 구현 대비 2.05배 기하평균 가속을 냈고 실제 서빙 검증까지 통과했다.
    • 단일 규격 최적화와 400여 개 규격 일반화(디스패치) 단계를 분리해 라이브러리 수준 통합까지 완성했다.
    초록PDF
  41. 905Machine LearningarXiv:2608.13331

    Training AI Scientists to Replicate Research

    논문 그림 복제 과제 모음(Replica)으로 27B 에이전트 Faraday를 강화학습시켜, Claude·GPT급 코딩 에이전트를 '도구'로 부리면서도 복제 품질은 앞서게 만든 'AI 과학자' 훈련 논문.

    이 논문은 한마디로 AI에게 논문의 그림을 실제 실험으로 재현(복제)시키는 훈련법을 제안해, 270억 파라미터(27B) 모델이 최고급 상용 모델을 이기게 만든 연구다. 연구진은 100편 논문에서 결과 그림을 가려버린 310개 복제 과제(Replica)를 만들고, 채점 기준표(루브릭)를 자동 생성하는 심판 모델이 사람 전문가 평가와 잘 맞는다는 것을 검증해 보상 신호로 썼다. 여기에 코딩 에이전트를 도구로 부리는 방식(CAT)으로 GRPO 강화학습을 시킨 결과, 27B 모델 Faraday는 처음 보는 과제에서 Claude Opus 4.8을 60% 이기고 평균 +6~8% 앞섰다. Faraday는 그림을 찍어내는 대신 논문의 원리를 직접 구현하는 등 인간 과학자에 가까운 행동을 보였고, 작은 모델이 큰 모델을 감독·활용한다는 점에서 AI 안전성 관점에서도 의미가 크다.

    • 27B 소형 모델(Faraday)이 5조 파라미터급 코딩 에이전트를 도구로 부려 논문 복제에서 Claude/GPT급을 능가했다 — 큰 모델을 곧바로 쓰는 것보다 작은 모델에 '과학적 판단력'을 심는 쪽이 낫다는 뜻.
    • 검증 불가능한 열린 과제에도, 사람 평가와 일치하는 자동 루브릭 심판을 보상으로 쓰면 안정적으로 강화학습이 된다는 레시피를 제시했다.
    • 미학습(홀드아웃) AI-for-science 과제에서도 60% 승률과 평균 +6% — 단순 암기가 아니라 과학적 사고가 이식됐다.
    • Faraday는 결과를 코딩으로 찍어내는 대신 논문의 메커니즘을 직접 구현하고 실험 규모를 예산에 맞게 축소하는, 인간 과학자 같은 태도를 보였다.
    • 약한 모델이 강한 모델을 감독·지휘하는 구조가 실제 성능으로 이어져, AI 안전성(감독 가능성) 연구에도 중요한 증거가 됐다.
    초록PDF
  42. 904AI / GeneralarXiv:2608.13417

    Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

    장기 R&D 에이전트 7개를 최종 점수가 아니라 과정(구상·실행·피드백)으로 해부한 평가 연구. '지금은 엔지니어링 최적화기'라는 결론.

    이 논문은 한마디로 장기 자동 연구 에이전트를 최종 점수만이 아니라 과정 역량으로 해부한 대규모 평가다. 7개 프론티어 모델을 36개 장기 과제(과제당 2~12시간, 총 756 롤아웃)로 시험하고, 해결 구상·실행·피드백 제어와 경험 재사용을 규칙 기반으로 측정했다. 결론은 현재 에이전트는 '실무형 엔지니어링 최적화기'이지 자율 연구자는 아니라는 것. 신뢰성 격차, 경험의 양면성, 하네스의 영향이 핵심 발견이다.

    • 최종 점수가 같아도 병목은 달랐다. GPT-5.5는 실행이, Gemini-3.1-Pro는 피드백 제어가 강한 식으로 과정 프로파일이 갈렸다.
    • 모델 간 격차는 최고 성능(best@3, 0.122)보다 평균(avg@3, 0.237)에서 훨씬 컸다. 신뢰성이 승부처다.
    • 252개 최고 시드 해결책 중 진짜 방법론적 신규성을 가진 것은 3개뿐이었다.
    • 경험 이전은 양날이었다. DeepSeek-V4-Pro는 +0.093 향상, Gemini-3.1-Pro는 -0.017 악화.
    • 하네스(에이전트 운영 체계)는 최고 성능보다 실행 안정성에 주로 영향을 주었다.
    초록PDF
  43. 903Computer VisionarXiv:2608.13546

    Alaya-EVOKE: From Linear-Scaling Supervision to Endless World

    월드 상태를 외부 기하 메모리에 맡겨 2시간 연속 생성을 가능하게 한 인터랙티브 월드모델. 외부화 메모리 설계가 인상적.

    이 논문은 한마디로 월드모델의 영구 기억을 모델 컨텍스트 밖의 '월드 상태 뱅크'(카메라 위치로 색인된 기하 메모리)에 맡긴 모델이다. 세션이 길어져도 컨텍스트 비용이 늘지 않고, 다시 본 장면은 저장된 기하에서 복원된다. 교사 모델을 장기(30초) 감독용으로 재설계해 3단계 생성 학생 모델에 증류했다. 단일 GPU(H200)에서 1.5초 분량을 2.11초에 생성하며 2시간 연속 롤아웃을 유지했고, WBench에서 최고 성적을 냈다.

    • 지속 상태를 카메라 자세로 색인되는 외부 기하 뱅크에 저장해, 세션 길이와 무관하게 고정된 컨텍스트 비용을 유지했다.
    • 교사 모델에 청크별 희소 어텐션과 선형 어텐션 전역 상태를 결합해 감독 비용이 길이에 선형으로만 늘어나게 했다.
    • 30초 장기 분포 정합 목표로 3단계 CFG 없는 학생 모델을 증류해 저지연 인터랙션과 장기 일관성을 함께 얻었다.
    • 2시간 연속 생성을 시연했고 WBench에서 최고 성적, VBench-2.0에서 66.77로 비교군 10개 중 1위였다.
    • 세션 중 텍스트 지시 교체는 새로 붙일 수 있는 콘텐츠는 67% 반영되지만, 이미 기하로 고정된 내용은 4%만 덮어써졌다.
    초록PDF
  44. 902Computer VisionarXiv:2608.13552

    PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives

    월드모델을 사람 게이머처럼 장기 목표로 플레이하며 평가하는 벤치마크. 지속 상태 진화가 최대 약점임을 드러냄.

    이 논문은 한마디로 월드모델을 고정된 액션 순서가 아니라 '360도 돌아보기' 같은 장기 목표로 플레이하며 평가하는 벤치마크다. 멀티모달 에이전트 플레이어가 화면을 보며 액션을 조절(연장/정지/수정)해서, 모델마다 액션 단위가 달라도 공정하게 비교한다. 171개 시나리오에서 9개 최신 월드모델을 평가한 결과 Genie 3가 종합 1위였지만, 모든 모델에서 보이지 않는 영역의 상태 진화가 가장 약했다.

    • 고정 액션 궤적 대신 공유 목표 + 에이전트 플레이어의 적응적 조절(Keep/Stop/Extend/Correct/End)로 모델 간 공정 비교를 가능하게 했다.
    • 기하 일관성·상호작용 충실도·시야 외 진화·통찰 진화 4개 핵심 차원과 기본 능력 지표를 함께 평가한다.
    • 9개 모델 중 Genie 3가 종합 최고였고 HappyOyster가 2위였다.
    • 모든 모델에서 시야 밖 상태 진화와 통찰 진화 점수가 가장 낮아 장기 지속성이 현재 병목임을 확인했다.
    • 자동 VQA 메트릭과 인간 선호의 순위가 양의 상관을 보였다.
    초록PDF
  45. 901AI / GeneralarXiv:2608.13558

    OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

    원시 데이터(영상·신호·오디오·3D 등)를 직접 '보며' 가설부터 논문까지 수행하는 범멀티모달 AI 사이언티스트.

    이 논문은 한마디로 이미지, 파형, 오디오, 3D, 궤적 같은 원시 과학 데이터를 직접 보면서 가설→실험→논문까지 수행하는 AI 사이언티스트다. 지각 계층과 아이디어·실험·집필 에이전트 3개가 결정론적 파이프라인 안에서 돈다. 신선함 검사, 통계 타당성, 결과 보고 가설 금지(anti-HARKing), 수치 추적성 같은 검증을 코드로 강제한다. 36개 실데이터 사례 전체에서 원시 데이터부터 컴파일된 논문까지 완주했고, 직접 보는 쪽이 미리 뽑은 특징만 주는 버전과 비교해 85% 승률을 기록했다.

    • 텍스트·요약 대신 원시 관측(공간·시간·채널 관계)을 연구 전 과정에 접근 가능하게 해, 데이터 표현이 연구를 제약하는 문제를 풀었다.
    • 아이디어·실험·집필 3개 자율 에이전트를 얇은 결정론적 파이프라인으로 제어하고, 신선함·누출·HARKing·추적성 검사를 코드로 강제했다.
    • 36개 실데이터 사례(5개 학문군, 4개 증거군) 모두에서 원시 데이터→논문까지 완주, 평균 논문 점수 6.3을 받았다.
    • 직접 지각하는 쪽이 미리 계산된 특징만 받는 블라인드 변형 대비 7개 평가 차원 모두에서 앞서고 1:1 비교의 85%에서 이겼다.
    • 예시로, 노이즈로 라벨된 지진 데이터 750건 중 21.7%에 실제 지진 신호가 숨어 있음을 발견하고 통계적으로 검증했다.
    초록PDF
  46. 900Computer VisionarXiv:2608.13194

    Fidelity-Constrained Anchoring for Black-Box Denoisers

    블랙박스 노이즈 제거기의 출력을 PSNR/SSIM 제약으로 원본에 묶어주는 가벼운 후처리. 재학습 불필요.

    이 논문은 한마디로 노이즈 제거 모델의 출력을 원본과 선형으로 섞어서, 정해진 충실도(PSNR 또는 SSIM)를 만족하는 최대 강도를 찾는 후처리 프레임워크다. 모델 내부를 몰라도 되고 재학습도 필요 없다. PSNR은 닫힌 해로, SSIM은 역함수 기반 반복 풀이로 효율적으로 제어했다. 실험에서 SSIM 기준 방식이 노이즈 크기와 무관하게 일관되게 작동했다.

    • 블랙박스 노이즈 제거 결과와 입력을 작은 영상 조각별로 선형 혼합해 목표 충실도를 만족하는 가장 큰 혼합 계수를 구했다.
    • PSNR 제약은 닫힌 해로 풀고 SSIM 제약은 역 SSIM의 성질을 이용한 네 번의 근 찾기로 효율적으로 계산했다.
    • Real-ESRGAN과 비국소 평균 제거기에서 재학습 없이 목표 PSNR 또는 SSIM을 제어할 수 있음을 확인했다.
    • SSIM 기반 고정은 세 가지 가우시안 잡음 세기에서 PSNR 기반보다 일관된 품질·자연스러움 절충을 보여 실용적인 후처리로 쓸 수 있다.
    • 선형 혼합에 의존하므로 제거 결과가 입력과 크게 다르거나 잡음이 너무 강해 원래 구조가 손상되면 성능이 떨어진다.
    초록PDF
  47. 899Computer VisionarXiv:2608.13416

    StreamTTT: Reconciling Real-Time Perception and Long-Term Memory in Streaming VLMs

    스트리밍 영상 이해에서 '지금 보기'와 '오래 기억하기'를 구조적으로 분리해 양립시킨 방법. 주목할 메모리 아키텍처.

    이 논문은 한마디로 영상을 계속 보며 질문에 답하는 모델에서 실시간 인식과 장기 기억의 트레이드오프를 푼 방법이다. 저자들은 긴 과거를 어텐션 밖의 '빠른 가중치'(영상을 보며 실시간으로 갱신되는 기억 상태)에 저장하고, 어텐션에는 최근 장면만 남겼다. OVO-Bench에서 실시간 인식은 동급 최고 수준(78.9)을 유지하면서 뒤돌아보기 추적은 3.7점 끌어올렸다. 파라미터 절반인데도 8B 모델과 실시간 이해 점수가 0.11점 차였다.

    • 장기 역사를 어텐션 컨텍스트 밖의 TTT(테스트 타임 트레이닝) 빠른 가중치에 저장해, 과거가 최근 장면 이해를 희석하는 문제를 구조적으로 막았다.
    • 실시간 질의를 답 가능한 시점으로 옮겨 붙인 112.4K 규모 리얼타임 QA 데이터셋을 새로 구축하고 오프라인 장기영상 QA와 함께 학습했다.
    • OVO-Bench에서 SimpleStream-4B 대비 실시간 인식 +1.4점(78.9), 후행 추적 +3.7점(58.3)을 기록했다.
    • StreamingBench RTVU에서 80.48로, 파라미터가 두 배인 SimpleStream-8B(80.59)와 0.11점 차였다.
    • 4K 윈도에서 TTT 상태를 더하면 64K 윈도 확대 효과의 약 97%를 OVO-EPM에서 회복했다.
    초록PDF
  48. 898Machine LearningarXiv:2608.13482

    Synthetic Persona Pretraining: Alignment from Token Zero

    정렬(가치관 주입)을 사후학습이 아니라 사전학습 '첫 토큰'부터 심으면 훨씬 깊이 뿌리내린다는 연구.

    이 논문은 한마디로 AI의 가치관을 미리 정한 헌법에 맞춰 사전학습 데이터 단계부터 심는 방법(SPP)을 제안한다. 사전학습 문서 약 10%에 헌법 기반 1인칭 성찰을 붙여 학습시키고, 사후학습에서 이 페르소나(성격·가치관 묶음)를 어시스턴트 정체성에 묶는다. 3B 모델·500B 토큰 실험에서 헌법 준수와 탈옥(프롬프트 조작 공격) 방어가 모두 좋아졌다. 늦게 주입하는 것보다 첫 토큰부터 주입하는 게 확실히 좋았고, 효과는 규모가 클수록 커졌다.

    • 사전학습 문서에 가치 성찰을 붙여 '페르소나'를 조기에 설치하고, 사후학습에서 이를 어시스턴트 정체성에 묶는 persona binding을 제안했다.
    • 첫 토큰부터 주입하면 헌법 준수가 좋아지고, 훈련에서 다루지 않은 도덕 딜레마에서도 더 정렬된 선택을 했다.
    • 같은 성찰을 사전학습 막바지에만 넣으면 효과가 약했고 가치 우선순위도 바뀌지 않았다.
    • 효과는 사전학습 예산이 커질수록(1.7B/100B → 3B/500B) 더 커졌다.
    • 탈옥 방어는 막바지 주입만으로도 확보됐지만, 깊은 가치 정렬은 조기 주입이 필요했다.
    초록PDF
  49. 897Computer VisionarXiv:2608.13560

    AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design

    논문→포스터 생성 작업에서 '모델'이 아니라 '하네스(에이전트 운영 체계)'를 재귀적으로 개선하는 프레임워크. PosterBench 최고점.

    이 논문은 한마디로 에이전트를 감싸는 운영 체계(하네스)를 실행 피드백으로 스스로 개선하게 만든 프레임워크다. 코드 에이전트가 포스터를 만들고, 메타 최적화기가 그 실패 기록을 보고 하네스를 한 조각씩 고친다. 학습된 하네스는 7가지 모델 조합의 평균 점수를 54.99에서 67.39로(약 +12.4%) 올렸고, PosterBench 메인 트랙에서 78.32점으로 Claude Design보다 7.45점 높았다. 사람 블라인드 평가에서도 최고 선호를 받았다.

    • '모델 파라미터는 고정하고 하네스를 최적화한다'는 접근으로, 실패 경험이 시스템 자체의 개선으로 축적되게 했다.
    • 한 번에 한 개 구성요소만 바꾸고, 개발 성능 유지 조건을 통과해야 승격하는 안전한 업데이트 게이트를 도입했다.
    • 학습된 DesignHarness를 얹자 7개 코드 에이전트 구성 모두 5.0~19.6점 향상됐다(평균 54.99→67.39).
    • PosterBench(논문 100편, 5개 분야)에서 78.32점으로 최상위, 상용 시스템 Claude Design보다 7.45점 높았다.
    • 완전 자율 루프에서 253번의 도구 호출과 11번 편집을 40분 만에 3달러 미만으로 수행해 학회 포스터 수준 결과를 냈다.
    초록PDF
  50. 896Machine LearningarXiv:2608.13505

    Intern-S2-Preview: Scientific Agentic Foundation Model

    상하이 AI Lab의 397B 과학 에이전트 파운데이션 모델. 멀티모달 과학 이해부터 도구를 쓰는 장기 에이전트 과제까지 하나의 모델로.

    이 논문은 한마디로 과학 연구용으로 특화된 397B 규모 에이전트 파운데이션 모델 시리즈다. 논문·그림·표가 섞인 과학 문서로 사전학습한 뒤, SFT와 강화학습, 에이전트 RL, 증류를 하나의 파이프라인으로 묶었다. 특히 파라미터를 건드리지 않고 외부 '메모리 디코더'를 붙여 새 분야에 빠르게 특화하는 방법이 인상적이다. 시계열 이해·예측 모듈도 추가해 과학 신호 데이터까지 다룬다.

    • 과학 문서(텍스트+그림+표)를 그대로 렌더링해 시각적으로 사전학습시키는 방식으로, 텍스트 추출에서 사라지는 문서 구조까지 흡수시켰다.
    • 검증 가능한 목표의 다중과제 강화학습과 흑백박스 에이전트 RL을 하나의 사후학습 파이프라인으로 통합했다.
    • 397B 백본을 얼려두고 별도 학습된 메모리 디코더(4B)를 붙이는 방식으로, 일반 능력을 해치지 않고 생물학 점수를 56.92에서 60.32로 올렸다.
    • harness×task 추상화로 서로 다른 에이전트 런타임과 과제가 같은 롤아웃·검증·학습 프로토콜을 공유하게 했다.
    • 과학·멀티모달·에이전트·일반 벤치마크 전반에서 경쟁력 있는 성적을 냈다.
    초록PDF