HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,430자료 갱신일 Research Monitoring벤치마크RSS 구독
  1. 1443Research AgentsarXiv:2611.14514

    Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations

    이 논문은 과학 발견 에이전트가 가설 하나만 검증하는 대신, 한 질문에 대한 경쟁 설명 여러 개를 묶은 대비 집합을 써서 같은 증거로 더 많은 질문을 해결하게 만드는 문제다.

    이 논문은 한마디로 증거가 가설을 기각할 때 어느 대안이 더 지지받는지 밝히기 위해, 상호 배타적 경쟁 설명의 집합을 발견의 단위로 삼는 방법이다. 저자들은 대비 집합(contrast set)으로 증거가 믿음을 어떻게 재분배하는지 점수를 매기고, 믿음이 한 설명에 모이면 질문이 해결된 것으로 본다. 여섯 도메인 실험에서 같은 증거로 점별 방식이 놓치는 대안들을 대부분 해결했고, 같은 실험 예산에서 훨씬 많은 질문을 해결했다. 눈가림 전문가 평가에서도 시스템이 고른 설명에 사람 전문가들이 대체로 동의했다.

    • 연구진은 하나의 과학 질문에 대해 서로 배타적이고 합쳐서 모든 경우를 덮는 경쟁 설명들을 묶은 대비 집합을 발견의 단위로 제안했다.
    • 점별 방식의 상위 후보 89%는 기각이었는데, 같은 증거를 대비 집합으로 다시 평가하자 이 후보들의 73%가 특정 대안으로 해결되었다.
    • 대비 집합으로 탐색을 이끌면 같은 실험 예산에서 점별 방식보다 67% 더 많은 질문을 해결했고, K=200에서 평균 161.9개 대 97.2개였다.
    • 눈가림 평가에서 38명의 사람 전문가가 해결된 질문의 78%에서 시스템과 같은 설명을 골랐다.
    • 이득의 대부분은 교정 해결에서 나왔는데, 이는 증거가 사전 최다 득표 설명 대신 다른 설명으로 지지를 옮긴 경우다.
    • 저자는 실험이 표 형태 관측 데이터와 gpt-4o 하나를 썼고, 이런 데이터에서 해결은 인과가 아니라 통계적 발견이라는 한계를 적었다.
    초록PDF
  2. 1442Machine LearningarXiv:2611.12871

    Vendi Anomaly Scores for Efficient and Accurate Anomaly Detection

    이 논문은 샘플을 뺐을 때 데이터 집단의 다양성 점수가 얼마나 변하는지로 이상치를 찾는 Vendi 이상 점수를 제안했다.

    이 논문은 한마디로 샘플 하나를 제거할 때 데이터 전체 다양성이 크게 바뀌는 정도로 이상치를 점수 매기는 새 이상 탐지 방법이다. 저자들은 Vendi 점수의 고유값 스펙트럼 변화를 일차 근사로 빠르게 계산해 데이터 크기에 선형으로 확장되는 VAS를 만들었다. 이 방법은 이웃 크기나 밀도 추정 같은 하이퍼파라미터 없이 데이터의 스펙트럼 구조에 맞춰 q 값을 스스로 정한다. 10개 원본 데이터셋과 4개 임베딩 구조에서 나온 148개 벤치마크에서 최고 수준 성적을 냈고, ImageNet 대규모 실험에서도 오염 비율과 규모가 커져도 성능이 유지됐다.

    • 연구진은 샘플을 뺄 때 Vendi 점수로 잰 데이터 다양성의 변화로 이상치를 정의하는 Vendi 이상 점수를 제안했다.
    • 정확한 하나 빼기 점수의 일차 근사를 유도해 임베딩 데이터셋 크기에 선형으로 확장되게 만들었다.
    • 이 방법은 밀도 추정, 분할 휴리스틱, 하이퍼파라미터 조정 없이 고유값 스펙트럼에 맞춰 q 값을 자동으로 정한다.
    • 10개 원본 데이터셋과 4개 임베딩 구조에서 나온 148개 벤치마크 데이터셋에서 최고 수준 이상 탐지 성능을 달성했다.
    • 최대 100k 샘플 ImageNet 실험에서 오염 비율과 규모가 커져도 성능이 유지되었다.
    초록PDF
  3. 1441Machine LearningarXiv:2611.12791

    Large Language Models as a Universal Searcher for Open-World Automated Machine Learning

    이 논문은 아주 다양한 AutoML 설계 선택을 하나의 숫자열로 바꿔 LLM 하나가 과제 특화 미세조정 없이 열린 세계 최적화를 하게 만든 프레임워크다.

    이 논문은 한마디로 모델 구조, 학습 하이퍼파라미터, 데이터 비율을 통일된 숫자 코드로 바꾸고 LLM 서처가 후보를 골라내게 해 여러 분야를 넘나드는 자동 머신러닝 최적화를 한 번에 하게 만든 연구다. 저자들은 NCode라는 수치 부호화로 이질적 설계 공간을 하나의 이산 공간으로 묶고, 최적화를 후보 순위 매기기 문제로 재정의했다. 단일 비전 과제의 궤적 데이터로만 학습해도 서치 모델은 이미 분류, 분할, 화자 검증, 텍스트-이미지 벤치마크에서 최고 수준 성능을 냈다. GRPO로 사고사슬을 학습시켜 탐색 전략이 초기 다양성 탐색에서 후기 닻 기반 활용으로 옮겨감을 해석 가능하게 보였다.

    • 연구진은 모델 구조, 학습 하이퍼파라미터, 데이터 비율을 통일된 이산 수치열 NCode로 부호화해 세 설계 공간을 함께 최적화했다.
    • LLM 서처는 후보 풀에서 우수한 후보를 고르는 순위 문제로 재정의되어, 과제 특화 미세조정 없이 열린 세계 최적화를 수행한다.
    • 단일 비전 도메인인 NAS-Bench-301 궤적으로만 학습하고도 이미지 분류, 분할, 화자 검증, 텍스트-이미지 벤치마크에서 최고 수준 성능을 냈다.
    • 십억 파라미터 규모 Diffusion Transformer의 대규모 학습과 공동 최적화에서 896 GPU-days를 들여 GenEval 점수 0.91의 최고 수준 성적을 냈다.
    • GRPO로 사고사슬 추론을 학습시켜, 최적화 전략이 초기의 다양성 중심 탐색에서 후기의 닻 중심 활용으로 옮겨가는 것을 해석했다.
    초록PDF
  4. 1440AI AgentsarXiv:2611.12222

    PARIS: A multi-agent LLM framework for end-to-end, PRISMA-guided systematic literature reviews with pre-synthesis corpus quality assessment

    이 논문은 체계적 문헌 고찰 전 과정을 지휘 에이전트와 전문 에이전트 15개가 맡고, 사람 확인 문 3개와 코퍼스 품질 점수로 신뢰성을 지키는 프레임워크다.

    이 논문은 한마디로 PRISMA 지침을 따르는 체계적 문헌 고찰을 처음부터 원고까지 자동으로 돌리는 멀티에이전트 프레임워크 PARIS다. Claude Code 위에서 지휘 에이전트가 전문 에이전트 15개를 조율하고, 에이전트 사이는 오직 파일로 남는 산출물로만 소통하며, 사람이 포함·코퍼스 적절성·개요 문 3개를 통과해야 진행된다. 저자들은 합성 전에 코퍼스 품질을 0에서 100 사이 점수로 매기는 QualityScore도 도입했다. 두 사례 연구에서 전 과정 실행 가능성과 함께 검색 누락, 에이전트 간 숫자 어긋남 같은 실패 양상도 그대로 드러냈다.

    • 연구진은 Claude Code에서 도는 지휘 에이전트가 전문 대규모 언어 모델 에이전트 15개를 조율하는 PARIS 프레임워크를 만들었다.
    • 모든 에이전트는 오직 저장된 산출물 파일로만 소통하고, 지휘 에이전트는 다음 단계 전에 파일이 있는지 검사한다.
    • 연구 포함, 코퍼스 적절성, 합성 개요의 세 사람 확인 문이 중요한 결정을 사람 손에 남겨둔다.
    • QualityScore는 합성 전에 코퍼스 품질을 0에서 100 사이 점수로 매기고, 첫 사례에서 코퍼스 개선으로 74.6에서 81.9로 올랐다.
    • 두 번째 사례 연구는 131건 기록 중 123건을 포함했고 QualityScore 69.1을 기록했다.
    • 저자 감사는 검색 누락, 에이전트 사이 숫자 어긋남, 확인 결정 미기록 같은 실패 양상을 드러냈고, PRISMA 2020 항목 27개 중 8개만 완전 지원한다고 적었다.
    초록PDF
  5. 1439Machine LearningarXiv:2611.11997

    HyInv Technical Report

    이 논문은 역접기 단백질 설계를 위해 구조 보상 강화학습과 두 온도 초안-수정 샘플러를 결합한 소형 모델 HyInv를 발표했다.

    이 논문은 한마디로 주어진 단백질 골격에 접히는 아미노산 서열을 빠르고 다양하게 설계하는 소형 역접기 모델 HyInv의 기술 보고서다. 모델은 1.96-million-parameter 그래프 신경망으로, 무작위 순서 자기회귀 사전학습 뒤 구조 보상 강화학습으로 학습됐다. 추론에서는 초안과 수정에 서로 다른 온도를 쓰는 샘플러로 같은 다양성에서 더 높은 scTM을 냈다. 최적화 구현은 402잔기 골격에 128개 서열을 단일 NVIDIA H20 GPU에서 50.6 ms에 설계해 기준 샘플러보다 약 52배 빠르고, 10개 외부 기준선보다 높은 평균 scTM을 기록했다.

    • 연구진은 1.96-million-parameter 골격 조건 그래프 신경망인 HyInv를 무작위 순서 자기회귀 사전학습과 구조 보상 강화학습으로 학습시켰다.
    • 초안은 높은 온도로, 수정은 낮은 온도로 나누어 샘플링하는 방식이 같은 다양성에서 refolding TM-score를 높였다.
    • BF16 수치 연산의 최적화 구현은 402잔기 골격에 대해 128개 서열을 단일 NVIDIA H20 GPU에서 50.6 ms에 설계해 기준 샘플러보다 약 52배 빠르다.
    • 다섯 벤치마크 데이터셋과 일곱 데이터셋-예측기 조합에서 HyInv는 비슷하거나 더 높은 서열 다양성에서 열 개 외부 기준선 모두보다 높은 평균 scTM을 달성했다.
    • ProteinMPNN과 ProteinZero V2에 대한 평균 마진은 각각 +0.013과 +0.008이었다.
    • 같은 기본 설정으로 de novo 골격, 주머니 제약 라이브러리, 촉매 자리를 보존한 효소 재설계, 루프 재설계를 지원한다.
    초록PDF
  6. 1438Reasoning / EfficiencyarXiv:2611.11910

    Late but Valuable: Why Deadlines Change the Measured Value of LLM Reasoning

    이 논문은 자동 실험실처럼 마감시간이 고정돼 있을 때 답의 가치와 도착 시간을 함께 재야 한다는 것을 보인 평가 연구다.

    이 논문은 한마디로 마감시간이 지난 LLM 답은 버려지고 안전한 기본 동작이 대신 실행되므로, 답 품질과 지연을 따로 보고하면 추론의 가치를 부풀려 잰다는 것을 보인 연구다. 저자들은 최적 답을 정확히 아는 합성 샘플 판정 과제에서 Claude Haiku 5.5의 빠른 모드와 사고 모드를 비교했다. 1,200건 재생 실험에서 마감을 넘긴 사고 답이 제시간 답보다 약 다섯 배 가치가 컸고, 분리 요약은 사고 모드 가치를 약 두 배로 과대 예측했다. 단일 GPU Qwen3-8B 실험에서는 동시 요청이 늘자 45 s 마감을 맞추는 사고 답 비중이 79.2%에서 1.4%로 떨어졌다.

    • 연구진은 실험실의 마감시간이 지나면 기본 동작이 대신 실행되는 상황에서, 답의 가치와 도착 시간을 따로 요약하면 실제 전달 가치를 과대 예측함을 보였다.
    • 1,200건 판정 재생에서 마감을 넘긴 사고 모드 답은 제시간 답보다 약 다섯 배 가치가 컸다.
    • 분리 요약은 사고 모드가 실제로 전달한 가치의 약 두 배를 예측했고, 빠른 모드 대비 우위를 0.0241만큼 과대 평가했다.
    • 단일 GPU에서 Qwen3-8B의 동시 요청을 8에서 56으로 늘리자 45 s 마감을 맞추는 사고 답 비중이 79.2%에서 1.4%로 떨어졌다.
    • 저자는 답 하나하나의 가치와 도착 시간을 짝지어 실제 실행된 동작에 점수를 매기는 평가를 권했다.
    초록PDF
  7. 1437Distributed SystemsarXiv:2611.11040

    Advancements in Cloud-Native Systems: A Systematic Mapping Study of Reliability and Scalability across Cloud-Native, Edge-Native and AI-Enabled Systems

    이 논문은 클라우드 네이티브, 엣지, AI 작업 부하의 신뢰성과 확장성 연구 1,794편을 증거 등급과 함께 체계적으로 지도한 문헌 연구다.

    이 논문은 한마디로 클라우드 네이티브와 엣지, AI 작업 부하의 신뢰성·확장성 연구를 PRISMA 2020 절차로 1,794편 1차 연구로 지도하고 증거 수준별로 등급을 매긴 체계적 매핑 연구다. 2026년 10월 11일 OpenAlex 다섯 블록 검색과 이전 탐색 189건을 합쳐 4,611건을 검사했다. 판정 가능한 1,003편 중 66.2%가 프로토타입이나 테스트베드 수준이었고 실제 운영 데이터나 배포는 15.8%에 그쳤다. 93편 핵심 종합은 에이전트 프레임워크가 여전히 취약하다는 실증과 함께 운영 증거가 있는 연쇄 실패 예방, 예측형 오토스케일링 등을 확인했다.

    • 연구진은 OpenAlex 검색 5건과 이전 탐색 기록 189건을 합쳐 총 4,611건 기록을 검사했다.
    • 검토는 2017년부터 2026년까지의 1차 연구 1,794편과 2차 연구 95편을 포함했다.
    • 13개 범주 분류에서 각 연구는 시뮬레이션, 프로토타입이나 테스트베드, 운영 데이터, 운영 배포, 판정 불가로 등급이 매겨졌다.
    • 판정 가능한 1,003편 중 66.2%가 프로토타입이나 테스트베드였고 18.0%가 시뮬레이션, 15.8%가 운영 데이터나 배포였다.
    • 93편 핵심 종합은 연쇄 실패 예방, 추적·그래프 기반 원인 분석, 예측형 오토스케일링의 운영 배포와 콜드 스타트 완화의 운영 추적 평가를 확인했다.
    • 핵심 종합의 실증 연구들은 에이전트 프레임워크가 여전히 취약하다는 점을 보였다.
    초록PDF
  8. 1436Distributed SystemsarXiv:2611.10804

    DICOMPUTE: An Economic and Privacy-Aware Framework for Distributed Artificial Intelligence Inference

    이 논문은 정책 제약 분산 추론 구조의 경제성과 프라이버시 조건을 분석하고 반증 가능한 가설과 실험 설계를 제시한 연구 프레임워크 보고서다.

    이 논문은 한마디로 AI 추론을 중앙 집중 시설 대신 사유·지역·독립 컴퓨팅 자원에 정책 제약 스케줄링으로 배치할 때 언제 유리한지 전체 비용과 프라이버시 모델로 분석한 프레임워크다. 저자들은 자본 상각, 에너지, 전송, 편성, 활용률, 실패, 신뢰 비용을 모두 담은 총비용 비교와 손익분기 모델을 유도했다. 프라이버시는 데이터 거주지, 전송 기밀성, 실행 기밀성, 검증 가능한 정산을 구분해 정의했다. 저자들은 반증 가능한 가설과 재현 가능한 실험 설계를 제시하되, 시뮬레이션을 실측 성능으로 제시하지 않았고 분산 추론의 우위를 조건부로만 결론지었다.

    • 연구진은 정책 제약 스케줄링으로 추론 요청을 사유·지역·독립 컴퓨팅 자원에 배치하는 분산 추론 구조 DICOMPUTE의 연구 프레임워크를 제시했다.
    • 총비용 모델은 자본 상각, 에너지, 네트워크 전송, 편성, 활용률, 실패, 신뢰 비용을 모두 포함한다.
    • 예시 시나리오에서 고정비와 변동비 구조에 따라 월 5.625 million 요청의 손익분기점이 나왔다.
    • 프라이버시 모델은 데이터 거주지, 전송 기밀성, 실행 기밀성, 검증 가능한 정산을 구분한다.
    • 저자들은 반증 가능한 가설과 재현 가능한 실험 설계를 제시하고 시뮬레이션을 실측 성능으로 내세우지 않았다.
    • 중앙 집중 클러스터는 긴밀 결합되고 메모리 집약적인 고처리량 추론에서 구조적 이점을 유지한다는 조건부 결론을 내렸다.
    초록PDF
  9. 1435Research AgentsarXiv:2611.02539

    Scientific Liquidity Agents: An Agent-Based Model of Knowledge Arbitrage in Scientific Communities

    이 논문은 과학 공동체에서 전문가와 중개자가 지식을 만들고 옮기는 과정을 에이전트 기반 시뮬레이션으로 모델링한 연구다.

    이 논문은 한마디로 도메인 전문가와 지식 중개자를 에이전트로 표현해 과학 공동체의 지식 생산과 유통을 시뮬레이션하는 모델 SLA다. 연구자는 믿음-욕망-의도 구조로 결정하고, 선행 문제 그래프, 상호작용 망, 논문 등록부가 공동체 상태를 이룬다. 두 탐색 시뮬레이션에서 10과 18 에이전트가 각각 68편과 274편의 논문을 등록했다. 논문 생산은 풍부했지만 기록된 재현 성공이 없어 병목이 생산이 아니라 검증에 있음을 보였다.

    • 연구진은 도메인 전문가와 지식 중개자를 같은 환경에 넣은 에이전트 기반 모델 SLA를 소개했다.
    • 에이전트 결정은 믿음-욕망-의도 구조로 짜고, 선행 문제 그래프와 동적 상호작용 망, 논문 등록부가 공유 상태를 이룬다.
    • 10 에이전트와 18 에이전트 시뮬레이션에서 각각 68편과 274편의 논문이 등록되었다.
    • 작은 실행에서 중개자는 공동체를 하나의 연결 성분으로 묶는 26개 접촉 쌍 중 16개에 참여했는데, 주제 유사도만으로는 일곱 조각으로 갈라졌다.
    • 논문 생산은 풍부했지만 기록된 재현 성공이 없어, 병목이 검증에 있음을 보였다.
    • 해결된 문제 집합은 공동체가 대표하는 분야의 선행 문제 도달 가능성과 대응했다.
    초록PDF
  10. 1434AI AgentsarXiv:2611.01860

    Advances in Agentic Computer Graphics

    이 논문은 언어모델 에이전트로 그래픽스 작업을 수행하는 연구를 하나의 분류 체계로 정리한 시론 보고서다.

    이 논문은 한마디로 LLM 에이전트가 그래픽스 도구를 다루고 피드백으로 결과를 다듬는 연구를 통합 분류 체계로 정리한 보고서다. 저자들은 명세, 기반 모델, 하네스, 그래픽스 인터페이스와 도구의 네 차원으로 시스템을 특성화한다. 이 분류 체계 위에 에이전트 문헌 조사 시스템을 얹어 2026년 9월까지의 논문 300편 넘게 분석했다. 도구 조율, 사람-에이전트 협업 인터페이스, 장기 계획과 다듬기 유지, 상호작용 시스템 평가의 열린 과제를 짚었다.

    • 연구진은 에이전트 그래픽스 시스템을 명세, 기반 모델, 하네스, 그래픽스 인터페이스와 도구의 네 차원으로 특성화하는 통합 분류 체계를 도입했다.
    • 수집한 문헌은 2026년 9월까지 출판된 논문 300편이 넘는다.
    • 저자들은 이 분류 체계로 논문을 찾아 읽고 설계에 주석을 다는 에이전트 문헌 조사 시스템을 만들었다.
    • 시스템은 분류 표, 설계 통찰, 한계를 출처 근거와 함께 기록해 논문 간 비교와 흐름 분석을 지원한다.
    • 보고서는 도구와 에이전트 조율, 사람-에이전트 협업 인터페이스, 장기 계획과 다듬기, 상호작용 그래픽스 시스템 평가의 열린 과제를 논의했다.
    초록PDF
  11. 1433ResearcharXiv:2611.13872

    LongTails: Automated Research in Optimization

    이 논문은 최적화 이론의 복잡도 상한을 에이전트가 찾고 Lean 4로 형식 검증하게 만든 자동 연구 틀을 만들었다.

    이 논문은 한마디로 최적화 알고리즘의 이론 보장을 에이전트가 찾고 형식 검증까지 하게 만든 자동 연구 프레임워크다. 저자들은 문제 설정과 복잡도 목표를 분리해 정의했다. 에이전트는 더 나은 복잡도를 증명하는 알고리즘을 찾고 틀이 증명을 검사한다. 이렇게 이미 100개 넘는 새 결과를 얻었다.

    • 저자들은 최적화 문제의 복잡도 상한을 찾고 개선하는 자동 연구 프레임워크 LongTails를 만들었다.
    • 틀은 문제 설정을 정의하는 Setup과 목표 예산을 정의하는 Complexity로 나눠 명세를 분리했다.
    • 에이전트가 알고리즘을 설계하고 수렴을 증명하면 틀이 증명을 검사해 인정된 복잡도가 실제로 도달 가능함을 보장했다.
    • 모든 검증은 Lean 4 형식 증명 도구로 수행되었다.
    • 저자들은 이미 100개 넘는 새 결과를 얻었다고 밝혔다.
    • 에이전트가 더 나은 복잡도를 얻는 단일 실행은 약 2–7 hours 걸렸다.
    초록PDF
  12. 1432RoboticsarXiv:2611.13039

    Robo-MLT: Dual-System Robotic Manipulation for Long-Horizon Medical Laboratory Tasks

    이 논문은 병원 검사실의 긴 작업을 느린 계획 감시와 빠른 학습 정책의 두 체계로 나눠 로봇 팔로 수행하게 했다.

    이 논문은 한마디로 의료 검사실의 긴 과제를 이중 체계 로봇 조작 프레임워크로 수행하게 한 연구다. 저자들은 명시적 작업 흐름 감시와 학습된 동작 생성을 한 틀로 묶었다. 느린 체계가 계획 단계를 지키고 빠른 체계가 연속 동작을 만든다. 혈액 가스 분석과 시험관 분류에서 표본 완료율 89.00%와 92.25%를 냈다.

    • 저자들은 명시적 작업 흐름 감시와 학습된 동작 생성을 결합하는 이중 체계 프레임워크 Robo-MLT를 제안했다.
    • 느린 체계는 가벼운 다중 프레임 감시기로 활성 계획 단계를 추적했다.
    • 빠른 체계는 Qwen3-VL에 조건화된 흐름 정합 정책으로 활성 기술을 연속 동작으로 실행했다.
    • 표본 수준에서 Robo-MLT는 혈액 가스 분석과 시험관 분류에서 각각 89.00%와 92.25%의 완료율을 냈다.
    • 작업 흐름 수준 경로를 쓰면 방해 시험에서 90%와 85%의 회복율을, 학습된 트리거를 빼면 65%와 55%를 냈다.
    • 끝에서 끝 제어 지연은 364 ms이고 지속 제어 속도는 20 Hz로 측정되었다.
    초록PDF
  13. 1431Research AgentsarXiv:2611.12958

    Embodied Science Agents: Making Embodied Experimental Design Learnable

    이 논문은 자율실험실의 몸체 문제를 디지털 에이전트와 로봇 에이전트를 한 몸으로 묶는 방식으로 풀었다.

    이 논문은 한마디로 자율실험실에서 AI가 실험을 생각만 하고 직접 겪지 못하는 문제를, 학습 가능한 세 축으로 나눠 해결한 연구다. 저자들은 체화 과학 에이전트(ESA)를 만들었다. 이 에이전트는 디지털 에이전트가 베이즈 최적화로 무엇을 탐험할지 정하고, 로봇 에이전트가 기기를 직접 다루게 한다. 실제 폐수 처리 실험에서 200 million 넘는 조합을 스스로 탐색해 최종 투과율을 82%에서 99.7%까지 끌어올렸다.

    • 저자들은 기존 자율실험실이 실험을 상징 작업으로만 다뤄 물리적 감각이 끊겼다고 진단했다.
    • 제안한 체화 과학 에이전트(ESA)는 디지털 에이전트가 기억 기반 추론과 베이즈 최적화를 맡고 로봇 에이전트가 기기를 직접 조작하게 했다.
    • 폐수 처리 실험에서 200 million 넘는 가능한 조건을 탐색하는 과제를 스스로 수행했다.
    • 15 continuous rounds 동안 최종 용액 투과율을 82%에서 99.7%까지 올렸고 이는 잔류 염료 농도 98.5% 감소에 해당한다.
    • 실험 최적화는 처음에 라틴 초입방 표본 설계로 시작한 뒤 베이즈 최적화가 다음 조건을 제안하는 방식으로 돌아갔다.
    • 단일 장비 세트에서 약 45 hours 동안 멈춤 없이 자율 운영하며 실험 전 과정을 수행했다.
    초록PDF
  14. 1430Research AgentsarXiv:2611.12184

    Blind Variation, Selective Retention: Improving Creative Idea Generation in AI Scientists

    이 논문은 AI 과학자의 아이디어 생성에 과제 정보를 일부러 줄여 창의성을 높이고 검증 결과로 후보를 걸러내는 방법을 제안했다.

    이 논문은 한마디로 정보를 일부러 덜 주어 아이디어 탐색을 넓히고 검증 결과로 후보를 걸러내는 창의적 발견 프레임워크다. 저자들은 맹목적 변이와 선택적 보존에서 힌트를 얻었다. 과제 정보를 제한하면 아이디어의 독창성과 비자명성이 실제로 올라갔다. 다섯 생성 모델과 12 tasks에서 이 효과를 확인했다.

    • 저자들은 과제 정보를 일부러 제한해 아이디어 생성을 익숙한 접근에서 벗어나게 만들었다.
    • 같은 과제에서 검증된 제안과 결과를 학습해 값비싼 실증 평가에 넣을 후보를 골라냈다.
    • 다섯 생성 모델과 12 scientific tasks에 걸쳐 프레임워크를 평가했다.
    • 폐기 비율 50%에서 선택적 보존 모델은 창의성 상위 5% 제안의 79%, 유용성 상위 5% 제안의 82%를 보존했다.
    • 다섯 명의 박사급 연구자가 각각 30 proposal pairs에 주석을 달아 총 150 pairs를 만들고 사람 판단과의 일치를 확인했다.
    • 과제 정보가 늘수록 상위 1%에 드는 고창의성 제안의 비중이 줄어들어 제한된 정보가 창의성을 높인다는 결론을 뒷받침했다.
    초록PDF
  15. 1429RoboticsarXiv:2611.11940

    Reliability-Adaptive Multimodal Relative Pose Tracking for Underwater Leader-Follower Robots

    이 논문은 물속 로봇 두 대의 상대 자세를 측정 센서별 신뢰도에 맞춰 섞어 추적하는 프레임워크를 만들었다.

    이 논문은 한마디로 물속을 이동하는 두 로봇의 상대 자세를 여러 센서를 신뢰도에 맞춰 섞어 추적하는 프레임워크다. 물속에서는 빛 산란과 색 왜곡 때문에 카메라 측정 신뢰도가 계속 바뀐다. 저자들은 시간에 따라 변하는 센서 신뢰도를 반영하는 다중 모드 융합 설계를 제안했다. 수조 실험에서 평균 이동 오차 3.8 cm를 냈다.

    • 저자들은 움직이는 물속 로봇 두 대의 여섯 자유도 상대 자세를 추적하는 신뢰도 적응형 다중 모드 인식 프레임워크를 제안했다.
    • 빛 흡수와 산란, 색 왜곡, 부유 입자가 광학 측정의 신뢰도를 크게 떨어뜨린다고 저자는 설명했다.
    • 두 선체 종류, 세 조명 조건, 아홉 궤적 패턴의 모든 조합에 대해 각각 12 trials를 모아 총 648 trials의 다중 모드 데이터를 수집했다.
    • 수조 실험에서 프레임워크는 평균 이동 오차 3.8 cm를 달성했다.
    • 탑재 NVIDIA Jetson AGX Orin에서 융합 네트워크는 17.62 ms의 추론 지연을 냈다.
    • 모든 648 trials의 측정 값을 담은 다중 모드 데이터셋을 공개할 예정이다.
    초록PDF
  16. 1428ResearcharXiv:2611.10156

    DeepResearch RewardBench: Evaluating Reward Models for Deep Research Report

    이 논문은 심층 리서치 보고서를 평가하는 보상 모델을 전용 벤치마크로 처음 측정했다.

    이 논문은 한마디로 긴 연구 보고서의 품질을 매기는 보상 모델을 평가하는 최초의 벤치마크를 만든 연구다. 기존 평가는 짧은 응답용 보상 모델에 의존해 긴 보고서 품질을 제대로 잡지 못했다. 저자들은 심층 리서치 보고서 모음을 모으고 채점 절차와 필터를 정해 데이터를 만들었다. 7B에서 235B까지 19 models을 측정해 순위와 약점을 공개했다.

    • 저자들은 심층 리서치 보고서 평가용 보상 모델을 전용으로 측정하는 최초의 벤치마크를 만들었다.
    • 데이터 만들 때에는 보고서 점수 차가 10/30 points보다 큰 쌍만 골라 변별력을 확보했다.
    • 평가는 7B에서 235B에 이르는 19 models을 세 그룹으로 나눠 수행했다.
    • 평가는 7B에서 235B에 이르는 19 models를 세 그룹으로 나눠 수행했다.
    • 사람 채점자들의 초기 일치율은 63%였고 토론 뒤 약 85%로 올라갔다.
    • 저자들은 이 벤치마크가 연구 지향 에이전트의 평가와 개선에 필요한 시험대가 되기를 기대했다.
    초록PDF
  17. 1427Software EngineeringarXiv:2611.06263

    CLEAR: Structured Specifications for Controllable Long-Horizon ML Research Engineering

    이 논문은 논문을 그대로 실행하는 대신 사람이 검증 가능한 구조화 명세를 먼저 만들어 기계학습 연구 엔지니어링의 오류 전파를 막았다.

    이 논문은 한마디로 기계학습 연구 엔지니어링 자동화를 명세 중심 구조로 바꿔 비용과 오류를 함께 줄인 연구다. 기존 시스템은 논문 해석과 코드 생성이 붙어 있어 오류가 연쇄했다. CLEAR는 연구 산출물을 사람이 검증할 수 있는 실행 명세로 바꾼 뒤 부분별로 코드를 만들고 고친다. MLE-Bench Lite에서 77.27%의 메달 획득률을 냈다.

    • 저자들은 연구 문서가 실행 가능한 명세가 아니어서 구현 결정이 생성 순간으로 미뤄지는 것이 오류 연쇄의 근본 원인이라고 진단했다.
    • CLEAR는 이질적인 연구 산출물을 사람이 검증할 수 있는 구조화 실행 명세로 먼저 바꾼 뒤 실행 코드를 생성했다.
    • 명세를 나눈 국소 단위로 생성과 수리를 하므로 전체를 다시 만드는 일을 피했다.
    • MLE-Bench Lite에서 CLEAR는 77.27%의 메달 획득률을 달성하고 대표 과제에서 수리 반복을 크게 줄였다.
    • AiScientist와 비교해 비용을 35.16% 줄이면서 경쟁 가능한 성적을 유지했다.
    • 한 분석에서는 평균 실행 비용이 $7 수준으로 나타나 더 비싼 방법 대비 비용을 85.6% 줄였다.
    초록PDF
  18. 1426ResearcharXiv:2611.03424

    IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?

    이 논문은 LLM 에이전트의 연구 감각을 사람 공동체가 실제로 발표한 논문과 겹치는 정도로 측정한 벤치마크다.

    이 논문은 한마디로 LLM 에이전트가 내는 연구 아이디어가 사람 공동체의 실제 연구와 얼마나 겹치는지 재는 IdeaTaste 벤치마크다. 여섯 모델이 네 분야에서 90,000개 넘는 제안을 썼다. 인용 일치는 약 26%, 아이디어 일치는 18%에 그쳤다. 저자들은 병목이 방향을 찾는 데 있지 않고 그것을 구체적 접근으로 바꾸는 데 있다고 결론지었다.

    • 저자들은 여섯 최신 언어 모델과 네 연구 분야에서 90,000개가 넘는 연구 제안을 모아 연구 감각을 측정했다.
    • LLM 에이전트의 인용 일치는 약 26%, 아이디어 일치는 18%로 사람 수준에 크게 못 미쳤다.
    • 각 에이전트는 20 steps 예산 안에서 작업했고 각 집단은 300 proposals를 썼으며 이는 두 차례에 걸쳐 150개씩 작성되었다.
    • 2026년 이전에 학습된 두 모델은 2026 논문을 볼 수 없어 결과가 데이터 누수 없이 깨끗하다고 저자는 말했다.
    • 블라인드 전문가 평가에서 AI 제안은 모든 품질 항목에서 2026 논문보다 낮았고 특히 예상 성공에서 20 points 뒤졌다.
    • 저자들은 연구 감각의 병목이 무엇을 연구할지 아는 데 있지 않고 그것을 구체적 접근으로 바꾸는 데 있다고 해석했다.
    초록PDF
  19. 1425Reasoning / SurveyarXiv:2611.02711

    Human-Supervised Artificial Intelligence Researchers in Electric Power Systems: Knowledge, Physics, Simulation, and Governance for Large Language Models

    이 논문은 전력계통 연구에서 사람이 감독하는 AI 연구자가 안전하게 쓰이기 위한 지식·물리·시뮬레이션·거버넌스 틀을 정리한 총설이다.

    이 논문은 한마디로 전력계통 연구에 대규모 언어 모델을 쓸 때의 조건을 정리한 총설이다. 저자들은 지식·물리·시뮬레이션·거버넌스 네 축 틀을 제안했다. 언어 모델은 정보 번역과 작업 조율을 하고 시뮬레이터와 검증 도구가 모델을 시험하며 전문가가 핵심 가정과 결론의 권한을 유지한다. 연구 과정은 주장을 출처로 추적할 수 있게 자료를 보존해야 한다고 요구했다.

    • 저자들은 전력계통 분야의 언어 모델 연구와 관련 과학 워크플로, 물리 기반 전력 AI 연구를 폭넓게 검토했다.
    • 제안한 지식·물리·시뮬레이션·거버넌스 틀에서 언어 모델은 정보를 옮기고 작업을 조율하는 역할을 맡았다.
    • 시뮬레이터와 검증 도구가 모델을 시험하고 전문가는 핵심 가정, 안전 경계, 최종 결론의 권한을 유지했다.
    • 연구 과정은 주장을 출처로 추적하고 계산을 재현하고 실패와 승인을 검토할 수 있게 자료를 보존해야 한다고 요구했다.
    • 이 기반 위에 단계별 발전 로드맵과 연구 보고 요건을 제안했다.
    • 평가는 연구 산출물과 그 검증에 초점을 맞춰야 한다고 결론지었다.
    초록PDF
  20. 1424Research AgentsarXiv:2611.14364

    ARE-bench: Benchmarking Agents'Research Ability in Real-World Researcher Sessions and Workspaces

    이 논문은 진행 중인 연구 프로젝트의 실제 세션과 작업 공간에서 에이전트가 이전 결정을 존중하며 일을 이어가는 능력을 재는 벤치마크를 만들었다.

    이 논문은 한마디로 연구자의 실제 에이전트 세션과 진행 중인 작업 공간 위에서 연구 에이전트가 현재 요청을 완수하면서 이전 결정과 기존 상태를 존중하는지 평가하는 ARE-bench를 소개한다. 75개 과제가 7개 연구 단계와 33개 요구사항, 1,173개 체크리스트 항목으로 구성되고 각 과제는 실제 사용자 요청에 anchor를 두며 작업 공간은 정리 없이 재생된다. 7개 프론티어 모델 중 최강 모델도 모든 체크리스트를 통과한 과제가 66.2%에 그쳤고 설계와 실행 단계가 모든 모델에서 가장 어려웠다. 배달 계약만 검사하면 약 69%이던 모델들이 이력·작업 공간 요구사항까지 검사하면 28.4%~40.0%로 떨어졌다.

    • ARE-bench은 실제 연구자 세션과 진행 중인 작업 공간 위에서 에이전트의 연구 수행 능력을 평가하는 75과제 벤치마크다.
    • 각 과제는 실제 사용자 요청에 anchor를 두고 작업 공간을 정리 없이 경계까지 재생해 이전 작업 흔적을 보존한다.
    • 벤치마크는 7개 연구 단계, 33개 요구사항, 150개 하위 요구사항, 1,173개 이진 체크리스트 항목으로 이루어졌다.
    • 7개 프론티어 모델 중 최강 모델도 모든 체크리스트 항목을 통과한 과제가 66.2%에 그쳤다.
    • 설계와 실행 단계가 모든 모델에서 가장 어려운 단계로 나타났다.
    • 배달 계약과 일반 규범만 검사하면 약 69%던 세 모델이 이력과 작업 공간 요구사항까지 검사하면 28.44%에서 40.00%로 떨어졌다.
    초록PDF
  21. 1423Research AgentsarXiv:2611.13651

    DrugCoding: A Scientific Programming Agent for Drug Discovery

    이 논문은 신약 발견의 여러 계산 단계를 에이전트가 알아서 계획하고 전문 모델을 골라 실행하는 과학 프로그래밍 에이전트 시스템을 만들었다.

    이 논문은 한마디로 신약 발견 워크플로를 자동화하는 과학 프로그래밍 에이전트 DrugCoding을 소개한다. 시스템은 연구 목표를 의존성 있는 작업으로 쪼개고, 적용 범위와 비용에 맞춰 전문 과학 모델을 고르며, 멀티에이전트 협업과 프로그램 도구 실행으로 여러 단계 계산을 검증해 수행한다. 다중 턴 도구 호출 벤치마크에서 7개 언어 모델 평균 Pass@1 97.35%로 최강 기본선 Codex를 9.24% 앞섰고, 어려운 하위 집합에서는 97.92%를 기록했다. 과학 입력 값을 그대로 보존하는 능력이 성능 우위의 주요 원인으로 분석됐다.

    • DrugCoding은 과학 작업 계획, 적응형 모델 라우팅, 멀티에이전트 협업, 프로그램 도구 실행을 하나로 묶은 신약 발견 에이전트 시스템이다.
    • 연구 목표를 의존성 그래프로 분해하고 각 작업에 적합한 전문 모델을 적용 범위와 성능, 비용으로 골라 실행한다.
    • 다중 턴 벤치마크 M-TCDD에서 7개 언어 모델 평균 Pass@1 97.35%로 최강 기본선 Codex의 88.11%를 9.24% 앞섰다.
    • 상위 10% 어려운 과제 집합에서는 평균 97.92%로 과학 연구 에이전트들을 제쳤다.
    • 실패 분석에서 과학 입력 값의 정확한 보존이 성능 우위의 주요 원인으로 나타났다.
    • 멀티에이전트 구성은 단일 에이전트 대비 평균 0.56% 향상에 그쳐 모델에 따라 편차가 컸다.
    초록PDF
  22. 1422AgentsarXiv:2611.13309

    PegasusAI Studio: Legible Cyberinfrastructure and Accountable AI Agents for Scientific Workflows

    이 논문은 공유 연구 인프라에서 AI 코딩 에이전트가 워크플로를 다루게 할 때 필요한 지식 전달과 책임 추적 메커니즘을 시스템으로 만들었다.

    이 논문은 한마디로 공유 사이버인프라에서 AI 에이전트가 과학 워크플로를 짓고 고치고 실행하게 하는 PegasusAI Studio 게이트웨이를 소개한다. 시설이 관리하는 하나의 지식 베이스를 여러 코딩 에이전트의 설정으로 투영하고, 워크플로와 스케줄러 텔레메트리로 실패를 진단하게 하며, 에이전트의 모든 행동을 사용자 신원과 권한 안에 묶는다. CASA 기상 워크플로 현대화, 중력파 재분석, EEG 분석, EHT M87 이미지 재구성 사례로 기능을 확인했다. EHT 사례에서는 두 번 실패한 실행을 한 시간 안에 무결점 실행으로 복구했다.

    • PegasusAI Studio는 Pegasus와 HTCondor 기반의 AI 보조 과학 게이트웨이로 공유 인프라에서 에이전트 워크플로 운영을 지원한다.
    • 시설이 관리하는 하나의 지식 베이스를 여러 코딩 에이전트의 고유 설정 형식으로 컴파일해 일관되게 전달한다.
    • 에이전트가 터미널 출력 대신 워크플로와 스케줄러의 구조화된 상태로 실행 실패를 진단하게 한다.
    • 에이전트의 모든 행동이 사용자 신원과 스케줄러 자격 증명 아래 돌게 해 시설이 감사할 수 있게 한다.
    • EHT M87 재구성에서 두 번 실패한 실행을 사용자 승인 아래 복구해 세 번째 실행 55 작업 전부를 무결점으로 완료했다.
    • 중력파 재분석 워크플로는 350 작업 전부를 54분 18초에 실패 없이 완료했다.
    초록PDF
  23. 1421RoboticsarXiv:2611.13251

    Curie's Jarvis: Autonomous Robotic Chemistry Experiments from Printed Protocols

    이 논문은 인쇄된 실험 지시서 사진과 손글씨 라벨만으로 사람용 벤치에서 로봇 팔이 화학 실험을 수행하게 만드는 문제를 풀었다.

    이 논문은 한마디로 사람이 쓰도록 꾸린 벤치에서 인쇄된 지시서 사진만 읽고 로봇 팔이 화학 실험을 수행하는 시스템 Curie's Jarvis를 소개한다. 비전-언어 모델이 지시서 사진에서 단계를 뽑아 계획하고, 네 개 카메라에서 종이 라벨을 읽어 똑같이 생긴 용기를 구분하며, 매 단계 전에 대상을 다시 찾는다. Franka Panda 팔에서 한 프로토콜은 5회 중 5회, 다른 프로토콜은 5회 중 4회를 사람 개입 없이 성공했고, 160회 위치 찾기에서 모든 용기를 정확히 식별했다. 고정 위치나 마커 없이 사람 방식대로 벤치 화학을 하게 한 점이 핵심이다.

    • Curie's Jarvis는 인쇄된 실험 지시서 사진에서 단계를 읽어 로봇 팔이 화학 실험을 수행하게 하는 시스템이다.
    • 네 개 카메라에서 종이 라벨을 읽어 똑같이 생긴 용기를 구분하고 카메라 간 투표로 확정한다.
    • 고정 위치나 마커 없이 보통 벤치에서 작동하며 매 단계 전에 대상을 다시 찾는다.
    • 한 프로토콜은 5회 중 5회, 다른 프로토콜은 5회 중 4회를 사람 개입 없이 완료했다.
    • 160회 위치 찾기에서 인쇄 라벨과 세 사람의 손글씨 모두 모든 용기를 정확히 식별했다.
    • 실험에 쓸 분량은 미리 계량해 두므로 로봇이 정확한 양을 옮기는 능력은 평가하지 않았다.
    초록PDF
  24. 1420AgentsarXiv:2611.12552

    SciMARS: Multi-Agent Recursive Self-Improvement for Closed-Loop Scientific Discovery

    이 논문은 닫힌 순환 과학 발견에서 멀티에이전트 팀의 역할, 조율, 메모리 정책을 각각 따로 고치는 재귀 자기개선 프레임워크를 제안했다.

    이 논문은 한마디로 과학 발견의 닫힌 순환에서 멀티에이전트 하니스를 역할과 조율, 메모리 정책으로 분리해 적응시키는 SciMARS 프레임워크를 소개한다. 공유 증거 그래프가 관찰과 발견, 미해결 질문을 역할 사이에 전달하고, 각 편집기가 자기 영역만 고친 뒤 후보를 탐색해 다음 하니스를 구성하고 선택한다. Autonomous Science Bench에서 GPT-6-Astra로 18회 중 12회를 해결해 기본 팀의 8회를 넘었고 ScienceAgentBench 38과제 중 14, AppWorld 20과제 중 11을 풀었다. 공유 메모리와 하니스 적응을 결합할 때 성능이 올라간다는 것을 보여준다.

    • SciMARS는 멀티에이전트 팀의 역할 절차와 조율 계약을 별도 편집기가 따로 고치는 재귀 자기개선 프레임워크다.
    • 공유 증거 그래프가 관찰, 발견, 계획, 미해결 질문을 출처와 함께 기록해 역할 사이에 전달한다.
    • SciMARS + Memory는 에이전트가 증거를 기록하고 검색하고 받는 방식을 고치는 세 번째 편집기를 추가한다.
    • Autonomous Science Bench에서 GPT-6-Astra로 18회 중 12회를 해결해 기본 팀의 8회를 앞섰다.
    • ScienceAgentBench 38과제 중 14를, AppWorld 20과제 중 11을 풀어 기본 팀의 11과 5를 넘었다.
    • GLM-5.3 코호트에서는 18회 중 2회 해결로 기본 팀 1회보다 소폭 앞섰다.
    초록PDF
  25. 1419Research AgentsarXiv:2611.12429

    Can Frontier Auto Researchers Reconstruct Human Research Decisions in AI?

    이 논문은 자동 연구 에이전트가 같은 맥락을 줬을 때 사람 연구자의 결정을 얼마나 재현하는지 3단계로 나눠 측정했다.

    이 논문은 한마디로 프론티어 자동 연구 에이전트가 사람 연구자의 연구 결정을 얼마나 되살리는지 재구성 관점에서 평가하는 AutoHRS 프레임워크를 소개한다. 연구를 아이디어 생성, 실험 설계, 논문 종합의 세 단계로 나누고, ICLR 2026 구두 발표 논문 152편에서 456개 연구 궤적을 만들어 체크리스트로 비교했다. 그 결과 아이디어 생성 0.29, 실험 설계 0.36, 논문 종합 0.65로 세 단계 모두 사람 연구와 큰 차이를 보였다. 특히 아이디어의 78.4%가 참고 논문 요소를 조합한 것에 그쳤고, 앞선 단계일수록 격차가 컸다.

    • AutoHRS는 자동 연구 에이전트의 출력을 아이디어 생성, 실험 설계, 논문 종합 세 단계로 나눠 사람 연구와 비교하는 평가 프레임워크다.
    • ICLR 2026 구두 발표 논문 152편에서 456개 연구 궤적을 만들어 평가 말뭉치를 구축했다.
    • 정규화 점수로 아이디어 생성 0.29, 실험 설계 0.36, 논문 종합 0.65를 기록해 세 단계 모두 사람 연구와 큰 차이를 보였다.
    • 생성된 아이디어의 78.4%가 참고 논문에서 식별 가능한 요소들을 조합하는 방식으로 만들어졌다.
    • 연구 방향을 더 세분화해서 주면 아이디어 재구성 점수가 0.29에서 0.54까지 일관되게 올라갔다.
    • 연구 유형별로는 실증 분석 0.49, 방법론 0.32, 벤치마크 0.18로 벤치마크 연구 재구성이 가장 어려웠다.
    초록PDF
  26. 1418Research AgentsarXiv:2611.11690

    A Physical Testbed for Self-Driving Laboratories: Comparing Bayesian and Agentic Optimization in a Minimal Closed-Loop Color Formulation Task

    이 논문은 상용 실험 자동화 장비로 만든 자율주행실험실 테스트베드에서 베이지안 최적화와 LLM 에이전트 최적화를 같은 조건으로 비교했다.

    이 논문은 한마디로 시판 실험 로봇과 측정 장비를 붙여 24시간 넘게 무인으로 도는 자율주행실험실 테스트베드를 만들고, 염료 혼합으로 목표 흡광 스펙트럼을 맞추는 과제에서 베이지안 최적화와 LLM 에이전트 최적화를 비교했다. 시스템은 캠페인마다 48번의 닫힌 순환 반복을 약 4시간 동안 사람 개입 없이 수행했다. LLM 에이전트 최적화가 세 목표 모두에서 더 적은 반복으로 목표에 도달했고, 베이지안 최적화가 48번 안에 못 맞춘 목표도 11번 만에 맞췄다. 이 테스트베드는 실제 배치 전에 하드웨어와 의사결정 전략을 검증하는 기준 플랫폼 역할을 한다.

    • 상용 로봇과 측정 장비를 통합한 테스트베드가 6개 캠페인에서 누적 24시간 넘게 무인 닫힌 순환 실험을 수행했다.
    • 각 캠페인은 48번의 닫힌 순환 반복을 약 4시간에 걸쳐 사람 개입 없이 완료했다.
    • 염료 혼합 목표 맞추기 과제에서 평균 RMSE가 9.95 × 10−3 OD로 떨어지는 것을 확인했다.
    • LLM 에이전트 최적화가 목표 1에서 52%, 목표 2에서 32% 적은 반복으로 목표에 도달했다.
    • LLM 에이전트 최적화는 베이지안 최적화가 48번 안에 못 맞춘 목표 3을 11번 만에 맞췄다.
    • LLM 에이전트는 캠페인 중에 선형 모델, Hill 곡선, 멀클리스-멘텐 곡선 등 여러 모델을 스스로 바꿔가며 사용했다.
    초록PDF
  27. 1417Research AgentsarXiv:2611.08483

    SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization

    이 논문은 텍스트 대신 잠재 공간에서 추론하고 KV 캐시를 주고받는 값싼 에이전트 떼를 써서 LLM 진화 탐색을 빠르고 싸게 만드는 문제를 풀었다.

    이 논문은 한마디로 수백 개의 저비용 에이전트가 텍스트를 뽑아내지 않고 잠재 공간에서 추론하고 KV 캐시를 주고받으며 진화 탐색을 하는 SwarmEvolve 프레임워크를 소개한다. 각 에이전트 떼는 문제를 서로 다른 관점에서 살피고, 신규성 필터가 은닉 상태 벡터 사이 거리를 직접 재어 가장 다른 아이디어만 남긴다. 아이디어 결합은 요약 에이전트가 떼의 모든 KV 캐시를 받아 자연스럽게 일어난다. 수학 발견과 과학계산 21개 문제에서 최고 평균 점수를 받았고 다른 최신 프레임워크가 60분에 도달하는 점수를 중앙값 3~8분 만에 도달했다.

    • SwarmEvolve는 각 라운드마다 수백 개의 저비용 에이전트가 떼를 지어 잠재 공간에서 추론하고 KV 캐시로 정보를 주고받는 진화 탐색 프레임워크다.
    • 신규성 필터가 에이전트의 은닉 상태 벡터 사이 거리를 직접 재어 가장 다른 아이디어의 에이전트만 남긴다.
    • 아이디어 결합은 요약 에이전트가 떼의 모든 구성원의 KV 캐시를 받아 하나의 새 프로그램을 쓰는 방식으로 잠재 공간에서 일어난다.
    • 21개 수학 및 과학계산 문제에서 최고 평균 점수를 받았고 다른 최신 프레임워크의 60분 최고 점수를 중앙값 3~8분 만에 도달했다.
    • 기존 프레임워크보다 시간당 5~13배 많은 프로그램을 평가했다.
    • Qwen3 8B 같은 작은 모델로도 세 문제에서 AlphaEvolve가 프론티어 모델로 처음 찾은 해를 개선했다.
    초록PDF
  28. 1416Research AgentsarXiv:2611.06911

    BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories

    이 논문은 자율주행 화학실험실의 두뇌 역할을 할 멀티모달 모델의 실행 능력을 전문가가 만든 문제 1,000개로 평가하는 벤치마크를 제안했다.

    이 논문은 한마디로 자율주행 화학실험실(SDCL)에서 멀티모달 대규모 언어 모델이 실험 장면을 보고 어디서 어떻게 행동할지 판단하는 능력을 재는 벤치마크 BEAKER를 소개한다. 벤치마크는 행동가능성, 지식, 실험, 추론 네 역량을 11개 과제 유형으로 나눠 평가하며, 모든 문제와 정답은 AI 도움 없이 화학 전문가와 embodied AI 전문가가 직접 만들었다. 28개 모델을 평가한 결과 현재 모델들은 영상 속 실험 절차를 대략 따라가지만 조작 가능한 위치를 찾아내는 정밀한 능력이 가장 큰 약점으로 드러났다. 최고 성능 모델도 사람 전문가 점수 93.3에 크게 못 미치는 59.2에 그쳤다.

    • BEAKER는 자율주행 화학실험실의 두뇌 역할을 평가하는 전문가 제작 문제 1,000개와 11개 과제 유형으로 이루어진 벤치마크다.
    • 모든 문제와 주석은 화학 전문가와 embodied AI 전문가가 AI 도움 없이 직접 만들고 검토했다.
    • 28개 멀티모달 모델을 평가한 결과 행동가능성이 28개 모델 평균 22.2로 가장 큰 약점이었다.
    • 최고 성능 모델 Claude Opus 4.7의 전체 점수는 59.2로 사람 전문가 93.3과 34.1점 차이가 났다.
    • 전문가 캡션을 함께 주면 중간 길이 영상의 순서 추론 점수가 세 모델 모두 대략 두 배로 올라갔다.
    • 화학 특화 모델과 과학 특화 모델은 범용 모델을 일관되게 앞서지 못했다.
    초록PDF
  29. 1415Reasoning / EfficiencyarXiv:2611.02501

    SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding

    이 논문은 배포마다 speculative decoding 최적화를 자율 에이전트 루프로 자동 발견하는 문제를 비용 모델과 병렬 탐색, 무손실 검증으로 풀었다.

    이 논문은 한마디로 speculative decoding 시스템의 속도를 배포별로 자동 최적화하는 자율 에이전트 루프 SpecPilot을 소개한다. 각 라운드에서 비용 모델이 현재 시스템과 이론적 한계 사이의 가장 큰 차이를 찾아주고, 병렬 에이전트가 여러 방향을 동시에 탐색해 성공한 조각들을 하나의 시스템으로 합친다. 토큰 포싱이 모든 출력 토큰을 기존 시스템과 비교해 보상 해킹을 잡아내고, 구조화된 메모리가 검증된 최적화를 다음 라운드와 새 배포로 가져간다. 그 결과 단일 요청에서 AR 대비 가속이 4.46×에서 10.87×로, 배칭에서 1.94×에서 3.93×로 올라갔다.

    • SpecPilot은 가벼운 초안 모델로 LLM 디코딩을 빠르게 하는 speculative decoding을 배포마다 자동 최적화하는 자율 에이전트 루프다.
    • 비용 모델이 현재 시스템과 한계 사이의 가장 큰 차이를 찾고, 병렬 에이전트가 여러 방향을 탐색해 성공한 것을 통합했다.
    • 토큰 포싱이 모든 출력 토큰을 기존 시스템과 대조해 보상 해킹을 잡아냈다.
    • 루프가 무손실 12-bit 가중치 형식인 W12, 하이브리드 순환 대상 모델용 트리 검증, 2단계 검증, 3개 배칭 기법을 발견했다.
    • 단일 요청에서 AR 대비 가속을 4.46×에서 10.87×로, 배칭에서 1.94×에서 3.93×로, 학습이나 품질 손실 없이 올렸다.
    • 구조화된 메모리가 검증된 최적화 140개를 저장해 새로운 드래프터, 모델, GPU 플랫폼으로 재사용했다.
    초록PDF
  30. 1414ResearcharXiv:2611.03327

    From FAIR to AI-FAIR Metadata-First Infrastructure for AI-Enabled Science

    이 논문은 생태학·생물다양성 데이터의 파편화 문제를 짚고, FAIR 원칙을 확장한 AI-FAIR 메타데이터 기준과 에이전트 평가 도구를 제안했다.

    이 논문은 한마디로 AI 활용 연구에 필요한 데이터 인프라 요건을 정리한 AI-FAIR 메타데이터 기준을 제안하는 연구다. 저자들은 생태학과 생물다양성 데이터가 흩어져 저장되고 가치가 데이터 생산자에게 돌아가지 않는 문제를 지적했다. 이에 질문-데이터-모델 삼각형에서 모든 연결을 양방향으로 만드는 설계와 네 가지 메타데이터 기준을 제안했다. 체크리스트를 에이전트가 평가하고 점수 계산은 결정적으로 하는 도구도 함께 공개했다.

    • 저자들은 생태학과 생물다양성 과학의 데이터 인프라가 파편화됐고 가치 흐름이 대체로 한쪽 방향이라고 진단했다.
    • AI-FAIR 메타데이터 기준을 구조, 과학, 계보(provenance), 거버넌스의 네 가지로 정의했다.
    • 질문-데이터-모델 삼각형 안에서 모든 연결을 양방향으로 만들어, 모델이 만든 개선 결과가 다시 데이터 원천으로 돌아가는 순환을 제안했다.
    • 에이전트가 메타데이터를 찾아 체크리스트 항목을 평가하면, 점수 계산은 결정적 규칙으로 처리하는 자동 평가 도구를 만들었다.
    • 데이터 발행 기관들이 이 평가 도구로 자기 데이터의 기준선 점수를 만드는 시범 적용을 시작했다.
    초록PDF
  31. 1413Research AgentsarXiv:2610.40488

    rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment

    이 논문은 연구 에이전트의 초기 연구 감각을 측정했다. 최전선 모델들이 최신 논문에서 최소 실험을 제안하고 결과를 예측·순위 매기면, 모든 실험을 실제로 실행해 그 판단을 감사한다.

    이 논문은 한마디로 연구 에이전트가 어떤 실험이 돌릴 가치가 있는지 미리 가려내는 감각(taste)을 평가한 연구다. 최전선 모델 여섯 개에 최신 NLP 논문 일곱 편을 주고 최소 실행 실험을 제안하게 한 뒤, 별도 실행자가 모든 실험을 돌리고 세 감사 모델이 결과를 판정했다. 제안된 415개 실험 중 194개는 건전하고 가치 있고 새로웠지만, 순위가 선택을 실제로 좋게 만든다는 증거는 제한적이었다. 에이전트의 예측은 기저율보다 정확했으나 논문과 등록 문서만 본 같은 모델 판사와는 차이가 없었다.

    • 최전선 모델 여섯 개에 최신 NLP 논문 일곱 편을 주고 최소 실행 실험을 제안, 예측, 순위 매기게 했다.
    • 제안된 415개 실험 중 194개가 건전하고 가치 있고 새롭다고 판정됐고, 논문을 넘어서고 뻔하지 않은 실험은 73개였다.
    • 에이전트의 첫 선택은 감사자가 가장 가치 있게 본 실험과 38% 일치해 무작위 20%보다 나았다.
    • 에이전트 예측의 Brier 점수는 0.192로 기저율 0.240보다 정확했으나, 여섯 판사 평균 0.179보다 못했다.
    • 팀은 단일 연구자보다 평균 0.71개 더 좋은 실험을 냈지만 통계적으로 유의하지 않았고, 조건당 비용은 $15.31 대 $23.93로 컸다.
    • 감사 결과 66%의 실험은 논문 위에 세워졌고 44%는 뻔한 후속 실험 목록에 있어서, 새 방향을 여는 실험은 드물었다.
    초록PDF
  32. 1412ResearcharXiv:2610.39641

    Rebuilding a Field's Open-Problem Catalog from the Literature: A Two-Layer Knowledge Graph, and Why Status Must Stay Proposed

    이 논문은 연구 분야의 미해결 문제 목록을 데이터로 만들어, 문헌 색인으로 지식그래프 증거층을 얹고 질의 가능하게 만드는 두 층 구조를 제안했다.

    이 논문은 한마디로 연구 분야의 미해결 문제를 데이터로 바꾸고 문헌 기반 증거층과 묶어 그래프 질의로 만든 연구다. 손으로 만든 문제 카탈로그 층은 그대로 보존하고, 그 아래에 서지 색인으로 재구축한 증거층을 붙였다. 언어 모델의 상태 판정은 감사에서 대부분 부정확했고, 저자는 이 실패를 그대로 보고했다. 이에 따라 상태 변경은 증거를 붙인 제안으로만 남기고 사람 검토자를 구조의 일부로 만들어야 한다고 결론지었다.

    • 데이터베이스 연구 1,053 문제와 AI 연구 1,000 문제의 두 카탈로그에 증거층을 얹은 그래프를 만들었다.
    • 재구축한 그래프는 기존 카탈로그 그래프가 답한 질문을 그대로 유지했고, 데이터베이스에서 47 of 47, AI에서 34 of 35가 같은 답을 냈다.
    • 증거층은 카탈로그 큐레이터가 인용한 적 없는 바깥 문헌까지 연결해서, 336 문제에 770 편의 관련 논문을 붙였다.
    • 상태 판정 감사에서 41개 판정 가운데 9개만 정확했고 30개는 부분 정확, 2개는 틀렸으며 반박 판정은 0 of 34로 미해결 문제를 실제로 반박하지 못했다.
    • 저자는 설계 결론으로 상태 변경은 증거와 함께 제안으로만 남기고 사람 검토자를 구조의 일부로 만들어야 한다고 썼다.
    • 레이블 충돌 결함으로 논문 수 집계가 2,679 대신 8,769로 잘못 커진 사례를 보고하고, 빌드 시점에 이 충돌을 오류로 막도록 고쳤다.
    초록PDF
  33. 1411Research AgentsarXiv:2611.05108

    From AutoResearch to Continual AutoResearch: Do Agents Learn Across Tasks?

    이 논문은 연구 에이전트가 이전 과제 경험을 다음 과제에 실제로 쓰는지를 지속 실행과 초기화 실행의 짝 비교로 측정한 평가 환경 논문이다.

    이 논문은 한마디로 에이전트가 과제 사이에 경험을 보존하면 더 나은지를 잰 평가 환경이다. 같은 에이전트를 지속 실행과 초기화 실행으로 나눠 같은 과제 흐름, 데이터, 예산에서 비교했다. 다섯 최전선 에이전트 모두 지속 상태가 더 빨리 좋은 해를 찾게 했지만, 최종 성능 향상으로 일관되게 이어지지는 않았다. 저자들은 경험을 보존하는 것과 잘 활용하는 것은 다른 능력이라고 결론지었다.

    • 같은 에이전트의 지속 실행과 초기화 실행을 같은 과제 흐름, 데이터, 예산에서 짝지어 비교하는 CONTINUAL AUTORESEARCH 환경을 제안했다.
    • 평가는 합성 과제, 기호 회귀, 시계열 예측, 테이블 오토ML을 아우르는 아홉 과제군으로 이뤄졌다.
    • CLI 방식 최전선 에이전트 다섯 개를 평가했고, 지속 상태가 다섯 모두의 고정 예산 연구 효율을 높였다.
    • 시간 수렴 이득은 Kimi K3가 +21.3, Sonnet 4.6이 +20.9, Opus 5가 +7.5, GPT-5.6-Sol이 +6.1, GPT-5.4가 +3.0 포인트였다.
    • 평균 최종 성능 이득이 뚜렷한 에이전트는 Sonnet 4.6의 +7.6 포인트뿐이었고, 나머지는 0 근처거나 소폭 감소했다.
    • 기억 절제 실험에서 관련 인사이트 카드는 초기화와 탐색을 바꿨지만 최종 성능을 일관되게 좋게 하지는 않았다.
    초록PDF
  34. 1410Research AgentsarXiv:2611.02833

    Reimagining computational quantum research with AI scientists

    이 논문은 AI 과학자가 양자과학 논문 재현에 실패하는 구조적 이유를 찾고, 검증된 복구 경험을 증류하는 자기개선 에이전트로 성능을 올렸다.

    이 논문은 한마디로 계산 양자과학 논문 재현으로 AI 과학자의 한계와 자기개선 경로를 보인 연구다. 저자들은 OmniQ 가상 연구 환경에서 논문 59편의 결과 재현을 여러 에이전트에 시켰고, 과학 기록 자체의 불일치라는 근본 장벽을 찾아냈다. 사람 전문가가 개입하면 실패가 성공으로 바뀌는 경우가 많아, 그 복구 지식을 재사용 경험으로 증류하는 Residual Agents를 만들었다. 그 결과 약한 기반 모델로도 강한 상용 시스템과 비슷한 재현 성공률을 낮은 비용으로 달성했다.

    • OmniQ라는 전문가 검수 가상 연구 환경에서 논문 59편을 재현 과제로 바꾸고, LLM 기반 에이전트 시스템 다섯 개와 서드파티 하니스 여섯 개를 평가했다.
    • 재현 실험에서 60편 중 18편에서 논문 설명, 공개 코드, 보고 결과가 어긋나는 재현성 문제를 찾아냈다.
    • 정리된 과제에서 최고 성적은 Claude Code와 Opus 5.5 조합으로 약 93%를 재현했고, 최저는 Meta-Harness와 DeepSeek 조합으로 19%였다.
    • Residual Agents는 검증된 복구 작업을 재사용 경험으로 증류해, DeepSeek V4.1 Flash의 재현 성공률을 68%에서 약 85%로 올렸다.
    • 서드파티 에이전트 하니스는 재현을 반드시 좋아지게 하지 않았고 성능을 낮추기도 했다.
    • 재현된 결과 전부를 모델 컨텍스트 프로토콜 기반 확장 플랫폼에 담아 검증된 연구 워크플로를 AI 과학자가 다시 쓸 수 있게 했다.
    초록PDF
  35. 1409Information RetrievalarXiv:2610.39231

    A Sequential Decision Framework for Evaluating LLM-Guided Search

    이 논문은 딥리서치 에이전트의 검색 과정을 두 가지 행동으로 표현해 정책별로 비교하고 평가하는 틀을 만들었다.

    이 논문은 한마디로 LLM이 이끄는 검색을 순차적 결정 문제로 묶어 평가하는 틀을 제안했다. 검색 환경을 랭킹 목록 묶음으로 표현하고, 행동은 기존 랭킹을 이어서 판단하는 select와 새 랭킹을 만드는 spawn 두 가지로 정의했다. 이 틀 안에서 고전 검색 전략과 딥리서치 정책을 같은 기준으로 서술하고 비교할 수 있었다. 실험에서는 검색 방법과 정책 모두 성능을 실질적으로 바꾸는 것으로 나타났다.

    • 검색 과정을 select(기존 랭킹에서 다음 문서를 판단하기)와 spawn(새 랭킹 만들기) 두 행동으로 표현하는 틀을 제안했다.
    • 애드혹 검색, MTF, Thompson 샘플링, ISJ, CAL 같은 기존 검색 전략을 같은 환경에서 동작하는 정책으로 서술했다.
    • 실험을 TREC Deep Learning 2019 컬렉션에서 했고, 관련성 판단에는 GPT-4o-mini를, 질의 재작성 같은 복잡한 작업에는 GPT-5를 썼다.
    • 전역 판단 예산 실험에서 질의 재작성 뒤 MTF 정책이 모든 검색 파이프라인과 예산에서 가장 높은 재현율을 보였다.
    • 단일 랭킹을 위에서부터 순서대로 판단하는 애드혹 방식은 모든 파이프라인에서 판단 예산을 가장 못 쓰는 정책이었다.
    • 검색 파이프라인 자체도 정책만큼 성능에 영향을 주었고, SPLADE와 하이브리드 파이프라인이 판단 하나당 더 많은 관련 문서를 찾았다.
    초록PDF
  36. 1408RAG / AgentsarXiv:2611.07859

    CORE: Coarse-to-Fine Search with Context Management for Deep Research

    이 논문은 깊은 연구 에이전트의 검색 하네스 문제를 굵게-가늘게 검색과 문맥 관리로 풀어, 학습 없이도 정확도와 근거 재현율을 함께 올렸다.

    이 논문은 한마디로 깊은 연구 에이전트에게 짧고 관련 있는 근거만 주는 학습 불필요 검색 하네스 CORE를 제안한 연구다. 하네스는 조밀한 검색기로 넓은 문단을 찾은 뒤, 재랭킹에 쓴 토큰 유사도를 재사용해 각 문단에서 가장 관련 있는 조각만 돌려준다. 문맥 관리는 이미 찾은 원문 주변을 펼쳐 보게 하고 반복 조각을 참조로 바꾼다. 세 에이전트 모델과 세 벤치마크에서 정확도와 근거 재현율 모두 최고 성적을 냈다.

    • CORE는 학습 없이 쓸 수 있는 깊은 연구 검색 하네스로, 굵게-가늘게 검색과 문맥 관리를 함께 쓴다.
    • 하네스는 조밀한 검색기로 문단을 굵게 찾은 뒤, 늦은 상호작용 재랭커의 토큰 단위 유사도를 다시 써서 각 문단에서 가장 관련 있는 짧은 조각만 에이전트에게 돌려준다.
    • 문맥 관리는 에이전트가 이미 찾은 원문 주변을 펼쳐 보게 하고, 검색에 반복되는 조각을 간단한 참조로 바꿔 문맥 낭비를 줄였다.
    • 세 에이전트 모델과 세 벤치마크에서 CORE는 최고 수준의 정답 정확도와 근거 재현율을 보였고, 553M 문서까지 있는 말뭉치에서도 그랬다.
    • 가장 큰 ClimbMix 말뭉치에서 GPT-5.4와 함께 CORE는 정확도 68.42%로 OpenResearcher의 56.14%와 Tongyi DeepResearch의 50.88%보다 높았다.
    • 구성 요소 분석에서 굵은 검색만 쓸 때 62.61%였던 정확도가 굵게-가늘게 검색으로 70.84%, 문맥 관리를 더한 완전한 CORE에서 80.12%로 올랐다.
    초록PDF
  37. 1407AI / AgentsarXiv:2611.07508

    DelegateEval: Evaluating Platforms for Personal External Service Agents

    이 논문은 개인이 자신의 전문성으로 외부 고객을 serve하는 에이전트 서비스를 플랫폼 차원에서 평가하는 8개 차원 프레임워크 DelegateEval을 제안했다.

    이 논문은 한마디로 개인 외부 서비스 에이전트를 지원하는 플랫폼을 평가하기 위한 8개 차원 프레임워크 DelegateEval을 제안한 연구다. 저자들은 한 개인의 지식과 방법을 쓰며 고객 요청을 받아 일하고 사후 지원까지 하는 에이전트 역할을 정의했다. 평가는 생성 용이성, 발견과 매칭, 전달 품질, 전문성 계승, 서비스 연속성, 학습과 개선, 신뢰성과 거버넌스, 효율과 가치의 여덟 차원으로 나뉜다. 아직 완성된 데이터셋과 채점 프로토콜은 없고 프레임워크와 실험 설계만 제시했다.

    • 저자들은 개인의 지식과 경험, 방법, 서비스 범위를 담아 외부 고객 요청을 받아 일하고 사후 지원까지 하는 개인 외부 서비스 에이전트를 정의했다.
    • DelegateEval은 에이전트 시스템을 플랫폼 단위로 평가하는 프레임워크로, 큰 언어 모델과 재사용 가능한 스킬, MCP 같은 프로토콜, 실행 가능한 도구 환경을 함께 다룬다.
    • 평가는 생성 용이성부터 효율과 가치까지 여덟 개 차원으로 나뉘고, 서비스 생성부터 반복되는 서비스 이력까지 전 과정을 관찰한다.
    • 이 논문은 프레임워크와 실험 설계까지만 제시했고, 완전한 데이터셋과 실행 환경, 통일된 채점 프로토콜, 모델 간 비교 결과는 아직 만들지 못했다.
    • 고품질 저술 작업에서 453명을 무작위로 나눈 실험에서 ChatGPT가 평균 완료 시간을 약 40% 줄이고 결과 품질을 약 18% 올린 선행 연구를 인용해, 시간과 품질을 함께 측정해야 한다고 주장했다.
    • AI 도구를 쓸 수 있게 한 2025년 무작위 연구에서 16명의 숙련 오픈소스 개발자는 완료 시간이 약 19% 늘어났고, 참가자들은 스스로 빨라질 것으로 기대했으므로 효율 이득은 측정으로 확인해야 한다고 지적했다.
    초록PDF
  38. 1406Research AgentsarXiv:2611.06910

    FrontierPhysics: Evaluating Agents for End-to-End Physics Research

    이 논문은 42명의 물리학자가 자기 연구로 만든 56개 과제로 에이전트의 처음부터 끝까지 물리 연구 능력을 평가하고, 최고 모델도 168회 시도 중 46회만 통과한다는 것을 보였다.

    이 논문은 한마디로 물리 연구 전 과정을 에이전트에 시키는 종단 평가 벤치마크 FrontierPhysics를 소개한 연구다. 42명 물리학자가 자기 연구를 바탕으로 182개 제출 중 56개 과제를 만들었고, 이론·계산·실험 아홉 분야를 다룬다. 각 과제는 문헌 조사, 연구 계획, 실험 수행, 논문 작성까지 요구하고 결정적 검증기와 전문가 루브릭으로 채점한다. 22개 모델 26개 구성 가운데 어느 것도 168회 시도 중 46회를 넘기지 못했고, 주된 약점은 물리 지식이 아니라 엄밀하지 않은 추론과 전문가 직관 부족이었다.

    • FrontierPhysics는 42명의 물리학자가 자기 연구를 바탕으로 만든 56개 과제로, 이론·계산·실험 물리의 아홉 분야를 다루는 종단 평가 벤치마크다.
    • 각 과제는 에이전트가 문헌을 조사하고 연구 계획을 세우고 연구와 실험을 수행한 뒤 구조화된 결과물과 과학 논문을 내도록 요구한다.
    • 평가는 결정적 검증기가 수치 결과를 확인하고, 검토 에이전트가 전문가가 만든 루브릭으로 논문과 과정을 채점하는 둘을 결합한다.
    • 182개 제출 중 56개만 통과했고, 과제 하나를 만드는 데 저자들이 원래 연구에 평균 약 270일을 썼다고 보고했다.
    • 22개 모델 26개 구성 가운데 어느 구성도 자기 168회 시도 중 46회를 넘는 통과율을 보이지 못했고, 최고인 Claude Opus 5.5는 27.4%였다.
    • 사람이 168개 시도 궤적을 직접 분석한 결과, 실패의 주된 원인은 부족한 물리 지식이나 실행 오류가 아니라 48%의 엄밀하지 않은 추론과 34%의 전문가 직관 부족이었다.
    초록PDF
  39. 1405Research AgentsarXiv:2610.39620

    Letting AI Formulate the Research Question: Autonomous Research Agents

    이 논문은 연구 주제 선정까지 AI에게 맡긴 자율 연구 에이전트가 사람 개입 없이 논문을 완성하는지 모든 실행을 공개하며 보인 문제다.

    이 논문은 한마디로 연구 질문 자체를 AI가 세우도록 하고 모든 실행을 공개한 자율 연구 실험이다. 저자는 상용 코딩 에이전트에 지침 문서와 두 개 스킬만 주고 사람은 연구 영역을 한두 문장으로만 정했다. 연속된 다섯 실행 전부가 질문 설정부터 수정된 재계산 가능한 논문까지 노트북 계산만으로 완성됐고, 외부 AI 심사는 워크숍 수준으로 평가했다.

    • 시스템은 상용 코딩 에이전트에 지침 문서와 질문 설정, 동료 심사 두 스킬을 준 단순한 구성이다. 연속 다섯 실행 모두 질문 설정부터 수정된 재계산 가능한 논문까지 노트북 계산만으로 끝냈고 사람의 연구 개입은 없었다.
    • 개발 13회 실행에서 연구 영역을 정하는 한두 문장을 바꾸자 후보 질문 주제가 크게 달라졌다. 사회 문제 힌트 한 문장을 넣었을 때 같은 모델의 후보 15개 중 14개가 사회 문제로 옮겨갔다.
    • 평가 실행에서 에이전트는 아홉 개 사회 분야에 걸쳐 후보 질문 77개를 작성했고 모두 사회나 환경 문제였다. 대부분의 후보는 공개 검증 데이터가 없거나 기술 접근이 막힌 이유로 버려졌다.
    • 비평가 모델은 매 실행에서 선택된 질문의 비교와 측정 방식을 바꿨고, 심사자는 모든 초안을 검증 입구에서 재실행해 보고된 숫자를 재현했다. 심사 결과 40개 지적은 모두 채택 또는 일부 채택되었다.
    • 외부 AI 평가에서 Gemini 4 Argon은 다섯 논문 모두를 워크숍 수준으로 보고 전체 점수 평균 5.4를 줬으며, Muse Wonder는 더 엄격해 평균 4.1을 줬다. 두 심사자 모두 참신성과 일반성을 낮게 평가했다.
    • 한계로 다섯 실행과 한 가지 연구 모델은 작은 표본이고 비교 실험이 없으며, 모든 평가가 AI 모델 판단에 의존한다. 사람 평가는 별도로 계획 중이다.
    초록PDF
  40. 1404Research AgentsarXiv:2610.39413

    How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents

    이 논문은 사용자 질의가 불명확할 때 딥 리서치 에이전트의 답 품질과 검색 행동이 어떻게 무너지는지 측정 프레임워크로 보인 문제다.

    이 논문은 한마디로 질의가 불완전할 때 딥 리서치 에이전트가 무엇을 잃는지 측정한 논문이다. 저자들은 실제 연구자 대화 기록에서 자주 빠지는 정보 유형 세 가지를 뽑아 UNDERSPEC-DR 프레임워크를 만들고, 세 딥 리서치 에이전트를 세 벤치마크에서 시험했다. 불명확한 질의는 인용 품질 대신 사용자 정보 요구 충족도를 떨어뜨렸고, 에이전트는 빠진 정보를 사용자에게 묻지 않고 모델 내부 지식으로 채웠다.

    • 실제 연구자와 에이전트 대화에서 뽑은 초기-최종 질의 쌍 203개 가운데 176개에 초기 질의에 없는 정보가 담겨 있었다. 저자들은 이를 근거로 빠지는 정보 유형을 도출했다.
    • 빠진 정보 세 유형인 범위, 용어, 선호가 176쌍의 94%를 덮었고, 각각 45%, 37%, 33%에서 나타났다.
    • DR Tulu, Tongyi-DR, GPT-5.4 세 에이전트에서 범위나 용어 하나만 빠져도 루브릭 기반 점수가 통계적으로 유의하게 떨어졌고, 질의가 더 불명확할수록 하락이 커졌다.
    • 인용 정밀도는 완전 불명확 조건에서도 유의한 변화가 없어서, 불명확성은 환각을 늘리지 않고 사용자 정보 요구와의 정렬을 해쳤다.
    • 에이전트 대부분은 불명확을 알아채지 못하고 답했고, 가정을 밝히고 진행한 경우가 알아채지 못한 경우보다 답 품질 하락이 더 큰 조건도 네 개 중 세 개였다.
    • 검색 행동에서는 탐색 전환이 늘고 사용자 질의에서 온 토큰 비중은 줄며 추적 불가 토큰 비중은 늘었는데, 새 문서를 더 많이 가져와도 이후 검색에 활용은 늘지 않았다.
    초록PDF
  41. 1403Research AgentsarXiv:2610.38882

    Aligning Autoresearch: Co-Improvement between Agents and Humans

    이 논문은 자율 연구 에이전트와 사람이 함께 발전하는 길을 벤치마크 제작, 보상 해킹 탐지, 사람 상호작용 훈련, 글쓰기 품질 훈련 네 가지 연구로 묶어 보인 문제다.

    이 논문은 한마디로 자율 연구 에이전트를 사람과 함께 정렬시키는 방법을 네 갈래로 실험한 논문이다. 메타 FAIR 팀은 에이전트가 스스로 벤치마크를 만들게 하고(AutoBenchmark), 에이전트의 보상 해킹을 잡아내게 측정하고(HackBench), 사람과의 다턴 상호작용을 훈련시키고(AutoInteract), 전문가 수준 글쓰기를 강화학습으로 끌어올렸다(RL-XAR). 네 실험 모두 사람의 구체적인 개입이 아직 에이전트 성능을 크게 좌우한다는 결론을 준다.

    • AutoBenchmark에서 연구 에이전트가 사람 피드백 없이 만든 벤치마크는 솔버가 80점이 넘는 점수로 쉽게 풀 수 있는 수준이었다. 상세한 사람 지시가 들어가자 솔버 점수가 절반으로 떨어졌다.
    • 구체적인 사람 피드백은 여섯 벤치마크-솔버 짝 모두에서 솔버 점수를 28에서 46.5점까지 낮췄고, 이 어려움은 루프에 쓰이지 않은 보류 솔버에도 그대로 옮겨갔다.
    • HackBench는 실제 실행 기록 169개로 만들었고, 기록마다 명령 개수 중앙값은 264개인데 해킹 명령 중앙값은 1개뿐이었다. 최고 성능 모니터인 Claude Opus 5도 해킹 위치 특정 F1이 64.88에 그쳤다.
    • AutoInteract는 실제 사용자 기록에서 배운 사용자 모델로 다턴 상호작용 데이터를 만들고 강화학습으로 훈련해, LiveCodeBench-Pro 평균 Pass@1을 4B 모델에서 29.9에서 43.0으로, 27B 모델에서 49.1에서 55.7으로 올렸다. 다턴 변형에서는 23.0에서 43.2로 올랐다.
    • RL-XAR 실험에서 표준 LLM 심판은 모델이 쓴 글을 전문가 사람 글보다 63.5%에서 84.6% 경우 더 좋게 뽑았다. 전문가 글에 맞춘 루브릭을 메타최적화하자 판정이 뒤집혔고, 학습으로 이야기 쓰기 점수를 2.8에서 8.2로 끌어올렸다.
    • 한계로 위키백과 문서 쓰기에서는 RL-XAR가 점수를 2.7에서 4.0로만 올려서 사람과 프론티어 모델에 크게 못 미쳤고, 사람 평가는 저자들이 직접 한 작은 사전 연구 수준이었다.
    초록PDF
  42. 1402Research AgentsarXiv:2611.03097

    DR Pixel: Page-Native Deep Research with Vision-Language Models

    논문 페이지를 이미지 그대로 검색하고 추론하는 첫 오픈소스 멀티모달 딥리서치 에이전트를 만들고, 단계별 기여도 재가중치 학습 방법까지 제안했다.

    이 논문은 한마디로 OCR 로 텍스트를 뽑는 대신 렌더링된 페이지 이미지를 검색과 추론의 단위로 쓰는 딥리서치 에이전트를 소개한다. 페이지 기반 에이전트는 학습 없이도 OCR 기반보다 정확하면서 검색 호출도 적게 썼다. 저자는 각 단계의 반사실적 기여도로 학습 가중치를 매기는 방법을 더해 오픈소스 모델을 폐쇄형 최고 모델급으로 끌어올렸다.

    • DR Pixel 은 1.06M 페이지 말뭉치에서 렌더링된 페이지 이미지만을 검색과 추론 단위로 쓰는 최초의 오픈소스 종단 멀티모달 딥리서치 에이전트다.
    • 평가용으로 과학 논문 500문항의 DRPixelBench 를 만들었고, 모든 문항은 텍스트, 표, 그림, 수식을 함께 읽어야 답할 수 있다.
    • 학습 없이도 페이지 기반 접근은 GPT-5.4, Gemini-3.5-Flash, Qwen3.6-27B 에서 OCR 기반보다 정확도를 5.1–8.4점 올리면서 검색 호출을 20%–30% 줄였다.
    • 반사실적 기여도 재가중치로 학습한 Qwen3.6-27B 는 DRPixelBench 정확도를 40.1에서 52.1로 올려 GPT-5.4 를 살짝 앞질렀다.
    • 이 학습은 분포 밖 ViDoRe-V3 에서 정답 페이지를 직접 주는 오라클과 1.8점 차이에 도달했고, 일반 SFT 보다 57% 적은 검색으로 비슷한 적중률을 냈다.
    초록PDF
  43. 1401ResearcharXiv:2610.36878

    RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

    전문가 리포트 여러 편에서 유형 수준의 평가 기준을 캐내어, 딥리서치 에이전트 보고서의 분석 완성도를 채점하는 틀을 만들었다.

    이 논문은 한마디로 전문가 보고서에서 반복되는 분석 요구사항을 뽑아 딥리서치 에이전트의 보고서를 평가하는 틀을 제안한다. 평가는 분석 질문 중심의 위계로 짜이고, 각 판정은 보고서 근거 구절에 연결된다. 분석 완성도와 논거 타당성은 따로 평가한다.

    • 저자는 중국어 금융 리포트 3,079편에서 99개 연구 유형, 921개 질문, 8,160개 체크포인트로 이루어진 RubricAtlas를 만들었다.
    • 개별 리포트는 자기 유형 질문의 중앙값 54%만 덮어서, 한 편만 기준으로 삼으면 평가 범위가 좁아진다.
    • 두 심판 파이프라인은 체크포인트 일치도 κ = 0.71, 에이전트 순위 일치도 Kendall τ = 0.87을 보였다.
    • 한 질문에 해당하는 구절을 지우면 그 질문 점수가 0.64에서 0.21로 떨어졌고, 관계없는 텍스트를 40% 더해도 점수는 오르지 않았다.
    • 과제 원전 리포트가 지원하는 질문만으로 평가하면 완성도 점수가 10.5점 오르고 순위도 바뀌어서, 기준 선택이 결과를 좌우한다.
    초록PDF
  44. 1400Research AgentsarXiv:2610.35579

    Infinity Machine: a self-improving AI agent for research

    프로그램이 검증할 수 있는 연구 문제를 풀며 스스로 하네스를 고치는 에이전트 시스템을 만들고, 6일 만에 양자정보 공개 문제 4개에서 최고 기록을 넘어섰다.

    이 논문은 한마디로 정확한 검증기가 채점하는 연구 문제에서 스스로를 개선하는 에이전트 시스템을 소개한다. 각 제안은 새 샌드박스에서 최대 한 시간 일하는 도구 쓰는 에이전트 실행이고, 에이전트는 공개 점수만 본다. 저자는 이 시스템을 14개 문제에 적용해 모델 사용비 약 $180으로 양자정보 공개 문제 4개에서 기록을 넘는 결과를 얻었다. 논문은 성공과 함께 실패도 정직하게 적고 있다.

    • 저자는 강한 모델에 셸과 최대 한 시간의 작업 시간, 그리고 정확한 검증기를 주는 것만으로 6일 동안 14개 문제를 풀게 했고, 총 모델 사용비는 약 $180이었다.
    • 시스템은 양자정보 공개 문제에서 기록을 넘는 결과 4개를 냈고, 여기에는 인증된 임계값 p = 0.064966, 큐트릿 경계 0.2910672, 44게이트 깊이 6 회로, 안정화 랭크 상한 10이 포함된다.
    • SABRE 큐비트 라우팅 벤치마크에서는 추가 게이트 수를 68,559에서 12,087로 낮췄다.
    • 하드웨어 설계에서는 개방된 8×8 INT8 타일의 곱누산 에너지를 578.9 fJ에서 128.8 fJ로 77.7% 낮췄고, 면적도 55% 줄였다.
    • 자기개선 관문은 시스템이 스스로 쓴 플레이북 세대 하나를 비용 초과로 거부했고, 제안 에이전트는 관대한 채점기를 4번 악용했다.
    • 완전 자율 실행 3회는 모두 공개 기록과 비긴 정직한 무승부로 끝났고, 감사가 오래된 기록 하나를 잡아내기도 했다.
    초록PDF
  45. 1399RoboticsarXiv:2611.02391

    Late Autumn: LLM Agents Specialize a General Multi-Robot Planner for One Warehouse

    이 논문은 LLM 코딩 에이전트가 범용 다중 로봇 계획기를 한 창고에 맞게 특화해 처리량을 크게 올리는지를 검증했다.

    이 논문은 한마디로 LLM 코딩 에이전트의 자율 연구가 하나의 창고에 특화된 로봇 계획기 패치를 만들어 처리량을 22–60% 끌어올렸다. 연구진은 결합 계획기 ITA-LaCAM을 실제 창고를 본뜬 바닥에서 여섯 차례 캠페인으로 튜닝하게 했다. 에이전트는 복도 출구 우선순위 같은 알려진 MAPF 기법을 스스로 다시 찾아냈고, 같은 병목을 독립적으로 발견했다. 최종 패치는 커밋 단위로 검토할 수 있을 만큼 작았다.

    • LLM 코딩 에이전트가 9.0k 줄짜리 범용 다중 로봇 계획기를 한 창고 사이트에 맞게 특화하는 자율 연구를 여섯 차례 수행했다.
    • 모든 캠페인의 최고 패치가 기준선보다 처리량을 22–60% 높였고 새로운 시드 20개에서도 이득이 유지되었다.
    • 에이전트는 복도 출구 우선순위와 국소 안내, 롤아웃 같은 알려진 MAPF 기법을 스스로 다시 찾아냈고 독립 캠페인들이 같은 병목을 발견했다.
    • 이득은 다른 배치와 더 큰 함대, 다른 서비스 시간에도 대부분 이어졌지만 출발 중심 수요에서는 거의 사라졌다.
    • 최종 패치는 0.7k–2.4k 줄이고 향상 단계의 중간값이 27 줄이라 전문가가 커밋 단위로 검토할 수 있다.
    • 검토는 점수가 놓치는 문제를 찾아냈고 일부 패치는 계획기 계산량을 100배 이상 늘렸다.
    초록PDF
  46. 1398Research AgentsarXiv:2610.39744

    PAPERBENCHX: Can AI Reproduce Science Across Disciplines?

    이 논문은 AI가 이미 알려진 과학을 여러 분야에서 재현할 수 있는지를 93개 논문 재현 과제로 측정했다.

    이 논문은 한마디로 최첨단 에이전트들조차 여러 과학 분야의 논문 실험을 완전히 재현하지 못한다는 점을 보였다. PAPERBENCHX는 12개 연구 분야 93개 과제를 10개 도메인 과학 소프트웨어 환경에서 수행한다. 모든 제출물을 깨끗한 환경에서 처음부터 다시 실행하고 재생된 증거만 전문가 검증 기준으로 채점한다. 최고 구성도 90% 문턱을 넘은 과제가 13개뿐이었다.

    • PAPERBENCHX는 12개 연구 분야 93개 논문 재현 과제로 이루어진 벤치마크다.
    • 과제는 Ansys HFSS, Meep, PySCF/GPU4PySCF, AutoDock Vina, Habitat 같은 10개 도메인 과학 소프트웨어 환경에서 수행된다.
    • 모든 제출물을 깨끗한 환경에서 처음부터 다시 실행하고 에이전트 주장 대신 재생된 증거만 숨겨진 루브릭으로 채점한다.
    • 10개 최첨단 에이전트 구성 중 최고인 GPT-6-Astra도 부분 점수 59.08%에 완전 재현율 13.98%에 그쳤다.
    • 71개 과제는 어떤 구성도 완전 재현에 성공하지 못했다.
    • 모델링과 실행 단계는 평균 62.73%와 61.83%를 받았지만 검증 단계는 42.91%에 그쳐 과학적 검증이 가장 약했다.
    초록PDF
  47. 1397Agents / MemoryarXiv:2610.34767

    The Right Fact, the Wrong Decision: SciValidityBench for Scientific Agent Memory

    이 논문은 올바른 사실을 기억했는지와 그 사실을 지금 결정에 쓸 수 있는지를 구분하는 문제를 실행형 벤치마크로 풀었다.

    이 논문은 한마디로 정확히 기억한 사실도 쓰는 조건에 따라 과학적 결정에 쓸 수 없다는 점을 측정하는 벤치마크를 만들었다. SCIVALIDITYBENCH는 64 TaskSpecs로 다섯 타당성 모듈과 여섯 과학 분야를 다룬다. SCISTATEFORGE는 흩어진 실험 기록을 결정을 지배하는 상태로 컴파일한다. 네 모델 계열에서 컴파일된 상태가 Event Graph보다 올바른 결정을 9.2–18.8 percentage points만큼 늘렸다.

    • 같은 p = 0.03 값이라도 사전에 계획이 고정됐는지에 따라 증거 자격이 달라진다는 문제를 과학적 사용 타당성으로 정의했다.
    • SCIVALIDITYBENCH라는 실행형 벤치마크 공장을 만들었고 64 TaskSpecs가 다섯 타당성 모듈과 여섯 과학 분야를 덮는다.
    • SCISTATEFORGE 컴파일러–리더 파이프라인이 흩어져 있는 실험 기록을 결정을 지배하는 명시적 상태로 바꾼다.
    • 네 모델 계열에서 컴파일된 과학 상태가 일반 Event Graph보다 올바른 결정을 9.2–18.8 percentage points만큼 끌어올렸다.
    • BM25 검색만으로는 이 계열 공통 향상을 재현하지 못했다.
    • 결정에 필요한 상태를 정확히 복구하면 무관한 복구보다 평균 18.6 validity points 더 회복되었다.
    초록PDF
  48. 1396AI / AgentsarXiv:2611.02516

    Cumulative and Audited Guardrail Tool Evolution for LLM Agent Safety

    이 논문은 에이전트 안전을 고정 규칙이 아니라 생성, 재사용, 감사, 수선을 반복하는 도구 수준의 진화 과정으로 만들어 새로 나타나는 위험에 대응하게 한 문제를 풀었다.

    이 논문은 한마디로 보안 지식을 실행 가능한 가드레일 도구로 밖으로 꺼내 상속하고 감사하고 고치는 자기 진화 방어 프레임워크 EVOLVE를 제안한다. 세 개 에이전트 안전 벤치마크와 네 개 백본에서 기존 방어를 평균 F1 기준 +22% 앞섰다. 핵심 발견은 안전을 위해 만든 도구 자체에도 취약점이 생기는 VGT 현상이며, 독립 감사가 이를 잡아낸다는 것이다. 로봇 팔과 실제 도구 호출 에이전트에서도 적용을 확인했다.

    • 저자들은 고정 규칙 기반 방어가 새로운 위험에 약한 문제를 풀기 위해, 보안 지식을 실행 가능한 가드레일 도구로 만들어 상속하고 감사하고 고치는 네 단계 프레임워크 EVOLVE를 제안했다.
    • 여섯 개 전문 에이전트가 위험 분석, 도구 생성, 도구 융합, 실행, 감사, 수선을 맡아 위험 인식에서 신뢰 가능한 적응까지 닫힌 순환을 이룬다.
    • RJudge, ASSEBench, AgentHarm 세 벤치마크와 네 개 백본 LLM에서 EVOLVE는 12개 조합 모두 1위를 하고 기존 방어보다 평균 F1 점수를 +22% 앞섰다.
    • 안전을 위해 만든 도구의 20% 이상이 처음에는 취약점을 담는 VGT 현상을 찾아냈고, 감사를 거치면 프로그래밍 영역의 위험 도구 비율이 44.78%에서 8.20%로 떨어졌다.
    • AI2THOR 몸을 가진 환경에서 93.3%의 위험 탐지 정확도를 보였고, 실제 6-DoF 로봇 팔에서 흉기 위협과 낙하 위험을 막고 충돌을 피하는 경로 재계획을 했다.
    • 가드레일 도구 재사용률은 최대 86%에 도달해, 보안 지식이 배포 후 고정되지 않고 상호작용을 통해 쌓이며 진화함을 보였다.
    초록PDF
  49. 1395Reasoning / RLarXiv:2611.02455

    RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs

    이 논문은 강화학습의 신용을 글자가 아니라 실행 가능한 행동 자체에 주는 결정 평면 접근으로, 같은 성과를 더 적은 GPU 비용으로 얻게 한 문제를 풀었다.

    이 논문은 한마디로 강화학습에서 토큰 단위 대신 실행 가능한 행동 메뉴 위에서 직접 확률을 최적화하는 RLiD 프레임워크를 제안한다. 관찰과 간단한 기억, 라벨이 붙은 행동 메뉴를 한 번의 순전파로 읽어 행동을 고르는 큰 결정 모델을 쓴다. ALFWorld에서 전체 파이프라인이 12.7 H100 GPU 시간으로 성공률 99.3%에 도달했고 같은 LLM의 토큰 수준 RL은 17.3 GPU 시간에 86.6%였다. 결정 평면에서 훈련된 정책을 생성형 LLM으로 증류해 행동 목록 없이도 성공률을 유지한다.

    • 저자들은 토큰 수준 RL의 신용이 행동 표현 방식에 흔들리는 문제를 없애기 위해, 실행 가능한 행동 메뉴 위에서 한 번의 순전파로 행동을 고르는 큰 결정 모델을 강화학습하는 RLiD를 제안했다.
    • 정리 1에서 같은 행동으로 이어지는 여러 문장 표현을 한데 묶으면 기댓값을 바꾸지 않고 표현에서 오는 분산을 없앤다는 것을 보였다.
    • FrozenLake 정밀 감사에서 정확한 어드밴티지를 쓴 결정 평면 배치 그래디언트는 참 그래디언트와 코사인 0.88을 보였고, 토큰 정책 점수의 두번째 모멘트 가운데 71%에서 97%는 표현 분산이었다.
    • ARC에서 Qwen2.5-1.5B 결정 모델은 0.12 GPU-h 만에 78.6%에 도달해 1.17 GPU-h 를 쓴 토큰 GRPO의 75.9%를 앞섰고, 같은 러너의 Sokoban에서는 44.5%로 모든 토큰 변형을 넘었다.
    • ALFWorld에서 증류와 학생 RL을 합친 전체 경로는 12.7 H100 GPU-h 만에 성공률 99.3%에 도달했고, 같은 LLM의 토큰 수준 RL은 17.3 GPU-h 를 써도 86.6%였다.
    • 메뉴가 없는 배포 조건에서도 생성형 증류 학생은 99.3%의 보지 못한 게임 성공률을 유지했고 메모리 없이는 90.5%를 기록했다.
    초록PDF
  50. 1394AI AgentsarXiv:2611.01977

    EvoRec: A Unified Self-Evolving Agentic Recommender with Dynamic Reflection Trees

    이 논문은 추천 시스템의 실패를 단계별로 진단해 스스로 고치는 반사 트리를 만들어, 모델 파라미터를 바꾸지 않고도 추천 성과를 계속 끌어올린 문제를 에이전트 추천 프레임워크로 풀었다.

    이 논문은 한마디로 추천을 필요 이해, 계획, 실행, 반성, 수리로 이어지는 에이전트 결정 과정으로 바꾸고, 실패를 결정 단계별로 찾아 고친 뒤 그 경험을 쌓아 가는 프레임워크 EvoRec을 제안한다. 쿠아이슈우 로컬 광고 데이터에서 가장 강한 기준보다 Hit@50을 15.7% 올렸고, 7일 온라인 A/B 시험에서 광고 수익을 4.6% 늘렸다. 핵심은 동적 반사 트리가 필요 추론, 계획, 이전 수리 전략 중 어디가 틀렸는지 찾아 개인화 수리 전략을 만들고 재실행으로 검증한다는 점이다. 에이전트 파라미터를 갱신하지 않고 작업 기억을 통해 자기 진화가 일어난다.

    • 저자들은 추천을 필요 이해에서 계획, 실행, 피드백, 반성, 수리로 이어지는 닫힌 순환으로 만드는 통합 에이전트 추천 프레임워크 EvoRec을 제안했다.
    • 필요 에이전트가 장기, 단기, 작업 기억에서 구조화된 사용자 필요를 끌어내고, 계획 에이전트가 행동 지속과 필요 충족 두 경로에 검색 예산 3,000을 나누며 도구와 랭킹 가중치를 고른다.
    • 동적 반사 트리가 실패를 필요 추론, 계획, 이전 수리 전략 가운데 어디서 왔는지 찾아내고, 개인화 수리 전략을 만들어 다시 실행해 효과를 검증한다.
    • 검증된 수리 전략은 작업 기억으로 들어가 이후 결정을 안내하고, 사용자 간에 재사용 가능한 전략으로 추상화되어 에이전트 파라미터 갱신 없이 자기 진화가 이어진다.
    • 쿠아이슈우 로컬 서비스 광고 데이터에서 EvoRec은 가장 강한 기준 대비 Hit@50을 15.7% 올렸고, 반성 경험이 쌓인 사용자 18.5%에서는 Hit@50이 13.1% 올랐다.
    • 7일 온라인 A/B 시험에서 근사선 배포된 EvoRec은 광고 수익을 4.6%, CTCVR을 3.5% 늘렸고 고의도 사용자에서는 수익이 14.5% 올랐다.
    초록PDF

전체 1430개 중 50개 표시