HDATF
한국어
도입 상담하기
메뉴

논문 아카이브

수록 논문과 요약을 번호가 큰 순서로 보여 줍니다.

수록 논문 1,193자료 갱신일 벤치마크RSS 구독
  1. 044RL / AgentsarXiv:2502.19328

    Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems

    Tsinghua University 연구진은 인간 선호와 자동 검증 에이전트를 결합한 새로운 보상 모델링 프레임워크 REWARDAGENT를 제안한다. LLM 학습과 응답 선택에서 우수한 성능을 달성하는 동시에 더 나은 언어 모델 개발을 위한 더 신뢰할 수 있는 토대를 제공한다.

    Tsinghua University 연구진은 인간 선호와 자동 검증 에이전트를 결합한 새로운 보상 모델링 프레임워크 REWARDAGENT를 제안한다. LLM 학습과 응답 선택에서 우수한 성능을 달성하는 동시에 더 나은 언어 모델 개발을 위한 더 신뢰할 수 있는 토대를 제공한다.

    • 기존 보상 모델은 인간 선호에 지나치게 의존해 잠재적 편향과 정확성 문제를 일으킨다.
    • 현재 접근들은 사실 정확성과 지시 준수에 대한 체계적 검증이 부족하다.
    • 전통적 보상 모델은 여러 중요한 평가 기준을 동시에 포착하지 못하는 경우가 많다.
    • 전문화된 검증 에이전트와 인간 선호 신호를 결합한 멀티 에이전트 보상 시스템을 개발했다.
    • 어떤 검증 에이전트를 호출할지 지능적으로 결정하는 라우터 구성 요소를 만들었다.
    • 여러 평가 출처의 점수를 결합하는 통합 메커니즘을 구현했다.
    초록PDF
  2. 043Math ReasoningarXiv:2503.00735

    LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

    Tufa Labs는 복잡한 문제의 점진적으로 더 단순한 변형을 재귀적으로 생성하고 강화 학습으로 학습함으로써 대규모 언어 모델이 자율적으로 문제 해결 능력을 향상시킬 수 있게 하는 프레임워크 LADDER를 개발했다.

    Tufa Labs는 복잡한 문제의 점진적으로 더 단순한 변형을 재귀적으로 생성하고 강화 학습으로 학습함으로써 대규모 언어 모델이 자율적으로 문제 해결 능력을 향상시킬 수 있게 하는 프레임워크 LADDER를 개발했다. 이 접근은 3B Llama 모델의 적분 정확도를 1퍼센트에서 82퍼센트로 끌어올렸으며, Test-Time Reinforcement Learning과 결합했을 때 7B Qwen 모델이 MIT Integration Bee에서 90퍼센트를 달성해 GPT-4o와 OpenAI의 o1 같은 더 큰 모델을 능가하게 했다.

    • 대규모 언어 모델(LLM)을 위한 강화 학습은 학습 작업에 난이도의 점진적 구배를 요구하지만, 이는 종종 확보되지 않아 학습 정체나 파국적 성능 저하로 이어진다.
    • 수학과 같은 복잡한 추론 영역은 모델이 풀 수 있는 문제와 현재 풀 수 없는 문제 사이의 큰 격차 때문에 상당한 난제를 제기한다.
    • 기존 LLM 학습 및 개선 방법은 종종 방대한 인간 큐레이션 데이터셋이나 지속적인 인간 감독·피드백에 크게 의존한다.
    • LADDER 프레임워크는 재귀적 문제 분해를 가능하게 하며, LLM이 변환 라이브러리와 유도된 프롬프팅을 사용해 복잡하고 현재 풀 수 없는 문제의 점진적으로 더 단순한 변형으로 이루어진 트리를 자율적으로 생성한다.
    • 견고한 수치 검증 프레임워크가 해답의 정확성을 평가해 강화 학습을 위한 명확하고 객관적인 보상 신호를 제공한다.
    • Test-Time Reinforcement Learning(TTRL)은 추론 시점에 이전에 풀지 못한 테스트 문제에 대해 문제별로 집중된 변형을 생성해 LADDER를 확장하며, 개별적인 어려운 질문에 대한 표적적·동적 학습을 가능하게 한다.
    초록PDF
  3. 042Alignment / SafetyarXiv:2502.16797

    Forecasting Rare Language Model Behaviors

    연구진은 평가 중에 테스트할 수 있는 양보다 훨씬 큰 쿼리 규모에 걸쳐 대규모 언어 모델에서 드물게 나타나는 바람직하지 않은 행동의 발생 가능성을 예측하는 방법을 개발했다.

    연구진은 평가 중에 테스트할 수 있는 양보다 훨씬 큰 쿼리 규모에 걸쳐 대규모 언어 모델에서 드물게 나타나는 바람직하지 않은 행동의 발생 가능성을 예측하는 방법을 개발했다. 이들의 Gumbel-tail method는 위험을 정확하게 예측해 배포 전 안전성 평가를 개선한다.

    • 표준 LLM 평가는 수천 개의 쿼리를 다루지만 배포된 모델은 수십억 개를 처리하므로, 드물지만 잠재적으로 유해한 행동에 대한 상당한 사각지대가 생긴다.
    • 제한된 테스트에서 안전해 보이는 행동도 배포 시 훨씬 많은 쿼리에 노출되면 상당한 위험을 초래할 수 있다.
    • 전통적 평가 방법은 근본적인 규모 격차와, 동일한 쿼리에 대해 서로 다른 응답을 생성할 수 있는 언어 모델의 확률적 특성을 고려하지 못한다.
    • Anthropic, Mila, UC Berkeley 연구진은 제한된 평가 데이터를 사용해 배포 규모에서 바람직하지 않은 LLM 행동의 위험을 예측하는 Gumbel-tail method를 개발했다.
    • 이 방법은 모델을 반복적으로 샘플링해 목표 행동을 보이는 응답의 비율을 측정함으로써 각 쿼리의 유발 확률을 추정한다.
    • 이 방법은 극단값 이론, 구체적으로는 Gumbel 분포를 활용해 소수의 평가 쿼리로부터 이러한 유발 확률의 꼬리 행동을 모델링하고 외삽한다.
    초록PDF
  4. 041Reasoning / RLarXiv:2503.01307

    Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

    Stanford University 연구진은 검증과 백트래킹 같은 인지 행동을 보이는 언어 모델의 초기 역량이 강화 학습을 통한 자기 개선 능력을 좌우한다는 사실을 밝혀냈다.

    Stanford University 연구진은 검증과 백트래킹 같은 인지 행동을 보이는 언어 모델의 초기 역량이 강화 학습을 통한 자기 개선 능력을 좌우한다는 사실을 밝혀냈다. 이러한 자기 개선 능력은 해당 행동이 풍부한 데이터로 모델을 프라이밍하거나 사전 학습 데이터를 큐레이션함으로써 유도될 수 있으며, 프라이밍 데이터에 틀린 해답이 포함되어 있어도 마찬가지다.

    • 일부 대규모 언어 모델(LLM)은 검증 가능한 추론 작업에 대한 강화 학습(RL)을 통해 상당한 자기 개선을 달성하는 반면, 다른 모델은 동일한 학습에도 빠르게 정체된다.
    • LLM이 추가 연산 자원을 자기 개선에 효과적으로 활용할 수 있게 하는 근본적인 본질적 특성이나 초기 역량이 무엇인지는 불분명하게 남아 있었다.
    • LLM 추론에서 RL 기반 자기 개선의 성공과 실패를 결정짓는 기초적 특성에 대한 이해가 부족했다.
    • GPT-4o-mini 분류기를 사용해 LLM 추론 궤적에서 네 가지 인지 행동(검증, 백트래킹, 하위 목표 설정, 역방향 연쇄)을 식별·정량화하는 프레임워크를 개발했다.
    • 자기 개선 역량이 서로 다른 모델(Qwen-2.5-3B 대 Llama-3.2-3B)을 대상으로 Countdown 게임에서 비교 강화 학습(RL) 실험을 수행했다.
    • 특정 인지 행동이 풍부한 합성 데이터로 모델을 파인튜닝하고 이러한 행동을 증폭하도록 사전 학습 데이터를 큐레이션하는 등 표적 개입을 적용해 자기 개선을 유도했다.
    초록PDF
  5. 040Reasoning / SurveyarXiv:2502.21321

    LLM Post-Training: A Deep Dive into Reasoning Large Language Models

    이 논문은 대규모 언어 모델(LLM)의 사후 학습 방법론을 포괄적으로 조사하며, 추론 능력, 사실 정확성, 정렬을 향상시키도록 설계된 기법에 초점을 맞춘다.

    이 논문은 대규모 언어 모델(LLM)의 사후 학습 방법론을 포괄적으로 조사하며, 추론 능력, 사실 정확성, 정렬을 향상시키도록 설계된 기법에 초점을 맞춘다. 방법들을 파인튜닝, 강화 학습, 테스트 시점 스케일링으로 체계적으로 분류해 LLM 최적화에서의 역할, 과제, 향후 방향에 대한 구조적 개관을 제공한다.

    • 사전 학습된 대규모 언어 모델(LLM)은 종종 사실 정확성에 어려움을 겪으며 환각이나 논리적으로 일관되지 않은 출력을 생성한다.
    • LLM 추론은 명시적 논리 추론보다는 통계적 패턴에 주로 기반하므로 복잡한 추론 작업에서 한계를 보인다.
    • 방대한 사전 학습에도 불구하고 LLM은 인간의 의도, 선호, 윤리적 고려와 완전히 정렬되지 않을 수 있어, 신뢰할 수 있는 배포를 위해서는 추가적인 정제가 필요하다.
    • 이 논문은 LLM의 기존 사후 학습 방법론을 체계적으로 조사·분류하며 추론 능력 향상에서의 역할에 초점을 맞춘다.
    • 기법들을 서로 연결된 세 가지 주요 단계, 즉 파인튜닝(예: instruction, CoT, PEFT), 강화 학습(예: RLHF, DPO, RLAIF), 테스트 시점 스케일링(예: CoT 프롬프팅, Tree-of-Thoughts, MCTS)으로 구성한다.
    • 이 조사는 각 기법이 LLM 행동을 정제하고 견고성을 개선하며 다양한 응용에서 적응성을 보장하는 데 기여하는 구체적인 지점을 부각한다.
    초록PDF
  6. 039Training EfficiencyarXiv:2503.02875

    The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models

    Tencent AI Lab 연구진은 해법 경로의 처음 몇 개 토큰에만 집중하는 새로운 접근인 Unsupervised Prefix Fine-Tuning(UPFT)을 제안한다. 최신 기법에 필적하는 결과를 달성하면서 학습 시간을 75퍼센트, 샘플링 비용을 99퍼센트 절감해 언어 모델의 추론 능력을 크게 끌어올린다.

    Tencent AI Lab 연구진은 해법 경로의 처음 몇 개 토큰에만 집중하는 새로운 접근인 Unsupervised Prefix Fine-Tuning(UPFT)을 제안한다. 최신 기법에 필적하는 결과를 달성하면서 학습 시간을 75퍼센트, 샘플링 비용을 99퍼센트 절감해 언어 모델의 추론 능력을 크게 끌어올린다.

    • LLM 추론을 개선하는 기존 방법은 방대한 레이블 데이터나 연산 비용이 큰 샘플링을 요구한다.
    • 전통적 파인튜닝 접근은 복잡한 추론 작업에서 효율성과 확장성에 어려움을 겪는다.
    • 서로 다른 해법 경로가 공통의 초기 추론 단계를 공유하는 'Prefix Self-Consistency' 현상을 활용한다.
    • 추출된 prefix 부분 문자열로 모델을 파인튜닝하면서 추론 구조를 유지하는 UPFT 방법을 개발한다.
    • 추론 능력의 파국적 망각을 방지하기 위해 구조 튜닝을 통합한다.
    • 추론 과정의 초기 토큰은 핵심 정보를 담고 있으며 서로 다른 해법 전반에서 높은 일관성을 보인다.
    초록PDF
  7. 038Architecture / ReasoningarXiv:2502.13842

    Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking

    Inner Thinking Transformer(ITT)는 중요한 토큰에 내부 연산 자원을 적응적으로 할당하는 동적 깊이 스케일링 구조를 도입해 대규모 언어 모델의 추론 능력과 효율성을 높인다.

    Inner Thinking Transformer(ITT)는 중요한 토큰에 내부 연산 자원을 적응적으로 할당하는 동적 깊이 스케일링 구조를 도입해 대규모 언어 모델의 추론 능력과 효율성을 높인다. 중국과학원과 Baidu Inc.의 공동 연구팀이 개발한 ITT는 모델이 훨씬 큰 모델에 필적하는 성능을 달성하면서도 데이터 및 연산 효율성을 개선할 수 있게 한다.

    • 소형 대규모 언어 모델(LLM)은 고정된 연산 예산과 제한된 파라미터 수 때문에 복잡한 추론 작업을 처리할 때 본질적인 성능 병목을 겪는다.
    • 성능을 높이려고 LLM 파라미터를 계속 확장하는 전통적 접근은 수익 체감과 연산·배포 비용 급증에 부딪혀 지속 가능성에 대한 우려를 낳는다.
    • 실증 분석에 따르면 '어려운' 토큰은 Transformer 계층 전반에서 지속적인 그래디언트 진동과 급격한 스파이크를 유발하며, 이는 구조적 부담과 복잡한 정보 처리에 필요한 깊이의 부족을 나타낸다.
    • 단일 토큰의 생성을 일련의 내부 추론 단계로 분해해 그 표현을 반복적으로 정제하는 'Inner Thinking Step' 개념을 도입한다.
    • 각 사고 단계의 출력을 누적하는 Residual Thinking Connections(RTC)를 구현해 점진적인 표현 정제를 가능하게 하고 성능 병목을 돌파한다.
    • Adaptive Token Routing(ATR)을 적용해 추가 사고 단계를 가장 중요한 토큰에만 동적으로 할당함으로써 쉬운 토큰에 대한 불필요한 처리를 피해 연산 효율성을 높이고, Thinking Step Encoding(TSE)으로 각 단계에 문맥 정보를 제공한다.
    초록PDF
  8. 037Reasoning / AgentsarXiv:2502.08235

    The Danger of Overthinking: Examining the Reasoning-Action Dilemma in Agentic Tasks

    UC Berkeley, ETH Zurich를 비롯한 기관의 주요 AI 연구진은 대규모 추론 모델(LRM)의 중대한 성능 한계를 밝혔다. 즉 작업을 과도하게 숙고하는 경향이 43% 더 높은 연산 비용과 효과 저하로 이어지며, 간단한 완화 전략을 도입하면 상호작용 환경에서 성능을 30% 향상시킨다.

    UC Berkeley, ETH Zurich를 비롯한 기관의 주요 AI 연구진은 대규모 추론 모델(LRM)의 중대한 성능 한계를 밝혔다. 즉 작업을 과도하게 숙고하는 경향이 43% 더 높은 연산 비용과 효과 저하로 이어지며, 간단한 완화 전략을 도입하면 상호작용 환경에서 성능을 30% 향상시킨다.

    • LRM은 환경과의 상호작용보다 확장된 내부 추론을 선호하는 경향이 있어, 비효율적인 성능으로 이어진다.
    • AI 시스템에서 과도한 숙고 행동을 분석하고 정량화하기 위한 체계적 프레임워크가 존재하지 않는다.
    • 상호작용 환경에서 추론과 행동 사이의 균형에 대한 이해가 부족하다.
    • LRM의 과도한 숙고를 연구하고 측정하기 위한 포괄적 프레임워크를 개발했다.
    • SWE Bench Verified를 사용해 4,018개의 궤적을 분석해 패턴을 식별했다.
    • 인간 전문가 평가에 대조해 검증된 점수화 시스템을 도입했다.
    초록PDF
  9. 036Efficiency / Multi-modelarXiv:2502.14815

    Optimizing Model Selection for Compound AI Systems

    Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

    Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

    • 복합 AI 시스템은 보통 모든 모듈에 동일한 LLM을 사용해 전체 성능을 제한한다.
    • 서로 다른 시스템 구성 요소에 걸쳐 모델 선택을 최적화하는 체계적 접근법이 없다.
    • 단조적 성능 관계를 활용하는 LLMSelector 프레임워크를 개발했다.
    • LLM 기반 성능 추정을 사용해 모델을 모듈에 효율적으로 할당한다.
    • 순차적 모듈 지명을 통한 반복적 최적화 접근법을 구현한다.
    • 종단간 성능은 종종 모듈별 성능에 대해 단조적이다.
    초록PDF
  10. 035Benchmarks / Code AgentsarXiv:2502.12115

    SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

    OpenAI는 총 가치 100만 달러에 달하는 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 사용해 대규모 언어 모델을 풀스택 개발과 관리적 의사결정 능력에서 평가하는 벤치마크 SWE-Lancer를 도입한다.

    OpenAI는 총 가치 100만 달러에 달하는 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 사용해 대규모 언어 모델을 풀스택 개발과 관리적 의사결정 능력에서 평가하는 벤치마크 SWE-Lancer를 도입한다. 이 평가는 Claude 3.5 Sonnet 같은 프런티어 모델이 지급 가능한 보상의 일부를 벌 수 있지만 이러한 복잡한 작업을 완전히 자동화하기에는 여전히 부족함을 드러내며, 근본 원인 분석과 다중 구성 요소 상호작용에서 상당한 개선 여지가 있음을 보여준다.

    • 기존 LLM 코딩 벤치마크는 단위 테스트에 의존해 채점기 해킹에 취약하며, 복잡한 풀스택 소프트웨어 공학 작업을 검증하기에 불충분하다.
    • 이전 평가들은 직접적인 경제 지표가 부족해, 실제 소프트웨어 개발 시나리오에서 LLM 출력의 실질적인 금전적 가치를 정량화하지 못한다.
    • 현재 벤치마크는 상업적 프리랜스 소프트웨어 공학 작업의 다양하고 모호하며 포괄적인 성격보다는 고립된 프로그래밍 문제나 특정 저장소에 초점을 맞춰 범위가 좁은 경우가 많다.
    • 총 100만 달러에 달하는 실제 금전적 보상이 걸린 Expensify의 실제 프리랜스 소프트웨어 공학 작업 1,400개 이상을 특징으로 하는 벤치마크 SWE-Lancer를 개발했다.
    • 코드 패치 생성을 요하는 개별 기여자(IC) SWE 작업과, 모델이 여러 제안 중 최적의 해법을 선택하는 SWE 관리 작업의 두 가지 작업 유형을 포함했다.
    • Playwright로 작성하고 전문 엔지니어가 3중 검증한 종단간(E2E) 테스트를 활용하는 엄격한 5단계 파이프라인을 채택해, 견고하고 해킹 불가능한 평가를 보장했다.
    초록PDF
  11. 034LLMs / DiffusionarXiv:2502.09992

    Large Language Diffusion Models

    LLaDA는 처음부터 학습된 새로운 80억 파라미터 확산 모델을 도입해, 확산 모델이 대규모 언어 모델링에서 최첨단 자기회귀 모델과 경쟁할 만한 성능을 달성할 수 있음을 입증한다.

    LLaDA는 처음부터 학습된 새로운 80억 파라미터 확산 모델을 도입해, 확산 모델이 대규모 언어 모델링에서 최첨단 자기회귀 모델과 경쟁할 만한 성능을 달성할 수 있음을 입증한다. 이 연구는 LLM 능력이 본질적으로 자기회귀 구조에 의존한다는 가정에 도전하며 역전의 저주에 대한 해법을 제공한다.

    • 대규모 언어 모델의 능력(확장성, 문맥 내 학습)이 자기회귀 구조에만 있다는 것이 통념이다.
    • 양방향 또는 역방향 추론을 요하는 작업에서 모델이 어려움을 겪는 역전의 저주처럼 자기회귀 모델에는 한계가 있다.
    • 수십억 파라미터 규모의 자기회귀 모델과 성능 면에서 견줄 수 있는 대규모 언어 확산 모델이 없었다.
    • 인과 마스크 없이 Transformer 백본을 활용해 이산 토큰 시퀀스를 위한 마스크 확산 모델(MDM)인 LLaDA를 개발했다.
    • 음의 로그 가능도의 상한을 이루는 원칙적인 교차 엔트로피 손실을 최적화하며, 2.3조 토큰 데이터셋으로 80억 파라미터 LLaDA 모델을 처음부터 학습했다.
    • 생성 품질과 속도의 균형을 맞추는 저신뢰도 재마스킹 기법을 포함한 유연한 반복 샘플링 전략을 추론에 구현했다.
    초록PDF
  12. 033Architecture / EfficiencyarXiv:2502.11089

    Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

    DeepSeek-AI 연구진은 대규모 언어 모델을 위한 효율적이고 성능 좋은 긴 컨텍스트 모델링을 가능하게 하는, 하드웨어 정렬형이며 네이티브하게 학습 가능한 희소 어텐션 메커니즘 Native Sparse Attention(NSA)을 개발했다.

    DeepSeek-AI 연구진은 대규모 언어 모델을 위한 효율적이고 성능 좋은 긴 컨텍스트 모델링을 가능하게 하는, 하드웨어 정렬형이며 네이티브하게 학습 가능한 희소 어텐션 메커니즘 Native Sparse Attention(NSA)을 개발했다. NSA는 64k 컨텍스트 길이에서 최대 11.6배의 디코딩 속도 향상과 9.0배의 학습 속도 향상을 달성하는 동시에, 긴 컨텍스트 추론 작업을 포함한 다양한 벤치마크에서 full attention을 능가한다.

    • LLM의 전통적인 어텐션 메커니즘은 시퀀스 길이에 대해 이차 연산 복잡도를 가져, 학습과 추론 시 긴 컨텍스트 처리가 엄청나게 비싸진다.
    • 기존 희소 어텐션 방법은 비효율적인 메모리 접근 패턴과 현대 하드웨어 구조(예: MQA/GQA)와의 비호환성 탓에, 이론적 효율 이득을 실제 지연 속도 향상으로 전환하지 못하는 경우가 많다.
    • 대부분의 희소 어텐션 접근법은 추론 전용으로 설계되어 사전 학습된 full attention 백본을 요구하는데, 이는 성능 저하로 이어지거나 종단간 학습을 비실용적이거나 비효율적으로 만들 수 있다.
    • Native Sparse Attention(NSA)은 세 개의 병렬 분기를 결합한 계층적 희소 어텐션 메커니즘을 도입한다. 즉 전역 컨텍스트를 위한 압축 어텐션, 세밀하게 중요한 토큰을 위한 선택 어텐션, 지역 컨텍스트를 위한 슬라이딩 윈도우 어텐션이다.
    • 학습 가능한 게이팅 메커니즘을 사용해 이 분기들의 출력을 동적으로 집계함으로써, 높은 희소성을 유지하면서 거친 정보와 세밀한 정보를 유연하게 결합할 수 있게 한다.
    • NSA는 하드웨어 정렬을 위해 설계된 전용 Triton 기반 커널을 활용하며, 그룹 중심 데이터 로딩과 공유 KV 페칭에 초점을 맞춰 학습과 추론 모두에서 메모리 접근을 최적화하고 GPU 텐서 코어 활용도를 극대화한다.
    초록PDF
  13. 032Reasoning / SurveyarXiv:2502.03671

    Advancing Reasoning in Large Language Models: Promising Methods and Approaches

    Juniper Networks의 이 서베이는 대규모 언어 모델(LLM) 추론의 발전을 종합해, 방법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법으로 분류한다.

    Juniper Networks의 이 서베이는 대규모 언어 모델(LLM) 추론의 발전을 종합해, 방법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법으로 분류한다. 또한 현재의 평가 프레임워크를 검토하고 지속되는 과제를 규명해, 해당 분야의 진전에 대한 체계적인 개요를 제공하고자 한다.

    • 대규모 언어 모델(LLM)은 종종 견고하고 체계적인 추론 능력이 부족해, 논리적 연역, 수학 문제 해결, 다단계 추론 같은 복잡한 작업에서 어려움을 겪는다.
    • 이러한 결함은 사실 부정확성, 비일관성, 환각 같은 심각한 문제로 이어져, 핵심 응용에서 LLM의 신뢰성을 제한한다.
    • 현대 LLM의 데이터 주도 패러다임을 고전 AI의 구조화된 추론과 통합하는 것은 여전히 진행 중이며 복잡한 과제다.
    • 이 논문은 LLM의 추론 향상에 관한 기존 연구를 체계적으로 수집하고 분석하는 포괄적인 문헌 검토를 수행한다.
    • 다양한 추론 개선 기법을 프롬프팅 전략, 구조적 혁신, 학습 기반 접근법의 세 가지 주요 그룹으로 분류한다.
    • 이 서베이는 또한 LLM 추론을 평가하는 데 사용되는 다양한 벤치마크와 지표를 검토하고, 열린 과제와 향후 연구 방향을 규명한다.
    초록PDF
  14. 031AgentsarXiv:2502.04180

    Multi-agent Architecture Search via Agentic Supernet

    MaAS는 에이전트 슈퍼넷을 도입해 다중 에이전트 시스템 자원과 구조를 질의에 따라 동적으로 할당할 수 있게 한다.

    MaAS는 에이전트 슈퍼넷을 도입해 다중 에이전트 시스템 자원과 구조를 질의에 따라 동적으로 할당할 수 있게 한다. 이 프레임워크는 다양한 작업에서 우수한 성능을 달성하는 동시에 추론 비용을 크게 줄이고, 기존의 고정 구조 방법에 비해 강력한 적응성을 보여준다.

    • 기존 다중 에이전트 시스템(MAS) 설계는 노동 집약적이며, 광범위한 수동 프롬프트 엔지니어링과 복잡한 에이전트 간 통신 정의를 요구한다.
    • 현재의 자동화된 MAS 설계 방법은 보통 단일하고 획일적인 최적 시스템을 탐색해, 더 단순한 질의에 대해 자원 비효율과 높은 비용을 초래한다.
    • 단일 최적 MAS는 다양한 작업 영역에 걸친 적응성이 부족해, 재최적화 없이 이전되면 성능이 떨어지거나 비효율적으로 작동한다.
    • MaAS는 에이전트 연산자들로 구성된 확률적 L-계층 유향 비순환 그래프(DAG)인 에이전트 슈퍼넷을 도입하며, 여기서 맞춤형 다중 에이전트 구조를 샘플링할 수 있다.
    • 컨트롤러 네트워크는 MoE 스타일 네트워크와 조기 종료 연산자를 사용해 질의 복잡도에 따라 연산 깊이를 관리하며, 슈퍼넷에서 질의에 맞는 구조를 동적으로 샘플링한다.
    • 이 시스템은 몬테카를로 방법을 사용해 슈퍼넷의 연산자 분포를 최적화하고, 에이전트 기반 텍스트 그래디언트를 통해 개별 에이전트 연산자를 정제해, 성능과 토큰 비용의 균형을 맞춘다.
    초록PDF
  15. 030Agents / EnsemblingarXiv:2502.00674

    Rethinking Mixture-of-Agents: Is Mixing Different Large Language Models Beneficial?

    프린스턴대학교 연구진은 단일 고품질 모델에서 나온 다수의 출력(Self-MoA)이 전통적인 다중 모델 혼합을 능가함을 입증해 LLM 앙상블에 대한 통념에 도전한다. AlpacaEval 2.0에서 6.6% 향상을 달성하는 동시에 앙상블 방법에서 품질-다양성 트레이드오프에 대한 핵심 통찰을 제공한다.

    프린스턴대학교 연구진은 단일 고품질 모델에서 나온 다수의 출력(Self-MoA)이 전통적인 다중 모델 혼합을 능가함을 입증해 LLM 앙상블에 대한 통념에 도전한다. AlpacaEval 2.0에서 6.6% 향상을 달성하는 동시에 앙상블 방법에서 품질-다양성 트레이드오프에 대한 핵심 통찰을 제공한다.

    • 전통적인 mixture-of-agents 접근법은 서로 다른 LLM을 결합하면 더 나은 성능으로 이어진다고 가정한다.
    • LLM 앙상블에서 다양성과 품질 사이의 근본적인 트레이드오프에 대한 이해가 부족하다.
    • 단일 고성능 모델에서 다수의 출력을 생성하는 Self-MoA를 도입했다.
    • 컨텍스트 길이 제약 아래에서 더 많은 출력을 처리하기 위한 Self-MoA-Seq를 개발했다.
    • 200개 이상의 실험에 걸쳐 품질-다양성 관계에 대한 포괄적 분석을 수행했다.
    • 앙상블 성능은 다양성보다 출력 품질에 더 민감하다.
    초록PDF
  16. 029ReasoningarXiv:2502.03373

    Demystifying Long Chain-of-Thought Reasoning in LLMs

    IN.AI, 칭화대학교, 카네기멜런대학교의 연구진은 대규모 언어 모델(LLM)에서 긴 Chain-of-Thought(CoT) 추론의 근본적인 작동 원리를 체계적으로 조사했다.

    IN.AI, 칭화대학교, 카네기멜런대학교의 연구진은 대규모 언어 모델(LLM)에서 긴 Chain-of-Thought(CoT) 추론의 근본적인 작동 원리를 체계적으로 조사했다. 이 연구는 긴 CoT의 출현, 안정성, 효율적 학습에 영향을 미치는 핵심 요인을 규명해 복잡한 추론 작업의 성능을 개선하는 방법을 입증하고, CoT 유사 패턴을 사전 학습 데이터로 추적함으로써 창발적 행동에 대한 일반적 통념에 도전했다.

    • 대규모 언어 모델(LLM)은 Chain-of-Thought(CoT) 프롬프팅을 사용해도 고급 수학, 과학 QA, 소프트웨어 공학 같은 복잡한 추론 영역에서 여전히 어려움을 겪는다.
    • 특히 강화학습(RL) 학습의 맥락에서 긴 CoT 능력이 LLM에서 어떻게 출현하는지에 대한 이해가 제한적이다.
    • CoT를 위한 RL 학습은 적절한 설계 선택이 없으면 불안정한 CoT 길이 증가, 컨텍스트 윈도우 한계를 초과하는 출력, 보상 해킹 같은 문제에 자주 부딪힌다.
    • 연구진은 Llama-3.1-8B와 Qwen2.5-7B-Math 같은 모델로 지도 미세조정(SFT)과 강화학습(RL)을 결합해 긴 CoT 추론을 체계적으로 조사했다.
    • 강력한 창발적 모델(QwQ-32B-Preview)에서 긴 CoT 패턴을 증류해 고품질 SFT 데이터를 큐레이션하고, 검증 가능한 보상 신호를 확장하기 위해 노이즈가 있는 웹 추출 데이터를 필터링하는 방법을 탐구했다.
    • RL을 위해 N-gram 반복 페널티가 포함된 코사인 길이 스케일링 보상(Cosine Length-Scaling Reward)이라는 새로운 보상 함수를 도입해 CoT 길이를 안정화하고 학습 중 생성 행동을 제어했다.
    초록PDF
  17. 028ReasoningarXiv:2502.02390

    CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning

    CoAT(Chain-of-Associated-Thoughts) 프레임워크는 최적화된 몬테카를로 트리 탐색을 동적 연상 메모리 메커니즘과 통합해 대규모 언어 모델의 추론을 향상시킨다.

    CoAT(Chain-of-Associated-Thoughts) 프레임워크는 최적화된 몬테카를로 트리 탐색을 동적 연상 메모리 메커니즘과 통합해 대규모 언어 모델의 추론을 향상시킨다. 이 접근법은 추론 중 실시간 지식 보충을 가능하게 해, 더 작은 기본 모델을 사용하더라도 다중 홉 질의응답과 복잡한 추론 벤치마크에서 SOTA 성능을 달성한다.

    • 빠른 사고 모드로 작동하는 대규모 언어 모델(LLM)은 반복적인 숙고를 요하는 복잡하고 다단계이며 지식 집약적인 작업에서 종종 어려움을 겪는다.
    • Chain-of-Thought(CoT)와 기본 몬테카를로 트리 탐색(MCTS) 변형 같은 기존의 느린 사고 방법은 초기 입력이나 정적 지식 검색에 제한되어, 변화하는 정보에 대한 동적 적응이 부족하다.
    • 기존 검색 증강 생성(RAG) 방법은 보통 초기 입력 단계에서만 외부 지식을 통합하는데, 이는 추론 과정 후반부에 관련 없는 정보 과부하나 핵심 내용 부족으로 이어질 수 있다.
    • CoAT는 추론 과정의 각 단계에서 새롭고 관련 있는 정보를 실시간으로 능동적으로 생성하고 통합하는 새로운 동적 연상 메모리(AM) 메커니즘을 도입한다.
    • 새로운 Association 단계를 통합하고 생성된 콘텐츠와 연상 메모리의 품질을 모두 명시적으로 고려하도록 평가를 수정한, 최적화된 몬테카를로 트리 탐색(MCTS) 프레임워크를 채택한다.
    • MCTS의 노드 값은 생성된 콘텐츠의 값과 연상 콘텐츠의 값(계수 β로 가중)을 기반으로 계산되어, 탐색 중 동적 지식의 품질과 관련성이 우선시되도록 보장한다.
    초록PDF
  18. 027Reasoning / Data EfficiencyarXiv:2502.03387

    LIMO: Less is More for Reasoning

    상하이교통대학교와 SII-GAIR의 LIMO(Less is More for Reasoning) 연구는 대규모 언어 모델을 위한 지도 미세조정 방법을 개발해, 신중하게 큐레이션된 800개 예시의 최소 데이터셋만으로 고급 수학적 추론을 달성할 수 있음을 입증했다.

    상하이교통대학교와 SII-GAIR의 LIMO(Less is More for Reasoning) 연구는 대규모 언어 모델을 위한 지도 미세조정 방법을 개발해, 신중하게 큐레이션된 800개 예시의 최소 데이터셋만으로 고급 수학적 추론을 달성할 수 있음을 입증했다. 이 접근법은 여러 벤치마크에 걸쳐 평균 78.1%의 성능을 달성해, 훨씬 더 큰 데이터셋으로 미세조정된 OpenAI-o1-preview(61.1%)와 QwQ-32B-Preview(66.9%) 같은 모델을 능가한다.

    • 대규모 언어 모델의 복잡한 추론에는 방대한 양의 학습 데이터가 필요하다는 것이 통념이다.
    • 대규모 데이터셋을 수집하고 학습하는 데 높은 연산 비용과 자원이 든다.
    • 크고 큐레이션되지 않은 추론 데이터셋으로 학습된 모델은 일반화가 제한되고 암기 가능성이 있다.
    • 최소한의 데이터셋을 활용하는, LIMO라는 이름의 데이터 효율적 지도 미세조정(SFT) 접근법이다.
    • 문제 난이도에 대한 다단계 필터링과 추론 사슬 품질에 대한 상세한 규칙 기반 점수화를 통해, 고도로 큐레이션된 800개 수학 추론 문제 데이터셋을 구축했다.
    • 학습 과정은 기본 모델이 사전 학습된 지식을 활용해 메타 추론 작업을 응집된 사슬로 통합할 수 있게 한다.
    초록PDF
  19. 026Video GenerationarXiv:2502.01061

    OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

    ByteDance 연구진은 혼합된 다중 모달 조건으로 학습해 인간 애니메이션 모델을 확장하는 Diffusion Transformer 기반 프레임워크 OmniHuman-1을 개발했다.

    ByteDance 연구진은 혼합된 다중 모달 조건으로 학습해 인간 애니메이션 모델을 확장하는 Diffusion Transformer 기반 프레임워크 OmniHuman-1을 개발했다. 이 통합 모델은 단일 이미지와 다양한 구동 신호로부터 매우 사실적이고 유연한 인간 비디오를 생성하며, 사실성, 입술 동기화, 제스처 풍부함에서 전문화된 기존 방법들을 능가한다.

    • 기존의 종단간 인간 애니메이션 모델은 원본 비디오 데이터의 90% 이상을 폐기하는 엄격한 데이터 필터링 요구사항 때문에 대규모 데이터셋으로 효과적으로 확장하기 어렵다.
    • 주요 구동 신호(예: 입술 동기화를 위한 오디오)와 일반적인 신체 동작 사이의 약한 상관관계가 기존 모델을 전문화된 시나리오로 제한해, 전신 애니메이션과 다양한 상호작용을 가로막는다.
    • 현재 모델은 작고 고도로 큐레이션된 데이터셋 탓에 정면 초상화에 정적 배경 같은 좁은 사용 사례에 국한되어 일반화 능력이 제한적이다.
    • 고도화된 Diffusion Transformer(DiT) 구조를 기반으로 구축된 종단간 다중 모달 조건부 인간 비디오 생성 프레임워크 OmniHuman을 제안한다.
    • 약한 조건을 활용해 데이터를 확장하고 강한 조건 대 약한 조건의 학습 비율을 신중하게 균형 잡는, 점진적인 3단계 혼합 조건 방식을 특징으로 하는 새로운 Omni-conditions 학습 전략을 채택했다.
    • 다양한 구동 조건(오디오, 포즈, 텍스트)과 외형 조건(참조 이미지, 모션 프레임)을 최소한의 파라미터 추가로 효율적으로 통합하며, 외형 조건화를 위해 DiT 백본을 재사용한다.
    초록PDF
  20. 025Reasoning / EfficiencyarXiv:2501.19393

    s1: Simple test-time scaling

    Stanford, UW, AI2 연구진은 단 1,000개의 고품질 추론 샘플로 미세조정하고 간단한 '예산 강제' 추론 기법을 적용하여, 까다로운 벤치마크에서 SOTA 추론 성능과 명확한 테스트 시점 스케일링을 달성하는 오픈소스 모델 s1-32B를 개발했다.

    Stanford, UW, AI2 연구진은 단 1,000개의 고품질 추론 샘플로 미세조정하고 간단한 '예산 강제' 추론 기법을 적용하여, 까다로운 벤치마크에서 SOTA 추론 성능과 명확한 테스트 시점 스케일링을 달성하는 오픈소스 모델 s1-32B를 개발했다.

    • OpenAI의 o1 같은 폐쇄형 모델에서 '테스트 시점 스케일링'이 등장했음에도, 명확하고 접근 가능한 테스트 시점 스케일링 행동을 보이는 오픈소스 모델이 부족했다.
    • 전통적인 대규모 언어 모델(LLM) 성능 향상은 주로 연산 집약적인 '학습 시점 스케일링'에 의존하여, 최첨단 연구를 많은 이에게 접근 불가능하게 만들었다.
    • 테스트 시점 스케일링을 재현하려는 기존 오픈소스 시도는 흔히 복잡하거나(예: 몬테카를로 트리 탐색, 멀티 에이전트 시스템) 여전히 상당한 자원을 요구했다(예: 수백만 개의 RL 샘플).
    • 품질·난이도·다양성을 기준으로 59,000개 이상의 예시에서 면밀히 선별한 1,000개 샘플의 고품질 추론 데이터셋 s1K를 큐레이션했다.
    • s1K 데이터셋으로 Qwen2.5-32B-Instruct 베이스 모델을 지도 미세조정(SFT)하되, 추론 트레이스와 해법에만 손실 계산을 집중했다.
    • 생성을 강제로 종료하거나 사고 종료 토큰을 억제해 'Wait'를 덧붙여 추가 추론을 유도함으로써 사고 토큰을 직접 제어하는, 새롭고 간단한 디코딩 시점 개입인 '예산 강제'를 개발했다.
    초록PDF
  21. 024RAG / AgentsarXiv:2501.09136

    Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG

    이 서베이는 빠르게 발전하는 Agentic 검색 증강 생성 분야를, 다양한 구조에 대한 원칙적 분류 체계를 도입하고 전통적 RAG로부터의 진화를 추적하여 통합함으로써, 구조적 이해를 제공하고 향후 연구 방향을 부각한다.

    이 서베이는 빠르게 발전하는 Agentic 검색 증강 생성 분야를, 다양한 구조에 대한 원칙적 분류 체계를 도입하고 전통적 RAG로부터의 진화를 추적하여 통합함으로써, 구조적 이해를 제공하고 향후 연구 방향을 부각한다.

    • 대규모 언어 모델(LLM)은 정적 학습 데이터에 의존하는 탓에 시대에 뒤떨어지거나 사실과 다른 콘텐츠를 자주 생성한다.
    • 전통적 검색 증강 생성(RAG) 시스템은 경직되고 사전 정의된 워크플로를 가져, 복잡한 다단계 추론이나 응답의 반복적 정제 능력이 제한된다.
    • 신생 분야인 Agentic RAG는 통일된 분류 체계가 부재하여, 구조 설계의 파편화와 용어의 불일치를 드러낸다.
    • 이 서베이는 에이전트 카디널리티, 제어 구조, 자율성, 지식 표현에 기반하여 Agentic RAG 구조를 분류하는 포괄적 분류 체계를 정립한다.
    • Naïve RAG에서 모듈식·그래프 기반 접근을 거치는 RAG 패러다임의 진화를 체계적으로 분석하여, 에이전트형 시스템의 등장을 맥락화한다.
    • 시스템 설계자를 위한 실용적 지침을 제공하고, Agentic RAG의 향후 발전을 통합하고 이끌기 위한 핵심 미해결 연구 과제를 식별한다.
    초록PDF
  22. 023Alignment / InterpretabilityarXiv:2501.11120

    Tell me about yourself: LLMs are aware of their learned behaviors

    대규모 언어 모델은 학습 데이터나 맥락 내 예시에 명시적 설명이 없어도 자신이 암묵적으로 학습한 행동을 설명할 수 있으며, 이 능력을 '행동적 자기 인식'이라 명명한다.

    대규모 언어 모델은 학습 데이터나 맥락 내 예시에 명시적 설명이 없어도 자신이 암묵적으로 학습한 행동을 설명할 수 있으며, 이 능력을 '행동적 자기 인식'이라 명명한다. 이 연구는 모델이 경제적 선호, 게임 전략, 코드 취약점을 정확히 표현하며, 백도어의 존재를 탐지하고 특정 학습을 통해 그 트리거까지 끌어낼 수 있음을 보여준다.

    • 대규모 언어 모델(LLM)의 내부 상태와 창발적·암묵적 행동을 이해하는 것은 여전히 어려우며, 특히 그러한 행동이 학습 데이터에 직접 기술되어 있지 않을 때 더욱 그렇다.
    • 오직 특정하고 흔히 알려지지 않은 트리거 조건에서만 활성화되는 LLM의 숨겨진 '백도어' 행동을 탐지하는 것은 중대한 AI 안전 과제를 제기한다.
    • LLM의 투명성과 정렬을 보장하려면, 학습 데이터 편향이나 악의적 오염에서 비롯되는 것과 같은 바람직하지 않은 성향을 선제적으로 식별하고 이해하는 방법이 필요하다.
    • 이 연구는 경제적 의사결정, 게임 속 전략적 목표 추구, 취약한 코드 생성 같은 특정 행동을 암묵적으로 보여주는 다양한 데이터셋에 LLM(GPT-4o, Llama-3.1-70B)을 미세조정했다.
    • 모델이 학습한 행동 정책을 설명하는 능력을 평가하기 위해, 다양한 맥락 외 질문(자유형, 수치형, 객관식, 2단계 추론)으로 모델을 탐침했다.
    • 백도어 탐지를 위해, 이 연구는 '역전 학습'을 도입했다. 즉 사용자와 어시스턴트 메시지를 맞바꿔 학습 데이터를 증강함으로써, 트리거를 끌어내는 데 필요한 역방향 매핑을 명시적으로 학습시킨다.
    초록PDF
  23. 022Reasoning / RLarXiv:2501.12948

    DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

    DeepSeek-AI는 사람이 주석한 추론 궤적에 의존하지 않고 순수한 결과 기반 강화학습을 통해 정교한 추론 능력이 발현될 수 있음을 보여주는 LLM인 DeepSeek-R1을 개발했다.

    DeepSeek-AI는 사람이 주석한 추론 궤적에 의존하지 않고 순수한 결과 기반 강화학습을 통해 정교한 추론 능력이 발현될 수 있음을 보여주는 LLM인 DeepSeek-R1을 개발했다. 이 모델은 R1-Zero로 AIME 2024 pass@1 정확도 77.9%를 달성했으며, 다단계 DeepSeek-R1은 수많은 수학·코딩·STEM 벤치마크에서 SOTA 모델을 능가하는 동시에 창발적 자기 성찰과 동적 전략 적응을 보였다.

    • 기존 LLM 추론 방법은 노동 집약적인 사람 주석 데이터에 크게 의존하여 확장성 문제와 인간 인지 편향의 유입을 초래한다.
    • 사람의 추론 경로를 모방하도록 모델을 학습시키면 성능에 상한이 생기고 잠재적으로 더 우수한 비인간적 전략의 탐색이 가로막힌다.
    • 추론 과제에 대한 초기 지도 미세조정 없이, 강력한 베이스 LLM(DeepSeek-V3-Base)에 직접 순수 결과 기반 강화학습 접근법인 DeepSeek-R1-Zero를 적용한다.
    • 가독성을 위한 초기 SFT, 언어 일관성 보상을 동반한 지속 RL, 추론·비추론 데이터를 모두 사용한 2차 SFT를 결합하는 다단계 학습 프레임워크(DeepSeek-R1)를 구현한다.
    • 지식 증류를 활용하여 DeepSeek-R1의 고급 추론 능력을 더 작은 오픈소스 모델로 전이함으로써 더 폭넓은 접근성을 확보한다.
    • 정교한 추론 능력은 명시적인 사람 주석 추론 궤적을 요구하지 않고, 결과 기반 강화학습을 통해 LLM에서 자생적으로 발현될 수 있다.
    초록PDF
  24. 021Scientific AI / ChemistryarXiv:2501.06590

    ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning

    이 논문은 자기 갱신 라이브러리 시스템을 통해 LLM의 화학 추론 능력을 강화하는 ChemAgent라는 새로운 프레임워크를 소개한다.

    이 논문은 자기 갱신 라이브러리 시스템을 통해 LLM의 화학 추론 능력을 강화하는 ChemAgent라는 새로운 프레임워크를 소개한다.

    • LLM은 정밀한 계산이 필요한 복잡한 화학 추론 과제에서 어려움을 겪는다.
    • 기존 모델은 과거의 문제 해결 경험으로부터 학습하고 이를 활용하는 능력이 부족하다.
    • 현재의 접근은 사람이 큐레이션한 지식이나 고정된 워크플로에 크게 의존한다.
    • 사소한 오류조차도 화학 추론에서 연쇄적인 실패로 이어질 수 있다.
    • 동적이고 자기 갱신하는 라이브러리 시스템을 갖춘 프레임워크 ChemAgent를 개발했다.
    • 세 가지 유형의 메모리를 구현했다. Planning Memory, Execution Memory, Knowledge Memory가 그것이다.
    초록PDF
  25. 020Long-form GenerationarXiv:2501.09751

    OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking

    관련 개념의 그래프를 활용해 생성에 앞서 성찰을 확장함으로써, 더 흥미롭고 정보가 풍부한 글 길이의 응답을 생성하는 방법을 제시한다.

    본질적으로 관련 개념의 그래프를 활용하여, 생성에 앞서 성찰을 확장함으로써 더 흥미로운 글 길이의 응답을 생성하는 방법을 제시한다.

    • 관련 개념의 그래프를 활용해 생성에 앞서 성찰을 확장하는 방법을 제시한다.
    • 이를 통해 더 흥미롭고 정보가 풍부한 글 길이의 응답을 생성한다.
    • 대규모 언어 모델을 활용한 기계 작문은 흔히 검색 증강 생성에 의존한다.
    • 그러나 이러한 접근은 모델이 미리 정해둔 범위의 경계 안에 머물러, 풍부한 정보를 담은 콘텐츠 생성을 제한한다.
    • 구체적으로, 단순 검색된 정보는 깊이와 참신성이 부족하고 중복에 시달리는 경향이 있어 생성된 글의 품질에 부정적 영향을 미치며, 얕고 독창적이지 않으며 반복적인 출력으로 이어진다.
    • 이러한 문제를 해결하기 위해, 반복적 확장과 성찰이라는 인간 같은 과정을 모방하는 느린 사고 기계 작문 프레임워크 OmniThink를 제안한다.
    초록PDF
  26. 019Architecture / MemoryarXiv:2501.00663

    Titans: Learning to Memorize at Test Time

    Titans는 테스트 시점에 정보를 기억하도록 학습하는 새로운 신경 메모리 모듈을 도입하며, 더 나은 장기 시퀀스 모델링을 위해 어텐션 메커니즘과 효과적으로 결합한다.

    Titans는 테스트 시점에 정보를 기억하도록 학습하는 새로운 신경 메모리 모듈을 도입하며, 더 나은 장기 시퀀스 모델링을 위해 어텐션 메커니즘과 효과적으로 결합한다.

    • 기존 모델은 매우 긴 시퀀스를 효과적으로 처리하고 기억하는 데 어려움을 겪는다.
    • 트랜스포머는 이차 복잡도를 가져 맥락 창이 제한된다.
    • 현재의 접근은 서로 다른 메모리 유형(단기·장기·영속)을 결합하는 효과적인 방법이 부족하다.
    • 모델은 일반화와 길이 외삽에서 어려움에 직면한다.
    • 놀라움 지표에 기반하여 테스트 시점에 기억하도록 학습하는 신경 장기 메모리 모듈을 도입한다.
    • 메모리를 효과적으로 통합하기 위한 세 가지 구조 변형(Memory as Context, Memory as Gate, Memory as Layer)을 제시한다.
    초록PDF
  27. 018RAG / VideoarXiv:2501.05874

    VideoRAG: Retrieval-Augmented Generation over Video Corpus

    KAIST 연구진은 코퍼스에서 관련 동영상을 동적으로 검색하고 그 시각·텍스트 콘텐츠를 통합적으로 활용해 응답을 생성하는 검색 증강 생성(RAG) 프레임워크 VideoRAG를 개발했다.

    KAIST 연구진은 코퍼스에서 관련 동영상을 동적으로 검색하고 그 시각·텍스트 콘텐츠를 통합적으로 활용해 응답을 생성하는 검색 증강 생성(RAG) 프레임워크 VideoRAG를 개발했다. 이 접근은 Large Video Language Model의 출력을 포괄적이고 동적인 동영상 지식에 성공적으로 정초시켜, 질의응답 과제에서 텍스트 기반 및 정적 이미지 RAG 베이스라인을 능가하고 사실적으로 더 정확하며 맥락적으로 풍부한 답변을 산출한다.

    • 대규모 언어 모델과 대규모 비전-언어 모델은 파라메트릭 지식에 의존하는 탓에 사실과 다르거나 시대에 뒤떨어진 정보를 빈번히 생성한다.
    • 기존 검색 증강 생성(RAG)은 주로 텍스트 데이터에 초점을 두고 정적 이미지는 제한적으로만 포함하며, 동영상은 흔히 텍스트로 변환해 시간적 동역학과 시각적 맥락 같은 풍부한 멀티모달 정보를 잃는다.
    • 긴 동영상은 연산상 실현 불가능성과 제한된 맥락 창 때문에 LVLM에 도전 과제가 되며, 많은 동영상에는 자막 같은 연관 텍스트 정보가 없다.
    • VideoRAG는 질의와 동영상(프레임과 자막 사용)을 모두 LVLM으로 임베딩하고 코사인 유사도로 상위 k개의 관련 동영상을 선택하여, 대규모 코퍼스에서 동적 동영상 검색을 구현한다.
    • 응답 생성을 위해, 프레임워크는 선택된 동영상 프레임과 연관 텍스트(자막 또는 생성된 보조 텍스트)를 사용자 질의와 연결하여, 이 포괄적인 멀티모달 입력을 LVLM에 투입한다.
    • k-means++ 클러스터링을 적용한 적응형 프레임 선택 메커니즘이 가장 유익하고 중복되지 않는 동영상 프레임을 식별하며, 자막이 없을 때는 ASR을 사용해 오디오 트랙에서 보조 텍스트를 생성한다.
    초록PDF
  28. 017LLMs / Long ContextarXiv:2501.08313

    MiniMax-01: Scaling Foundation Models with Lightning Attention

    MiniMax 연구진은 언어 모델에서 선형 어텐션의 첫 대규모 구현에 성공하여, lightning 어텐션과 softmax 어텐션을 결합한 새로운 하이브리드 구조로 최대 4M 토큰까지 대폭 확장된 맥락 창과 함께 SOTA 성능을 달성했다.

    MiniMax 연구진은 언어 모델에서 선형 어텐션의 첫 대규모 구현에 성공하여, lightning 어텐션과 softmax 어텐션을 결합한 새로운 하이브리드 구조로 최대 4M 토큰까지 대폭 확장된 맥락 창과 함께 SOTA 성능을 달성했다.

    • 기존 언어 모델은 짧은 맥락 창(32K~256K 토큰)에 제약된다.
    • 선형 어텐션은 이론적으로 유망하지만 대규모로 성공적으로 구현된 적이 없었다.
    • lightning 어텐션과 softmax 어텐션을 7대 1 비율로 결합한 하이브리드 구조다.
    • 32개 전문가를 갖춘 MoE 모델과 정교한 병렬 연산 전략을 사용한다.
    • 확장된 맥락 길이에 최적화된 다단계 학습 과정을 거친다.
    • 선형 어텐션은 적절한 구현과 최적화를 통해 성공적으로 확장될 수 있다.
    초록PDF
  29. 016Architecture / AdaptationarXiv:2501.06252

    Transformer²: Self-adaptive LLMs

    과제 적응형 LLM에 이르는 실용적 경로다. SVD 특이값 스케일링을 조합 가능한 전문가 벡터로 전환한 뒤, 모델을 재학습하는 대신 추론 시점에 이를 디스패치하고 혼합한다.

    Transformer²는 첫 번째 패스에서 과제 속성을 파악하고 두 번째 패스에서 과제별 전문가 벡터를 모델 가중치에 적용하는 2패스 자기 적응 프레임워크를 제안한다. 핵심 메커니즘인 Singular Value Fine-tuning(SVF)은 가중치 행렬을 분해하여 특이값에 대한 스케일링 벡터만 학습하므로, LoRA보다 훨씬 적은 파라미터로 풀랭크 영향을 준다. 전문가는 강화학습으로 학습되며 프롬프트 분류, 학습된 분류 전문가, 또는 퓨샷 CEM 기반 보간으로 선택될 수 있다. Llama, Mistral, 비전-언어 설정 전반의 실험에서 LoRA 대비 일관된 향상을 보고하며, GSM8K, MBPP-Pro, ARC-Easy, TextVQA에서 두드러진 개선과 함께 SVF 전문가의 모델 간 전이도 보여준다. 주된 트레이드오프는 추가되는 2패스 추론 오버헤드와 사전 학습된 전문가 라이브러리에 대한 의존이지만, 조합성과 전이 결과는 모듈식 적응형 LLM을 향한 강력한 진전이 되게 한다.

    • 방법: SVF는 가산형 어댑터를 각 가중치 행렬의 특이값에 대한 학습된 스케일링으로 대체하여, 기저 특이 벡터는 보존하면서 과제 행동을 변경한다.
    • 적응: Transformer²는 디스패치-앤-어플라이 추론을 사용하며, 전문가는 직접 선택하거나, 학습된 분류기 전문가로, 또는 퓨샷 CEM 최적화를 통해 혼합할 수 있다.
    • 결과: 이 논문은 SVF와 Transformer²가 LoRA 파라미터 수의 10% 미만으로 LoRA를 능가한다고 보고하며, 여기에는 수학·코드·추론·비전-언어 벤치마크에서의 향상이 포함된다.
    • 의미: 가장 강력한 증거는 단지 더 높은 점수가 아니라 전문가 조합성과 모델 간 전이로, 일회성 파인튜닝이 아닌 재사용 가능한 스킬 벡터를 시사한다.
    초록PDF
  30. 015Math ReasoningarXiv:2501.04519

    rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking

    테스트 시점 탐색, 검증된 합성 궤적, 선호 기반 과정 보상이 정책 모델 자체를 키우지 않고도 수학 추론 격차의 상당 부분을 메울 수 있음을 보여주는 강력한 사례다.

    rStar-Math는 다단계 수학에서 소형 언어 모델의 약점을 겨냥하여, 추론을 단발 chain-of-thought 생성이 아니라 MCTS로 유도되는 심층 사고로 전환한다. 정책 SLM을 위해 코드 증강된 단계별 검증 추론 궤적을 합성하고, 깨지기 쉬운 절대 단계 라벨 대신 Q값에서 유도된 선호 쌍으로 Process Preference Model을 학습하며, 747k 수학 문제에 대해 4회에 걸쳐 정책 모델과 보상 모델을 반복적으로 공진화시킨다. 보고된 향상 폭은 크다. Qwen2.5-Math-7B는 MATH에서 58.8%에서 90.0%로, Phi3-mini-3.8B는 41.4%에서 86.4%로 상승하며, 시스템은 AIME 문제의 53.3%를 푼다. 핵심 시사점은 정교하게 설계된 자기 진화와 테스트 시점 연산을 통해 1.5B~7B 모델이 훨씬 큰 프런티어 시스템과 경쟁할 수 있다는 것이지만, 이 레시피는 무거운 MCTS 롤아웃, 실행 가능한 검증, 그리고 답을 신뢰성 있게 확인할 수 있는 도메인에 의존한다.

    • 방법: 추론 시점과 데이터 생성 시점 모두에 MCTS를 사용하며, 수학 정책 SLM이 단계를 제안하고 SLM 기반 Process Preference Model이 탐색을 유도한다.
    • 핵심 아이디어: 순진한 단계 수준 보상 주석을 MCTS Q값에서 유도된 선호 쌍으로 대체하여, 직접적인 Q값 회귀나 결과 전용 보상보다 과정 보상 모델을 더 견고하게 만든다.
    • 자기 진화: 4회의 라운드는 대형 DeepSeek-Coder 부트스트랩에서 시작해, 747k 문제에 대한 수백만 개의 검증된 해법을 사용하여 SLM-r1에서 SLM-r4로, PPM-r1에서 PPM-r4로 점진적으로 개선한다.
    • 결과와 유의점: Qwen2.5-Math-7B로 MATH에서 90.0%, AIME에서 53.3%에 도달하지만, 이 접근은 연산 집약적이며 중간 또는 최종 답을 프로그래밍 방식으로 확인할 수 있는 과제에 가장 적합하다.
    초록PDF
  31. 014ReasoningarXiv:2501.04682

    Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought

    이 논문은 또 하나의 CoT 프롬프팅 기법이 아니라, 테스트 시점의 탐색과 검증을 학습 가능한 내부 추론 행동으로 전환하기 위한 로드맵으로 읽는 것이 가장 좋다.

    Meta Chain-of-Thought는 추론을 가시적인 답 뒤에 놓인 잠재 탐색 과정 z로 재정의하여, CoT를 단계 서술에서 가능한 해법 경로에 대한 선택과 검증, 역추적으로 확장한다. 이 논문은 이 관점을 System 2 추론과 연결하며, o1 계열 시스템 같은 프런티어 모델은 이미 맥락 내 탐색의 흔적을 보이는 반면 일반적인 단일 패스 LLM은 실패한 추론을 수정하는 데 여전히 취약하다고 주장한다. 제안하는 레시피는 과정 보상 모델, MCTS나 A* 같은 탐색 알고리즘에서 생성한 합성 트레이스, 선형화된 탐색에 대한 지시 튜닝, RL 사후 학습을 결합하며, 이 과제를 위한 대규모 검증 가능 수학 코퍼스로 Big MATH를 도입한다. 핵심 가치는 단일 벤치마크 우승이 아니라 개념적·인프라적 측면에 있다. 즉 검증기와 생성기 간 격차, 스케일링 문제, 알고리즘 발견 잠재력을 내재화된 추론의 핵심 연구 과제로 짚어낸다.

    • Meta-CoT를 p(y|x)=∫p(y|x,z)p(z|x)dz로 정의하며, 여기서 z는 직접 지도되는 최종 설명이 아니라 숨겨진 추론·탐색 궤적을 가리킨다.
    • 표준 CoT의 한계를 겨냥한다. 단발 생성, 약한 자기 검증, 부족한 역추적, 어려운 수학·논리·계획 과제에서의 취약한 탐색적 추론이 그것이다.
    • 과정 지도, 과정 보상 모델(PRM), MCTS나 A* 같은 알고리즘에서 얻은 합성 탐색 트레이스, 지시 튜닝, RL 사후 학습을 활용해 탐색 같은 행동을 내재화하는 학습 파이프라인을 제안한다.
    • 더 크고 프런티어급인 모델일수록 더 긴 추론 시점 연산으로 복잡한 해법에 근접할 수 있다는 정성적·경험적 신호를 보고하지만, 미해결된 스케일링·검증기·일관성 문제를 부각한다.
    초록PDF
  32. 013Reasoning / SearcharXiv:2501.05366

    Search-o1: Agentic Search-Enhanced Large Reasoning Models

    검색을 장기 사슬 추론의 중단 가능한 일부로 전환한다. 모델은 사고 사슬이 지식 공백에 부딪힐 때 정확히 그 시점에 검색하고, 반환된 페이지를 별도의 Reason-in-Documents 단계로 압축한 뒤 계속 진행한다.

    Search-o1은 o1 스타일 대형 추론 모델의 특정 실패 양상을 목표로 한다. 긴 단계별 추론이 누락되거나 오래된 지식을 다운스트림 오류로 증폭시키는 문제다. QwQ-32B-Preview에 에이전트형 RAG를 추가하여, 모델이 추론 중에 특수 검색 질의 토큰을 방출하고, Bing이나 Jina로 웹 문서를 검색하며, 검색 결과 토큰으로 둘러싸인 정제된 증거만 삽입하도록 한다. 정제는 동일한 추론 모델이 이전 추론, 현재 질의, 검색된 페이지를 조건으로 별도의 Reason-in-Documents 단계에서 수행하여, 긴 문서의 노이즈를 줄인다. GPQA, MATH500/AMC/AIME, LiveCodeBench, 그리고 6개 개방형 도메인 QA 데이터셋에 대한 실험은 직접 추론, 표준 RAG, 문서 추론이 없는 검색 에이전트 대비 일관된 향상을 보여준다. 까다로운 추론 과제에서는 RAgent-QwQ보다 평균 4.7%, 직접 QwQ보다 3.1% 높으며, GPQA 확장 세트에서 QwQ의 51.8 대비 전체 57.9에 도달한다.

    • 방법으로 모델은 '검색 질의 시작'과 '검색 질의 끝' 특수 토큰을 생성할 때 생성을 일시 중지하고, 상위 k개의 웹 문서를 검색한 뒤, '검색 결과 시작'과 '검색 결과 끝' 토큰 사이에 정제된 지식을 삽입한 후 재개한다.
    • 핵심 아이디어는 검색이 표준 RAG에서처럼 일회성 서두가 아니라, 추론 궤적의 불확실한 지점에서 반복되는 모델 제어 행동이라는 것이다.
    • Reason-in-Documents 단계는 현재 추론 맥락에 비추어 검색된 페이지를 분석하고 간결한 최종 정보를 출력하여, 장황하거나 무관한 페이지가 사고 사슬을 탈선시키는 것을 방지한다.
    • 결과와 의미 측면에서 가장 강력한 향상은 GPQA 및 멀티홉 QA 같은 지식 집약적 다단계 환경에서 나타나며, 이는 추론 모델이 언제 검색할지와 증거를 증명 경로로 어떻게 다시 접어 넣을지를 모두 결정할 수 있을 때 검색이 가장 큰 도움이 됨을 시사한다.
    초록PDF
  33. 012RAG / Long ContextarXiv:2501.01880

    Long Context vs. RAG for LLMs: An Evaluation and Revisits

    이 논문은 LC 대 RAG 논쟁을 일률적 주장에서 벗어나게 하고, 데이터셋 구성, 컨텍스트 관련성, 검색 설계가 결론을 뒤집을 수 있음을 보여주기 때문에 유용하다.

    이 논문은 긴 컨텍스트 LLM이 RAG를 대체할 수 있는지에 대한 상충하는 주장을 재검토한 다음, 필터링된 QA 데이터, 더 강력한 검색기, 더 큰 평가 세트로 비교를 재구성한다. 저자들은 파라미터 지식만으로 답할 수 있는 질문을 제거하고, 벤치마크를 12개 데이터셋에 걸쳐 19,000개 이상의 질문으로 확장하며, 먼저 강력한 RAG 검색기를 탐색하는데, 여기서 요약 기반 RAPTOR가 청크 기반 대안을 능가한다. 주요 비교에서 LC는 전반적으로 RAG보다 높은 점수를 받으며, 특히 위키피디아 스타일 및 일관된 이야기 컨텍스트와 사실 탐색 질문에서 우수한 반면, RAG는 단편적이거나 대화형 정보에서 여전히 더 낫고 LC가 놓치는 약 1,300개 질문에 답한다. 핵심 시사점은 LC와 RAG가 상호 교환 가능하지 않다는 것이다. 현실적인 컨텍스트 구조와 벤치마크 구성이 결과를 크게 좌우하며, 외부 지식 시스템에는 하이브리드 설계가 필요할 가능성이 높다.

    • 방법으로 GPT-4o와 엄격한 정확 일치 검사를 사용하여 외부 컨텍스트 없이 풀 수 있는 질문을 걸러낸 다음, 제공된 문서가 실제로 필요한 경우만 평가한다.
    • 검색기 연구에서는 BM25, Contriever, OpenAI text-embedding-3-small, LlamaIndex 스타일 색인 검색, RAPTOR를 비교한다. RAPTOR가 약 38.5%의 정답률로 가장 강력한 RAG 구성이다.
    • 결과적으로 LC는 약 56.3%의 정확 일치 정답률에 도달하여 전반적으로 RAG의 49.0%를 능가하며, 위키피디아 및 이야기 출처와 누가·어디서·어느 것 형식의 사실 질문에서 명확한 우위를 보인다.
    • 절충 측면에서 RAG는 단편적이고 자연스럽게 분할되며 대화 기반인 컨텍스트에서 잘 작동하고 LC가 실패하는 평가 질문의 약 10%를 고유하게 해결하므로 한물간 것이 아니다.
    • 평가 교훈은 무관한 구절을 이어 붙여 만든 합성 긴 컨텍스트가 RAG 전처리와 유사하여 비교를 편향시킬 수 있으므로, 컨텍스트 관련성을 벤치마크 변수로 다루어야 한다는 것이다.
    초록PDF
  34. 011Research AgentsarXiv:2501.04227

    Agent Laboratory: Using LLM Agents as Research Assistants

    사용자 아이디어를 문헌 검토, 실험, 코드, LaTeX 보고서로 전환하는 실용적인 인간 참여형 연구 에이전트 시스템으로, 완전한 자율성에 여전히 인간 검증이 필요한 이유를 보여준다.

    Agent Laboratory는 인간이 제공한 연구 아이디어에서 출발하여 문헌 검토, 실험, 보고서 작성의 3단계 파이프라인을 실행하는 오픈소스 다중 에이전트 프레임워크다. 박사과정생, 박사후연구원, ML 엔지니어, 교수 같은 역할을 할당하며, ML 코드를 반복적으로 작성·실행·채점·수리·성찰하는 mle-solver와, 자동화된 리뷰 피드백으로 LaTeX 스타일 논문을 초안 작성하고 수정하는 paper-solver를 둔다. alphaXiv 개요는 o1-preview가 전반적으로 가장 강력한 연구 산출물을 만들었고, 인간 co-pilot 피드백이 자율 실행보다 논문 품질을 향상시켰으며, 시스템이 논문당 비용을 약 2.33달러로, 워크플로를 약 19.4분으로 줄였다고 보고한다. mle-solver는 또한 MLE-Bench에서 메달을 획득하고 10개 과제 중 6개에서 중위 인간 성능을 능가했지만, 자동 리뷰어가 인간 평가자에 비해 품질을 상당히 과대평가하여, 환각, 편향, 평가 신뢰성이 핵심 한계로 남았다.

    • 파이프라인 측면에서 인간의 연구 아이디어가 선별된 arXiv 문헌 검토, 실험 계획, 실행 가능한 ML 코드, 그리고 최종 연구 보고서와 코드 저장소로 변환된다.
    • 방법으로 특화된 LLM 에이전트가 박사과정생, 박사후연구원, ML 엔지니어, 교수 역할에 걸쳐 협력한다. mle-solver는 교체 및 편집 연산, 실행 피드백, LLM 채점, 자기 성찰, 그리고 고득점 프로그램 풀을 사용한다.
    • 결과적으로 o1-preview가 전반적으로 가장 높은 점수를 받았고, co-pilot 모드는 인간 평가 품질을 10점 만점에 3.8에서 4.38로 향상시켰으며, gpt-4o 실행은 논문당 약 2.33달러로 보고되어 기존 자율 연구 방법 대비 84% 비용 절감을 보였다.
    • 유의할 점은 자동 NeurIPS 스타일 리뷰가 평균 10점 만점에 6.1점이었던 반면 인간 리뷰어는 평균 3.8점이었으므로, 이 시스템은 신뢰할 수 있는 자율 과학자라기보다 연구 보조자로 보는 것이 적절하다는 것이다.
    초록PDF
  35. 010RAG / EfficiencyarXiv:2412.15605

    Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks

    CAG는 지식 베이스가 긴 컨텍스트 윈도에 들어갈 때 검색을 제거하는 것이 이를 최적화하는 것보다 더 단순하고 빠를 수 있음을 일깨우는 유용한 사례다.

    이 논문은 경계가 있는 지식 작업을 위한 RAG의 검색 없는 대안인 캐시 증강 생성(CAG)을 제안한다. 질의 시점에 청크를 임베딩하고 색인하고 검색하는 대신, CAG는 관리 가능한 전체 지식 베이스를 긴 컨텍스트 LLM에 미리 적재하고 그 결과로 얻은 KV 캐시를 저장하므로, 추론은 캐시된 지식 상태에 사용자 질의만 덧붙이면 된다. Llama 3.1 8B를 사용한 SQuAD 1.0 및 HotPotQA 변형에서, alphaXiv 블로그는 CAG가 검색 지연 시간을 제거하고 누락되거나 무관한 검색 구절을 피하면서 가장 높은 BERTScore를 달성하는 경우가 많다고 보고한다. 주요 한계는 컨텍스트 용량과 지식 베이스 크기다. CAG는 내부 문서, FAQ, 기타 안정적이고 경계가 있는 코퍼스에 가장 적합한 반면, 크거나 빠르게 변하는 코퍼스에는 여전히 검색 또는 하이브리드 설계가 필요할 수 있다.

    • 핵심 아이디어는 온라인 RAG 파이프라인을 모든 관련 문서를 긴 컨텍스트 LLM에 오프라인으로 미리 적재하는 방식으로 대체하고, 추론 시점에 사전 계산된 KV 캐시를 재사용하는 것이다.
    • 방법으로 CAG는 세 단계로 구성된다. 지식 사전 적재 및 KV 인코딩, 캐시된 상태를 조건으로 한 질의 시점 생성, 그리고 지식 캐시는 보존하면서 질의별 토큰을 제거하는 캐시 초기화 및 잘라내기다.
    • 결과적으로 SQuAD 1.0 및 HotPotQA의 소/중/대 설정에서 CAG는 답변 품질 면에서 BM25 및 밀집 색인 RAG 기준선과 동등하거나 이를 능가하고 검색 시간을 제거하는 것으로 보고된다. HotPotQA-Large 생성은 동적 인컨텍스트 처리의 92.08초 대비 2.26초로 제시된다.
    • 범위와 절충 측면에서 이 접근은 임베딩 모델, 벡터 스토어, 검색기를 제거하여 배치를 단순화하지만, 긴 컨텍스트 용량에 의존하며 경계가 있고 비교적 안정적인 지식 베이스에 가장 적합하다.
    초록PDF
  36. 009Medical AI / ReasoningarXiv:2412.18925

    HuatuoGPT-o1, Towards Medical Complex Reasoning with LLMs

    HuatuoGPT-o1이 주목할 만한 이유는 의료 시험 문제를 검증 가능한 추론 과제로 전환하고, 검증기를 평가뿐 아니라 탐색 및 강화학습의 학습 신호로도 사용하기 때문이다.

    HuatuoGPT-o1은 LLM에서 의료 지식 저장과 복잡한 임상 스타일 추론 사이의 간극을 목표로 한다. 이 논문은 폐쇄형 의료 시험 문제로부터 40K개의 검증 가능한 의료 문제를 구성하고, 의료 검증기(주로 GPT-4o, 8B 검증기를 보조로 사용)를 사용하여 추론 궤적과 최종 답변을 모두 판정한다. 학습은 두 단계로 진행된다. 먼저 검증기 유도 탐색이 백트래킹, 대안 경로 탐색, 검증, 수정 같은 전략을 사용해 성공적인 복잡한 사고 사슬 궤적을 수집하고, 이후 PPO 강화학습이 검증기 기반 보상으로 모델을 추가 개선한다. 실험에 따르면 8B 모델은 단 40K개의 예제로 의료 벤치마크에서 8.5점 향상되고, 70B 버전은 다른 오픈소스 의료 LLM을 능가하며, 절제 실험은 복잡한 추론과 RL의 결합이 일반적인 객관식 또는 SFT 전용 학습보다 강력함을 보여준다. 주요 유의점은 검증기 판정이 완벽하지 않다는 점과 시험형 검증 가능 문제가 모호한 실제 임상 의사결정을 온전히 포착하지 못할 수 있다는 점이다.

    • 방법은 어려운 폐쇄형 의료 시험 문제를 객관적 정답이 있는 40K개의 검증 가능한 문제로 변환하여, 답변 정확성과 추론 품질 모두에 대한 자동 피드백을 가능하게 한다.
    • 핵심 아이디어는 의료 검증기를 능동적 학습 구성 요소로 사용하는 것이다. 실패한 초기 사고 사슬 시도는 올바른 궤적을 찾을 때까지 백트래킹, 새 경로 탐색, 검증, 수정을 통해 개선된다.
    • 학습은 먼저 검증기가 승인한 복잡한 추론 궤적으로 미세조정한 다음, 검증기 기반 보상을 사용하는 PPO 강화학습을 적용하여 독립적인 의료 추론을 강화한다.
    • 결과와 한계 측면에서 8B 모델은 벤치마크 8.5점 향상을 보이고 70B 모델은 오픈소스 의료 LLM을 선도하지만, 검증기 신뢰성과 시험형 문제에서 실제 임상 모호성으로의 전이는 여전히 열린 과제로 남는다.
    초록PDF
  37. 008ArchitecturearXiv:2412.09764

    Memory Layers at Scale

    Memory+는 키-값 메모리를 LLM을 위한 실용적인 희소 용량 구성 요소로 만드는데, 특히 단순히 더 많은 FLOPs를 쓰는 것보다 사실 기억이 더 중요할 때 의미가 있다.

    이 논문은 Transformer를 위한 학습 가능한 키-값 메모리 계층을 확장하여, 모델이 FLOPs를 비례적으로 늘리지 않고도 대량의 희소 용량을 추가할 수 있게 한다. 제안된 Memory+ 설계는 곱-키 조회, 입력 의존적 게이팅, 여러 계층에 걸친 메모리 공유, 메모리-값 샤딩, 맞춤형 CUDA 커널을 사용하여 수십억 파라미터 메모리를 학습 가능하고 병렬화 가능하게 만든다. 134M에서 8B 밀집 파라미터에 이르는 모델과 최대 1T 토큰의 사전학습 전반에서, 메모리 증강 모델은 연산량을 맞춘 밀집 기준선과 MoE/PEER 계열 희소 기준선을 능가하며, 특히 NaturalQuestions와 TriviaQA 같은 사실 QA에서 큰 향상을 보인다. 결과는 한계도 보여준다. 메모리 계층은 밀집 순방향 연산을 대체하기보다는 보완하며, 밀집 용량을 너무 많이 대체하면 성능이 떨어진다.

    • 방법 측면에서 각 메모리 계층은 입력 질의에 대해 상위 k개의 학습 가능한 키를 검색하고 해당 값들을 결합하여, 시퀀스 활성값에 대한 어텐션과는 구별되는 저렴한 학습형 조회 테이블 역할을 한다.
    • 엔지니어링 측면에서 곱-키는 검색 비용을 줄이고, 값들은 GPU 전반에 샤딩되며, 맞춤형 CUDA 커널은 H100에 근접한 메모리 대역폭에 도달하여, 보고된 스케일링 연구에서 최대 128B 파라미터 메모리를 가능하게 한다.
    • 결과적으로 Memory+는 두 배 이상의 연산 예산을 가진 밀집 모델을 능가하고, 연산량과 파라미터 수를 맞췄을 때 MoE 및 PEER를 능가하며, 사실 기억 벤치마크에서 가장 뚜렷한 향상을 보인다.
    • 시사점은 최적의 설계가 밀집 추론 용량과 희소 메모리 용량 사이의 균형을 유지하며, 이는 미래 LLM이 연산 집약적 변환과 효율적인 지식 저장을 분리할 수 있음을 시사한다는 것이다.
    초록PDF
  38. 007AgentsarXiv:2412.21154

    Aviary

    Aviary는 일회성 데모가 아니라 학습 가능한 환경으로 과학 에이전트 작업을 전환한다.

    Aviary는 까다로운 과학 작업에서 언어 에이전트를 학습하고 평가하기 위한 확장 가능한 짐나지움이다. 이 논문은 에이전트를 언어 기반 부분 관측 마르코프 결정 과정인 언어 결정 과정에서 행동하는 정책으로 형식화한다. Aviary는 다섯 개의 환경을 구현하며, 여기에는 DNA 구조체 조작을 통한 분자 클로닝, 과학 문헌 질의응답, 단백질 안정성 공학이라는 생물학 중심 과학 작업 세 가지가 포함된다. 온라인 학습과 확장된 추론 시점 연산을 결합함으로써, 저자들은 오픈소스 비프런티어 LLM을 기반으로 한 에이전트가 훨씬 낮은 추론 비용으로 여러 작업에서 프런티어 LLM 에이전트 및 인간 전문가와 동등하거나 이를 능가할 수 있음을 보여준다. 주된 기여는 과학 에이전트 행동을 측정 가능하고 학습 가능하며 비교 가능하게 만드는 실용적 프레임워크다.

    • 프레임워크 측면에서 Aviary는 추론, 도구, 코드, 반복적인 행동-관측 루프를 사용하는 언어 에이전트를 위한 짐나지움 형태의 환경을 제공한다.
    • 형식화 측면에서 에이전트는 언어 결정 과정의 정책으로 취급되며, 이는 언어 기반 부분 관측 마르코프 결정 과정 형식화다.
    • 작업으로는 분자 클로닝, 문헌 기반 연구 QA, 단백질 안정성 공학이 포함되며, 모두 다단계 과학적 추론을 요구한다.
    • 결과적으로 온라인 학습과 추론 시점 확장을 통해 오픈소스 비프런티어 LLM 에이전트가 훨씬 낮은 비용으로 프런티어 에이전트 및 인간 전문가와 경쟁할 수 있다.
    초록PDF
  39. 006Image GenerationarXiv:2412.18653

    1.58-bit FLUX

    1.58-bit FLUX는 극단적인 삼진 양자화가 고품질 이미지 생성에서도 작동할 수 있음을 보여준다.

    이 논문은 -1, 0, +1 값을 갖는 삼진 가중치를 사용해 FLUX.1-dev를 위한 데이터 없는 양자화 방식인 1.58-bit FLUX를 제시한다. 이 방법은 이미지 데이터에 접근하는 대신 원본 FLUX.1-dev 모델의 자기 지도에 의존하며, 고해상도 1024×1024 텍스트-이미지 생성을 목표로 한다. 1.58-bit 연산에 최적화된 맞춤 커널은 큰 효율 향상을 제공한다. 모델 저장 공간은 7.7배, 추론 메모리는 5.1배 감소하고 지연 시간도 개선된다. GenEval과 T2I CompBench 평가는 연산 및 메모리 요구량이 급격히 감소하면서도 이미지 품질이 비슷하게 유지됨을 보여주며, 이는 대규모 확산 계열 모델의 실용적 배치에 의미가 있다.

    • 방법은 FLUX.1-dev를 삼진 -1, 0, +1 가중치로 양자화하여, 대규모 텍스트-이미지 모델에 대해 1.58-bit 표현에 도달한다.
    • 데이터 요건 측면에서 양자화는 데이터 없이 이루어지며, 외부 이미지 데이터셋 대신 원본 모델의 자기 지도를 사용한다.
    • 효율 면에서 보고된 향상에는 저장 공간 7.7배 감소, 추론 메모리 5.1배 감소, 그리고 맞춤형 저비트 커널을 통한 지연 시간 감소가 포함된다.
    • 결과적으로 벤치마크는 극단적인 압축에도 불구하고 1024×1024 이미지 품질이 비슷함을 시사한다.
    초록PDF
  40. 005Medical AIarXiv:2412.19260

    MEDEC

    MEDEC는 의료 AI가 시험 문제에 답하는 것뿐 아니라 임상 기록 내부의 오류를 찾아 수정할 수 있는지 검증한다.

    MEDEC는 임상 기록의 의료 오류 탐지 및 수정을 위한 벤치마크다. 진단, 관리, 치료, 약물요법, 원인 병원체의 다섯 가지 오류 범주를 다룬다. 데이터셋은 3,848개의 임상 텍스트를 포함하며, 여기에는 LLM이 이전에 접하지 않은 미국 3개 병원 시스템의 임상 기록 488건이 들어 있고, 17개 참가 시스템이 함께한 MEDIQA-CORR 공유 과제에 사용되었다. 이 논문은 o1-preview, GPT-4, Claude 3.5 Sonnet, Gemini 2.0 Flash 같은 최신 모델을 평가하고 이를 두 명의 의사와 비교한다. 결과는 현재 LLM이 많은 오류를 탐지하고 수정할 수 있지만 벤치마크에서 여전히 의사에 미치지 못함을 보여주며, 이는 안전이 중요한 임상 텍스트 검증에서 MEDEC를 중요하게 만든다.

    • 과제 전환 측면에서 MEDEC는 의료 QA 질문을 던지는 대신, 기존 또는 생성된 임상 기록의 정확성과 일관성을 검증하도록 모델에 요구한다.
    • 데이터셋은 3,848개의 임상 텍스트로 진단, 관리, 치료, 약물요법, 원인 병원체 오류를 다룬다.
    • 평가에서는 17개 공유 과제 시스템과 프런티어 LLM이 비교되며, 의사가 인간 기준점으로 사용된다.
    • 결론적으로 LLM은 유용한 오류 탐지 능력을 보이지만 여전히 의사 수준에 미치지 못하여, 임상 문서화에서 신중한 배치가 필요함을 강조한다.
    초록PDF
  41. 004Reasoning / EfficiencyarXiv:2412.21187

    On the Overthinking of LLMs

    추론 모델은 습관이 아니라 문제 난이도에 따라 토큰을 소비해야 한다.

    이 논문은 o1 계열 추론 모델의 과잉 사고를 연구한다. 즉, 추가 추론이 거의 도움이 되지 않는 단순한 문제에 과도한 사고 사슬과 테스트 시점 연산을 소비하는 경향이다. 저자들은 최종 결과와 추론 과정을 모두 평가하는 효율 지표를 도입한 다음, 자기 학습 패러다임을 사용해 정확도를 유지하면서 추론을 더 간결하게 만든다. GSM8K, MATH500, GPQA, AIME 및 기타 다양한 난이도에 걸친 실험은 성능 저하 없이 불필요한 추론을 줄일 수 있음을 보여준다. 이 논문은 추론 시점 사고를 자원 할당 문제로 규정하기 때문에 유용하다. 즉, 모델은 작업에 필요할 때 사고를 확장하고 그렇지 않을 때는 일찍 멈춰야 한다.

    • 문제는 o1 계열 모델이 단순한 작업에 긴 추론 흔적을 할당하는 경우가 많아, 정확도 향상은 제한적이면서 지연 시간과 비용은 증가시킨다는 것이다.
    • 평가 측면에서 이 논문은 추론 연산이 합리적으로 사용되고 있는지 측정하기 위해 결과 수준 및 과정 수준의 효율 지표를 제안한다.
    • 방법으로는 자기 학습 전략이 서로 다른 난이도의 작업 전반에서 답변 품질을 유지하면서 추론을 간소화하도록 모델을 학습시킨다.
    • 시사점은 미래의 추론 시스템에 모든 질의에 대해 장황한 사고 사슬을 고정적으로 사용하는 습관이 아니라, 적응형 테스트 시점 연산 정책이 필요하다는 것이다.
    초록PDF
  42. 003LLMs / Open ModelsarXiv:2501.00656

    OLMo 2

    OLMo 2가 중요한 이유는 가중치뿐 아니라 전체 학습 스택을 공개하기 때문이다.

    OLMo 2는 7B, 13B, 32B 규모의 완전 공개 밀집 자기회귀 언어 모델 제품군이다. 이 공개에는 모델 가중치, 학습 데이터, 학습 코드, 레시피, 로그, 그리고 다수의 중간 체크포인트가 포함되어, 가중치만 공개하는 모델에 비해 이례적으로 투명하다. 이 논문은 안정성과 토큰당 효율을 위한 구조 및 학습 레시피 변경에 초점을 맞추고, Dolmino Mix 1124 데이터 혼합을 도입하며, 어닐링 단계에서 후기 커리큘럼 학습을 사용한다. 명령어 튜닝의 경우 OLMo 2-Instruct는 Tülu 3의 기법과 검증 가능한 보상을 사용하는 강화학습을 통합한다. 보고된 결과는 OLMo 2가 성능 대 학습 연산량의 파레토 경계 근처에 위치하며, 전체 레시피를 공개하면서도 비슷한 수준의 가중치 공개 모델과 동등하거나 이를 능가하는 경우가 많음을 보여준다.

    • 공개 범위는 가중치, 데이터, 코드, 레시피, 로그, 중간 체크포인트를 모두 제공하여, 재현 가능한 연구와 다운스트림 적응에 유용한 모델이 된다.
    • 학습 레시피에서 Dolmino Mix 1124와 후기 커리큘럼 학습은 단순히 더 큰 연산량에 의존하지 않고도 다운스트림 능력을 향상시킨다.
    • 명령어 모델인 OLMo 2-Instruct는 Tülu 3 기법을 토대로 하며, 마지막 단계의 검증 가능한 보상을 사용하는 강화학습으로 이를 확장한다.
    • 결과적으로 기본 모델은 더 투명함을 유지하면서도 Llama 3.1, Qwen 2.5, Gemma 2 계열의 가중치 공개 시스템과 경쟁력이 있다.
    초록PDF
  43. 002AgentsarXiv:2412.16241

    Agents Are Not Enough

    에이전트에는 더 강력한 모델 호출뿐 아니라 더 넓은 운영 생태계가 필요하다.

    이 입장 논문은 AI 에이전트에 대한 새로운 열광이 이전 세대 에이전트 시스템의 교훈을 가려서는 안 된다고 주장한다. 생성형 AI는 에이전트에 더 강력한 언어 및 계획 능력을 부여하지만, 자율적인 작업 수행에는 여전히 단일 에이전트가 홀로 작동하는 것 이상이 필요하다. 이 논문은 Agents, Sims, Assistants로 구성된 생태계를 제안한다. Agents는 위임받은 작업을 수행하고, Sims는 사용자의 선호와 행동을 모델링하며, Assistants는 작업 실행을 조율하면서 사용자와 직접 상호작용한다. 핵심 가치는 에이전트 시스템을 위한 더 명확한 운영 아키텍처에 있으며, 특히 개인화, 사용자 의도, 조율, 책임성이 순수한 모델 성능보다 더 중요한 영역에서 의미가 있다.

    • 핵심 논지는 더 강력한 생성 모델만으로는 실제 사용자 워크플로에서 에이전트를 효과적이거나 지속 가능하게 만들기에 충분하지 않다는 것이다.
    • 역사적 관점에서 이전 에이전트 시스템은 자율성, 맥락, 신뢰, 조율, 사용자 대표성이 에이전트라는 비유가 시사하는 것보다 더 어려웠기 때문에 실패하거나 정체되었다.
    • 구조 측면에서 제안된 생태계는 하나의 모델 구성 요소가 모든 것을 처리하도록 강제하는 대신 실행 Agents, 사용자를 대표하는 Sims, 사용자 대면 Assistants를 분리한다.
    • 산업적 의의로 보면 유용한 에이전트 시스템에는 자율적인 행동 루프뿐 아니라 지속적인 사용자 맥락, 워크플로 조율, 인간 대면 제어 인터페이스가 필요하다.
    초록PDF