Activation-Based Active Learning for In-Context Learning: Challenges and Insights

심층 능동 학습은 LLM 인컨텍스트 샘플 선택을 위해 이전에 탐구된 바 있으나, 트랜스포머 활성화 이해의 최근 진전을 활용하는 방법으로는 그렇지 않았다.

이 연구는 트랜스포머의 MLP 활성값으로 인컨텍스트 예시의 품질을 골라낼 수 있는지 검증한다. Llama-3.2-3B와 Qwen2.5-3B 기본 모델에 여러 분류 및 생성 데이터와 다양한 주의 마스킹 방식을 적용했다. 큰 활성값이나 활성 분포의 앞 네 모멘트는 예시 품질 및 과제 성능과 뚜렷한 관계가 없었고, 모든 실험의 스피어만 상관계수 절댓값이 0.33 이하였다. 따라서 활성값을 그대로 예시 선택 점수로 쓰기보다 모델 불확실성이나 주의 가중치 같은 다른 신호를 쓰는 편이 낫다는 부정적 결과를 제시한다. 다만 비지시형 3B 모델만 조사했으므로 더 큰 모델과 희소 오토인코더처럼 겹친 특징을 분리하는 방법은 추가 검증이 필요하다.

핵심 요약

• 그러나 이 논문은 부정적인 결과를 발견한다. 거대 활성화 또는 처음 네 개의 모멘트라는 렌즈로 본 MLP 출력은 예제 품질이나 작업 성능과 상관관계가 없다.
• 구체적으로, 테스트한 모든 작업과 모델에서 절대 스피어만 상관계수는 최대 0.33에 불과하여, 이러한 활성화 기반 샘플링이 인컨텍스트 학습에 사용되어서는 안 됨을 보여준다.
• 저자들은 이것이 중첩 때문일 수 있다고 가정하는데, 이는 모델이 가진 차원 수보다 더 많은 특징을 표현하는 현상으로, Sparse Autoencoder(SAE) 같은 방법이 유망한 향후 방향일 수 있음을 시사한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.