TailLoR: Protecting Principal Components in Parameter-Efficient Continual Learning

특이값 분해 기반으로 주성분을 보호하며 연속학습 간섭을 줄이는 파라미터 효율적 미세조정 방법이다.

TailLoR는 사전학습 가중치의 특이값 기저 U, V를 고정 참조 프레임으로 활용해 저랭크 업데이트를 특이값 행렬에 적용하는 방법이다. 소프트 스펙트럴 페널티를 통해 주요 특이방향으로의 업데이트를 억제하고, 대신 긴 꼬리(long-tail) 스펙트럼 좌표로 세밀한 적응을 유도한다. 이를 통해 연속학습에서 catastrophic forgetting을 줄이면서도 새로운 태스크에 효과적으로 적응할 수 있다.

핵심 요약

• 사전학습 가중치의 특이값 기저(U, V)를 고정 참조 프레임으로 활용해 저랭크 업데이트를 설계한다.
• 소프트 스펙트럴 페널티로 주성분 방향의 업데이트를 억제하여 태스크 간 간섭을 줄인다.
• 세밀한 적응은 유연성이 높은 긴 꼬리 스펙트럼 좌표로 라우팅된다.
• 스펙트럼 분해 기반 PEFT 방법들의 연속학습 성능을 개선한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.