Forecast Collapse in Time-Series Foundation Models

예측값이 평평한 것은 모델 실패만이 아니라 예측할 신호가 적고 종목 사이 순서를 학습 목표가 보지 않기 때문일 수 있다.

이 논문은 한마디로 시계열 모델의 예측값이 거의 평평해지고 여러 종목의 순서도 맞추지 못하는 예측 붕괴 현상을 분석한다. 원인을 예측 가능한 신호가 적어 적정 예측 폭이 작아지는 문제와, 종목별 손실 함수가 종목 사이 관계를 보지 않는 문제로 나눈다. 이를 보완하려고 평균제곱오차와 같은 시점의 종목 간 상관관계를 함께 학습하는 CalibRank를 제안한다. 미국 주식 1,000개 자료에서 CalibRank는 평균제곱오차만 학습할 때보다 종목 간 상관관계를 약 2.7배 높였고, 순위만 학습할 때의 지나치게 큰 예측 폭은 크게 줄였다. 다만 이 결과는 한 금융 자료와 피어슨 상관계수에 한정된다.

핵심 요약

• Finance1K는 2015년부터 2026년 초까지 미국 주식 1,000개의 시간별 자료 28,510개 시점으로 구성된다. 주가 수익률과 거래량 변화를 같은 조건에서 비교한다.
• 주가 수익률처럼 예측 가능한 신호가 적은 목표에서는 정확한 점 예측도 실제 변동보다 작아질 수 있다. 종목별 오차만 줄이는 학습은 같은 시점의 종목 순서를 직접 보장하지 않는다.
• 기준 모델에서 평균제곱오차 학습의 예측 폭은 실제의 0.027배였고 종목 순서를 재는 IC는 0.046이었다. CalibRank는 예측 폭 1.836배에서 IC 0.126을 기록했다.
• 12개 예측 모델에서 CalibRank는 모든 모델의 IC를 높였다. 평균 IC는 0.062에서 0.123으로 올랐고, 평균제곱오차는 0.00043에서 0.00058로 변했다.
• 종목 사이 문제와 해결책은 Finance1K 한 자료에서만 확인됐다. CalibRank는 피어슨 상관계수 하나만 다루며, 꼬리 위험이나 전체 공동분포를 모델링하지 않고 단일 시계열에도 그대로 적용할 수 없다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.