거대 언어 모델 재프로그래밍 시계열 예측

시계열 예측은 다양한 동적 시스템에 필수적이며, 활발히 연구되는 분야입니다. 그러나 대부분의 기존 예측 모델은 단일 시계열 데이터 양식에 특화되어 있어, 자연어 처리나 컴퓨터 비전 분야와 달리 범용적인 대규모 모델 개발이 더디게 진행되었습니다. 이는 고품질의 대규모 시계열 코퍼스가 부족하기 때문입니다. 한편, 최근 연구들은 거대 언어 모델(LLM)이 긴 토큰 시퀀스를 이해하고 추론하는 데 탁월한 능력을 보임을 시사합니다. 이러한 LLM의 역량을 시계열 예측에 활용하기 위해, 본 연구는 숫자 시계열 신호와 언어 토큰을 연결하는 체계적인 방법을 제시합니다. Time-LLM은 고정된 LLM 백본을 일반적인 시계열 예측에 재활용하는 모델 재프로그래밍 프레임워크입니다. 시계열 커뮤니티 최초의 멀티모달 대규모 접근 방식인 Time-LLM은 원시 시계열 신호를 텍스트 프로토타입에 임베딩하여, 데이터가 언어 모델 백본에 입력되기 전에 두 양식을 정렬합니다. 모델의 시계열 추론 능력을 강화하기 위해 Time-LLM은 Prompt-as-Prefix(PaP)를 통합합니다. 이는 문맥 정보를 증강하고 입력 패치의 재프로그래밍을 유도합니다. 이렇게 수정된 패치는 LLM에 의해 예측을 생성하도록 투영됩니다. 광범위한 평가를 통해 Time-LLM이 기존의 특화된 기준 모델들을 능가하는 효과적인 멀티모달 예측기임을 입증했습니다. 본 연구는 LLM의 잠재력을 시계열 예측 분야로 확장하여, 제한된 데이터 환경에서도 강력한 성능을 발휘하는 범용 시계열 예측 모델 개발의 새로운 방향을 제시합니다. 이는 다양한 실세계 시스템의 예측 정확도를 향상시키는 데 기여할 수 있습니다.