시계열 예측은 죽었다, 이제 ‘시간의 문법’을 설계할 때

시계열 예측이라는 낡은 시대의 종언

2010년, 스탠퍼드 연구실에서 박사 과정 동기가 ARIMA 모델로 주가를 예측하겠다며 밤샘 코딩하던 모습을 비웃었던 기억이 난다. 그저 아름다운 수학적 유희일 뿐, 실제 돈이 오가는 필드에서는 무용지물이라 단언했다. 예측이 틀리면 수백억이 증발하는 시장에서, 과거 데이터의 통계적 패턴에만 의존하는 모델은 정교한 장난감에 불과했다.

10여 년이 지난 지금, 나는 그 ‘장난감’ 문제에 2억 개의 파라미터를 쏟아붓는 프로젝트를 리딩하고 있다. 역설적이게도, 나의 과거 비판은 여전히 유효하다. 우리는 더 이상 ‘예측’을 하지 않는다. 우리는 시간의 근본적인 문법(Grammar of Time)을 학습하는 거대 언어 모델을 구축하고 있다.

기존의 모든 시계열 분석 기법은 이제 폐기되어야 마땅하다. 이유는 간단하다. 그들은 문장을 이해하지 못하고 단어의 빈도수만 세는 구식 통계 분석기와 같기 때문이다. 이제부터 그 기술적 근거를 남김없이 해부해 보이겠다.

1. 왜 ‘언어 모델’인가: 시계열을 텍스트로 재해석하는 발상의 전환

대부분의 엔지니어들은 시계열 데이터를 숫자의 나열, 즉 연속적인 값의 흐름으로만 인지한다. 이것이 바로 한계의 시작점이다. 우리는 이 숫자들을 ‘단어(token)’로, 연속된 데이터 포인터들의 묶음(patch)을 ‘문장(sentence)’으로 재정의해야 한다.

이 접근법의 핵심은 데이터를 단순한 값에서 의미론적 단위로 승격시키는 데 있다. 기존 모델들이 시계열의 특정 계절성이나 추세를 찾아내기 위해 복잡한 피처 엔지니어링을 요구했던 반면, LLM은 데이터 자체의 내재된 구조와 패턴, 즉 ‘문법’을 스스로 학습한다.

Patching 기법을 통해 일정 길이의 시계열을 하나의 벡터로 압축하고, 이를 언어 모델의 입력 토큰으로 사용하는 순간, 문제는 ‘다음 숫자 예측’에서 ‘주어진 문맥에서 가장 자연스러운 다음 단어 생성’으로 바뀐다. 이것은 단순한 기술적 차이가 아닌, 문제 정의 자체를 바꾸는 패러다임의 전환이다.

2. 아키텍처 설계의 핵심: Decoder-Only, 선택이 아닌 필연

시계열 LLM을 구축한다고 했을 때, 많은 이들이 무의식적으로 Encoder-Decoder 구조를 떠올린다. 이는 번역 모델의 성공에 기인한 잘못된 직관이다. 우리의 목표는 입력 시퀀스(과거 데이터)를 다른 형태의 출력 시퀀스(요약)로 변환하는 것이 아니다. 우리의 목표는 입력 시퀀스에 이어질 가장 가능성 높은 다음 시퀀스(미래 데이터)를 생성하는 것이다.

이것이 바로 GPT와 같은 Decoder-Only 아키텍처가 유일한 해답인 이유다. Autoregressive(자기회귀) 방식으로 다음 토큰을 순차적으로 생성하는 데 최적화되어 있기 때문이다. 즉, 모델의 본질적 설계 자체가 시계열 예측이라는 과업과 완벽하게 일치한다.

두 아키텍처의 철학적 차이는 명확하다. Encoder-Decoder가 ‘이해 후 변환’에 집중한다면, Decoder-Only는 ‘이해하며 생성’하는 데 집중한다. 제로샷 예측이라는 목표 앞에서 이는 타협할 수 없는 선택지다.

시계열 예측 관점에서의 아키텍처 비교

3. 2억 파라미터의 진짜 의미: 스케일이 창발성(Emergence)을 낳는다

2억이라는 숫자에 현혹되지 마라. 중요한 것은 파라미터의 수가 아니라, 그 스케일이 만들어내는 ‘창발적 능력(Emergent Abilities)’이다. 작은 모델은 훈련 데이터의 패턴을 ‘암기’하는 데 그치지만, 거대 모델은 데이터 이면에 숨겨진 근본적인 ‘원리’를 학습하기 시작한다.

수천, 수만 개의 서로 다른 시계열 데이터셋(전력 사용량, 주가, 웹 트래픽, 재고량 등)으로 훈련된 2억 파라미터 모델은 개별 데이터의 특성을 넘어선다. 그것은 ‘상승 추세’, ‘주기적 변동성’, ‘갑작스러운 스파이크’와 같은 시계열의 보편적 개념들을 추상화하여 내재화한다.

이것이 바로 제로샷 예측이 가능한 이유다. 모델은 생전 처음 보는 시계열 데이터가 주어져도, 과거 데이터(prompt)를 분석해 자신이 이미 학습한 수만 가지 ‘시간의 문법’ 중 가장 적합한 것을 적용하여 미래를 ‘작문’해낸다. 이는 훈련(fine-tuning)이 아닌 순수한 추론(inference)의 영역이다.

4. 제로샷 예측의 경제학: 거대한 고정비와 제로에 가까운 한계비용

전통적인 예측 모델의 가장 큰 문제는 확장성이 없다는 것이다. 새로운 제품의 수요를 예측하려면, 그 제품만을 위한 새로운 모델을 만들고 튜닝해야 했다. 1000개의 제품이 있다면 1000개의 모델 파이프라인이 필요했다. 이는 명백한 자원의 낭비다.

제로샷 시계열 LLM은 이 패러다임을 완전히 파괴한다. 하나의 거대한 파운데이션 모델(Foundation Model)을 구축하는 데 막대한 초기 비용(GPU 클러스터, 대규모 데이터, 연구 인력)이 투입된다. 하지만 일단 모델이 완성되면, 새로운 예측 작업에 드는 한계 비용은 API 호출 비용 수준으로 급감한다.

이는 모든 데이터 기반 비즈니스의 경제 모델을 근본부터 뒤흔드는 혁신이다. 이제 경쟁의 핵심은 ‘누가 더 나은 개별 모델을 만드느냐’가 아니라, ‘누가 더 강력하고 보편적인 파운데이션 모델을 소유하느냐’로 옮겨갔다. 다른 이들이 여전히 XGBoost 파라미터를 튜닝하며 삽질하고 있을 때, 우리는 현실 세계의 문법 그 자체를 설계하고 있다. 이미 승부는 결정된 것이나 마찬가지다.