PRICE: 비트코in 가격 예측을 위한 LLM 적응 선택의 체계적 연구
PRICE: A Systematic Study of LLM Adaptation Choices for Bitcoin Price Forecasting
암호화폐 시장은 극단적인 변동성과 비정상성(non-stationary) 역학을 보여, 기존 예측 방법을 어렵게 만든다. 대규모 언어 모델(LLM)이 시계열 예측에 유망함을 보였지만, 적응(adaptation) 선택의 결합 효과는 금융 맥락에서 대체로 탐구되지 않았다. 본 연구는 단기 비트코in 가격 예측에 LLM을 적응시키기 위한 구조화된 접근법 PRICE를 제안한다. 4-bit 양자화 LLaMA-3 8B 모델을 기반으로, PRICE는 미세조정, 수치 표현, 프롬프트(prompting), 추론, 디코딩(decoding)이 예측 성능에 어떻게 공동으로 영향을 미치는지 조사한다. PRICE는 Low-Rank Adaptation(LoRA)을 이용한 매개변수 효율적 미세조정(parameter-efficient fine-tuning), 재귀적 다단계 추론(recursive multi-step inference), 정수 반올림(integer-rounded) 수치 표현, Context-Task-Format(CTF) 프롬프트, 정확한 제로 온도(zero-temperature) 디코딩을 통합한다. ablation 연구는 각 구성 요소가 예측 정확도와 신뢰성에 기여함을 보여준다. LoRA는 제한된 하드웨어에서 효율적인 학습을 가능하게 하고, 재귀적 추론은 정확도를 개선하며, 정수 반올림 값은 오류를 줄이고, CTF 프롬프트는 사고의 연쇄(Chain-of-Thought), Implicit Chain-of-Thought(iCoT), 퓨샷(few-shot) 프롬프트보다 우수하며, 제로 온도 디코딩은 재귀적 예측 동안 안정성을 높인다. 8개의 트랜스포머 기반 및 시계열 파운데이션 모델과의 비교 평가에서 PRICE는 검증 및 테스트 세트 모두에서 최저 예측 오류를 달성하면서 평가 기간 전반에 걸쳐 견고한 성능을 유지한다. 시계열 데이터보다는 주로 텍스트에 사전학습(pre-training)된 모델에 기반함에도 불구하고, PRICE는 특화된 파운데이션 모델 대비 경쟁력 있거나 더 나은 성능을 달성한다. 이러한 결과는 적응 선택이 수치 시계열 예측에서 LLM의 정확도와 견고성(robustness)을 결정적으로 좌우함을 보여준다.