arXiv:2609.05235v1 cs.LG

PRICE: 비트코in 가격 예측을 위한 LLM 적응 선택의 체계적 연구

PRICE: A Systematic Study of LLM Adaptation Choices for Bitcoin Price Forecasting

Maryam Fakhari, Mehran Safayani

제출 2026-09-04

한국어 초록

암호화폐 시장은 극단적인 변동성과 비정상성(non-stationary) 역학을 보여, 기존 예측 방법을 어렵게 만든다. 대규모 언어 모델(LLM)이 시계열 예측에 유망함을 보였지만, 적응(adaptation) 선택의 결합 효과는 금융 맥락에서 대체로 탐구되지 않았다. 본 연구는 단기 비트코in 가격 예측에 LLM을 적응시키기 위한 구조화된 접근법 PRICE를 제안한다. 4-bit 양자화 LLaMA-3 8B 모델을 기반으로, PRICE는 미세조정, 수치 표현, 프롬프트(prompting), 추론, 디코딩(decoding)이 예측 성능에 어떻게 공동으로 영향을 미치는지 조사한다. PRICE는 Low-Rank Adaptation(LoRA)을 이용한 매개변수 효율적 미세조정(parameter-efficient fine-tuning), 재귀적 다단계 추론(recursive multi-step inference), 정수 반올림(integer-rounded) 수치 표현, Context-Task-Format(CTF) 프롬프트, 정확한 제로 온도(zero-temperature) 디코딩을 통합한다. ablation 연구는 각 구성 요소가 예측 정확도와 신뢰성에 기여함을 보여준다. LoRA는 제한된 하드웨어에서 효율적인 학습을 가능하게 하고, 재귀적 추론은 정확도를 개선하며, 정수 반올림 값은 오류를 줄이고, CTF 프롬프트는 사고의 연쇄(Chain-of-Thought), Implicit Chain-of-Thought(iCoT), 퓨샷(few-shot) 프롬프트보다 우수하며, 제로 온도 디코딩은 재귀적 예측 동안 안정성을 높인다. 8개의 트랜스포머 기반 및 시계열 파운데이션 모델과의 비교 평가에서 PRICE는 검증 및 테스트 세트 모두에서 최저 예측 오류를 달성하면서 평가 기간 전반에 걸쳐 견고한 성능을 유지한다. 시계열 데이터보다는 주로 텍스트에 사전학습(pre-training)된 모델에 기반함에도 불구하고, PRICE는 특화된 파운데이션 모델 대비 경쟁력 있거나 더 나은 성능을 달성한다. 이러한 결과는 적응 선택이 수치 시계열 예측에서 LLM의 정확도와 견고성(robustness)을 결정적으로 좌우함을 보여준다.

원문 초록

Cryptocurrency markets exhibit extreme volatility and non-stationary dynamics that challenge conventional forecasting methods. Although Large Language Models (LLMs) have shown promise for time series forecasting, the combined effects of adaptation choices remain largely unexplored in financial settings. This study introduces PRICE, a structured approach for adapting LLMs to short-term Bitcoin price forecasting. Built on a 4-bit quantized LLaMA-3 8B model, PRICE investigates how fine-tuning, numerical representation, prompting, inference, and decoding jointly influence forecasting performance. PRICE integrates Parameter-efficient fine-tuning with Low-Rank Adaptation (LoRA), Recursive multi-step inference, Integer-rounded numerical representation, Context-Task-Format (CTF) prompting, and Exact zero-temperature decoding. Ablation studies show that each component contributes to forecasting accuracy and reliability. LoRA enables efficient training on limited hardware, recursive inference improves accuracy, integer-rounded values reduce errors, CTF prompting outperforms Chain-of-Thought, Implicit Chain-of-Thought (iCoT), and few-shot prompting, and zero-temperature decoding improves stability during recursive forecasting. Comparative evaluation against eight transformer-based and time-series foundation models shows that PRICE achieves the lowest forecasting errors on both validation and test sets while maintaining robust performance across evaluation periods. Despite being based on a model primarily pretrained on text rather than time-series data, PRICE achieves competitive or superior performance relative to specialized foundation models. These findings demonstrate that adaptation choices critically determine the accuracy and robustness of LLMs for numerical time-series forecasting.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.05235v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.