arXiv:2608.04200v1 q-fin.MF

금융 감성 분류에서 수익률 예측 가능성까지: 대규모 언어 모델의 QLoRA 벤치마크

From Financial Sentiment Classification to Return Predictability: A QLoRA Benchmark of Large Language Models

Fusheng Luo

제출 2026-08-04

한국어 초록

금융 감성 분류기는 일반적으로 사람이 작성한 라벨을 기준으로 평가되지만, 뛰어난 언어적 성능이 경제적으로 유용한 수익률 예측 가능성을 반드시 의미하는 것은 아닙니다. 본 연구는 두 가지 실험을 통해 이러한 질문들을 분리하여 검증합니다. 첫째, 5개의 금융 텍스트 데이터셋으로부터 통합된 3개 클래스 벤치마크를 구축하고, TF-IDF Naive Bayes, 기성 FinBERT 및 Financial-RoBERTa 인코더, 제로샷(zero-shot) Qwen2.5-7B, 그리고 QLoRA로 적응된 Qwen2.5-7B, LLaMA3-8B, Mistral-7B 모델을 비교합니다. Mistral-7B는 가장 높은 테스트 정확도(0.8840)와 매크로 F1(0.8771)을 달성했으며, QLoRA는 Qwen2.5의 매크로 F1을 0.7274에서 0.8615로 향상시켰습니다. 역빈도 클래스 가중 손실(inverse-frequency class-weighted loss)은 Qwen2.5를 개선하지 못했습니다. 둘째, 고정된 S&P 100 유니버스에 대해 10,637개의 고유 헤드라인과 13,115개의 헤드라인-주식 관측치를 포함하는 시간적으로 분리된 2019년 Benzinga 표본에서 경제적 유효성을 평가합니다. 모델 확률은 연속적인 감성 점수로 변환되어 주식 및 시그널 일자별로 집계된 후 1일, 2일, 3일, 5일 기간에 걸친 다음 거래일 수익률과 정렬됩니다. 7개의 다운스트림 모델 모두 1일 기간에서 양수이지만 작은 평균 순위 정보 계수(rank information coefficient)를 산출하며, 가장 큰 값은 FinBERT의 0.0143입니다. 28개의 모델-기간 테스트 중 뉴이-웨스트(Newey-West) 추론 및 위발견율(FDR) 보정 후에도 유의미하게 남는 테스트는 없습니다. 포트폴리오 결과 역시 가장 우수한 성능을 보인 분류기들의 확고한 우위를 입증하지 못했습니다. 이러한 연구 결과는 QLoRA가 금융 감성 적응에 효과적임을 보여주는 동시에, 분류 정확도와 거래 가능한 횡단면 시그널 간의 명확한 격차를 보여줍니다.

원문 초록

Financial sentiment classifiers are commonly evaluated against human labels, but strong linguistic performance does not necessarily imply economically useful return predictability. This study separates these questions through two experiments. First, we construct a unified three-class benchmark from five financial text datasets and compare TF--IDF Naive Bayes, off-the-shelf FinBERT and Financial-RoBERTa encoders, zero-shot Qwen2.5-7B, and QLoRA-adapted Qwen2.5-7B, LLaMA3-8B, and Mistral-7B models. Mistral-7B achieves the best test accuracy (0.8840) and macro-F1 (0.8771), while QLoRA raises Qwen2.5's macro-F1 from 0.7274 to 0.8615. An inverse-frequency class-weighted loss does not improve Qwen2.5. Second, we evaluate economic validity on a temporally separate 2019 Benzinga sample containing 10,637 unique headlines and 13,115 headline--stock observations for a fixed S\&P~100 universe. Model probabilities are converted into continuous sentiment scores, aggregated by stock and signal date, and aligned with next-session returns over one-, two-, three-, and five-day horizons. All seven downstream models produce positive but small mean rank information coefficients at the one-day horizon; the largest is 0.0143 for FinBERT. None of the 28 model--horizon tests remains significant after Newey--West inference and false-discovery-rate correction. Portfolio results likewise fail to establish a robust advantage for the best-performing classifiers. The findings show that QLoRA is effective for financial sentiment adaptation, while also documenting a clear gap between classification accuracy and tradable cross-sectional signals.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04200v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.