FinVector-Market-4B: 정형 금융 작업을 위한 LoRA 적응 통제 연구
FinVector-Market-4B: A Controlled Study of LoRA Adaptation for Structured Financial Tasks
한국어 초록
FinVector-Market-4B는 정형 금융 작업을 위해 22,000개 예제 말뭉치에서 랭크 16 LoRA로 Qwen/Qwen3.5-4B를 적응시킨 모델입니다. 본 연구에서는 암시적 및 명시적 JSON 스키마 계약 하에 동일한 600개 예제 벤치마크에서 베이스 모델과 적응된 모델을 평가합니다. 스키마를 단독으로 제공하는 것만으로도 베이스 모델의 JSON 유효성이 0%에서 91.3%로 상승합니다. 일치된 명시적 프롬프트 조건에서 고정된 점수는 FinQA 정답 정확 일치(exact match)가 14.7%에서 40.0%로, 계산기 수식 정확도가 48.0%에서 82.7%로, 시나리오 분기 레이블 일치도가 20.1%에서 89.5%로, 함의 방향 일치도가 52.4%에서 87.2%로 향상됩니다. 사후 정책 점수 감사 결과에 따르면, 보고된 매크로 F1 하락은 변화하는 레이블 집합을 반영한 것이며, 동일한 세 개의 타깃 클래스를 사용할 경우 베이스 모델은 77.4%, 어댑터는 83.1%를 기록합니다. 공시 데이터 중복과 계산기 타깃의 불일치는 해당 벤치마크의 일반화 주장에 일정한 한계를 부여합니다. 이러한 결과는 일치된 프롬프트 조건 하에서 소형 금융 도메인 적응이 출력 형식 학습을 넘어 실질적인 작업별 성능 향상을 이끌어낼 수 있음을 보여주며, 이때의 이득은 평가된 작업 분포와 프롬프트 계약에 의해 제한됩니다.
원문 초록
FinVector-Market-4B adapts Qwen/Qwen3.5-4B with rank-16 LoRA on a 22,000-example corpus for structured financial tasks. We evaluate the base and adapted models on the same 600-example benchmark under implicit and explicit JSON-schema contracts. Supplying the schema alone raises base-model JSON validity from 0% to 91.3%. Under matched explicit prompting, the frozen scores improve from 14.7% to 40.0% for FinQA answer exact match, from 48.0% to 82.7% for calculator-expression correctness, from 20.1% to 89.5% for scenario branch-label agreement, and from 52.4% to 87.2% for implication-direction agreement. A post-hoc policy-scoring audit shows that the reported macro-F1 decline reflects a changing label set; using the same three target classes gives 77.4% for the base and 83.1% for the adapter. Filing overlap and calculator-target inconsistencies qualify the benchmark's generalization claims. The results show that compact financial domain adaptation can produce substantial task-specific gains beyond output-format learning under matched prompting, with gains bounded by the evaluated task distribution and prompt contract.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
13 pages, 3 figures, 8 tables