지속적 사전학습은 언제 도움이 되는가? 퀘벡 프랑스어 방언 적응에 대한 통제 연구
When Does Continual Pre-Training Help? A Controlled Study of Dialectal Adaptation for Qu\'ebec French
한국어 초록
지속적 사전학습(CPT)은 사전학습된 언어 모델을 방언 및 비표준 언어 변종에 적응시키는 데 널리 사용되지만, 이러한 추가 학습이 언제 필요한지, 그 이점을 무엇이 좌우하는지, 그리고 종합 평가 점수가 그 효과를 충분히 포착하는지는 여전히 불분명하다. 본 논문은 서로 다른 계열과 규모에 걸친 아홉 개의 LLM을 대상으로 퀘벡 프랑스어 언어 이해를 위한 CPT의 통제 연구를 제시한다. 실험당 3천만 토큰으로 예산을 맞춘 프로토콜을 사용한 결과, CPT의 이점은 출발 모델이 대상 변종에 대해 이미 지닌 능숙도에 크게 좌우됨을 보인다. CPT가 유익한 경우, 개선은 데이터 양보다 코퍼스 구성에 의해 더 크게 좌우되며, 문학 텍스트가 이득의 대부분을 차지한다. 퀘벡 프랑스어와 표준 프랑스어의 쌍을 이룬 평가는 또한 CPT가 문법 능력보다는 주로 표현 이해를 향상시키며, 코퍼스 문체가 어떤 지역 표현이 습득되는지를 결정함을 보여 준다. 이러한 이득에는 종합 점수가 가릴 수 있는 독해력 저하를 포함하여 능력별 상충 관계도 수반된다. 종합하면, 이러한 결과는 방언 적응을 위한 CPT를 일률적으로 유익한 기본 선택으로 취급해서는 안 됨을 보여 준다. 대신 적응 전략은 기반 모델이 이미 지닌 능숙도에 대한 신중한 평가에서 시작해야 하며, 출처 수준의 데이터 분석과 과제 수준의 평가가 병행되어야 한다.
원문 초록
Continual pre-training (CPT) is widely used to adapt pretrained language models to dialectal and non-standard language varieties, yet it remains unclear when this additional training is necessary, what drives its benefits, and whether aggregate evaluation scores adequately capture its effects. In this paper, we present a controlled study of CPT for Qu\'ebec French language understanding across nine LLMs spanning different families and scales. Using a budget-matched protocol of 30M tokens per experiment, our results show that the benefit of CPT depends strongly on the starting model's existing competence in the target variety. When CPT is beneficial, the improvements are driven more by corpus composition than by data volume, with literary text accounting for most of the gain. Paired Qu\'ebec and standard French evaluations further show that CPT primarily improves expression comprehension rather than grammatical competence, and that corpus register determines which regional expressions are acquired. These gains also involve capability-specific trade-offs, including declines in reading comprehension that aggregate scores can conceal. Overall, these findings show that CPT for dialectal adaptation should not be treated as a uniformly beneficial default. Instead, adaptation strategies should begin with a careful assessment of the base model's existing competence, accompanied by source-level data analysis and task-level evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24699v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.