arXiv:2606.06586v2 cs.CL

PolyFact: 다국어 사실 재현을 위한 일관성 기반 사후 학습 방법 비교

PolyFact: Comparing Consistency-Driven Post-training Methods for Cross-Lingual Factual Recall

Jonathan von Rad, Louis Arts, George Burgess, Eleftheria Kolokytha, Harry O'Donnell, Ektor Oikonomidis Doumpas, Eduardo Sanchez, Yao Lu, Pontus Stenetorp

제출 2026-06-04

한국어 초록

주로 영어 데이터로 학습(training)된 대규모 언어 모델(LLM)은 방대한 세상 지식을 내재하고 있지만, 다른 언어에서는 이를 신뢰성 있게 표현하지 못하는 경우가 많은데, 이를 다국어 사실 비일관성(cross-lingual factual inconsistency) 현상이라고 합니다. 이를 연구하기 위해, 저자들은 유형학적으로 다양한 12개 언어에 걸쳐 위키데이터(Wikidata) 기반의 6만 개 사실을 담은 완전 병렬 다국어 사실 질의응답 데이터셋인 PolyFact를 소개하고, 다국어 보상 풀링을 적용한 일관성 기반 GRPO를 제안합니다. 저자들은 OLMo-2-1124-7B 및 Qwen-2.5-7B에서 제안하는 방법을 지도 미세조정(SFT)과 일관성 향상 베이스라인인 DCO 및 CM-Align과 비교하고, 병렬 데이터에 대한 가벼운 지속적 사전학습(CPT)이 사후 학습을 위한 유용한 기반을 제공하는지 분석합니다. 단일 방법이 모든 면에서 우세하지는 않았습니다. SFT는 분포 내 정확도를 극대화하지만 일관성은 높이지 못하고, DCO는 가장 강력한 일관성 향상을 보이지만 자유 형식 생성으로 전이되지 못하는 반면, 제안된 GRPO 변형은 다국어 베이스 모델에서 자유 형식 재현 및 미학습 언어로의 가장 강력한 전이를 달성합니다. CPT는 단일 언어 모델에는 약간의 도움을 주지만 다국어 모델에는 해가 됩니다. 기제 분석(mechanistic analyses)에 따르면 GRPO는 언어 특화 감소와 관련이 있으며, 이는 언어 전반에 걸친 표현 공유 증대와 일치합니다. 저자들은 코드, 모델, 데이터셋을 공개합니다.

원문 초록

Large language models (LLMs) trained predominantly on English data encode substantial world knowledge, yet often fail to express it reliably in other languages, a phenomenon known as cross-lingual factual inconsistency. To study this, we introduce PolyFact, a fully parallel multilingual factual QA dataset of 60K Wikidata-grounded facts across 12 typologically diverse languages, and propose consistency-driven GRPO with cross-lingual reward pooling. We compare our method against supervised fine-tuning (SFT) and the consistency-enhancement baselines DCO and CM-Align on OLMo-2-1124-7B and Qwen-2.5-7B, and analyze whether light continual pretraining (CPT) on parallel data provides a useful foundation for post-training. No single method dominates: SFT maximises in-distribution accuracy but not consistency, DCO yields the strongest consistency gains but fails to transfer to free-form generation, and our GRPO variant achieves the strongest transfer to free-form recall and unseen languages on the multilingual base model. CPT mildly aids monolingual models but harms multilingual ones. Mechanistic analyses suggest that GRPO is associated with reduced language specialization, consistent with greater sharing of representations across languages. We release our code, models, and dataset publicly.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06586v2제출 시각 미확인
  2. arXiv:2606.06586v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.