이중 언어 전이를 넘어서: 지시 튜닝에서의 다국어 코드 스위칭
Beyond Bilingual Transfer: Multilingual Code-Switching in Instruction Tuning
한국어 초록
최근 연구들은 동일한 문맥 안에 여러 언어가 섞여 있는 코드 스위칭 데이터(CSD)가 대규모 언어 모델(LLM)의 교차 언어 전이와 다국어 정렬을 향상시킬 수 있음을 보였다. LLM을 위한 합성 코드 스위칭에 관한 최근 연구는 주로 영어와 대상 언어 사이의 이중 언어 전이에 초점을 맞추었으며, 각 예시 안에서 세 개 이상의 언어를 함께 섞는 지시 튜닝 설정은 대체로 탐구되지 않았다. 본 연구에서는 영어, 일본어, 한국어, 중국어의 네 언어에 걸친 다국어 코드 스위칭 지시 튜닝을 조사한다. 다국어 이해는 Belebele과 MMLU로 평가한다. 실험 결과, 단순한 문장 수준의 다국어 CSD가 Gemma-2-2B에서 이중 언어, 삼중 언어, 사중 언어 설정 전반에 걸쳐 네 언어 평균 정확도를 일관되게 향상시켰으며, 이는 다국어 코드 스위칭이 이중 언어 전이 설정을 넘어서도 효과적일 수 있음을 나타낸다.
원문 초록
Recent studies have shown that code-switching data (CSD), in which multiple languages are mixed within the same context, can improve cross-lingual transfer and multilingual alignment in large language models (LLMs). Recent studies on synthetic code-switching for LLMs have primarily focused on bilingual transfer between English and a target language, leaving instruction-tuning settings that jointly mix three or more languages within each example largely unexplored. In this work, we investigate multilingual code-switching instruction tuning across four languages: English, Japanese, Korean, and Chinese. We evaluate multilingual understanding on Belebele and MMLU. Our experiments show that simple sentence-level multilingual CSD consistently improves the four-language average accuracy across all bilingual, trilingual, and quadrilingual settings for Gemma-2-2B, indicating that multilingual code-switching can be effective beyond bilingual transfer settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.29414v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.