arXiv:2604.02881v2 cs.CL

하나의 모델로 모두를 번역할 수 있을까? 다국어 모델 병합을 향한 마운트 둠으로의 여정

One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

Baban Gain, Trilok Nath Singh, Asif Ekbal

제출 2026-04-03

한국어 초록

가중치 공간 모델 병합(weight-space model merging)은 원본 학습 데이터에 접근하지 않고 독립적으로 미세조정된 체크포인트들을 결합한다. 병합은 멀티태스크 설정에서 유망한 결과를 보여 왔지만, 다국어 생성 시스템에서의 거동은 아직 충분히 탐구되지 않았다. 본 연구는 대규모 이중언어 코퍼스에서 언어 모델을 완전 미세조정하고, 공유 원어(shared-source), 공유 번역어(shared-target), 양방향 통합(bidirectional consolidation) 설정 전반에 대표적인 병합 전략을 평가함으로써 다국어 기계 번역에 대한 가중치 공간 병합을 체계적으로 조사한다. 실험 결과 강한 방향 비대칭이 드러난다. 모델들이 번역어를 공유할 때 병합이 상대적으로 더 효과적이며 기본 모델 대비 다국어 커버리지를 개선하지만, 언어별 체크포인트의 최고 성능은 여전히 보존하지 못한다. 반면 번역어가 다를 때, 특히 공유 원어 및 양방향 설정에서 성능이 급격히 저하된다. 이를 설명하기 위해 내부 표현을 분석한 결과, 미세조정이 언어별로 분리된 하위 네트워크를 만들지 않는다. 대신 독립적으로 미세조정된 모델들은 대체로 겹치는 뉴런을 활성화하면서, 상위 층의 번역어 생성 표현을 서로 호환되지 않는 기하 구조로 재형성한다. 이러한 발견은 다국어 병합 실패가 공유 연산 단위 내 번역어 측 기하학적 불일치에서 기인함을 시사하며, 다국어 번역을 위한 표준 가중치 공간 병합의 전제에 도전한다. 코드는 https://github.com/babangain/mt-model-merging 에서 공개한다.

원문 초록

Weight-space model merging combines independently fine-tuned checkpoints without access to the original training data. While merging has shown promise in multitask settings, its behavior in multilingual generative systems remains underexplored. We systematically study weight-space merging for multilingual machine translation by fully fine-tuning language models on large-scale bilingual corpora and evaluating representative merging strategies across shared-source, shared-target, and bidirectional consolidation settings. Our experiments reveal a strong directional asymmetry. Merging is comparatively more effective when models share a target language, improving multilingual coverage over the base model, but it still fails to preserve the peak performance of language-specific checkpoints. In contrast, when target languages differ, performance degrades sharply, especially in shared-source and bidirectional settings. To explain this behavior, we analyze internal representations and find that fine-tuning does not create disjoint language-specific sub-networks. Instead, independently fine-tuned models activate largely overlapping neurons while reshaping upper-layer target-generation representations into incompatible geometries. These findings suggest that multilingual merging failures arise from target-side geometric misalignment within shared computational units, challenging the assumptions underlying standard weight-space merging for multilingual translation. We make the code publicly available at https://github.com/babangain/mt-model-merging

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.02881v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.