PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29024v1cs.CL

경험 재생과 모델 수핑을 통한 21개 인도 언어 전반의 IndicTrans2 대화체 도메인 적응

Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups

IndicTrans2는 가장 강력한 오픈 소스 영어-인도어 번역 시스템이지만, 대부분의 시스템과 마찬가지로 일반 텍스트로 학습(training)되어 일상적인 대화체 입력에 딱딱하게 들리는 경향이 있다. 우리는 공개 데이터(OpenSubtitles, BPCC-H-Daily, Tatoeba)만을 사용하여 21개 인도 언어 전반에 걸쳐 IndicTrans2-1B를 대화체 레지스터에 적응시킨다. 단순 미세조정(fine-tuning)은 대화체 chrF를 향상시키지만 일반 도메인을 망각한다(힌디어의 경우 FLORES에서 3.9 chrF 하락). 일반 데이터를 학습에 다시 혼합하는 경험 재생(experience replay)과 이후 미세조정된 가중치를 기본 모델(model)과 평균하는 모델 수핑(model souping)은 이 트레이드오프를 제거한다: 결과 모델은 21개 언어 모두에서 대화체 chrF 기준으로 IndicTrans2-1B를 능가하며(평균 +6.2), FLORES에서는 동등한 성능을 유지한다(평균 변화 -0.17, 모두 0.7 chrF 이내). 대응 부트스트랩 검정은 대화체 향상이 유의미하며(p <= 0.004) FLORES가 유의미하게 저하되지 않음을 확인한다. 우리는 범위에 대해 신중하다: 이것은 chrF 향상이며, 맹검 인간 평가와 다중 모델 LLM 검증은 이를 지각된 품질 향상으로 확인하지 않는다. 따라서 우리는 대화체 향상을 더 나은 번역의 증거라기보다는 참조문에 대한 레지스터 일치로 대부분 간주한다. 기법 자체는 새롭지 않으며, 기여는 인도어 대화 환경에서의 정직한 종단 간(end-to-end) 연구이다.