arXiv:2610.07032v1 cs.CL

생체의학 도메인의 신경망 기계 번역을 위한 모델 압축 연구

Investigating Model Compression for Neural Machine Translation in the Biomedical Domain

Maria Zafar, Souhail Bakkali, Rejwanul Haque

제출 2026-10-04

저자 비고

arXiv Comments

Accepted at AICS 2025

한국어 초록

대규모 사전학습 트랜스포머(transformer) 모델은 다국어 설정을 포함한 다양한 기계 번역(machine translation) 작업에서 최고 수준의 성능을 달성했습니다. 지식 증류(knowledge distillation)는 대형 교사 모델에서 더 작고 효율적인 학생 모델(student model)로 지식을 전달하여 모델 압축을 달성하는 지속 가능한 접근 방식으로 부상했습니다. 마찬가지로, 모델 가중치와 활성화의 수치 정밀도(precision)를 낮추는(예: 32비트에서 8비트 표현으로) 양자화(quantization)는 추론(inference) 속도를 높여 배포 시 모델이 몇 배 더 빠르게 실행될 수 있도록 널리 사용됩니다. 그러나 두 기술 모두 전문 도메인 데이터, 특히 저자원 조건에 적용될 때 한계에 직면합니다. 지식 증류에서는 도메인 특화 병렬 데이터의 부족으로 인해 지식 전달의 효과가 제한되는 경우가 많으며, 양자화는 비트 정밀도가 낮아짐에 따라 성능 저하를 초래할 수 있습니다. 본 연구에서는 전문 용어와 제한된 병렬 자원이 특징인 도메인인 프랑스어-영어 생체의학 번역을 대상으로 지식 증류와 양자화의 결합 적용을 조사합니다. 압축된 학생 모델을 이러한 까다로운 환경에 적응시키기 위해 여러 미세조정(fine-tuning) 전략을 개발하고 비교합니다. 실험 결과, 협력적으로 증류 및 양자화된 학생 모델은 번역 품질을 저하시키지 않으면서 기존 기준선(baseline) 대비 크기 69% 감소, 추론 속도 98.21% 향상, CO2 배출량 98.46% 감소를 달성함을 보여줍니다. 이러한 결과는 공동으로 최적화된 압축 기술이 자원 제약 하에서 운영되는 번역 서비스 제공자에게 적합한 효율적이고 고성능인 모델을 제공할 수 있음을 나타냅니다.

원문 초록

Large-scale pretrained transformer models have achieved state-of-the-art performance across diverse machine translation tasks, including multilingual settings. Knowledge distillation has emerged as a sustainable approach for model compression, transferring knowledge from large teacher models to smaller, more efficient student models. Similarly, quantization, which reduces the numerical precision of model weights and activations (e.g., from 32-bit to 8-bit representations) is widely used to accelerate inference, enabling models to run several times faster during deployment. However, both techniques face limitations when applied to specialized domain data, particularly under low-resource conditions. In knowledge distillation, the effectiveness of transfer is often constrained by the scarcity of domain-specific parallel data, while quantization can lead to performance degradation as bit precision decreases. In this work, we investigate the combined application of knowledge distillation and quantization for French-to-English biomedical translation, a domain characterized by specialized terminology and limited parallel resources. We develop and compare multiple fine-tuning strategies to adapt compressed student models to this challenging setting. Our experiments demonstrate that a collaboratively distilled and quantized student model achieves a 69% reduction in size, a 98.21% increase in inference speed, and a 98.46% reduction in CO2 emissions compared to the original baseline all without sacrificing translation quality. These results indicate that jointly optimized compression techniques can yield efficient, high-performance models suitable for translation service providers operating under resource constraints.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07032v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.