저자원 텍스트 음성 변환의 품질 격차 해소: 크메르어와 한국어를 위한 VoxCPM2 LoRA 미세조정
Closing the Quality Gap in Low-Resource Text-to-Speech: LoRA Fine-Tuning of VoxCPM2 for Khmer and Korean
한국어 초록
대규모 사전학습 텍스트 음성 변환(TTS) 모델은 데이터가 풍부한 언어에서는 거의 사람과 같은 음성을 생성하지만, 학습 데이터에서 드문 언어에서는 훨씬 품질이 떨어진다. 본 연구는 크메르어와 한국어에서 이러한 품질 격차를 VoxCPM2로 분석한다. VoxCPM2는 2.4B 매개변수 규모의 토큰화(tokenization) 없는 텍스트 음성 변환 모델로, MiniCPM-4 언어 모델 백본과 flow-matching 확산 디코더를 결합한다. 약 26시간 분량의 공유 언어 태그 코퍼스를 구축하고, 두 언어를 동시에 학습한 단일 Low-Rank Adaptation(LoRA) 어댑터로 VoxCPM2를 적응시키며, 이 어댑터는 언어 모델과 디코더 모두에 추가된다. 어댑터는 영 초기화(zero-initialized)되어 학습이 원래의 제로샷(zero-shot) 모델 상태에서 정확히 시작된다. 원어민 청취 테스트에서 크메르어 평균 의견 점수(MOS)는 최적 어댑터(rank 64) 사용 시 3.85에서 4.23으로 상승했으며, 이는 매우 유의미한 향상이다(쌍체 Wilcoxon 검정, p<0.001). 이때 전체 매개변수의 0.19~3.03%만 학습했다. 그러나 자동 손실과 인간 평가는 최적 rank에 대해 일치하지 않는다. 검증 손실은 rank 128에서 최저이지만, MOS는 rank 64에서 정점을 기록한다. 동일한 어댑터는 기본 모델이 이미 잘 처리하는 한국어에서는 개선을 가져오지 않았고, 높은 rank에서는 오히려 품질이 저하되었다. 따라서 적응(adaptation)은 기본 모델이 실질적으로 약한 경우에만 주로 도움이 된다.
원문 초록
Large pretrained text-to-speech (TTS) models sound almost human for well-resourced languages, but much worse for languages that are rare in their training data. We study this quality gap for Khmer and Korean using VoxCPM2, a 2.4B-parameter, tokenizer-free TTS model that joins a MiniCPM-4 language-model backbone with a flow-matching diffusion decoder. We build one shared, language-tagged corpus of about 26 hours and adapt VoxCPM2 with a single Low-Rank Adaptation (LoRA) adapter, trained on both languages at once and added to both the language model and the decoder. The adapter is zero-initialized, so training starts exactly at the original (zero-shot) model. In native-speaker listening tests, the Khmer Mean Opinion Score (MOS) rises from 3.85 to 4.23 with the best adapter (rank 64), a highly significant gain (paired Wilcoxon test, p<0.001), while training only 0.19 to 3.03 percent of the parameters. The automatic loss and the human ratings, however, disagree on the best rank: validation loss is lowest at rank 128, yet MOS peaks at rank 64. The same adapter brings no gain for Korean, a language the base model already handles well, and at a high rank it even degrades quality. Adaptation therefore helps mainly where the base model is genuinely weak.
요약
저자산 TTS 모델 VoxCPM2에 크메르어·한국어 공유 약 26시간 코퍼스로 단일 LoRA 어댑터를 동시 파인튜닝해, 전체 매개변수의 0.19~3.03%만 학습하면서 저자원 크메르어 MOS를 3.85에서 4.23으로 유의하게 끌어올렸다. 기본 모델이 이미 잘 다루는 한국어에는 개선이 없었고 높은 rank에서는 품질이 떨어져, 적응은 기본 모델이 약한 언어에서만 효과적이며 검증 손실과 청취 평가가 최적 rank(rank 64 vs 128)에서도 일치하지 않았다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26618v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
우울증 중증도 예측을 위한 교차 척도 전이학습: 언어 및 임상 패러다임을 넘나드는 PHQ-8에서 HAMD-17로의 전이
Cross-Scale Transfer Learning for Depression Severity Prediction: From PHQ-8 to HAMD-17 Across Languages and Clinical Paradigms
본 연구는 데이터가 부족한 환경에서 임상 인터뷰 녹취록으로부터 연속적인 우울증 중증도 점수를 예측하는 문제를 다룹니다. 우리는 교차 척도 전이(cross-scale transfer)를 위한 순차적 저순위 적응(LoRA) 프로토콜을 제안합니다. 경계 회귀 헤드(bounded regression head)가 결합된 Qwen3 백본을 먼저 영어 DAIC-WOZ 데이터셋(아바타 중개 세션 189건, PHQ-8)에서 미세조정(fine-tuning)한 후, 해당 어댑터로 초기화하여 중국어 PDCH 데이터셋(실제 임상 상담 100건, HAMD-17)에서 미세조정을 진행하며, 이때 재초기화된 척도 전용 헤드가 임상의가 부여한 점수를 예측합니다. 모든 구성에는 환자 수준의 계층화된 5-겹 2-반복 교차 검증(5-fold, 2-repeat cross-validation)을 적용했습니다. 데이터가 희소한 HAMD-17 타깃에서 순차적 프로토콜은 0.6B 및 1.7B 백본 모두에서 가장 우수한 점추정치 MAE, RMSE 및 매크로-$F_1$을 달성하여 타깃 전용 학습(training) 및 비 LLM 베이스라인을 능가했습니다(Qwen3-0.6B에서 4.96/6.59/0.36, Qwen3-1.7B에서 4.38/5.62/0.46). 소거 연구(ablation) 결과, 올바르게 정렬된 소스 감독이 최상의 점추정치를 산출하고(비지도 노출 및 셔플된 레이블 대조군 또한 부분적인 이득을 보임), 원어 중국어 타깃 입력이 기계 번역된 영어 입력보다 우수한 성능을 보이며, 역순 전이는 실행 간 분산 범위 내에서 뚜렷한 이득을 보이지 않음을 시사합니다. 본 연구는 탐색적인 단일 기관 내부 평가로, 선별 또는 진단 유용성을 입증하지 않으며 척도, 언어 또는 패러다임 변화 각각의 기여도를 분리하여 규명하지는 않습니다. 우리가 아는 한, 이 특정한 DAIC-WOZ에서 PDCH로의 순차적 전이 설정을 평가한 선행 연구는 없습니다.
물리적 도메인 전반에서 BLIP 미세조정의 전역 그래디언트 노름 불균형 재평가
Reassessing Global Gradient-Norm Imbalance in BLIP Fine-Tuning Across Physical Domains
비전-언어(vision-language) 모델의 시각 경로와 언어 경로 간 그래디언트 크기 불균형은 흔히 교정해야 할 결함으로 취급된다. 우리는 이러한 전제를 하나의 교정 계열에 대해 검증하며, 이 연구 범위 밖의 기전적으로 별개인 부류인 적응형·신호 기반 기법(예: BalGrad, OGM, PMR, CGGM)은 의도적으로 제외한다. 서로 다른 물리적 도메인 변화—수중, 항공, 방사선—를 아우르는 아홉 가지 미세조정 조건, 세 개의 시드, 세 개의 캡셔닝 데이터셋에 걸쳐 매개변수 정규화 형태로 보고되는 언어 대 시각 그래디언트 노름 비율을 측정한 결과, 불균형의 크기는 도메인 간에 뚜렷하게 달라지며 예측 가능한 순서를 보이지 않음을 발견했다. 단순한 학습률 감소만으로도 불균형이 크게 줄어들며, 모든 데이터셋에서 최상의 방법과 BLEU 몇 점 이내의 차이를 보인다. 단계적 동결(staged freezing)은 모든 도메인에서 비율을 낮추지만 결코 1위를 차지하지 못하며, 스케줄만 적용한 대조군은 한 데이터셋에서는 동결이 원인임을 밝혀내지만 나머지 두 데이터셋에서는 그렇지 않다. 두 그래디언트 그룹의 크기를 강제로 동일하게 맞추면 모든 도메인에서 매개변수당 불균형이 거의 0에 가까워지지만, 동일한 설정임에도 서로 다른 데이터셋에서 이는 이 연구의 최상의 결과이자 동시에 전체 미세조정 방법들 중 최하위라는 상반된 결과를 보인다. 그래디언트 노름 비율의 감소는 도메인 전반에 걸쳐 캡셔닝 성능을 일관되게 예측하지 못하며, 주어진 수준의 균형에 어떻게 도달했는지가 그 수준 자체만큼이나 중요하다. 부차적인 발견으로, BLIP에 흔히 재사용되는 LoRA 구성이 시각 매개변수를 전혀 적응시키지 않는다는 것을 발견했으며, 이를 수정하면 세 데이터셋 모두에서 BLEU-4가 향상된다.
AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학
AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission
아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.
프롬프트 기반 수술 개념 분할을 위한 SAM3의 매개변수 효율적 적응
Parameter-Efficient Adaptation of SAM3 for Prompt-Driven Surgical Concept Segmentation
효율적인 수술 분할은 임상 진단, 수술 중 모니터링, 재구성 및 시뮬레이션을 위한 후속 로봇 파이프라인을 가능하게 한다. Segment Anything Model 3(SAM3)과 같은 프롬프트 기반 기반 모델(foundation model)은 자연 이미지에서 강력한 분할 성능을 달성하지만, 수술 데이터는 사전학습 데이터와 도메인 격차를 보여 분할 정확도가 저하된다. 또한 기존 의료 SAM 방법은 전체 매개변수 미세조정을 요구하여 높은 계산 소비와 낮은 효율성을 초래한다. 이러한 한계를 해결하기 위해, 본 연구는 수술 개념 분할을 위해 SAM3의 매개변수 효율적 Low-Rank Adaptation(LoRA) 적응을 제안한다. 우리는 비전 백본을 완전히 동결한 채 프롬프트 인코더, 검출기, 트래커에 저랭크 어댑터를 주입하며, 이는 전체 모델 매개변수의 0.98%만 최적화하고 단일 소비자용 GPU에서 학습을 지원한다. 종합적인 실험을 통해 우리 방법이 제로샷 SAM3 및 기타 주류 기준선(baseline)을 지속적으로 능가함을 보여주며, 생성된 분할 결과는 후속 로봇 수술 장면 재구성 및 물리 시뮬레이션 파이프라인을 지원하기 위해 직접 배포할 수 있다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구
Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi
감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.