다국어 대규모 언어 모델(MLLM)은 코드 스위칭(CS) 입력을 처리해야 할 기대가 커지고 있으나, 언어 혼용은 원어 또는 목표어 단일 언어 모델에 비해 성능을 자주 저하시킵니다. 이러한 저하를 이해하기 위해, 우리는 CS 표현이 원어 및 목표어 대응 표현에 대해 상대적으로 어디에 위치하는지 파악하기 위한 통제된 진단 설정으로 문법 강제형 CS를 사용합니다. 우리는 CS 은닉 상태가 원어 또는 목표어 대응 표현 중 어느 쪽에 더 가깝게 정렬되는지 여부인 언어 앵커링을 정량화하는 기하학적 척도인 앵커 바이어스(Anchor Bias)를 소개합니다. 다양한 MLLM에 걸쳐, 앵커 바이어스는 일관된 문법 프레임 효과를 드러냅니다: 원어 프레임 CS는 원어 고정 상태를 유지하는 반면, 목표어 프레임 CS는 목표어 쪽으로 이동하며 더 큰 질의응답(QA) 성능 저하를 보입니다. 이러한 표현 패턴에 착안하여, 우리는 입력에서 원어 측 캔버스를 추출하고 프리필(prefill) 동안 목표어 은닉 상태를 원어 앵커 쪽으로 부드럽게 조종하는 추론 시점 개입 방법인 CANVAS(Contextual Anchor-based Neural Vector Alignment Steering)를 제안합니다. CANVAS는 MLLM 및 CS 조건에 걸쳐 QA F1 점수를 일관되게 회복시키며, 이는 내부 앵커링 신호가 CS 추론 실패를 완화하기 위한 실행 가능한 목표를 제공함을 보여줍니다.
대만 만다린의 코드 스위칭 TTS 문제를 해결하기 위해, 바이트 수준 BPE 토크나이저 PangolinTokenizer와 번체 중국어 언어 모델 Barbet을 설계하고 이를 VoxCPM2 음향 스택에 연결한 BlueMagpie-TTS를 제안한다. 대만 현지화 테스트 세트에서 CER을 11.45%에서 4.81%로, WER을 14.83%에서 5.36%로 낮추었으며, 블라인드 청취 연구에서 65.6%의 선호도를 기록했다.
코드 스위칭(CS)은 동일한 발화 내에서 언어를 교체하는 현상으로, CS 학습 데이터의 부족으로 인해 자동 음성 인식(ASR)에 심각한 어려움을 초래한다. 본 논문은 CS-ASR에 반복적 의사 레이블링(pseudo-labeling) 학습 접근법을 최초로 적용하여, 레이블이 없는 데이터를 활용해 CS-ASR 성능을 향상시키는 데 있어 그 효과성을 입증한다. 이 접근법은 세 단계로 구성된다: 의사 레이블 생성, 2단계 이중 언어 모델 학습, 그리고 반복적 개선. 먼저 대규모 비레이블 코퍼스에서 의사 레이블을 생성하여 준지도(semi-supervised) 데이터셋을 구축한다. 이 데이터셋은 모델을 사전학습한 후 지도 CS 데이터로 파인튜닝하는 2단계 학습 프레임워크를 지원한다. 반복적 정제를 통해 복잡한 CS 시나리오 처리에 있어 모델의 정확도를 더욱 향상시킨다. 본 접근법은 CS-ASR 시스템을 크게 발전시켜, SEAME의 devman(6.35%) 및 devsge(8.29%) 서브셋에서 혼합 오류율(MER)의 현저한 감소를 달성하였다.
오디오-언어 모델은 코드 스위칭 음성에 대해 프롬프트될 수 있지만, 디코딩이 코드 스위칭에 최적화되어 있지 않아 언어 경계에서 자주 실패한다. 우리는 그룹 상대 정책 최적화(group relative policy optimization)를 활용하여, 오류율 보상과 잘못된 문자 체계를 패널티하는 스크립트 충실도 보상(script fidelity reward), 그리고 2단계 초안-정제(draft-and-refinement) 절차를 결합한, 코드 스위칭 ASR에 대한 오디오-언어 모델의 데이터 효율적 적응을 위한 실용적인 검증 가능한 보상 강화학습(RLVR) 레시피를 제안한다. 10개 언어 쌍에 걸쳐 재현 가능한 테스트베드로 Qwen2-Audio를 사용하고 TTS 코드 스위칭 음성만으로 학습하였을 때, 데이터의 10%만 사용한 RLVR이 전체 데이터셋으로 학습한 LoRA 지도 미세조정과 동등한 성능을 달성하며, 유형론적으로 거리가 먼 언어 쌍에서 가장 큰 성능 향상이 나타남을 보인다. 오류율 보상은 번역 오류를 제거하고, 스크립트 충실도 보상은 성능 저하 없이 별도로 스크립트 오염을 줄인다. 이러한 성능 향상은 인간이 녹음한 코드 스위칭 코퍼스에 제로샷으로 전이된다.
강력한 다국어 ASR baseline에서 합성 코드 전환(CSW) 데이터 미세조정이 단일언어 성능을 흔히 저하시키는 문제를, 베이지안 분해 적응(BLoRA)으로 기존 능력을 유지한 채 전환 관련 지식을 선택적으로 통합하는 방식으로 해결한다. 소량의 LLM·TTS 합성 데이터만으로 코드 전환 단어 전사 오류를 32.87% 줄이고 전체 WER을 5.31% 개선했으며, 효과적인 CSW 적응은 데이터 복잡성보다 지식 통합 방식에 더 의존함을 보였다.
자동 음성 인식(ASR)은 인간과 AI 상호작용을 위한 핵심 기술이 되었습니다. 그러나 코드 스위칭 ASR(CS-ASR)은 다양한 언어 쌍에 걸쳐 다국어 CS 음성 리소스가 심각하게 부족하기 때문에 여전히 특히 어려운 과제입니다. 기존 접근 방식은 주로 합성 CS 음성 생성이나 제한된 이중 언어 데이터셋에 대한 언어 쌍 특화 미세조정을 통해 CS-ASR 성능을 향상시킵니다. 그럼에도 불구하고, 이러한 접근 방식은 지원되는 언어의 수에 따라 조합적으로 증가하는 언어 쌍에 대해 CS 지원을 별도로 개발해야 하므로 본질적인 확장성 한계에 직면해 있습니다. 본 연구에서는 모델 병합 및 도메인 일반화 방법을 통해 제한된 수의 관측된 언어 쌍에서 학습된 CS 능력이 미관측 언어 쌍으로 일반화될 수 있는지 조사합니다. 실험 결과, 병합된 이중 언어 CS-ASR 모델이 미관측 언어 쌍으로 다소 일반화되는 것으로 나타났으며, 이는 언어 쌍 간의 이중 언어 CS 능력 전이가 제한적임을 시사합니다.
코드 스위칭(CS) 자동 음성 인식(ASR)은 학습을 위한 고품질 CS 텍스트-음성 쌍의 가용성이 제한적이기 때문에 여전히 어려운 과제입니다. 텍스트 음성 변환(TTS)을 통한 데이터 증강이 탐구되었지만, 기존 CS TTS 접근 방식은 주로 재구성 충실도를 최적화하고 언어 경계 일관성을 명시적으로 강제하지 않아 CS ASR 증강에 대한 효과를 제한합니다. 본 논문은 코드 믹싱 지수(CMI)를 사용하여 합성 음성 생성을 개선된 코드 스위칭 충실도로 유도하는 코드 믹싱 유도 선호 학습 프레임워크를 제안합니다. SEAME 중국어-영어 대화 말뭉치에 대한 실험은 제안된 방법이 ASR 미세조정을 위한 합성 데이터의 유용성을 향상시킴을 보여줍니다. 구체적으로, Whisper Large를 미세조정할 때 제안된 접근 방식은 DevMAN 및 DevSGE 세트에서 각각 혼합 오류율(MER)을 12.1%/17.8%에서 8.9%/14.2%로 감소시킵니다.
대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 매끄러운 다국어 사용을 가능하게 하지만, 모델은 종종 출력 언어를 잘못 식별하여 전사 정확도와 하위 애플리케이션 품질을 저하시킨다. 유연성과 코드 스위칭(code-switching) 능력을 유지하기 위해, 출력을 엄격하게 제한하지 않으면서 잠재적 음성 언어를 암시하는 소프트 프롬프트(soft prompting) 방식을 제안한다. 이 과제를 언어 준수(language adherence) 부족으로 형식적으로 정의하고, 위반을 정량화하는 새로운 지표를 도입하며, 세 가지 완화 전략을 평가한다: (1) 불확실성 하에서 강건한 안내를 위한 제로샷(zero-shot) 프롬프트, (2) 프롬프트 준수를 개선하기 위한 지도 미세조정(SFT), (3) 디코딩 중 준수를 강제하기 위한 사고의 연쇄(Chain-of-Thought, CoT) 추론. 여러 언어에 걸쳐 이러한 방법들의 비교 분석을 제시하고, 전체 ASR 성능을 유지하면서 언어 위반을 줄이는 효과를 평가한다. 마지막으로, 다양한 연산 제약 하에서 전략 선택을 안내하기 위한 트레이드오프를 논의한다.
단일 발화 내에서 여러 언어가 번갈아 사용되는 코드 스위칭(CS)은 자동 음성 인식(ASR)에서 여전히 어려운 문제로 남아 있습니다. 이 문제를 해결하기 위해, 우리는 CS 핵심 영역에서의 인식 성능을 향상시키는 관심 영역(POI) 인식 대조 학습 프레임워크를 제안합니다. 먼저 기존 문헌의 POI 탐지 방식을 채택하여 CS 구간을 식별하고, ASR N-best 출력 내의 POI를 변조하며 대규모 언어 모델(LLM)로 후보를 확장하여 음향적으로 타당한 근접 오답 가설을 구성합니다. 음향적, 음소적, 텍스트적 제약 조건을 통한 필터링을 통해 어렵지만 타당한 부정 샘플(negatives)을 유지합니다. 마지막으로, POI 가중치가 적용된 교차 엔트로피 앵커 목적함수와 다중 부정 대조 순위 손실(multi-negative contrastive ranking loss)을 함께 사용하여 LoRA로 Whisper-small을 미세조정합니다. CS-FLEURS (cmn-eng) 및 ViMedCSS (vie-eng)에 대한 실험 결과, 표준 LoRA 미세조정과 비교하여 일반 오류율과 CS 인식 오류율 모두에서 2% 이상의 일관된 감소를 보였습니다.