telefonica.com

이 이메일 도메인이 관측된 논문 6건

arXiv:2609.23825v1cs.CL

연합 다국어 Speech-LLM: 아키텍처 및 집계 전략 벤치마킹

Federated Multilingual Speech-LLMs: Architecture and Aggregation Strategy Benchmarking

본 논문에서는 Multilingual LibriSpeech 데이터셋에서 4가지 Speech-LLM 아키텍처를 평가하여 다국어 자동 음성 인식(ASR)을 위한 연합학습(FL)의 종합적인 벤치마크를 제시합니다. 인코더 동결(frozen) 및 동결 해제(unfrozen) 설정 전반에서 FedAvg와 FedProx를 비교하여, 최적화된 학습률이 성능에 결정적임을 입증합니다. 구체적으로 음성 인코더, 커넥터, 디코더의 학습률을 독립적으로 튜닝할 때 가장 낮은 오류율을 달성하며, 세 구성 요소 전체를 적응시키는 방식(인코더와 디코더에는 LoRA 적용, 커넥터는 전체 학습)이 가장 우수한 연합학습 결과를 도출합니다. 또한 FedProx의 효용성이 아키텍처에 따라 달라지며, 다국어 사전학습 아키텍처(예: 인코더를 고정했을 때 TinyLlama 대비 EuroLLM)에서 두드러진 이점을 제공함을 관찰했습니다. 이는 대규모 언어 모델(LLM) 백본의 용량이 이종 데이터 분포에 대한 회복탄력성을 매개하는 데 핵심적인 역할을 함을 시사합니다. 이러한 연구 결과는 개인정보 보호에 민감한 분산 환경에 다국어 Speech-LLM을 배포하기 위한 구체적인 설계 지침을 제공합니다.

arXiv:2609.11762v1cs.CL

Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs

Per-layer differential privacy (DP) clipping improves gradient fidelity in federated learning by allocating per-matrix clipping budgets proportional to parameter count. We show that this recipe breaks for speech large language models (speech-LLMs), when the acoustic encoder and the language decoder differ by an order of magnitude in update norm. Single-pool per-layer methods suffer \emph{cross-component budget collapse}, dragging word error rate (WER) far from flat global clipping or collapsing training entirely. When the norm imbalance is milder, adaptive single-pool methods partially recover, confirming that collapse severity scales with the inter-component norm ratio. We empirically diagnose the root cause across six per-layer methods and three speech-LLM architectures. We then propose \emph{$α$-split}, a two-pool allocation that normalises encoder and LLM parameters into independent pools, and show that joint $\ell_2$ sensitivity and the original $(\varepsilon,δ)$-DP guarantee are unchanged. At architecture-calibrated $α$, our method recovers WER utility compared to flat DP, while granting the encoder $4.47{\times}$ tighter per-component noise protection against speaker voice-based gradient-inversion attacks at only $+2.6\%$ LLM noise overhead.

arXiv:2609.11724v1cs.CL

The Eloquence submission for Task 2 of the Interspeech 2026 MLC-SLM challenge

This paper details the Eloquence team's approach to Task 2 of the 2nd MLC-SLM challenge at Interspeech 2026, which involves multilingual Multiple-Choice Question Answering (MCQA) across 21 languages. Three approaches are explored. First, we fine-tune Voxtral-Mini-3B via LoRA with cross-lingual data augmentation, ASR transcript augmentation and timestamp-aware audio cropping, achieving 0.72 macro-accuracy on evaluation Phase 2. Second, we apply multimodal in-context learning (ICL) to the frozen Voxtral-24B model to correct a strong label bias, reaching 0.81, our best result. Third, a training-free retrieval system based on a three-layer voice-anchored memory combining acoustic identity, semantic content, and a knowledge graph achieves 0.68. All three systems substantially outperform the official baseline.

arXiv:2609.05043v1cs.CL

EuroAlpaca: 유럽 언어를 위한 작업 보존 지시 데이터 현지화

EuroAlpaca: Task-Preserving Localisation of Instruction Data for European Languages

기계 번역(MT)은 영어 지시 미세조정 데이터를 여러 언어로 확장하는 확장 가능한 방법을 제공하지만, 작업에 핵심적인 제약과 요구 출력을 왜곡하여 손상된 학습 예시를 만들고, 그러한 데이터로 학습한 모델의 성능을 저하시킬 수 있다. 우리는 50개 유럽 언어 및 지역 변종을 포괄하는 작업 보존 현지화 파이프라인과 근-병렬 리소스인 EuroAlpaca를 제시하며, 검증 가능한 지시 준수를 위한 다국어 벤치마크 European-IFEval을 함께 제공한다. 예시에 따라 파이프라인은 작업 핵심 내용을 보존하면서 필드별 기계 번역을 적용하거나, 작업 등가의 목표 언어 인스턴스를 재구성한 뒤 필드 간 일관성과 목표 언어 일치에 대한 검증을 수행한다. 네 개의 LLM에 대한 LoRA 실험에서, 직접 번역된 데이터로 학습하면 Aya Evaluation Suite에서 ROUGE-L과 F-BERT는 개선되지만, 미적응 기준선 대비 European-IFEval 정확도는 상대적으로 29.8% 감소한다. 반면 EuroAlpaca로 적응하면 동일 기준선 대비 정확도가 12.9% 향상되어 직접 MT로 인한 저하를 되돌리며, Aya에서 최고 ROUGE-L 및 F-BERT 점수도 달성한다. 이 결과는 다국어 지시 미세조정에서 작업 의미를 보존하는 것이 필수적임을 보여준다.

arXiv:2607.03207v1cs.CL

S-DiverSe: 스페인어 다양한 음성 데이터셋

S-DiverSe: Spanish Diverse Speech

자동 음성 인식(ASR)은 표준 음성에 대해 눈에 띄게 발전했지만, 신경학적 질환의 영향을 받은 음성은 여전히 도전 과제로 남아 있다. 본 논문에서는 근위축성 측삭 경화증(ALS), 파킨슨병, 뇌졸중을 가진 22명의 화자로부터 수집된 3.2시간 분량의 실환경 스페인어 음성 코퍼스인 S-DiverSe(Spanish Diverse Speech)를 소개한다. 이 데이터셋은 화자 성별, 질환 유형, 명료도에 대한 메타데이터와 함께 수동으로 전사된 444개의 오디오 세그먼트를 포함한다. S-DiverSe는 신경학적 영향을 받은 스페인어 음성에 대한 ASR 평가 및 개발을 지원하도록 설계되었다. 본 논문에서는 데이터셋을 기술하고, 그 구성을 분석하며, 초기 적응 실험과 함께 기준선 ASR 결과를 보고한다. 실험 결과, 도메인 외 신경학적 스페인어 음성에 대해 휴리스틱 텍스트 후처리가 미세조정보다 더 강건한 것으로 나타났다. 이는 실환경 전용 스페인어 벤치마크의 필요성을 강조한다.

arXiv:2510.04584v2cs.CL

Robustness assessment of large audio language models in multiple-choice evaluation

MMAU, MMAR, MMSU 벤치마크와 Audio Flamingo 2/3, Qwen2.5-Omni-7B, Kimi-Audio-7B 등 4개 모델을 대상으로 대규모 오디오 언어 모델(LALM)의 객관식 평가(MCQA) 취약성을 체계적으로 분석한 연구로, 선택지 순서 변경·질문 패러프레이징만으로도 정확도가 크게 달라지고 텍스트만 입력한 LLM이 무작위 기준선을 최대 22.6%p 상회하는 언어 편향이 존재함을 밝혔다. 이를 해결하기 위해 다양한 변형에 걸쳐 모든 경우를 정확히 맞춰야만 정답으로 인정하는 정답률(CoR) 지표와 간소화된 평가 프로토콜을 제안하여 보다 신뢰성 있는 LALM 평가 체계를 제시한다.