PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13550v1cs.CL

고정관념 없는 개인화: 음성 대규모 언어 모델은 언제 못 들은 척해야 하는지 알고 있는가?

Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?

최근 음성 대규모 언어 모델(Speech LLM)은 풍부한 준언어적(paralinguistic) 단서를 활용하여 더욱 복잡하고 개인화된 상호작용을 가능하게 합니다. 그러나 이러한 민감성이 어떻게 고정관념화로 이어질 수 있는지를 조사한 연구는 드물며, 기존 평가는 유익한 개인화와 고정관념적 행동을 구별하지 않은 채 주로 인구통계학적 격차만을 측정합니다. 본 연구에서는 세 가지 축을 통해 이 두 측면을 분리하도록 설계된 벤치마크인 BASIS-Bench를 소개합니다. (1) 화자 전반에 걸친 콘텐츠 기반 작업의 격차 및 인구통계학적 분류 기능을 측정하는 인구통계학적 강건성, (2) 감지된 인구통계학적 단서가 유도되지 않은 고정관념적 행동을 촉발하는지 측정하는 고정관념 바이어스, (3) 명시적으로 요청되었을 때 모델이 인구통계학적 특성에 맞춰 응답을 맞춤화할 수 있는지를 측정하는 개인화입니다. 우리는 8개의 최근 음성 LLM을 평가한 결과, 모델들이 인구통계학적 단서를 인식하는 경우가 많음에도 불구하고 대부분 적절한 개인화로 전환하는 데 실패함을 발견했습니다. 명시적인 인구통계학적 레이블은 개인화를 향상시키지만 텍스트 백본에 이미 존재하는 고정관념적 연상을 증폭시키기도 합니다. 이러한 결과는 음성 LLM이 인구통계학적 단서를 인식할 뿐만 아니라, 언제 그러한 단서가 응답을 형성해야 하는지 학습하도록 훈련할 필요가 있음을 강조합니다.

arXiv:2610.10868v1eess.AS

인간 청취자로부터의 강화학습을 적용한 대화형 음성 미학 모델

Conversational Voice Aesthetic Model with Reinforcement Learning from Human Listeners

우리는 자연스러운 대화 맥락에서 실제 또는 합성된 음성 응답의 음성 미학(voice aesthetics)을 설명하는 음성 대규모 언어 모델(speech LLM)인 Conversational Voice Aesthetic Model(CVAM)을 소개한다. 맥락(context)과 응답 음성이 주어지면, CVAM은 해당 음성을 특징짓는 주요 순간들을 설명하고 성별, 음높이(pitch), 속도(pacing), 감정, 전달 방식(delivery)에 걸친 9개의 범주형 속성을 예측한다. 핵심 과제는 감정 및 전달 방식과 같은 지각적 영역에 있는데, 이러한 영역은 본질적으로 주관적이며 명확한 정답(ground truth)이 존재하지 않는다. 이를 위해 우리는 CANDOR 코퍼스에서 파생된 3,000개의 실제 및 합성 응답 각각에 대해 약 10개의 인간 어노테이션을 수집한다. CVAM은 합성된 미학적 설명과 레이블에 대해 지도 파인튜닝(supervised finetuning)된 후, 인간 판단을 바탕으로 Group Relative Policy Optimization을 통해 최적화된다. 실험 결과, CVAM은 Gemini 3.1 Pro 및 오픈소스 음성 LLM보다 인간 청취자와 더 높은 일치도를 보였으며, 단일 인간과 나머지 인간들 간의 일치도(single-human-vs.-rest agreement)보다도 우수한 성능을 나타냈다. 종합적으로, 우리는 음성 미학을 인간의 지각에 그라운딩하는 것의 중요성을 입증하고, 인간 정렬(human alignment)을 위한 체계적인 프레임워크를 제안한다.

arXiv:2605.28211v2cs.CL

유용한 컨텍스트가 유출될 때: 도메인 적응 ASR의 프라이버시 위험

When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR

SpeechLLM은 도메인 맞춤화가 일반적인 전문 환경에서 점점 더 많이 배포되고 있다. 사용자는 민감한 정보가 담긴 컨텍스트를 프롬프트로 제공하거나, 자체 보유한 녹음 데이터로 미세조정하거나, 혹은 두 가지를 모두 수행한다. 본 연구는 이러한 맞춤화에서 간과되어 온 프라이버시 위험을 규명하고 체계적으로 조사한다. 도메인 특화 용어를 인식하도록 적응된 모델은 다른 단어가 발화되었더라도 컨텍스트나 학습 데이터에 있는 발음이 유사한 단어를 전사하도록 유도될 수 있으며, 그 결과 비공개 정보가 유출된다. 이 위험을 평가하기 위해 우리는 이러한 공격의 벤치마크를 자동으로 구성하는 기법을 제안하고, 이를 적용하여 프롬프트와 미세조정이라는 두 가지 맞춤화 메커니즘 전반의 유출률을 측정한다. 두 메커니즘 모두 측정 가능한 수준의 유출을 일으키며, 함께 사용하면 유출이 누적된다. 또한 프롬프트 수준의 완화 전략을 평가하고 맞춤화 접근법별 정확도-유출 간 트레이드오프를 분석한 결과, 컨텍스트 프롬프트 없이 미세조정하는 방식이 가장 좋은 균형을 제공함을 확인하였다.

arXiv:2607.22100v1cs.CL

MEUSLI: LLM 기반 ASR 및 그 이상을 위한 다국어 프로젝터

MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond

경량 프로젝터는 사전학습된 음성 인코더와 대규모 언어 모델(LLM)을 연결하는 확립된 방법으로, ASR 및 음성 질의응답과 같은 작업을 위해 음향 특징을 토큰 수준 임베딩으로 매핑한다. 그러나 기존 시스템은 일반적으로 소수의 언어만 지원하며 종종 영어에 한정된다. 우리는 Whisper 인코더와 오픈소스 다국어 LLM을 연결하여 28개 유럽 언어에서 완전한 오픈소스 end-to-end ASR을 가능하게 하는 최초의 오픈 사이언스 다국어 프로젝터 계열인 MEUSLI를 제안한다. MEUSLI는 기존 단일언어 파이프라인을 확장하여, 고자원 및 저자원 언어 모두에서 우수한 결과를 제공한다. 적절한 지속 학습(continual learning) 기법을 사용하면, MEUSLI는 학습에서 보지 못한 다른 언어로도 쉽게 확장할 수 있다. 또한 MEUSLI 프로젝터가 ASR을 넘어 활용될 수 있음을 보였으며, 언어당 단 몇 시간의 과제별 지도 학습만으로 다국어 음성 번역 및 주제 식별을 가능하게 한다. 전반적으로 MEUSLI는 확장 가능하고 포용적인 오픈소스 SpeechLLM을 지원하며, 다국어 음성 이해 작업을 위한 견고한 기반을 제공한다.

arXiv:2603.07025v2cs.CL

ASR 전용 지도 기반 다국어 지시 따르기 음성 LLM을 위한 언어 인식 증류

Language-Aware Distillation for Multilingual Instruction-Following Speech LLMs with ASR-Only Supervision

여러 언어로 지시를 이해하고 따르는 음성 대규모 언어 모델(Speech LLM)은 실제 상호작용에 유용하지만, 지도 미세조정으로 학습하기 어려워 대규모의 과제별 음성 코퍼스가 필요하다. 최근 증류 기반 접근법은 경량 프로젝터만으로 텍스트와 음성을 정렬하여 주석이 달린 ASR 데이터만으로 성능이 좋은 영어 전용 Speech LLM을 학습시키지만, 공유 프로젝터에서의 언어 간섭으로 인해 다국어 설정으로 확장할 때 성능이 저하된다. 이를 해결하기 위해 쿼리 뱅크와 Q-Former 프로젝터를 사용하여 쿼리 토큰을 선택하거나 혼합하는 게이팅 네트워크를 활용한 언어 인식 증류를 제안한다. 우리 접근법은 지시 따르기에서 동등한 다국어 증류 기준선 대비 14%의 향상을 보인다. 또한 MLQA를 기반으로 고품질 TTS 질문으로 구성된 다국어 음성 QA 벤치마크인 Audio-MLQA를 합성한다. 최고 성능 모델은 Audio-MLQA에서 기존 Speech LLM 기준선 대비 32% 향상된다.

arXiv:2603.05121v2cs.CL

SpeechLLM에서 디코더 레이어의 중복성 측정

Measuring the Redundancy of Decoder Layers in SpeechLLMs

Speech 대규모 언어 모델(Speech LLM)은 음성 인코더 표현을 LLM 디코더로 라우팅하며, 이 디코더는 일반적으로 전체 파라미터의 90% 이상을 차지한다. 우리는 음성 태스크에 실제로 이 디코더 용량 중 얼마나 많은 부분이 필요한지 연구한다. 두 LLM 계열과 세 가지 규모(1-8B)에 걸쳐, 디코더 중복성은 대부분 사전학습된 LLM에서 상속됨을 보인다: 텍스트와 음성 입력은 유사한 중복 블록을 산출한다. 이어서 디코더 레이어를 가지치기하고 가지치기 후 회복을 분석하여 견고성을 높이는 방식으로 과잉 용량을 측정한다. 우리의 결과는 7-8B 모델이 디코더 레이어의 60%만으로도 양호한 ASR 성능을 유지함을 보여주며, 동일한 경향이 더 작은 규모에서도 나타나지만 가지치기 허용 범위는 줄어든다. 마지막으로 음성 번역으로 일반화하여, 동일한 레이어 블록이 음성 인코더, 태스크, 언어에 걸쳐 중복됨을 보인다. 이는 더 전역적인 중복 구조가 존재함을 시사하며, 단일 가지치기 다중 태스크 SpeechLLM 백본을 배포할 수 있게 한다.