PyTorchKR Papers

최신 논문

총 529편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.07338v1eess.AS

Logbook: 초장시간 오디오 이벤트 이해

Logbook: Extremely Long-form Audio Event Understanding

기존 오디오 벤치마크는 짧고 사전 분할된 클립을 중심으로 구축되어 있어, 모델 설계를 짧은 입력이나 고정된 어휘로 제한합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 10분에서 6일에 이르는 녹음 데이터를 포함하는 시간 단위 오디오 이해를 위한 벤치마크인 Logbook을 소개합니다. 연속적인 오디오 녹음과 이벤트 라벨 어휘가 주어지면, 시스템은 공백 없는 분할(segmentation)과 함께 각 세그먼트별 이벤트 라벨 및 설명을 예측해야 합니다. 본 논문에서는 엔드투엔드(end-to-end) 및 캐스케이드(cascaded) 방식을 포함한 52개 시스템을 비교하고 미세조정, 컨텍스트 길이, 추론 예산(reasoning budget)에 대한 절제 연구(ablation study)를 수행합니다. 연구 결과 해당 태스크는 다룰 수 있는 수준이지만, 최고 성능의 시스템도 여전히 인간 기준(human reference)에는 미치지 못함을 확인했습니다. 또한 과도한 분할(over-segmentation) 현상이 만연하며, 미세조정이 이를 부분적으로 완화합니다. 마지막으로, 엔드투엔드 시스템이 캐스케이드 시스템보다 뛰어난 경우가 많지만, 컨텍스트가 길어질수록 성능이 저하됩니다.

arXiv:2610.07047v1eess.AS

SEAL: 효율적인 음성 분리를 위한 혼합 보존 덧셈 재구성 및 정제 인식 전문가 라우팅

SEAL: Mixture-Closed Additive Reconstruction and Refinement-Aware Expert Routing for Efficient Speech Separation

혼합 신호에 마스크를 적용하고 공유 셀을 통해 정제하는 소형 시간-주파수 분리기에는 두 가지 한계가 있습니다. 첫째, 유계 승산 마스크는 혼합 빈의 크기만 조정하므로, 중첩된 성분들이 상쇄되는 영역에서는 추정값이 작게 유지됩니다. 둘째, 공유 셀은 모든 단계에서 모든 시간-주파수 토큰(token)에 동일한 가중치를 적용하므로 셀을 확장하면 전체적인 연산량이 증가합니다. 본 논문에서는 두 문제를 모두 해결하기 위해 SEAL(Sparse Expert routing with Additive Latent reconstruction)을 제안합니다. 재구성의 경우 국소 혼합 진폭으로 제한되는 영합(zero-sum) 덧셈 잔차가 성분이 상쇄되는 영역에서도 추정값이 0이 되지 않도록 하면서 혼합 신호와의 합을 유지하도록 합니다. 라우팅의 경우 음향 정보와 단계 간 증거로부터 구성된 쿼리가 각 토큰을 6개의 잔차 전문가(expert) 중 하나로 전달하며, 노름 상한(norm cap)을 두어 단계 신호가 명확한 음향 증거보다 우선하지 않도록 방지합니다. EchoSet에서 SEAL(small)은 TIGER(small) 대비 28% 적은 파라미터와 2.9배 적은 MAC으로 SI-SDRi 0.31 dB 더 높은 성능을 달성했으며, SEAL(large)은 3.1배 적은 MAC으로 TIGER(large)와 0.07 dB SI-SDRi 이내의 대등한 성능을 보입니다.

arXiv:2610.07046v1eess.AS

GIVE-KWS: 노이즈에 강인한 예시 기반 질의 키워드 검출을 위한 시각적 증거의 게이트 주입

GIVE-KWS: Gated Injection of Visual Evidence for Noise-Robust Query-by-Example Keyword Spotting

시각적 음성은 잡음에 강인한 키워드 검출(keyword spotting)을 가능하게 할 잠재력을 지니지만, 시각 스트림이 반드시 효과적으로 활용되는 것은 아닙니다. 3개 모달리티(tri-modal) 기반의 예시 기반 질의 키워드 검출(QbyE-KWS) 벤치마크에서, 본 연구는 태스크 학습된 시각 인코더를 갖춘 시스템의 등가 오류율(EER)이 -10 dB 조건에서 텍스트 및 오디오 기반 시스템과 2%포인트 이내로 근접함을 발견하였으며, 이러한 성능 격차가 인코더의 음소 정보 부족과 연관되어 있음을 밝혔습니다. 이에 본 연구는 융합 단계인 GIVE(Gated Injection of Visual Evidence)를 통해 게이트 크로스 어텐션(gated cross-attention)으로 입술 움직임에 질의 오디오를 조건화하는 GIVE-KWS를 제안합니다. 또한 시각적 강인성이 두 가지 상호작용하는 조건, 즉 음소 정보를 포함하는 시각 표상과 오디오 특징의 크기를 재조정(rescaling)하기보다 시각적 증거를 주입하는 융합 방식에 의존함을 보입니다. 음소 정보를 담은 인코더 환경에서 주입 방식은 -10 dB 조건에서 마스킹 방식 대비 4.0~9.3 dB의 유효 SNR 이득을 제공하는 반면, 음소 정보가 부족한 인코더 환경에서는 이러한 이득이 거의 사라집니다. GIVE-KWS는 벤치마크 시스템 대비 미확인 키워드(unseen-keyword) EER을 -10 dB에서 72.9%, 평균적으로 62.8% 감소시킵니다.

arXiv:2609.26823v2cs.SD

텍스트 점수는 어휘적으로 진단 불가능한 음성 태스크의 성능을 입증하지 못한다: Qwen2-Audio 양자화 사례 연구

Text Scores Do Not Establish Performance on Lexically Non-Diagnostic Speech Tasks: A Qwen2-Audio Quantization Case Study

텍스트 출력 점수만으로는 전사문(transcript)에서 타깃 라벨을 복원할 수 없는 음성 태스크에서 양자화(quantization)가 성능을 보존하는지 여부를 보여주지 못합니다. 본 연구에서는 매개변수(parameter)당 평균 6비트 및 7비트를 갖는 Qwen2-Audio-7B-Instruct의 고정 혼합 4/8비트 할당을 508개의 영-독 FLEURS 발화와 16명의 화자로부터 수집한 512개의 RAVDESS 감정 클립에 대해 평가합니다. 반정밀도(FP16) 대비 BLEU 및 chrF 차이는 두 할당 모두에서 0을 포함하는 구간을 가집니다. RAVDESS에서는 동일한 두 문장이 모든 감정 라벨과 동일한 빈도로 나타납니다. FP16 대비 절대 정확도 차이는 6비트에서 -3.71%, 7비트에서 -1.17%입니다. 6비트 화자 구간은 0을 제외하며 정확한 양측 부호 반전 검정(exact two-sided sign-flip test) 결과 p=0.0148을 보인 반면, 7비트 구간은 0을 포함합니다. 동일 예산 대조군(same-budget controls)에서는 선택된 두 할당 중 어느 것도 최고로 식별하지 못합니다. 본 사례 연구는 번역 점수와 전사문 범위를 벗어나는 태스크에서의 성능을 왜 분리하여 평가해야 하는지 보여줍니다.

arXiv:2609.03203v4cs.SD

VoxReason: 음성 합성 전 출처 기반 음성 전달 계획 검증

VoxReason: Auditing Source-Grounded Speech Plans Before Synthesis

계획 정확도(plan accuracy)만으로는 음성 전달(speech-delivery) 결정이 출처를 따르는지 여부를 입증할 수 없습니다. 고정된 사전 확률(prior)은 원래 레이블과 일치할 수 있지만 단서가 변경될 때 적절히 반응하지 못할 수 있습니다. VoxReason은 각 발화를 고정한 채 지정된 출처 레이블 단서 하나를 수정하고 인용된 근거, 8개의 계획 필드 및 허용된 응답을 평가하는 100개 사례의 검증기 벤치마크를 제공합니다. 출처 키가 분리된(source-key-disjoint) 24개 사례 테스트에서 출처 감정 사전 확률은 계획 슬롯 정확도 0.958에 도달하지만, 수정된 24개의 중립 목표 중 어느 것도 학습 레이블에 나타나지 않으며 필수 변경 정확도(required-change accuracy)는 0.000입니다. 이는 지원되는 수정에 대한 성능이 아니라 해당 사전 확률의 지원 경계를 진단합니다. 상호보완적인 32개 사례의 감정 분리(emotion-disjoint) 테스트에서 사전 확률은 수정된 중립 목표를 모두 확인했지만 원래의 두 테스트 감정은 확인하지 못했습니다. 이 테스트에서 계획 슬롯 정확도는 0.219이고 필수 변경 정확도는 1.000입니다. 분할은 동일한 100개 사례를 재사용하고 중복하므로 이러한 결정론적 진단은 독립된 집단이나 학습된 플래너의 결과가 아닙니다. 이 벤치마크는 오디오 입력, 생성된 음성 또는 청취자 평가가 아닌 파생된 레이블과 구조화된 계획을 평가합니다.

arXiv:2607.10162v2eess.AS

인간처럼 들을 수 있는가? 음성 언어 모델에서의 음성 상징과 지각적 정렬

Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models

음성 상징(sound symbolism)은 음성 소리를 둥글거나 날카로움과 같은 지각적 특성에 대응시키는 인간의 경향으로, 철자보다는 주로 음성의 음향적 특성에서 비롯됩니다. 음성 언어 모델(SLM)이 이러한 경향을 공유하는지는 이전 평가들이 실제 음성이 아닌 텍스트나 이미지에 의존했기 때문에 여전히 미해결 과제로 남아 있습니다. 본 연구에서는 실제 인간의 음성 녹음을 활용하여, 해당 효과의 청각적, 교차감각적, 시각적 구성 요소 전반에 걸쳐 모델의 판단을 인간 데이터와 비교 분석합니다. 그 결과, SLM의 청각적 판단은 인간의 지각과 잘 일치하지 않으며 스펙트럼 기울기(spectral tilt)와 같이 인간의 직관을 유도하는 음향 단서를 포착하지 못하는 것으로 나타났으며, 공개 가중치(open-weight) 모델은 들리는 소리를 그에 대응하는 형태와 신뢰성 있게 연결하지 못했습니다. 형태 지각 요인을 배제한 시각 전용 대조 실험을 통해 이러한 한계가 음성이 표현되는 방식에 기인함을 밝혔으며, 이는 지각적 정렬(perceptual alignment)이 더 강력한 비전 능력이 아니라 인간이 듣는 단서를 포착하는 음성 표현에 달려 있음을 시사합니다.

arXiv:2603.08231v2eess.AS

부차언어 음성 태스크에서의 교차 언어 전이 정량화

Quantifying Cross-Lingual Transfer in Paralinguistic Speech Tasks

부차언어(paralinguistic) 음성 태스크는 어휘 내용보다는 언어 외적 음향 단서에 의존하기 때문에 비교적 언어에 구애받지 않는(language-agnostic) 것으로 간주되는 경우가 많습니다. 그러나 선행 연구들은 교차 언어(cross-lingual) 조건에서 성능 저하를 보고하여 무시할 수 없는 언어 의존성이 있음을 나타냅니다. 그럼에도 이러한 연구들은 대개 개별 언어 쌍이나 특정 태스크 설정에 초점을 맞추고 있어, 비교 가능성이 제한되고 태스크 수준의 언어 의존성을 체계적으로 평가하지 못합니다. 본 연구에서는 주어진 태스크 내에서 언어 쌍 간의 교차 언어 상호작용을 정량화하는 체계적 방법인 교차 언어 전이 행렬(Cross-Lingual Transfer Matrix, CLTM)을 소개합니다. 다국어 HuBERT 기반 인코더를 사용하여 성별 식별(gender identification)과 화자 검증(speaker verification)이라는 두 가지 부차언어 태스크에 CLTM을 적용하고, 미세조정(fine-tuning) 과정에서 기여 언어(donor-language) 데이터가 대상 언어(target-language) 성능에 어떤 영향을 미치는지 분석합니다. 실험 결과는 태스크와 언어 전반에 걸쳐 뚜렷한 전이 패턴을 보여주며, 이는 체계적이고 언어 의존적인 효과를 반영합니다.

arXiv:2602.18899v4eess.AS

[b] = [d] - [t] + [p]: 자기지도 음성 모델은 음운론적 벡터 연산을 발견한다

[b] = [d] - [t] + [p]: Self-supervised Speech Models Discover Phonological Vector Arithmetic

자기지도 음성 모델(S3M)은 풍부한 음성학적(phonetic) 정보를 인코딩하는 것으로 알려져 있으나, 이러한 정보가 어떻게 구조화되어 있는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 음운론적(phonological) 벡터에 특히 주목하여, 96개 언어에 걸쳐 S3M 표현의 기저 구조를 분석하는 종합적인 연구를 수행합니다. 먼저, 모델의 표현 공간 내에 음운 자질에 대응하는 선형 방향이 존재함을 보입니다. 나아가 이러한 음운 벡터의 크기(scale)가 대응하는 음운 자질의 음향적 실현 정도와 연속적인 방식으로 상관관계가 있음을 입증합니다. 예를 들어 [d]와 [t]의 차이는 유성성(voicing) 벡터를 형성하며, 이 벡터를 [p]에 더하면 [b]가 생성되고, 벡터의 크기를 조절하면 연속적인 유성성 변화가 나타납니다. 이러한 발견을 종합하면, S3M이 음운론적으로 해석 가능하고 구성적인(compositional) 벡터를 사용하여 음성을 인코딩하며, 음운론적 벡터 연산이 가능함을 보여줍니다. 모든 코드와 대화형 데모는 https://github.com/juice500ml/phonetic-arithmetic 에서 확인할 수 있습니다.

arXiv:2601.17645v2cs.SD

AVMeme Exam: LLM의 맥락 및 문화적 지식과 사고력을 측정하는 멀티모달·다국어·다문화 벤치마크

AVMeme Exam: A Multimodal Multilingual Multicultural Benchmark for LLMs' Contextual and Cultural Knowledge and Thinking

인터넷 시청각(audio-visual) 클립은 시간에 따라 변화하는 소리와 움직임을 통해 의미를 전달하며, 이는 텍스트만으로 표현할 수 있는 범위를 넘어섭니다. AI 모델이 인간의 문화적 맥락에서 이러한 신호를 이해할 수 있는지 검증하기 위해, 음성, 노래, 음악, 효과음을 아우르는 1,000개 이상의 대표적인 인터넷 음향 및 비디오로 구성된 인간 큐레이션 벤치마크인 AVMeme Exam을 소개합니다. 각 밈(meme)은 표면적 내용부터 맥락과 감정, 사용법 및 세계 지식에 이르는 다양한 이해 수준을 평가하는 고유한 Q&A와 함께 원본 제작 연도, 전사본(transcript), 요약, 민감도 등의 메타데이터와 쌍을 이룹니다. 본 벤치마크를 활용하여 인간 참가자와 함께 최신 멀티모달 대규모 언어 모델(MLLM)을 체계적으로 평가했습니다. 평가 결과 일관된 한계점이 드러났습니다. 현재 모델들은 텍스트가 없는 음악 및 효과음에서 낮은 성능을 보이며, 표면적 내용에 비해 맥락과 문화 속에서 사고하는 데 어려움을 겪습니다. 이러한 결과는 인간 정렬(human-aligned) 멀티모달 지능의 주요 격차를 부각하며, 듣고 보는 것의 표면을 넘어 맥락적·문화적으로 인식할 수 있는 모델의 필요성을 시사합니다. 프로젝트 페이지: avmemeexam.github.io/public

arXiv:2509.17988v2eess.AS

Nord-Parl-TTS: 의회 발언 기반 핀란드어 및 스웨덴어 TTS 데이터셋

Nord-Parl-TTS: Finnish and Swedish TTS Dataset from Parliament Speech

텍스트 음성 변환(TTS)의 발전은 소수의 고자원 언어를 제외한 대부분의 언어에서 공개적으로 사용 가능한 고품질 음성 데이터의 부족으로 인해 제한을 받고 있습니다. 본 연구에서는 야생 환경(in-the-wild)의 음성을 기반으로 구축한 핀란드어 및 스웨덴어용 공개 TTS 데이터셋인 Nord-Parl-TTS를 제시합니다. 북유럽 의회 회의록 녹음본을 활용하여 TTS 학습에 적합한 핀란드어 900시간과 스웨덴어 5090시간 분량의 음성을 추출했습니다. 이 데이터셋은 Emilia 데이터 처리 파이프라인의 변형 버전을 사용하여 구축되었으며, 모델 개발 및 벤치마킹을 지원하기 위해 통합 평가 세트를 포함합니다. Nord-Parl-TTS는 핀란드어와 스웨덴어에 대한 대규모 공개 데이터를 제공함으로써, TTS 분야에서 고자원 언어와 저자원 언어 간의 자원 격차를 좁힙니다.

arXiv:2507.02115v3eess.AS

음소 사후확률값(PPG)을 활용한 핀란드어 음성의 발음 교정

Pronunciation Editing for Finnish Speech using Phonetic Posteriorgrams

제2언어(L2) 음성 합성은 L2 언어 학습 경험과 피드백 측면에서 잠재적으로 높은 가치를 지닙니다. 그러나 L2 음성 합성 데이터셋의 부족으로 인해 저자원 언어에 대한 L2 음성을 합성하기는 어렵습니다. 본 논문에서는 모국어 음성을 편집하여 L2 음성에 근사시키는 실용적인 솔루션을 제공하며, 텍스트 정렬(text alignment) 없이 단일 음소를 편집할 수 있는 확산(diffusion) 기반 다중 화자 음소 사후확률값-음성 변환 모델인 PPG2Speech를 제시합니다. 본 연구는 Matcha-TTS의 플로우 매칭(flow-matching) 디코더를 백본으로 사용하여 외부 화자 임베딩(speaker embedding) 및 피치를 조건으로 음소 사후확률값(PPG)을 멜 스펙트로그램(mel-spectrogram)으로 변환합니다. PPG2Speech는 분류기 없는 가이던스(Classifier-free Guidance, CFG)와 Sway Sampling을 통해 Matcha-TTS의 플로우 매칭 디코더 성능을 강화합니다. 또한 편집 효과를 측정하기 위해 편집된 PPG와 합성 음성에서 추출된 PPG 간의 정렬 일관성을 평가하는 새로운 과제 특화 객관적 평가 지표인 PAC(Phonetic Aligned Consistency)를 제안합니다. 약 60시간 분량의 데이터를 사용하여 저자원이자 표음성이 높은 언어인 핀란드어에서 제안 방법의 유효성을 검증합니다. TTS 기반 편집과 비교하여 자연스러움, 화자 유사도, 편집 효과를 비교하는 객관적 및 주관적 평가를 수행합니다. 소스 코드는 https://github.com/aalto-speech/PPG2Speech 에 공개되어 있습니다.

arXiv:2408.12549v4cs.SD공식 코드 · Papers with Code

선택적 상태 공간 모델을 활용한 광학 컴프레서의 시간 종속적 반응 모델링

Modeling Time-Dependent Responses of Optical Compressors with Selective State Space Models

본 논문에서는 선택적 상태 공간(Selective State Space) 모델 기반의 심층 신경망을 사용하여 광학 다이내믹 레인지 컴프레서(optical dynamic range compressor)를 모델링하는 방법을 제시합니다. 제안된 접근 방식은 선택적 상태 공간 블록을 채택하여 입력 오디오를 인코딩함으로써 순환 신경망(recurrent) 레이어 기반의 기존 방법들을 능가합니다. 또한, Feature-wise Linear Modulation(FiLM)과 Gated Linear Unit(GLU)을 통합하여 네트워크를 동적으로 조정하고, 외부 매개변수에 따라 컴프레션의 어택(attack) 및 릴리즈(release) 단계를 조건화하는 정교한 기법을 특징으로 합니다. 제안된 아키텍처는 라이브 오디오 처리에 필수적인 저지연 및 실시간 애플리케이션에 매우 적합합니다. 이 방법은 서로 다른 특성을 지닌 아날로그 광학 컴프레서인 TubeTech CL 1B와 Teletronix LA-2A를 통해 검증되었습니다. 정량적 지표와 주관적 청취 테스트를 사용하여 평가를 수행하였으며, 제안된 방법을 다른 최신 모델들과 비교하였습니다. 결과에 따르면 본 블랙박스 모델링 방법이 다른 모든 모델보다 우수한 성능을 보이며, 학습(training) 중 확인된 설정과 확인되지 않은 설정 모두에서 컴프레션 과정을 정확하게 에뮬레이션함을 보여줍니다. 나아가 이러한 정확도와 데이터셋(dataset) 내 제어 매개변수의 샘플링 밀도 간의 상관관계를 보여주며, 빠른 어택과 느린 릴리즈를 갖는 설정이 에뮬레이션하기에 가장 까다롭다는 점을 규명합니다.

arXiv:2609.33212v2cs.CL

CoLMbo-SV: 설명 가능한 화자 검증을 위한 그라운딩된 언어 모델

CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification

화자 검증(speaker verification) 시스템은 높은 정확도를 달성하지만, 판단의 근거가 되는 음향적 증거에 대해서는 거의 설명을 제공하지 않습니다. 이러한 시스템을 검사 가능하게 만들기 위해서는, 결정의 근거가 되는 더 풍부한 정보를 유지하면서도 해석 가능한 증거를 노출시켜야 합니다. 우리는 강력한 화자 판별력과 구조화되고 음향적으로 근거를 둔(acoustically grounded) 비교 리포트를 결합한 화자 언어 모델인 CoLMbo-SV를 제안합니다. 사전학습된 화자 인코더(speaker encoder)를 언어 모델에 연결하고 명시적인 음향 측정값을 제공함으로써, CoLMbo-SV는 음성 비교를 검사 가능하게 만들면서도 검증을 리포트에서 언어로 표현된 증거만으로 제한하지 않습니다. 또한 우리는 측정된 음향적 속성과, 수치적·질적 검증을 거쳐 필터링된 비교 리포트가 쌍으로 구성된 녹음 데이터인 VoxReason을 소개하며, 이는 이러한 결합된 능력에 대한 지도학습(supervision)을 제공합니다. 우리는 또한 화자 표현(speaker representation)이 인코딩하는 음향 정보, 검증 점수에 영향을 미치는 요소, 그리고 생성된 리포트가 다루는 내용을 구분하는 평가 프레임워크를 개발했습니다. VoxCeleb1-O에서 CoLMbo-SV는 0.99%의 EER(Equal Error Rate)을 달성하여, VoxReason으로 파인튜닝된 가장 강력한 오디오-언어 기준선(baseline) 대비 검증 오류를 약 80% 감소시켰으며, 0.82의 수치적 그라운딩(numerical-grounding) 점수를 기록했습니다. 추가 분석을 통해 음향적 정확성과 결정 관련성이 설명(explanation)의 서로 다른 속성임을 보여주었으며, 이는 수치적 그라운딩 지표가 포착하지 못하는 격차를 드러냅니다. 이러한 기여들은 종합적으로 오디오-언어 화자 검증을 크게 발전시키고, 그 정확도를 전용 화자 인코더 수준으로 끌어올리는 동시에 검증 가능한 음향 리포팅을 추가하며, 자연어 설명을 그것이 설명하는 결정과 연결하는 실증적 프레임워크를 확립합니다.

arXiv:2610.02941v1eess.AS

FASTDIAR: 스트리밍 화자 분할을 위한 프레임 단위 화자 인코더

FASTDIAR: Frame-level speaker encoder for Streaming Diarization

실시간 대화형 에이전트(agent)는 스트리밍 방식으로 동작하며 CPU에서 실행 가능한 화자 분할(speaker diarization)을 필요로 합니다. 대부분의 시스템은 발화 단위(utterance-level) 화자 인코더를 짧고 크게 중첩되는 청크에 적용하므로 연산이 낭비되고 모델이 부적절한 태스크에 최적화된 상태로 남게 됩니다. 본 연구에서는 이 대신 최신 화자 인식 아키텍처를 인과적(causal) 프레임 단위 인코더로 변환하여, 스트림을 한 번만 읽고 과거 2초의 유계 윈도우로부터 80 ms마다 하나의 임베딩을 출력하도록 하며, 스트림의 자기 유사성에 따라 모든 업데이트를 게이팅하는 온라인 클러스터링과 결합합니다. 시뮬레이션 및 도메인 외(out-of-domain) 혼합 음성에서 발화 단위 교사(teacher) 모델로부터의 지식 증류(distillation)만으로 학습되고 단일 고정 하이퍼파라미터 세트로 평가된 본 시스템은 1초 미만의 지연 시간(sub-second latency)에서 중첩이 적은 벤치마크 기준 가장 정확한 스트리밍 화자 분할기이며, 화자 수가 증가함에 따른 성능 저하가 캐시 기반 시스템보다 훨씬 적고, 단일 CPU 스레드에서 실시간 대비 5배 빠르게 동작합니다.

arXiv:2610.02918v1cs.SD

크로스 어텐션 조건화를 통한 재즈 피아니스트 스타일 학습

Learning Jazz Pianist Style with Cross-Attention Conditioning

재즈 피아니스트는 숙련된 청자가 종종 몇 초 안에 식별할 수 있는 독특한 특성을 발전시키지만, 이러한 인식의 근간이 되는 특징은 형식적으로 기술하기 어렵다. 본 연구에서는 사전학습된 심볼릭 음악 트랜스포머(symbolic music transformer)의 관점에서 재즈 피아니스트의 스타일을 연구하며, 이 모델이 학습한 표현(representation)이 두 가지 벤치마크에서 매우 높은 정확도의 분류(classification)를 가능케 할 만큼 이미 피아니스트의 정체성을 잘 인코딩하고 있음을 보인다. 이어서 학습된 피아니스트 정체성 임베딩(embedding)에 대한 크로스 어텐션(cross-attention)을 트랜스포머에 추가하여, 특정 아티스트의 스타일에 조건화된 음악을 생성할 수 있도록 한다. 두 가지 평가 프로토콜을 통해 생성기가 의미 있는 스타일적 구조를 포착함을 확인한다: 슬라이딩 윈도우(sliding-window) 분류기는 조건화된 연속 생성물을 비조건화 베이스라인보다 훨씬 높은 비율로 올바른 아티스트에 일관되게 귀속시키며, 합성 생성물만으로 학습된 분류기는 12개 클래스에 걸쳐 실제 피아니스트를 청크(chunk) 단위 87%, 곡(song) 단위 95%의 정확도로 식별한다. 마지막으로, 이 분류기를 재활용하여 연주 내에서 가장 특징적인 순간을 찾아내고, 각 피아니스트의 개성을 구별하는 구체적인 음악적 제스처를 드러낸다.

arXiv:2610.02284v1cs.LG

펄스 간격 변화가 박쥐 발성 딥러닝 분류에 미치는 영향

Effects of interpulse-interval variation on deep-learning classification of bat vocalizations

시간적 맥락(temporal context)은 자동화된 박쥐 종 분류에 도움이 될 수 있지만, 특정 특징의 기여도는 여전히 불분명합니다. 본 연구에서는 연속된 발성 시작점 사이의 시간인 펄스 간격(interpulse interval, IPI)의 변화가 종을 구별하는 정보를 제공하는지, 그리고 트랜스포머(transformer) 기반 모델이 합성곱 신경망(CNN)보다 이러한 정보에 더 민감한지 조사했습니다. 연구진은 유럽 박쥐 녹음 자료로부터 두 가지 일치된 데이터셋을 생성했습니다. 하나는 원래의 발성 타이밍을 유지하는 자연적 IPI 조건이고, 다른 하나는 발성 시작점을 50ms 간격으로 배치한 정규화된 IPI 조건입니다. 각 조건 내에서 EfficientNet-B0과 PaSST를 파인튜닝하고 평가했습니다. 추가 실험에서는 각 구조를 자연적 IPI 및 정규화된 IPI 녹음 자료에서 별도로 학습시킨 후, 동일한 자연적 IPI 테스트 세트에서 평가했습니다. 마지막으로 사전학습된 분류기인 BatDetect2와 BAT를 두 조건 모두에서 평가했습니다. 조건 내 IPI 정규화는 모델에 따라 서로 다른 영향을 미쳤습니다. PaSST의 정확도는 자연적 IPI($71 \pm 2.3\%$) 조건과 정규화된 IPI($70 \pm 6.3\%$) 조건 간에 차이가 거의 없었던 반면, EfficientNet의 정확도는 $47 \pm 4.7\%$에서 $57 \pm 3.9\%$로 증가했습니다. PaSST는 두 조건 모두에서 EfficientNet을 능가했습니다. 교차 조건 평가에서는 자연적 IPI 녹음 자료로 학습한 모델이 자연적 IPI 테스트 세트에서 정규화된 IPI 녹음 자료로 학습한 모델보다 우수한 성능을 보였으며, 정확도는 EfficientNet의 경우 54%에서 50%로, PaSST의 경우 65%에서 57%로 감소했습니다. BatDetect2와 BAT는 IPI 조건 간 차이가 거의 없었습니다. 전반적으로 자연적 IPI 변화가 박쥐 종 분류에 실질적으로 기여하며 트랜스포머 기반 모델이 CNN 기반 모델보다 이를 더 효과적으로 활용한다는 가설을 뒷받침하는 근거는 제한적이었습니다. 그럼에도 불구하고 교차 조건에서의 성능 저하는 정규화된 조건에서 얻은 결과가 자연적 녹음 자료로 완전히 전이되지 않을 수 있음을 보여줍니다.

arXiv:2603.14275v3eess.AS

이산 확산을 통한 제어 가능한 억양 정규화

Controllable Accent Normalization via Discrete Diffusion

기존의 억양 정규화(accent normalization) 방법들은 일반적으로 억양 강도에 대한 제어 기능을 제공하지 않지만, 언어 학습이나 더빙과 같은 많은 응용 분야에서는 조절 가능한 억양 유지가 요구됩니다. 본 논문에서는 자기지도 음성 토큰에 대한 마스킹된 이산 확산(discrete diffusion)을 기반으로 구축된 제어 가능한 억양 정규화 시스템인 DLM-AN을 제안합니다. 공통 토큰 예측기(Common Token Predictor)는 원어민 발음을 인코딩할 가능성이 높은 소스 토큰을 식별하며, 이러한 토큰들은 역 확산 과정을 초기화하기 위해 선택적으로 재사용됩니다. 이는 억양 강도를 제어하는 간단하면서도 효과적인 메커니즘을 제공합니다. 즉, 더 많은 토큰을 재사용할수록 기존 억양이 더 많이 보존됩니다. 나아가 DLM-AN은 원어민 리듬에 더 잘 부합하도록 전체 길이를 자동으로 조정하는 플로우 매칭(flow-matching) 기반의 길이 비율 예측기(Duration Ratio Predictor)를 통합합니다. 다중 억양 영어 데이터에 대한 실험 결과, DLM-AN은 비교 대상 시스템 중 가장 낮은 단어 오류율(WER)을 달성하는 동시에 경쟁력 있는 억양 감소 성능과 매끄럽고 해석 가능한 억양 강도 제어 기능을 제공함을 보여줍니다. 구현 코드는 https://github.com/P1ping/DLM-AN 에서 확인할 수 있습니다.

arXiv:2502.03979v3cs.SD공식 코드 · Papers with Code

차원 및 범주형 모델 전반의 통합 음악 감정 인식을 향하여

Towards Unified Music Emotion Recognition across Dimensional and Categorical Models

음악 감정 인식(MER)에서 가장 중요한 과제 중 하나는 감정 라벨이 범주형(예: 행복, 슬픔) 라벨과 차원형(예: valence-arousal) 라벨을 포함하여, 감정 표현 방식 측면에서 데이터셋마다 이질적일 수 있다는 점에서 기인합니다. 본 논문에서는 이 두 가지 유형의 라벨을 결합하여 여러 데이터셋에서 학습될 수 있는 통합 멀티태스크 학습 프레임워크를 제안합니다. 이 프레임워크는 음악적 특징(즉, 조(key) 및 코드)과 MERT 임베딩을 결합한 효과적인 입력 표현을 사용합니다. 또한, 개별 데이터셋에서 학습된 교사 모델의 지식을 학생 모델로 전이하기 위해 지식 증류를 적용하여 여러 태스크에 걸친 일반화 능력을 향상시킵니다. 제안된 프레임워크를 검증하기 위해 MTG-Jamendo, DEAM, PMEmo, EmoMusic을 포함한 다양한 데이터셋에서 광범위한 실험을 수행했습니다. 실험 결과에 따르면 음악적 특징의 포함, 멀티태스크 학습, 지식 증류가 성능을 크게 향상시키는 것으로 나타났습니다. 특히 본 모델은 MTG-Jamendo 데이터셋에서 MediaEval 2021 대회의 최고 성능 모델을 포함한 최신(SOTA) 모델들을 능가합니다. 본 연구는 범주형 및 차원형 감정 라벨을 하나의 통합 프레임워크로 결합할 수 있게 하여 데이터셋 전반의 학습을 가능하게 함으로써 MER 분야에 유의미한 기여를 합니다.

arXiv:2610.01492v1cs.SD

Q-SPT: 저프레임률 음성 토큰화를 위한 학습 가능한 쿼리 기반 압축

Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization

신경망 음성 코덱은 음성 언어 모델(SLM)의 토크나이저로 점점 더 널리 활용되고 있습니다. 프레임률을 낮추면 SLM의 연산 및 메모리 비용을 줄일 수 있지만, 언어적 정보와 음향적 세부 사항을 모두 보존하기는 어려워집니다. 기존 접근 방식은 규칙 기반 압축에 의존합니다. 예를 들어 평균 풀링(average pooling)은 언어적 정보를 유실할 수 있으며, 유사도 기반 병합은 인접 프레임 유사도에 고정 임계값을 적용하고 그 결과로 도출된 경계를 음향 스트림에 일괄 적용합니다. 본 논문에서는 의미론적 및 음향적 표현에 특화된, 맥락 인식 기반의 분리된 학습 가능한 쿼리 기반 압축기를 사용하는 저프레임률 이중 스트림 음성 토크나이저인 Q-SPT를 제안합니다. 특히 고정 비율의 쿼리가 의미론적 스트림과 음향적 스트림을 독립적인 키-값(key-value) 소스로 참조하여 어텐션(attention)을 수행함으로써, 개별 학습된 두 개의 압축기를 통해 스트림별 맥락 인식 집계를 가능하게 합니다. 또한, 자기회귀 텍스트 손실(autoregressive text loss)을 통해 의미론적 압축기를 명시적으로 지도하여 언어적 정보를 보존합니다. 실험 결과에 따르면, Q-SPT는 동일 프레임률에서 평가된 코덱 중 가장 우수한 복원 성능을 달성합니다. 다운스트림 SLM에서도 경쟁력 있는 명료도와 함께 가장 뛰어난 음성 인식 정확도 및 텍스트 음성 변환 인지 품질을 제공합니다.

arXiv:2610.01450v1eess.AS

다중 레이블 집합 예측으로서의 코드 스위칭 음성 언어 식별

Code-Switching Spoken Language Identification as Multi-Label Set Prediction

코드 스위칭(CS) 음성은 대규모 음성 코퍼스를 구축하는 데 사용되는 단일 언어 언어 식별(LID) 필터를 통과해 누출되므로, CS를 인식하는 LID(CS-LID)가 필요합니다. 본 논문에서는 발화 수준의 CS-LID를 다중 레이블 언어 집합 예측으로 정형화하고, 발화에 포함된 언어를 직접 출력하는 집합 생성기를 제안하며, 이를 원자적 쌍(atomic-pair) 및 점수 기반 분류(classification) 기준선(baseline)과 비교합니다. 오라클 Top-k가 가장 강력한 기준선이지만, 단일 임계값으로는 CS와 단일 언어 음성을 분리할 수 없어 임계값 설정(thresholding) 방식은 실패합니다. 제안하는 집합 생성기는 언어 수를 가정하지 않고도 보지 못한 쌍에 대해 올바른 언어 수를 예측하지만, 정확한 집합 정확도에서는 오라클 Top-k보다 낮은 성능을 보입니다. 분석 결과, 오라클 집합 크기(cardinality), 임계값 불안정성, CS 학습(training) 데이터의 언어 바이어스(bias), 합성 데이터와 실제 데이터 간의 격차(synthetic-to-real gap)가 강건한 CS-LID를 가로막는 주요 장애 요인임을 확인했습니다.