PyTorchKR Papers

최신 논문

총 524편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.13990v1cs.CL

음소, 음절, 단어의 정보율에 관하여

On the information rate of phones, syllables and words

음성 내용을 부호화하는 데 필요한 비트율을 최소화하는 언어 단위는 무엇인가: 음소, 음절, 단어, 혹은 더 큰 단위, 아니면 그 중간의 무언가인가? 이 질문은 음성 및 언어 시스템의 개발과 인간 언어 처리 이론에 함의를 갖는다. 나는 960시간 분량의 전사된 영어 오디오북 코퍼스를 사용하여 음소, 음절, 단어, 다단어 조합, 그리고 중간 단계의 토큰화들의 정보율을 비교한다. 완벽한 언어 모델 하에서는 모든 단위가 동등하지만, 제한된 모델링 예산 하에서 이들을 비교하는 것이 의미가 있으므로 $n$-그램 및 트랜스포머 언어 모델을 사용한다. 가장 낮은 비트율은 단어를 사용할 때 달성되며, 때로는 약간 더 긴 단위가 가장 좋은 성능을 보이기도 한다. 결과는 모델링 용량이 제한될 때, 음절보다 크지만 긴 다단어 구절보다 작은 단위가 정보율 측면에서 가장 효율적인 표현을 제공함을 보여준다.

arXiv:2611.14421v1cs.SD

Earlybird: 2,900만 파라미터의 예측형 스트리밍 음성 인식

Earlybird: Predictive Streaming Speech Recognition in 29M Parameters

스트리밍 음성 인식기는 화자가 단어를 끝낸 뒤, 보통 90~400ms 후에야 해당 단어를 출력한다. 음성 에이전트에게는 1밀리초가 중요하다. 단어가 더 빨리 출력될수록 에이전트는 검색이나 응답 계획을 더 일찍 시작할 수 있다. 우리는 2,900만 파라미터의 스트리밍 인식기 Earlybird(4비트에서 16.8MB)를 제안한다. Earlybird는 단어 중간을 포함해 임의의 지점에서 잘린 오디오로부터 학습하며, 그 시점까지 끝났어야 할 모든 단어를 완전한 형태로 예측하고 다음 두 단어를 추측하도록 요구받는다. 원시 토큰 확률은 아직 발화 중인 단어를 포함한 모든 단어에 대한 신뢰도를 제공한다. 깨끗한 오디오북 음성(LibriSpeech test-clean)에서 중앙값 단어는 화자가 끝내기 90ms 전에 올바르게 예측되는 반면, 공개된 스트리밍 모델은 단어가 끝난 뒤 90~400ms 후에야 이를 출력한다. Earlybird는 오디오북, TED 강연, 공개 연설, 실적 발표, 합성 음성을 포함해 우리가 시간을 측정한 여섯 개 테스트 세트 모두에서 가장 빠르다. 동일한 오디오북에서 단어의 69%가 끝나기 전에 올바르게 예측되는 반면, 다른 모델은 3~25%이다. 아직 발화 중인 단어에 대해서 신뢰도는 보정되어 있으며, 기대 보정 오차(ECE)는 3.7~5.5이다. 영어 Open ASR Leaderboard의 여덟 개 세트에서 모든 세트에 걸쳐 Moonshine Tiny보다 정확하며, 같은 크기의 모델인 Whistle과는 대체로 비슷하다.

arXiv:2611.13689v1eess.AS

Walrus 기술 보고서

Walrus Technical Report

우리는 음성 인식(코드 스위칭 및 다화자 음성 포함), 음성-텍스트 및 음성-음성 번역, 텍스트 음성 변환, 감정 인식, 오디오 캡셔닝, 일반 오디오 이해를 처리하는 통합 80억 파라미터 규모의 음성·오디오 파운데이션 모델 Walrus를 제시한다. 본 연구의 주된 기여는 새로운 아키텍처가 아니라 데이터 중심의 학습 레시피이며, 성능 향상이 데이터에서 비롯됨을 추적할 수 있도록 Gemma 4로 초기화한 표준 디코더 전용 백본을 사용한다. 음성 생성을 위해 Walrus는 저비트레이트 이산 음성 토큰을 예측하고, 경량 토큰-파형 디코더가 이를 고충실도 오디오로 변환한다. 이 레시피는 광범위한 다국어 데이터에서 다화자, 코드 스위칭, 도메인 특화 데이터로 나아가는 3단계 데이터 커리큘럼이다. 각 단계에서 과제 인지 및 데이터셋 인지 가중치 부여는 토큰 예산이 크게 다른 과제들의 균형을 맞추고 핵심 능력이 망각되지 않도록 보호한다. 20개 이상의 과제와 100개 이상의 언어를 아우르는 6억 개 이상의 샘플로 학습한 Walrus는 대부분의 다국어, 다화자, 코드 스위칭 ASR, 음성 번역, 오디오 이해 벤치마크에서 선두를 차지하며, 비슷한 크기의 공개 음성 언어 모델과 과제 특화 전용 모델을 모두 능가한다. 대부분의 벤치마크에서 4배 더 큰 Qwen3-Omni의 성능과 대등하거나 이를 넘어서기도 한다. 이 결과는 다중 과제 음성 및 오디오 모델링에서 데이터 엔지니어링이 품질의 주요 동인임을 시사한다.

arXiv:2611.13430v1eess.AS

표적 외 사후 질량: 음성 언어 화자분할 프로브 미세조정을 위한 무학습 진단 지표

Off-target posterior mass: A training-free diagnostic for fine-tuning spoken language diarization probes

음성 언어 화자분할(Spoken Language Diarization, SLD) 모델은 음성 녹음의 프레임 단위 언어 정보를 제공한다. SLD 모델링 파이프라인은 사전학습된 음성 모델에서의 특징 추출과 그 이후의 클러스터링으로 구성된다. 사전학습된 음성 모델을 미세조정하면 SLD 성능이 향상되는 것으로 나타났으며, 그 향상 폭은 데이터셋에 따라 달라진다. 사후 언어 식별 확률을 기반으로 계산되는 표적 외 사후 질량(Off-target Posterior Mass, OTPM)을 SLD 미세조정으로 인한 성능 향상을 예측하는 진단 지표로 제안한다. OTPM은 프로브 성능 향상과 양의 상관관계를 보이며, 보지 않은 합성 이중언어 데이터에서는 0.56, 실제 말뭉치에서는 0.23이다. 이러한 결과는 OTPM이 SLD의 진단 지표로서 유망한 잠재력을 지님을 시사한다.

arXiv:2004.05989v1eess.AS

치매 식별을 위한 생성 네트워크 기반 데이터 증강

Data augmentation using generative networks to identify dementia

데이터 부족은 의료 응용을 위한 기계학습 분류기를 학습시킬 때 가장 흔한 문제 중 하나이다. 윤리적 문제와 데이터 프라이버시 때문에 이러한 실험에 모집할 수 있는 인원은 일반적으로 비의료 데이터셋에 참여하는 인원보다 적다. 최근 연구에서 생성 모델이 데이터 증강을 위한 효과적인 접근법으로 사용될 수 있으며, 이는 궁극적으로 데이터가 희소한 영역에서 더 견고한 분류기를 학습시키는 데 도움이 될 수 있음이 밝혀졌다. 다수의 연구가 이러한 데이터 증강 기법이 이미지 및 오디오 데이터셋에서 효과가 있음을 입증하였다. 본 논문에서는 자동 치매 탐지 시스템과의 상호작용을 녹음하여 추출한 다양한 유형의 음성 및 오디오 기반 특징에 유사한 접근법을 적용하는 방안을 조사한다. 두 가지 생성 모델을 사용하여, 생성된 합성 샘플이 DNN 기반 분류기의 성능을 어떻게 향상시킬 수 있는지 보인다. 변분 오토인코더는 기억 클리닉에서 흔히 볼 수 있는 환자 집단을 구별하는 4분류 분류기의 F-점수를 58%에서 약 74%로 높여 16% 향상시켰다.

arXiv:2611.12527v1cs.SD

WaveGen: 내부 스펙트럼 궤적 학습을 통한 진정한 종단간 파형 생성

WaveGen: Truly End-to-End Waveform Generation via Internal Spectral Trajectory Learning

본 연구는 스펙트럼 포싱(Spectral Forcing)에 기반한 완전 종단간 확산 기반 텍스트-파형 생성 프레임워크인 WaveGen을 제안한다. WaveGen은 단일 모델 안에서 내부 스펙트럼 궤적과 목표 파형 궤적을 함께 학습하여 텍스트에서 파형을 직접 종단간으로 생성할 수 있게 한다. 최근의 TTS 파이프라인과 달리 WaveGen은 신경 오디오 코덱, 멜 스펙트로그램 보코더, VAE 기반 잠재 모델과 같이 별도로 학습되거나 외부에서 디코딩되는 중간 표현에 의존하지 않는다. 또한 WaveGen은 단일 모델 내에서 텍스트-음성 정렬을 내부적으로 수행하여 지속 시간 예측기와 같은 외부 정렬 모듈이 필요하지 않다. 진정한 종단간 구성을 유지하기 위해, 본 프레임워크는 BERT 기반 텍스트 임베딩이나 Wav2Vec 2.0 기반 의미 표현과 같은 자기지도 표현은 물론 학습 최적화를 위한 의미 증류 방법에도 의존하지 않는다. 이를 위해 분리된 확산 헤드를 갖는 모델 구조인 스펙트럼 포싱과 다중 스케일 스펙트럼 $v$-손실에 기반한 학습 목적 함수를 신중하게 설계하였다. 나아가 모델 크기를 0.1B에서 0.6B 매개변수로 확장하여 종단간 TTS 모델의 확장성을 검증한다. 단일 구조, 공개 데이터, 단일 단계 학습을 사용하고 지속 시간 예측기나 REPA 같은 외부 모듈 없이도, WaveGen은 Emilia 학습 데이터셋에서 최고 수준의 성능을 달성하는 완전 종단간 파형 생성을 보여 준다. 특히 WaveGen은 Seed-en 벤치마크에서 WER 1.47과 SIM 0.75를 달성한다. 소스 코드와 체크포인트는 https://github.com/sh-lee-prml/WaveGen 에서 이용할 수 있다.

arXiv:2611.12375v1cs.SD

AudioCodex: 라이브 오디오를 위한 스트리밍 오토인코더

AudioCodex: Streaming Autoencoders for Live Audio

우리는 스테레오 오디오를 약 10 Hz의 간결한 연속 잠재 시퀀스로 압축하는, 라이브 생성 오디오 응용을 위한 완전 인과적 오토인코더 AudioCodex를 소개한다. 이 모델은 Mean Flow 크기 오토인코더에 잠재 초구면 투영, 유계 잡음 증강, 표현 정렬, 적대적 위상 복원을 결합하여, 효율적인 하위 생성과 고품질 복원을 모두 지원하는 표현을 학습한다. 광범위한 절제 실험을 통해 AudioCodex가 인코딩과 디코딩 모두에서 엄격한 인과성을 유지하면서도 생성-복원 트레이드오프 측면에서 최신 기술을 능가함을 보인다. 이 연구는 진정한 실시간 상호작용형 스트리밍 생성 오디오 응용으로 가는 길을 연다.

arXiv:2611.12061v1cs.SD

BARS: 플로 매칭을 통한 비트 적응형 랩 합성

BARS: Beat-Adaptive Rap Synthesis via Flow Matching

본 논문은 비트 트랙(반주), 가사, 제로샷 음색 제어를 위한 짧은 참조 음성을 조건으로 하는, 플로 매칭 기반의 비자기회귀 랩 음성 생성 모델 BARS(Beat-Adaptive Rap Synthesis)를 제시한다. 랩의 속도와 출력 길이가 비트에 의해 엄격하게 정해지는 기존 자기회귀 랩 합성과 달리, BARS는 명시적인 길이 예측이나 음소 수준 정렬 없이도 랩 템포를 독립적으로 제어할 수 있어 유연한 길이의 생성이 가능하다. 음성 사전학습 텍스트 인코더에 의존하지 않고, 모델과 함께 공동 학습되는 경량 트랜스포머 어댑터를 갖춘 사전학습 ByT5 인코더로 가사를 인코딩하여, 랩 가사에 흔한 비표준 표기(예: 속어, 약어)와 숫자를 자연스럽게 처리한다. 강한 비트 조건 하에서 토큰 건너뜀이나 반복과 같은 정렬 불안정성을 해결하기 위해, 가사와 오디오 간 순차적 정렬 학습을 돕는 위치 구조를 도입하는 교차 어텐션용 비대칭 스케일 RoPE(Asymmetric Scaled RoPE)를 제안한다. 또한 이 모델은 스팬 마스킹을 통한 부분 재생성을 지원하여, 주변 보컬 스타일을 보존하면서 가사 단위 편집을 가능하게 한다. 실험 결과, 제안 모델은 높은 가사 충실도, 비트와 리듬적으로 일관된 자연스러운 랩 플로, 다양한 랩 스타일과 속도에 걸친 견고한 템포 제어를 달성함을 보인다.

arXiv:2611.11522v1cs.SD

유사도 유도 잠재 확산을 이용한 음악 인페인팅

Music Inpainting With Similarity-Guided Latent Diffusion

우리는 유사도 매칭과 확산 기반 생성 모델을 결합하여 오디오 녹음의 큰 구간을 적절한 대체물로 교체하는 음악 인페인팅 기법을 제안한다. 제안하는 하이브리드 방법인 유사도 유도 확산 사후 샘플링(SimDPS)은 문맥적 유사도에 기반하여 신호의 더 넓은 범위에서 대체 후보 구간을 검색하고, 이를 사용해 확산 과정이 일관된 복원을 향하도록 유도한다. 이 프레임워크는 모델에 구애받지 않으므로 파형 또는 잠재 영역에서 작동하는 어떠한 사전 학습된 확산 모델과도 호환된다. 객관적 평가에서 SimDPS는 음향 특징과 신경망 임베딩 거리 지표 전반에서 널리 쓰이는 RePaint 및 DPS 방법보다 우수함을 보인다. 다장르 음악 데이터셋에 대한 주관적 평가는 SimDPS가 기존 확산 기반 방법에 비해 지각적 그럴듯함을 향상시키며 잘 맞지 않는 유사도 후보에도 강건함을 확인해 준다. 이러한 결과는 개선된 음악 복원과 문맥 인식 오디오 편집의 길을 연다.

arXiv:2611.11491v1eess.AS

CallCleaner: 오디오 파운데이션 모델에서 도출한 경량 생체음향 잡음 제거

CallCleaner: Lightweight Bioacoustic Denoising from an Audio Foundation Model

동물 발성에 관한 많은 연구는 깨끗한 녹음을 필요로 하지만, 동물은 보통 현장에서 녹음되므로 날씨, 차량, 다른 동물 등에서 비롯된 배경 잡음이 포함된다. 동물 발성 잡음 제거는 깨끗한 학습 데이터의 부족과 동물 발성의 극심한 다양성 때문에 어려움을 겪는다. 고전적인 스펙트럼 게이트는 특히 음성 활동 감지(VAD)가 없을 때 잔여 잡음을 남기며, 생체음향을 위해 설계된 검출기 없는 신경망 잡음 제거기는 잡음을 덜 제거한다. 우리는 범용 음원 분리 파운데이션 모델인 SAM-Audio가 학습 없이 간단한 동물 VAD에서 얻은 시간 구간을 프롬프트로 주어 사용할 때, 이 두 유형의 방법보다 더 많은 잡음을 제거함을 보인다. 이 무거운 방법을 실용적인 도구로 만들기 위해, 우리는 이를 검출기가 필요 없고 노트북 CPU에서 실시간보다 약 90배 빠르게 동작하는 1,900만 파라미터 잡음 제거기 CallCleaner로 증류한다. 우리는 SI-SDR이 재생성된 출력에 불이익을 주고 잡음 제거와 호출음 충실도를 혼동하므로 본 환경에서 유용성이 제한적임을 확인했으며, 별도의 지표를 사용하면 이 트레이드오프가 드러난다. CallCleaner는 공개 가중치를 가진 선도적인 신경망 생체음향 잡음 제거기인 Biodenoising보다 호출음 주변에 남는 잡음이 11 dB 적으며, 빠르고 CPU 사용이 가능한 시스템 중에서 검출기 없이도 잡음 제거 대비 호출음 충실도의 파레토 경계를 확장한다. 우리는 CallCleaner의 코드와 가중치를 공개하며, 이를 통해 특수 하드웨어 없이도 단일 발성자 녹음에 대한 빠르고 비공개적인 로컬 잡음 제거가 가능하다.

arXiv:2611.11273v1eess.AS

과제 적응형 익명화를 통한 임상 음성 데이터의 프라이버시 보호 공유

Task-adaptive anonymisation enables privacy-preserving sharing of clinical speech data

임상 음성은 질병 선별과 임상 평가에 점점 더 많이 사용되고 있지만, 음성 녹음에는 화자를 식별할 수 있는 성문과 민감한 발화 내용이 모두 포함되어 있어 이를 그대로 배포하면 프라이버시 위험이 발생한다. 기존의 음성 익명화 접근법은 주로 일반 음성 응용이나 특정 임상 음성 과제를 위해 개발되었으며, 임상 과제마다 서로 다른 음성 특성에 의존한다는 점을 간과한다. 따라서 임상적 유용성을 보존하면서 환자 프라이버시를 보호하려면 과제 적응형 익명화 전략이 필요하다. 본 논문은 익명화를 고정된 처리 절차에서 과제 유도 최적화 과정으로 전환하는 임상 적응형 음성 익명화 에이전트인 CASA를 소개한다. CASA는 성문 및 내용 익명화를 과제별 프라이버시 및 임상적 유용성 요구사항에 맞게 동적으로 조정한다. 재귀적 자기 개선(RSI)을 통해 CASA는 과제별 프라이버시 및 임상적 유용성 요구사항에 비추어 익명화 전략을 반복적으로 평가하고 개선하며, 그 결과로부터 학습하여 이후 임상 과제에서 더 효율적인 계획 수립을 유도한다. CASA는 5개 언어, 다양한 유도 패러다임, 정신 건강, 인지 및 음성 장애를 아우르는 14개 임상 과제에서 검증되었다. CASA는 모든 임상 과제에서 화자 익명화 요구사항을 충족하면서 질병 관련 분류 성능을 보존했으며, 가장 강력한 고정 방법은 14개 중 8개에서만 이를 충족했다. 외부 공격자에 의한 화자 재식별에 대한 저항성 평가와 임상 음성 내 민감한 개인 정보의 식별 및 삭제 평가는 CASA가 화자 신원과 민감한 발화 내용을 모두 보호함을 추가로 입증했다. 임상 전문가 평가 또한 임상적으로 관련된 정보가 보존되었음과, 익명화된 음성이 통제된 연구 공유에 허용 가능함을 뒷받침했다.

arXiv:2611.10659v1eess.AS

Pandemonium: 화자 간 상호작용을 활용한 장시간 목표 화자 음성 인식

Pandemonium: Longform Target-Speaker Speech Recognition with Cross-Speaker Interactions

화자 분할(diarization) 조건 기반 목표 화자 ASR(TS-ASR), 특히 화자 분할 조건 기반 Whisper(DiCoW)는 다중 화자 전사에 대한 정확하고 데이터 효율적인 접근법이다. 그러나 이 방식에는 세 가지 구조적 한계가 있다. 모델이 각 화자를 독립적으로 전사하고, 짧은(30초) 윈도우에서 동작하며, 화자 분할 구성요소와 TS-ASR 구성요소를 별도로 최적화한다는 점이다. 우리는 앞의 두 가지를 해결한다. 화자 분할 조건화를 장시간 Parakeet 백본에 통합하고(DiCoP), 화자 차원에 걸쳐 어텐션을 수행하여 화자들이 더 이상 고립된 상태로 디코딩되지 않도록 하는 교차 화자 어텐션과, 화자 분할에서 도출된 조건화를 재추정하는 STNO 마스크 정제기를 추가한다. 실제 다중 화자 상호작용을 담은 대화 데이터가 드물기 때문에, YODAS2에서 야외 환경의 다중 화자 오디오 5.4k시간을 추출하는 의사 레이블링 파이프라인으로 학습 규모를 확장한다. 이를 합성 데이터 및 실제 데이터와 결합하여 여러 회의 벤치마크에서 최고 수준의 결과를 달성한다. 우리는 결과 모델인 DiCoP와 Pandemonium, 그리고 의사 레이블링된 데이터를 오픈소스로 공개한다.

arXiv:2611.10322v1cs.CY

무선 통신 분석을 통한 경찰 행동 패턴

Police Behavior Patterns Through Radio Analysis

미국에서는 대부분의 경찰서가 경찰 무전을 사용해 통신하며, 이를 통해 휴대전화망이나 WiFi 가용성에 의존하지 않고 경찰관 간 및 경찰관과 지령실 간 통신이 가능하다. 일부 경찰서는 암호화된 디지털 무전을 사용하지만, 많은 경찰서는 여전히 평문으로 송신하며 일반 시민이 '경찰 스캐너'로 합법적으로 청취할 수 있다. 경찰 무전은 경찰 내부용으로 의도되었고 실시간 통신을 나타내므로, 사후 보도자료로 인해 생기는 잠재적 편향과 걸러짐 없이 법 집행 활동의 패턴에 대한 가치 있는 통찰을 제공할 수 있다. 본 연구에서는 2025년 7월부터 2026년 7월까지 미국 34개 도시 경찰관들의 10만 시간이 넘는 음성에 해당하는 1,400만 건 이상의 무선 송신을 수집하고 분석하며, 이는 우리가 아는 한 방송형 경찰 통신(BPC)에 대한 지금까지 가장 큰 규모의 분석이다. 우리는 경찰 통신의 전형적인 패턴을 제시하고, 시위와 주요 기상 사건을 포함한 사건을 나타내는 이상 활동을 분류한다. 우리는 이 데이터셋을 다양한 경찰 통신 연구의 출발점으로 제시하며, 자체 예비 분석을 수행하고 추가 연구가 가능한 여러 분야를 제안한다.

arXiv:2611.09900v1cs.HC

KR A1: 개인화 음성 합성, 맥락적 대화, 감정 인지 응답 생성을 통합한 휴머노이드 로봇 상호작용 프로토타입의 설계 및 예비 평가

KR A1: Design and Preliminary Evaluation of a Humanoid-Robot Interaction Prototype Integrating Personalized Voice Synthesis, Contextual Dialogue, and Emotion-Aware Response Generation

본 논문은 잠재적인 정신건강 관리 응용을 위해 개인화 음성 합성, 맥락적 대화 처리, 감정 인지 응답 생성을 통합한 휴머노이드 로봇 상호작용 프로토타입 KR A1의 설계와 예비 평가를 제시한다. 시스템 아키텍처는 자연어 이해와 응답 생성을 위한 로컬 호스팅 대규모 언어 모델(Ollama로 제공되는 Qwen2.5-3B-Instruct), 제로샷 화자 적응형 음성 합성을 위한 OpenVoice v2, 그리고 키워드 휴리스틱과 LLM 기반 추론으로 구성된 2단계 감정 처리 파이프라인을 결합한다. 얼굴 인식(InsightFace)과 벡터 메모리 검색(문장 트랜스포머 임베딩을 사용하는 FAISS)은 사용자 맞춤형 상호작용을 가능하게 한다. 여기에 보고된 실험적 평가는 음성 복제 구성 요소에 한정되며, 복제된 음성은 멜 주파수 켑스트럼 계수, 피치, 스펙트럼 중심, 스펙트럼 대비, 스펙트럼 롤오프, 영교차율, 포먼트, 화자 임베딩 코사인 유사도의 여덟 가지 음향 유사도 척도를 사용하여 기준 녹음과 비교 평가되었으며, 동일 화자 대 타 화자 기준선 비교로 보완되었다. 모든 테스트는 소규모의 비공식적인 개발 표본에서 수행되었으며, 별도로 유지된 기준선에 대한 통계적 유의성 검정은 수행되지 않았다. 통합 시스템의 감정 인식 정확도, 종단 간 응답 지연 시간, 치료적 또는 임상적 효과는 아직 공식적으로 평가되지 않았으며 향후 과제로 남아 있다. 모든 테스트는 개발팀이 비공식적으로 자체 수행하였으며, 환자나 외부 인간 참여자는 관여하지 않았고, 시스템은 임상 환경에서 평가되거나 배치된 적이 없다.

arXiv:2611.09122v1cs.SD

지시 인지형 음성 검색을 위한 대규모 오디오-언어 모델 임베딩 베이스라인 개선

Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval

음성 검색은 음성 질의가 주어졌을 때 관련 음성 문서를 찾는다. 음성 질의만으로는 답변 찾기나 화자 신원 일치와 같은 검색 목표가 드러나지 않을 수 있다. 지시 인지형 음성 검색은 이러한 목표를 자연어 텍스트 지시로 표현한다. 대규모 오디오-언어 모델(LALM)은 음성과 텍스트를 효과적으로 처리하며, 우리의 분석은 검색 요구 사항에 따라 서로 다른 오디오 인코더 계층의 은닉 상태가 유리함을 보여 준다. 우리는 대조 학습과 지시 인지형 오디오 계층 가중치 부여를 통해 LALM을 임베딩 모델로 적응시키는 IRIS-Embed를 제안한다. 실제 데이터와 합성 데이터로부터 하나 이상의 음성 속성에 대한 요구 사항을 표현하는 지시문이 포함된 약 90만 개의 학습 샘플을 구축한다. 지시 인지형 음성 검색 벤치마크인 INSPIRE에서 IRIS-Embed는 대응하는 LALM 베이스라인을 일관되게 능가한다. 최고 모델은 매크로 평균 Recall@50 62.92%를 달성하여 가장 강력한 베이스라인의 45.15%를 상회한다. 통제된 비교를 통해 지시 인지성과 오디오 계층 가중치 부여의 이점을 입증한다. 대규모 오디오 임베딩 벤치마크인 MAEB에서는 대응하는 베이스라인 대비 매크로 평균 9.4-19.8점의 향상이 나타나, 음성 검색을 넘어서는 일반화를 보여 준다.

arXiv:2605.06189v2eess.AS

음성 향상 및 분리를 위한 예측-생성 드리프트 분해

Predictive-Generative Drift Decomposition for Speech Enhancement and Separation

우리는 사전 학습된 예측기에 생성적 깨끗한 음성 사전분포를 보강하는 음성 향상 및 분리용 플러그 앤 플레이 프레임워크 Stochastic Interpolant Prior for Speech(SIPS)를 제안한다. 확률적 보간(stochastic interpolant)에 기반하여 샘플링 동역학을 예측기가 유도하는 드리프트와 스코어 기반 잡음 제거 성분으로 분해한다. 예측기는 샘플링을 과제와 일관된 추정치로 이끌고, 깨끗한 음성만으로 학습된 스코어 모델은 지각적 자연스러움을 높인다. 특정 구조에 의존하는 조건화를 사용하고 특정 예측기나 열화 설정에 묶여 있는 기존 하이브리드 접근법과 달리, SIPS는 열화에 무관한 사전분포를 사용하므로 재학습 없이 여러 예측기와 가산적 열화 과제에 재사용할 수 있다. 우리는 SEMamba, FlexIO 등 최근 예측기를 사용하여 음성 향상과 분리에서 SIPS를 평가한다. 두 과제 모두에서 SIPS는 비침습적 음성 품질 지표를 일관되게 개선하면서도, 참조 기반 왜곡 척도와 단어 오류율에서 경쟁력 있는 성능을 유지한다. 음성 향상의 경우 이러한 개선은 주관적 청취 평가로도 뒷받침된다.

arXiv:2510.02181v2cs.HC

EvolveCaptions: 실시간 협업 자막을 통한 청각장애인 및 난청인 사용자 지원

EvolveCaptions: Empowering DHH Users Through Real-Time Collaborative Captioning

자동 음성 인식(ASR) 시스템은 청각장애인 및 난청인(DHH) 화자의 음성을 정확하게 받아쓰는 데 어려움을 겪는 경우가 많다. 기존의 개인화 접근법은 대개 사전에 녹음된 대규모 데이터셋을 필요로 하며 DHH 사용자에게 부담을 준다. 본 논문에서는 자막 교정과 화자별 ASR 적응을 연결하는 협업적 오류 기반 개인화 시스템인 EvolveCaptions를 제시한다. DHH 화자의 음성을 받아쓸 때 청인 파트너가 전사 오류를 수정하면, 시스템은 DHH 화자가 녹음할 짧고 목적에 맞는 절을 생성한다. 이렇게 얻은 샘플은 모델을 점진적으로 미세 조정하는 데 사용된다. DHH 참가자 12명과 청인 참가자 6명을 대상으로 한 연구에서 EvolveCaptions는 다섯 차례의 대본 낭독 라운드에 걸쳐 단어 오류율(WER)을 낮추었으며, 이를 위해 평균 5분의 추가 음성 녹음이 필요했다. 참가자들은 인터페이스가 사용할 만하다고 보았으나 녹음과 교정에는 노력이 든다고 여겼으며, 수용 가능성은 상황과 예상되는 장기적 이점에 따라 달라졌다. 이러한 결과는 협업적이고 누적적인 적응의 잠재력을 보여 주는 동시에, 이를 지속하는 데 필요한 노동과 조건을 드러낸다.

arXiv:2611.09642v1eess.AS

NAVE: 남극 고래 발성 탐지를 위한 정규화된 적응형 콘포머

NAVE: A Normalized, Adaptive Conformer for Antarctic Whale Vocalization Detection

남극 고래 발성 탐지는 긴 수중 녹음에서 울음소리의 경계를 시간적으로 위치화하고 이를 사전 정의된 울음 유형으로 분류해야 한다. 수동 음향 모니터링 데이터셋에서 고래 울음소리의 변동성과 희소성 때문에 이 과제를 위한 신뢰할 수 있는 기계학습 모델을 학습하기는 어렵다. 이러한 어려움은 고래 울음소리를 가릴 수 있는 시변 잡음과, 학습된 모델이 일반화하지 못할 수 있는 지점별 주변 소리 특성으로 인해 더욱 커진다. 본 연구에서는 세 가지 구성요소를 통해 고래 울음 탐지를 개선하는 콘포머 기반 탐지기 NAVE를 제시한다. 첫째, 입력 표현은 일정한 지점별 주변 소리 특성을 억제하는 빈별 복소 평균 차감과, 잡음 바닥의 시간적 변화에 적응하는 추가적인 채널별 에너지 정규화(PCEN) 채널을 결합한다. 둘째, 주파수 동적 스템이 대상 울음 유형의 특징적인 주파수 대역에 걸쳐 적응하는 합성곱으로 이러한 잡음 인지 표현을 처리한다. 셋째, 대상 울음의 지속 시간에 맞춘 합성곱 커널을 갖는 콘포머 백본을 사용하여 귀납적 편향을 더하고 시간적 위치화를 개선한다. 우리는 보지 못한 녹음 지점에서의 배치를 근사하는, 검증 지점에 대한 leave-one-site-out 교차 검증을 사용하여 BioDCASE 2026 Task 2에서 NAVE를 평가한다. 클래스별 임계값을 조정한 단일 NAVE 모델은 경계 제안 네트워크나 후처리 매개변수 탐색을 사용하지 않고도 더 강력한 WhaleVAD-BPN 기준선을 능가한다. 통제된 절제 연구는 정규화된 프런트엔드와 지속 시간에 맞춘 합성곱 커널이 각각 기존 탐지기에 가장 어려운 클래스인 D 하향 스윕의 복원에 크게 기여하며, 넓은 커널이 가장 큰 전체 이득을 준다는 것을 보여준다.

arXiv:2611.09295v1cs.NE

스파이킹 신경망에서 스파이킹과 연속 동역학의 연결: 근육에서 영감을 얻은 모델

Bridging Spiking and Continuous Dynamics in Spiking Neural Networks: A Muscle-Inspired Model

스파이킹 신경망(SNN)이 생성하는 스파이크 열을 생물학적으로 영감을 받은 메커니즘으로 연속 신호로 변환하는 것은 생성 및 회귀 과제에서 여전히 해결되지 않은 과제이다. 생물학적 시스템에서는 근육이 신경 스파이크를 적분하여 매끄럽고 조화로운 움직임을 만들어낼 때 유사한 변환이 일어난다. 이 메커니즘에서 영감을 얻어, 스파이크 열을 연속 표현으로 변환하는 생물학적 동기의 동역학 계층인 근육 반응 모델을 제안한다. 본 접근법은 2차 동역학을 사용하여 스파이킹 활동의 시간적 적분을 모델링한다. 텍스트-음성 변환 과제에서 스파이킹 뉴런의 수와 시간 해상도가 생성 신호의 품질에 미치는 영향을 조사하였으며, 평가한 설정에서는 표현 용량을 늘리는 것이 시간 해상도를 높이는 것보다 더 큰 영향을 미침을 보였다. 또한 학습된 동역학을 분석한 결과, 응답 유형에 대한 명시적 제약이 없을 때 대부분의 뉴런이 비진동 거동으로 수렴하였다. 이러한 결과는 생물학적으로 영감을 받은 동역학 디코더가 스파이킹 신경 연산과 연속 신호 생성을 연결할 잠재력이 있음을 보여준다.

arXiv:2509.04899v5cs.SD

제한 볼츠만 머신 은닉 유닛에서의 음악 구조 인코딩

Encoding of musical structures in hidden units of restricted Boltzmann machines

제한 볼츠만 머신(RBM)은 통계물리학에서 유래한 에너지 기반 모델이다. 본 연구에서는 J. S. 바흐 음악의 이진 피아노롤 표현으로 학습한 베르누이-베르누이 RBM의 은닉층에서 음악 구조가 어떻게 표현되는지 조사한다. 개별 은닉 유닛이 유도하는 가시 패턴을 살펴본 결과, 은닉층은 선율, 화음, 조성과 같은 명시적 음악 개념보다는 주로 국소적인 시간적 특징과 음높이 통계적 특징을 포착함을 확인하였다. 자유 에너지 비교에서는 학습된 RBM이 숫자나 잡음 패턴보다 검토한 음악 입력에 더 높은 확률을 부여하였다. t-SNE, 코사인 유사도, PCA를 이용한 분석은 은닉 표현이 절대 음높이와 입력 중첩에 민감하며, 같은 곡을 이조한 버전이 반드시 가깝게 사상되지는 않음을 보여 준다. 생성된 샘플은 국소적인 음높이 조직은 나타내지만 장거리 일관성은 제한적이다. 이러한 결과는 단순한 통계물리 모델이 구조화된 음악 데이터의 특정 규칙성을 어떻게 포착하는지 보여 주는 동시에, 더 높은 수준의 음악적 관계를 표현하는 데 따르는 한계를 부각한다.