PyTorchKR Papers

최신 논문

총 524편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.01143v1cs.CL

GSLM2: 다중 스트림 음성 표현 학습과 생성형 음성 언어 모델링

GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

생성형 음성 언어 모델(SLM)은 음성만으로 언어 구조를 학습하는 경로를 제공하지만, 능력과 데이터 확장 효율 모두에서 텍스트 기반 모델에 크게 뒤처진다. 우리는 이러한 격차의 두 가지 병목을 확인하였다. 하나는 기존 음성 단위의 제한적인 언어적 품질이고, 다른 하나는 음성을 표현하기 위해 단일 이산 단위 스트림에 의존한다는 점이다. 여러 코드북은 음향 특징을 인코딩하는 데 널리 쓰이지만 음성 의미를 표현하는 데는 거의 쓰이지 않는다. 본 연구는 여러 추상화 수준에서 음성의 상보적 속성을 학습하고 모델링하는 GSLM2를 제시한다. 그 인코더인 SpidR 2.0은 미분 가능한 예측 헤드를 활용한 자기지도 학습으로 여러 수준에서 고품질 이산 단위를 유도한다. 이어서 다중 스트림 SLM이 공유 시간 백본, 스트림별 예측기, 스트림 간 의존성을 포착하는 자기회귀 헤드를 이용해 이러한 단위를 함께 모델링한다. 최대 6M 시간, 6.5B 매개변수에 이르는 학습 데이터 크기와 모델 규모 전반에서 GSLM2는 언어적 능력을 일관되게 개선하면서 데이터에 대해 더 효율적으로 확장된다. 그 결과 음성 LM과 텍스트 기반 LM 사이의 격차를 크게 좁히며, 낭독 및 대화 음성 영역 전반에서 sWuggy, sBLIMP, tSC에서 격차를 약 두 자릿수 크기만큼 줄이고, 세 과제 모두에서 경쟁력 있는 음성-텍스트 시스템도 능가한다. 학습 코드와 모델 체크포인트를 https://github.com/facebookresearch/gslm2 에 오픈소스로 공개한다.

arXiv:2611.01095v1cs.CR

Pop Goes the Verifier: Phoneme-Targeted Data Poisoning of Voice Liveness Detection

Many Automated Speaker Verification Systems (ASVs) commonly employ liveliness detection techniques, such as VoicePop, which identify genuine speech by analyzing low- frequency pop bursts from plosive phonemes using Gammatone Frequency Cepstral Coefficients (GFCC) and an SVM classifier. While effective against traditional replay attacks, such systems are vulnerable to data poisoning techniques. Prior work shows that broadly applied SyntheticPop attacks can collapse model to accuracy to as low as 14.01% using only 20% poisoned samples, but the resulting artifacts are easily detectable when visualizing the waveform energies. This paper introduces Pop Goes the Verifier, a stealthier phoneme injection poisoning attack. By leveraging FastSpeech 2 (FS2) with a modified HiFi-GAN vocoder, we inject localized pop bursts at plosive phoneme locations and overlay subtle Gaussian noise to reduce the visibility of injected artifacts in waveform and spectrogram analysis. Using the ASVSpoof 2019 as the dataset, we observe that the approach achieves a moderate poisoning attack while providing greater resistance to signal-level inspection than the original SyntheticPop attack.

arXiv:2611.00894v1cs.SD

마이크로폰 기하 구조 인식 지역 대상 화자 추출

Microphone Geometry Aware Regional Target Speaker Extraction

지역 대상 화자 추출(RSE)은 지정된 각도 영역에서 발생하는 음성을 추출하는 것을 목표로 하며, 위치 기반 음성 추출을 수행할 때 정확한 대상 화자 위치에 대한 요구를 완화한다. 그러나 기존 RSE 방법은 일반적으로 고정된 마이크로폰 배열 구성과 마이크로폰 수를 가정하므로, 보지 못한 마이크로폰 기하 구조와 다양한 마이크로폰 수에 대한 적용성이 제한된다. 본 연구는 다양한 마이크로폰 배열 기하 구조와 마이크로폰 수로 추출할 수 있는 기하 구조 인식 RSE 프레임워크를 제안한다. 구체적으로, 마이크로폰 간 위상 정보를 인코딩하는 어텐션 기반 다채널 프런트엔드와, 프런트엔드의 공간 표현 품질을 향상시키기 위한 공간 오디오 재구성 기반 보조 목적 함수를 도입한다. 실험 결과, 제안한 프레임워크는 마이크로폰 네 개의 배열 전반에서 기하 구조 인식 기준선 대비 SI-SDRi를 5.1 dB 향상시키며, 정사면체 마이크로폰 배열에서 평가했을 때 정사면체 기하 구조 전용 기준선과의 성능 차이를 0.6 dB 미만으로 유지한다.

arXiv:2611.00746v1cs.SD

ResMamba: 음악 장르 분류를 위한 이중 경로 합성곱-Mamba 모델

ResMamba: A Dual-Path Convolution-Mamba Model for Music Genre Classification

음악 장르 분류는 음악 정보 검색에서 여전히 근본적이면서도 어려운 과제로, 국소적인 시간-주파수 패턴과 장거리 시간 의존성을 모두 포착하는 모델을 필요로 한다. 이를 해결하기 위해 우리는 ResNet 스타일의 4단계 백본에 Mamba 블록을 결합한 하이브리드 아키텍처 ResMamba를 제안한다. 선택적 구조화 상태 공간 시퀀스 모델을 기반으로 하는 ResMamba는 먼저 선택적 SSM을 4D와 호환되는 잔차 Mamba 블록으로 적응시켜 선형 복잡도로 전역 의존성을 포착한다. 이어서 이렇게 적응된 Mamba 분기와 병렬 합성곱 분기를 학습된 $1\times1$ 융합으로 결합하여 전역 순차 문맥과 국소 스펙트로-시간 패턴을 함께 모델링하는 ConvMamba 이중 경로 블록을 설계한다. 또한 네 단계 전체에 걸친 계층적 표현을 집계하는 다중 스케일 융합 헤드를 채택한다. GTZAN 데이터셋 실험에서 전체 ResMamba 모델은 5-겹 교차 검증 정확도 $88.99\% \pm 1.58\%$를 달성하여, 비교 대상 중 가장 강력한 기존 발표 방법(88.64\%)을 능가한다. 모든 모델은 사전 학습, 외부 데이터, 데이터 증강 없이 처음부터 학습된다. GTZAN을 넘어 ResMamba는 동일한 학습 프로토콜에서 더 큰 FMA 벤치마크로도 일반화되어, 10-겹 교차 검증의 FMA-Small에서 $64.52\% \pm 1.88\%$(처음부터 학습한 발표 결과 중 최고)를, 공식 아티스트 단위 분할의 FMA-Medium에서 $65.75\%$를 달성하며, 이는 Defferrard \textit{et al.}의 널리 인용되는 SVM 기준선(63\%)을 능가한다.

arXiv:2611.00690v1eess.AS

타임라인을 보존하는 음성-음성 번역 학습

Learning Timeline-Preserving Speech-to-Speech Translation

음성-음성 번역(S2ST)은 무엇을 말하는지와 어떻게 들리는지를 점점 더 잘 보존하지만, 발화와 침묵이 언제 일어나는지는 반드시 보존하지는 않는다. 더빙 및 기타 시간적 근거가 필요한 응용에서는 총 길이를 맞추는 것만으로는 충분하지 않으며, 발화와 휴지도 서로 대응하는 시점에 나타나야 한다. 우리는 공유된 절대 타임라인상에서 원본의 종료 시점과 두드러진 내부 휴지를 보존하는 것을 목표로 하는 타임라인 보존 S2ST를 정식화한다. 우리는 추론 시 프레임 단위 타이밍 제어나 사후 시간 보정 없이, 정렬된 목표 음성 파형으로부터 이러한 시간 구조를 직접 학습하는 종단간 자기회귀 시스템인 TransDubber를 제시한다. 이러한 지도 신호를 제공하기 위해, 원본에서 정의된 시간 골격 위에서 목표 음성을 번역하고 합성하여 길이가 정확히 일치하는 영어-중국어 음성 쌍 642K개를 구축한다. 학습은 번역 품질과 시간 정렬의 균형을 맞추기 위해 점진적 지도 커리큘럼과 검증기 기반 강화학습을 결합한다. 낭독 음성과 자발 음성을 아우르는 4,353개 발화의 테스트 세트에서 TransDubber는 UniSS와 비교하여 원본 길이의 2% 이내인 번역의 비율을 25.6%에서 61.5%로, 휴지 정렬 F1을 0.118에서 0.550으로 높이면서도 경쟁력 있는 번역 품질을 유지한다. 분석 결과, 정렬된 지도 신호가 타임라인 추종을 확립하고, 강화학습은 시간적 정밀도를 다듬으며 엄격한 동기화로 인한 번역 품질 저하를 부분적으로 상쇄한다. 이러한 결과는 타임라인 보존 S2ST를 위한 우리의 데이터와 학습 프레임워크의 효과를 보여 준다. 오디오 샘플, 코드, 데이터셋, 사전 학습 모델은 https://zhishengzheng.com/transdubber/ 에서 이용할 수 있다.

arXiv:2611.00333v1cs.LG

C3: 장문맥 SpeechLLM 추론을 위한 음성 기반 KV 검색

C3: Speech-Guided KV Retrieval for Long-Context SpeechLLM Inference

음성 언어 모델은 텍스트보다 훨씬 높은 비율로 오디오를 인코딩하므로, KV 캐시가 장문 생성의 메모리, 대역폭, 디코딩 비용을 지배하게 된다. KV 검색은 질의에 의존하는 캐시의 부분집합에만 어텐션을 수행함으로써 단계별 접근량을 줄일 수 있으나, 기존 방법은 주로 텍스트를 위해 설계되어 오디오 어텐션의 구조를 고려하지 않는다. 우리는 먼저 검색 오류가 자기회귀적으로 누적되어 생성 편류(generation drift)로 이어질 수 있음을 보인다. 이어서 장문 생성 중의 전체 오디오 어텐션을 분석하여 검색과 관련된 세 가지 특성을 확인한다. 즉 질의 헤드 간 불균등한 어텐션 집중, 비연속적인 오디오 지지 영역, 그리고 디코딩 단계 간의 시간적 연속성이다. 이러한 관찰에 기반하여 우리는 $C^3$(Cluster-Compete-Compete)를 제안한다. 이는 오디오 KV를 계층적 키 공간 인덱스로 구성하고, KV 헤드를 공유하는 질의 헤드들이 공통의 검색 예산을 두고 경쟁하게 하며, 쌍을 이룬 분할-병합 갱신을 통해 검색 해상도를 적응적으로 재할당한다. 네 가지 SpeechLLM에서 장문 음성 인식, 번역, 요약 전반에 걸쳐, $C^3$는 비슷한 최종 KV 접근 예산 하에서 검색 방법 중 가장 강력한 전반적 성능을 달성하며, 특히 예산이 빠듯한 영역에서 큰 향상을 보이는 동시에 장문맥 디코딩 효율과 가속기 메모리 확장성도 개선한다.

arXiv:2611.00325v1cs.SD

하나의 파형, 두 개의 이야기: 오디오-언어 모델의 음성-음향 충돌 벤치마킹

One Waveform, Two Stories: Benchmarking Speech-Acoustic Conflict in Audio-Language Models

오디오-언어 모델(ALM)은 음성과 환경음 모두에 대한 이해 능력을 기준으로 평가된다. 그러나 동일한 녹음 안에서 발화된 주장이 음향적 증거와 모순될 때 모델이 어떻게 반응하는지는 아직 충분히 탐구되지 않았다. 우리는 일곱 가지 의미적, 시간적, 공간적 과제에 걸쳐 188개 음향 이벤트 클래스에서 추출한 616,031개의 고유 클립으로 구성된 오디오 내 음성-음향 충돌 벤치마크 SAC-Bench를 소개한다. 이 벤치마크는 환경 녹음을 양립 가능하거나 모순되는 합성 음성 주장과 짝지으며, 해당되는 경우 오디오 전용 통제 조건을 포함한다. 의미적 및 시간적 과제에서 평가한 다섯 개의 오픈 웨이트 ALM 전반에서, 높은 오디오 전용 정확도가 충돌하는 주장 하에서의 큰 성능 하락과 공존하는 경우가 많다. 이벤트 정체성(Event Identity) 정확도는 충돌 조건에서 양립 조건보다 24.8~46.5퍼센트포인트 낮다. 시간 순서(Temporal Order) 실패는 음성이 전체 이벤트 시퀀스 뒤에 이어질 때에도 지속되므로, 음성과 이벤트의 동시 마스킹만으로는 이를 완전히 설명할 수 없다. Spatial-Omni를 이용한 공간 사례 연구에서는 움직임 정확도 저하가 발화된 주장과 음성 소스의 물리적 궤적 모두와 연관됨을 확인하였다. 프롬프트 개입은 때때로 음향 정확도를 회복시키지만, 근거 확보(grounding)의 개선 없이 주장에 부합하는 응답만 줄이거나 성능을 악화시키기도 한다. 이처럼 SAC-Bench는 음향 능력, 충돌 강건성, 개입 효과를 구분하여 보여준다.

arXiv:2610.38960v2cs.AI

도구 집합 가지치기와 모달리티 통합을 통한 효율적인 에이전트 기반 오디오-비주얼 질의응답

Efficient Agentic Audio-Visual Question Answering through Toolset Pruning and Modality Consolidation

세밀한 오디오-비주얼 질의응답(AVQA)은 모델이 희소하게 분포한 증거로부터 복잡한 교차 모달 대응 관계를 해결하고 시간적으로 근거를 찾을 것을 요구한다. 지각 도구를 자율적으로 조율하여 능동적으로 증거를 수집하는 옴니모달 에이전트는 강력한 성능을 달성하지만, 오디오와 시각 두 모달리티 모두에서의 능동적 지각이 폭넓은 특화 도구 집합, 특히 오디오 또는 시각 모달리티 전용 도구에 의존하는지는 여전히 불분명하다. 이러한 시스템은 또한 긴 실행 궤적과 상당한 추론 비용을 초래할 수 있다. 우리는 필수적인 지각 능력만 노출하는 간소한 워크플로로도 비슷한 성능을 유지할 수 있는지 조사한다. 특화 도구를 사용하는 OmniAgent에서 출발하여 도구 집합을 가지치기하고 모달리티 전용 도구를 옴니모달 도구로 점진적으로 통합하는 단계별 통제 실험을 수행하였으며, 이를 통해 옴니모달 캡셔닝과 옴니모달 QA만으로 구성된 2도구 에이전트를 도출하였다. 널리 쓰이는 세 가지 AVQA 벤치마크에서 우리의 간소한 에이전트는 특화 도구 에이전트와 비슷하거나 더 나은 정확도를 달성하면서 추론 비용을 약 70% 줄였다.

arXiv:2610.09737v2eess.AS

보지 못한 녹음 지점에서의 모기 음향 식별: 매개체 감시를 위한 일반적 전이 보완책의 실질적 한계

Mosquito acoustic identification at unseen recording sites: practical limits of common transfer remedies for vector surveillance

수동 음향 모니터링은 모기 감시를 확대할 수 있으나, 한 가지 녹음 조건에서 훈련된 분류기는 새로운 지점, 장치 또는 인클로저로 옮기면 흔히 실패한다. 약 271,000개의 녹음으로 구성된 9종, 5조건 말뭉치에서 공개된 기준 모델은 이미 본 조건에서는 균형 정확도 0.881로 종을 식별하지만 제외된 조건에서는 0.175에 그친다. 이 말뭉치의 leave-domain 프로토콜을 사용하여, 프로그램이 새 지점을 도입할 때 어떤 전이 전략이 가장 신뢰할 만한지 조사하였다. 사전 훈련된 생체음향 모델의 고정 특징과 소형 분류기를 사용하면 백본 가중치를 갱신하지 않고 지점당 수 분의 훈련으로 제외 조건 균형 정확도가 0.305로 향상되었다. 널리 쓰이는 네 가지 추가 기법은 전이를 개선하지 못하였다. 녹음 조건 간 훈련 재균형, 백본 미세 조정, 더 약한 두 번째 모달리티 융합은 각각 정확도를 낮추었고, 여섯 항으로 된 목적 함수는 단일 정렬 항으로 축소되었다. 재균형은 네 인코더에 걸쳐 방향이 뒤바뀌어, 약한 표현에는 도움이 되고 강한 표현에는 해가 되었다. 속(genus) 수준 집계는 종 수준 분류보다 더 정확하였으며(약 0.50 대 0.30), 이는 속 수준 선별이 여기서 더 현실적인 운용 지점일 수 있음을 시사한다. 이 결과는 하나의 프로토콜 아래 하나의 말뭉치에서 얻은 것으로, 검증된 일반 규칙이 아니라 데이터셋에 국한된 지침이다.

arXiv:2606.08210v2eess.AS

Paediatric-HGNN: 다중 스케일 음향 융합을 통한 아동 음성의 비유창성 검출용 하이브리드 이종 그래프 신경망

Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

자동 말더듬 검출(ASD) 시스템은 발달 중인 음성의 높은 음향적 변동성과, 병리적 말더듬과 전형적인 발달성 비유창성 사이의 미묘한 차이 때문에 아동 음성에서 어려움을 겪는다. 본 논문은 아동 데이터에 맞게 설계된 문맥 인식 부분-전체 상호작용 네트워크(CaPIN)를 사용하는 프레임워크인 Paediatric-HGNN을 제안한다. 본 접근법은 기존의 1차원 신호 모델링 대신, 어휘 단위(단어 노드)와 세밀한 음향 구간(프레임 노드) 사이의 계층적 관계를 포착하는 이종 그래프를 구축한다. 정제된 아동 코퍼스(UCLASS 및 FluencyBank)로 학습한 Paediatric-HGNN은 가중 정확도 82.4%와 전형적 비유창성 F1 점수 0.386을 달성한다. 어휘-음향 간 계층적 상호작용을 모델링함으로써 발달기의 "탐색" 행동을 포착하며, 이는 조기 임상 개입을 위한 더 견고하고 해석 가능한 도구를 제공한다.

arXiv:2603.08683v3cs.SD

완전 충실도 오디오의 무손실 압축을 위한 언어 모델링 벤치마킹

Benchmarking Language Modeling for Lossless Compression of Full-Fidelity Audio

원시 파형으로 학습한 자기회귀 "언어" 모델(LM)은 무손실 오디오 압축에 재활용될 수 있지만, 기존 연구는 8비트 오디오로 제한되어 있어 이러한 접근법이 실용적인 설정(16/24비트)에서 작동하는지, 그리고 기존 코덱과 경쟁할 수 있는지는 미해결 상태였다. 우리는 다양한 도메인(음악, 음성, 생물음향), 샘플링 레이트(16kHz-48kHz), 비트 심도(8, 16, 24비트)에 걸쳐 완전 충실도 오디오에 대한 LM 기반 압축을 벤치마킹한다. 표준 샘플 수준 토큰화는 어휘 크기(16비트의 경우 65K, 24비트의 경우 16.7M) 때문에 높은 비트 심도에서 다루기 어려워진다. 우리는 완전 해상도 오디오를 위한 바이트 수준 토큰화 방식인 Trilobyte를 제안하며, 이는 어휘 확장을 $O(2^{b})$에서 $O(1)$로 개선하고 최초로 다룰 수 있는 24비트 LM 기반 무손실 압축을 가능하게 한다. LM은 FLAC을 일관되게 능가하며 8비트와 16비트에서 최첨단 압축 성능을 보이지만, 비트 심도가 8비트를 넘어 증가함에 따라 압축 이득은 더 완만해짐을 관찰한다.

arXiv:2602.00269v2cs.LG

VoxServe: 음성 언어 모델을 위한 스트리밍 중심 서빙 시스템

VoxServe: Streaming-Centric Serving System for Speech Language Models

음성 언어 모델(SpeechLM)은 오디오 재생이 신속히 시작되어야 하고 끊기지 않아야 하는 스트리밍 음성 생성에 점점 더 많이 배포되고 있다. 이를 서빙하려면 매우 다른 두 모델 구성 요소를 동일한 시스템에서 실행해야 한다. 자기회귀 LLM 백본은 오디오 토큰을 출력하고, 코덱은 그 토큰 묶음을 파형으로 변환한다. 기존 시스템은 두 구성 요소를 별도로 스케줄링되는 단계로 실행하므로, 이들을 직렬화하거나, 서로 간섭하게 하거나, 별도의 장치에 배치하여 용량을 낭비한다. 우리는 백본과 코덱을 GPU의 서로 다른 부분에서 중첩 실행하면 처리량이 향상됨을 관찰하였다. 이는 코덱 지연 시간을 증가시키지만, 그것이 첫 오디오까지의 시간(TTFA)의 임계 경로에 놓이지 않고 재생 끊김을 유발하지 않는 한 대부분의 청크는 이를 감내할 수 있다. 이러한 통찰에 기반하여, 우리는 청크의 긴급도에 따라 GPU 자원을 할당하는 SpeechLM 서빙 시스템 VoxServe를 제시한다. VoxServe는 세 개의 비동기 레인에서 작업을 실행한다. LM 레인은 GPU 스트리밍 멀티프로세서의 큰 파티션에서 백본을 실행하고, 백그라운드 코덱 레인은 그 옆의 작은 파티션에서 실행되며, 긴급 레인은 GPU 전체를 사용한다. 스케줄러는 각 요청을 LM 레인에 큐잉하고 백본이 완료한 모든 청크를 긴급도에 따라 라우팅한다. 요청의 첫 청크와 재생 마감 시한이 가까운 청크는 긴급 레인으로 가고, 나머지는 백그라운드 레인에서 배치 처리된다. Qwen3-TTS에서 VoxServe는 재생 끊김 없이 200ms TTFA 목표에서 기존 최고 시스템 대비 1.5배의 요청 처리율을 유지한다. VoxServe의 코드는 https://github.com/vox-serve/vox-serve 에서 확인할 수 있다.

arXiv:2509.24773v5eess.AS

ViSSFlow: 결합 학습을 통한 비디오 조건부 소리 및 음성 생성의 통합

ViSSFlow: Unifying Video-Conditioned Sound and Speech Generation via Joint Learning

비디오-소리 변환(V2S)과 시각적 텍스트-음성 변환(VisualTTS)을 포함하는 비디오 조건부 오디오 생성은 시각적 콘텐츠를 조건으로 오디오를 생성한다는 공통 목표에도 불구하고 전통적으로 두 개의 별개 과제로 연구되어 왔다. 기존 방법은 과제별 아키텍처와 학습 패러다임에 의존하며, 이질적인 조건 신호와 제한된 결합 학습 데이터 때문에 통합 생성 프레임워크의 가능성은 대체로 탐구되지 않았다. 본 논문에서는 V2S와 VisualTTS를 모두 위한 통합 플로 매칭 프레임워크인 ViSSFlow를 제안한다. 확산 트랜스포머(DiT) 내에서 다양한 조건 양식을 효과적으로 통합하기 위해, 어텐션 계층의 상호 보완적 역할을 활용하는 분리형 조건 집계 메커니즘을 도입하는데, 교차 어텐션으로 의미적 조건을 모델링하고 셀프 어텐션으로 시간적으로 조밀한 시각 단서를 포착한다. 또한 V2S와 VisualTTS의 결합 최적화가 과제 간 간섭을 일으킨다는 통념과 달리, 단일 모델을 과제별 성능 저하 없이 종단간으로 학습할 수 있음을 보인다. 소리와 음성 생성을 모두 포괄하는 짝지어진 학습 데이터의 부족을 해결하기 위해, 견고한 결합 학습을 가능하게 하는 단순하면서도 효과적인 특징 수준 데이터 합성 전략을 추가로 제안한다. V2S, VisualTTS, 결합 생성 벤치마크에 대한 폭넓은 실험은 ViSSFlow가 최첨단 과제별 기준 모델을 일관되게 능가하면서 비디오 조건부 오디오 생성을 위한 통합 해법을 제공함을 보여준다. 코드와 데모는 보충 자료에 제공된다.

arXiv:2611.02680v1cs.SD

VioTech: 다중 스케일 전문가 혼합을 이용한 프레임 수준 바이올린 연주 기법 검출

VioTech: Frame-Level Violin Playing Technique Detection with Multi-Scale Mixture-of-Experts

연주 기법은 표현력 있는 바이올린 연주에 필수적이지만, 바이올린 기법 검출 모델은 거의 존재하지 않는다. 현재의 시스템은 주로 음표 수준 파이프라인에 의존하여 먼저 음표 경계를 추정한 뒤 기법을 분류한다. 이는 부드러운 시작과 연속적인 활-현 상호작용으로 인해 음표 분할이 신뢰하기 어려운 바이올린과 같은 찰현악기에서 특히 문제가 된다. 본 논문에서는 명시적인 음표 분할 없이 10 ms 해상도로 기법을 직접 예측하는 프레임 수준 바이올린 기법 검출 프레임워크 VioTech를 제안한다. 기법 간의 큰 시간 스케일 변동을 다루기 위해, VioTech는 고정된 MERT 인코더를 다중 스케일 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처 및 음색, 아티큘레이션, 레가토 관련 예측을 위한 과제별 라우팅과 결합한다. 또한 실제 독주 녹음으로부터 구축된 최초의 수작업 주석 바이올린 연주 기법 데이터셋인 VioTech120과 이에 수반되는 음표 레이블링 사용자 인터페이스를 소개한다. 결과는 VioTech가 기존 방법 대비 일관된 향상을 달성하고 데이터셋 간 일반화를 크게 개선하여, 바이올린 기법 인식 전사에서 새로운 최고 성능을 확립했음을 보여 준다.

arXiv:2611.02893v1cs.SD

음성 네이티브 LLM은 좌절을 듣지만 귀 기울이지는 않는다

Voice-Native LLMs Hear Frustration but Do Not Listen to It

사용자는 말의 내용과 말하는 방식 모두에서 좌절을 드러내며, ASR 전사문 대신 음성을 직접 듣는 음성 네이티브 모델은 이 둘을 모두 인식할 수 있다. 기존 평가는 성능이 변하지 않는 것을 인식 여부를 확인하지 않은 채 강건성으로 해석한다. 우리는 Brunswik의 렌즈 모델에 따라, 동일한 오디오에서 좌절이 표현되는지, 인식되는지, 활용되는지를 측정한다. 353개 과제에 대해 항목 내 2x2 설계로 좌절 어휘와 좌절 음성을 교차시키고, 1,412개 클립을 VoxAffect로 공개한다. 8개 모델 전반에서 출력은 강건해 보이며, 7개 모델에서 정확도에 대한 음성 효과가 검출되지 않았다. 중립적 어휘에서 8개 모델 모두 좌절 음성을 좌절로 분류한 클립은 최대 3.1%였으나, 그중 7개 모델은 연기된 분노를 클립의 73~100%에서 탐지하였고 인간 청취자는 판단의 65.3%에서 음성을 올바르게 분류하였다. 그럼에도 선형 프로브는 오픈 웨이트 모델 2개의 오디오 인코더에서 쌍별 정확도 0.67과 0.69로 좌절 음성을 디코딩하며, 상용 모델에서도 어휘가 일치하면 음성이 인식된 좌절을 높인다. 따라서 모델은 좌절 음성을 듣지만 귀 기울이지는 않으며, 클립의 40~75%에서 인식되는 좌절 어휘에 대한 불변성은 진정한 강건성이다. 우리의 연구는 https://github.com/Astarojth/hear-not-listen 에서 공개되어 있다.

arXiv:2610.41512v1cs.CV

오디오-이미지-기호 음악 검색을 위한 트랜스포머 인코더의 매개변수 효율적 미세 조정

Parameter-Efficient Fine-Tuning of Transformer Encoders for Audio-Image-Symbolic Music Retrieval

악보 기반 멀티모달 음악 검색은 각 모달리티 내에서 변별력이 있으면서 오디오 녹음, 악보 이미지, 기호 악보 간에도 호환되는 표현을 필요로 한다. 본 논문은 사전학습된 음악 인코더를 적응시키기 위한 매개변수 효율적 미세 조정(PEFT)의 효과를 조사하고, 모달리티별 향상이 더 나은 멀티모달 표현으로 이어지는지 검토한다. TriScore와 Musical Theme Dataset에서 아홉 개의 사전학습된 오디오, 이미지, 기호 악보 인코더에 대해 전체 미세 조정, LoRA, QLoRA를 비교한다. 인코더는 먼저 고정된 인코더의 선형 프로빙을 기준으로 삼아 지도 단일 모달 분류를 통해 평가·선정된다. 이어서 인코더 적응과 과제별 공유 투영을 교차시키는 통제된 2x2 설계를 도입하여, 투영 전후의 고정 표현과 적응된 표현을 비교한다. 18개의 모달리티-목표 조합 중 14개에서 LoRA 또는 QLoRA가 선택되며, 훨씬 적은 매개변수를 최적화하면서도 전체 미세 조정과 대등하거나 더 나은 성능을 보이는 경우가 많다. 그러나 이러한 단일 모달 이득이 멀티모달 분류로 균일하게 전이되지는 않는다. 적응과 투영은 TriScore의 작곡가 분류에서는 상호 보완적이고, TriScore의 악기 분류와 Musical Theme Dataset의 악기 및 앙상블 과제에서는 대체로 중복적이며, Musical Theme Dataset의 작곡가 분류에서는 부분적으로 간섭한다. TriScore에서 적응 및 투영을 거친 최종 제목 표현은 곡 수준 검색을 지원하며, 평균 Top-5 및 Top-10 정확도는 각각 55.32와 64.68에 도달한다. 교차 모달 배제 및 이웃 분석은 투영된 공간에 강한 모달리티별 국소 구조가 있음을 추가로 보여준다. 종합적으로 PEFT는 전체 미세 조정에 대한 효과적이고 계산 효율적인 대안이지만, 단일 모달 변별력 향상만으로 더 나은 멀티모달 조직이 보장되는 것은 아니다.

arXiv:2610.41292v1cs.CL

전사에서 재구성으로: 근거 기반 생성형 음성 인식의 정의와 벤치마크

From Transcription to Reformulation: Defining and Benchmarking Grounded Generative Speech Recognition

음성 언어 모델은 자동 음성 인식(ASR)을 전사에서 범용 음성-텍스트 생성으로 확장했다. 그러나 기존 벤치마크는 여전히 발화당 하나의 정답 전사본을 가정하며, 이 가정은 모델이 읽기 쉽거나 서식화되거나 구조화된 출력을 생성할 때 한계를 보인다. 본 연구에서는 음성 인식을 단일 전사본이 아니라 의미적으로 근거가 있는 텍스트를 생성하는 것으로 재정식화한 근거 기반 생성형 음성 인식(Grounded Generative Speech Recognition, GSR)을 제안한다. 우리는 입력 음성이 뒷받침하는 모든 유효한 텍스트 실현을 특징짓는 근거 기반 재구성 공간을 정의하고, 문자 그대로의 전사, 정규 재구성, 의미적 재구성, 음성 근거 기반 구조화를 포함하는 4단계의 재구성 능력 계층을 수립한다. 이 정식화를 바탕으로, 정확한 전사 일치를 넘어 생성형 음성 인식 시스템을 평가하도록 설계된 최초의 포괄적 벤치마크인 GSR-Bench를 제시한다. GSR-Bench는 정제된 회의 전사, 방언 간 번역, 문맥 인식 음성 이해, 무음 또는 잡음 음향 조건에서의 강건성 등 다양한 시나리오를 다룬다. 단어 수준 평가 지표의 한계를 해결하기 위해, 음성 근거성 평가와 LLM 기반 의미 판정을 결합한 다차원 평가 프레임워크를 개발하였으며, 그 신뢰성은 인간 선호 연구를 통해 검증된다. 기존 ASR 시스템부터 종단간 Speech-LLM에 이르는 대표적 아키텍처에 대한 광범위한 실험은 전사 충실도와 생성적 재구성 능력 사이의 근본적인 상충 관계를 보여 준다. 또한 분석을 통해 음향 환각, 근거 없는 생성, 지시 이탈 등 핵심적인 실패 유형을 규명하여, 향후 근거 기반 생성형 음성 시스템의 설계와 평가에 대한 통찰을 제공한다.

arXiv:2610.40883v1cs.AI

오디오 거대 언어 모델의 멀티모달 음성 감정 인식에 대한 불일치 인식 평가

Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

음성 상호작용형 거대 언어 모델은 화자가 무엇을 말하는지와 어떻게 말하는지를 모두 처리하지만, 두 채널이 항상 일치하는 것은 아니다. 우리는 이러한 불일치가 음성 감정 인식을 저하시키는지 묻는다. 텍스트와 오디오를 공유된 감정가-각성도-지배도 공간에 사상하고, 두 표현 사이의 거리를 2성분 가우시안 혼합을 통해 연속적이고 임계값이 없는 불일치 점수로 변환하며, 이 점수를 인간의 판단에 대해 검증한다. 우리는 연기된 음성, 대화 음성, 자발적 음성(eNTERFACE'05, MELD, CMU-MOSEI)에 대해 오디오를 처리할 수 있는 세 모델을 평가한다. 모달리티 전반에서 모델을 고정했을 때, 정답 감정과 특징 공간에서의 거리를 통제한 후에도 오디오가 존재하는 한 모든 코퍼스에서 불일치가 오류의 오즈를 높인다. 동일한 특징으로 학습한 지도 분류기는 반대로 행동하는데, 이는 어려움이 신호 자체가 아니라 이들 모델이 원시 증거를 결합하는 방식에 있음을 시사한다. 텍스트 전용 효과는 신뢰할 수 없다. 전사문을 읽는 모델만 교체해도 한 코퍼스에서 그 부호가 뒤바뀐다. 감정 어휘 사전 없이 점수를 재구성해도 핵심 결과가 재현되며, 여섯 가지 더 단순한 대안 중에서는 세 코퍼스 모두에서 오류를 예측하는 유일한 무레이블 점수이다. 코드, 데이터 표, 프롬프트를 공개한다.

arXiv:2610.40759v1cs.SD

TAPE: 범용 오디오 이펙트 표현 학습

TAPE: Learning General Audio Effect Representations

뮤지션과 믹싱 엔지니어는 참조 녹음에서 들리는 신호 처리 체인을 파악한 뒤 이를 새로운 소재에 맞게 적용할 수 있는 경우가 많다. 우리는 처리된 참조 오디오만으로 이러한 처리를 추정하는 TAPE(Transformations of Audio Parameter Embeddings)를 제시한다. 여덟 가지 주요 이펙트 계열의 프로세서를 식별하도록 학습된 인코더가 참조를 임베딩으로 매핑한다. 미분 가능한 디지털 신호 처리(DSP) 체인은 이 임베딩을 한 번의 순전파로 편집 가능한 파라미터로 디코딩하고, 이를 처리되지 않은 다른 녹음에 적용한다. 이 체인의 모듈은 이퀄라이제이션, 컴프레션, 웨이브셰이핑, 작은 잔차 네트워크, 리버브이다. TAPE는 단일 단계 회귀의 기존 최고 성능인 DeepAFx-ST보다 낮은 스펙트럼 오차를 달성하며, ST-ITO와 유사한 체인에 대한 예제별 탐색보다도 낮은 스펙트럼 오차를 달성하면서 그 탐색보다 275$\times$ 빠르게 동작한다. 디코더가 DSP 파라미터를 출력하므로 이 체인은 인과적으로도 실행될 수 있다. 학습된 가중치를 사용한 C++ 구현은 128샘플 버퍼를 실시간보다 1.8$\times$ 빠르게 처리했으며 놓친 데드라인은 없었다.

arXiv:2610.40738v1cs.SD

Apriel Voice 27B Preview: 음성, 추론, 도구 사용을 위한 오픈 모델

Apriel Voice 27B Preview: An Open Model for Speech, Reasoning, and Tool Use

유능한 음성 어시스턴트는 단어를 인식하는 것을 넘어 요청을 이해하고, 맥락에 대해 추론하며, 대화를 이어 가고, 도구를 통해 행동해야 한다. 우리는 텍스트 및 이미지 입력 모달리티를 유지하면서 이러한 능력을 공유 추론 백본 안에 통합한 오픈 음성-언어 모델 Apriel Voice 27B Preview를 제시한다. 사후 훈련된 Gemma 4 26B-A4B 체크포인트를 기반으로 구축된 Apriel Voice는 별도의 대화 모델 없이 음성을 직접 처리하여 응답과 도구 호출을 모두 생성한다. 우리는 모델을 음성에 적응시키기 위한 2단계 훈련 절차를 도입한다. 첫 번째 단계는 음성 인터페이스를 구축하고, 두 번째 단계는 지도 미세 조정, 텍스트 리플레이, 소스에 따라 달라지는 교차 엔트로피 및 순방향 Kullback--Leibler 발산 지도를 통해 프로젝터와 백본을 함께 적응시킨다. 자동으로 구성된 음성 조건부 대화가 대화형 훈련 데이터를 제공하며, 로컬 교사 서빙, 교사와 학생 연산의 중첩, 전체 어휘 손실의 융합이 효율적인 온라인 증류를 가능하게 한다. 사고 모드에서 Apriel Voice는 Big Bench Audio에서 98.90, Speech-BFCL에서 81.13, $\tau$-Voice에서 65.51%의 과제 성공률을 달성하며 평균 지연 시간은 1.91초이다. 또한 영어 EVA 정확도 51.27%와 경험 pass@1 74.13%를 달성한다. 마지막으로 우리는 대화형 음성 상호작용을 지원하기 위해 Apriel Voice 27B Preview를 맞춤형 서빙 플랫폼에 배포한다.