PyTorchKR Papers

최신 논문

총 524편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2610.12532v2cs.SD

LLM 기반 음색 생성 및 보간에서의 구조적 행위성과 표상적 행위성

Structural and Representational Agency in LLM-Driven Timbre Generation and Interpolation

생성형 창작 인터페이스는 가능성의 공간 안에서 사용자의 위치를 일상적으로 보고한다. 이러한 표시는 화면에 나타난 값이 산출물로부터 측정되었음을 암시하지만, 점점 늘어나는 일부 시스템에서는 언어 모델이 자신의 출력을 기술하여 그 값을 예측하며, 화면상에서는 두 경우를 구별할 수 없다. 대부분의 창작 분야에는 이러한 자기 보고를 검증할 합의된 측정 기준이 없으나, 오디오는 이를 허용한다. 실제 작동하는 LLM 기반 음색 인터페이스에 대한 측정 연구에서, 사용자가 일으킬 수 있는 것과 인터페이스가 보고하는 것은 분리 가능함이 드러났다. 전자는 정확히 규명할 수 있다. 도달 가능 집합은 파라미터 공간의 조노토프(zonotope)이며, 소리를 하나 배치할 때마다 그 차원이 하나씩 증가하므로, 모델이 작동할 수 있는 공간이 사용자 자신의 것임을 입증할 수 있다. 후자는 부정확하다. 표시된 위치는 측정값과 해당 영역 너비의 약 세 배만큼 차이가 나며, 오차에는 두 가지 독립적인 원인이 있다. 하나는 모델이 예측한 좌표로, 그 정확도는 평가한 두 모델 사이에서 두 배 차이가 난다. 다른 하나는 신디사이저 파라미터를 결합하는 데서 비롯되는 보간 단계로, 모델 품질의 영향을 받지 않는다. 종단 간으로 보면 36개의 개선 지시 중 27개는 지각 가능한 변화를 만들지 못했으며, 더 약한 모델에서는 해당 기능이 아무 동작도 수행하지 않은 채 수렴했다고 보고하였다. 따라서 효과적 행위성(사용자가 일으킬 수 있는 것)과 인식적 행위성(그것을 알 수 있는지 여부)은 분리 가능하며 독립적으로 설계될 수 있다. 구조적으로 강제된 제약은 모델의 실패에도 유지되지만, 모델 자신의 보고에 의존하는 보장은 그렇지 않다. 남는 실패 양상은 성공으로 위장된 침묵이다. 마지막으로 이러한 표시를 구축하고 감사하기 위한 간단한 프로토콜을 제시한다.

arXiv:2606.01483v2cs.LG

Murmur: 계층적 청킹을 이용한 효율적인 장문맥 ASR 추론

Murmur: Efficient Long-Context ASR Inference with Hierarchical Chunking

장시간 자동 음성 인식(ASR)은 높은 정확도와 낮은 추론 지연 시간을 모두 요구하지만, 기존 시스템은 둘 사이의 절충을 제대로 다루지 못한다. 청크 기반 접근법은 낮은 지연 시간을 위해 오디오를 병렬 윈도로 처리하지만 청크 간 문맥을 잃으며, 경계에서 화자와 타임스탬프를 정렬하기 위해 취약한 휴리스틱이 필요하다. 장문맥 ASR 모델은 더 나은 정확도를 위해 전체를 한 번에 전사하지만 몇 배 더 느리게 동작하며, 단 한 번의 반복 루프가 전체 출력을 손상시킬 수 있다. 본 논문에서는 먼저 문맥 길이가 장문맥 ASR 모델의 정확도에 미치는 영향을 분석하여, 약 5분 정도의 중간 청크 크기가 반복 루프를 피하면서 단일 패스 정확도와 대등함을 발견하였다. 이를 바탕으로 계층적 청킹에 기반한 장시간 ASR 추론 시스템 Murmur를 제안한다. 장문맥 모델이 중간 크기의 목표 청크를 병렬로 디코딩하고, 30초 초안 윈도에 대한 빠른 단문 윈도 ASR이 무손실 구조 인식 추측 디코딩으로 각 청크를 가속한다. 단문 윈도 ASR이 전사문의 초안을 작성하고, 단순한 형식 규칙이 타임스탬프와 화자 태그의 초안을 작성하며, 장문맥 모델이 모든 토큰을 검증한다. 두 개의 장문맥 ASR 모델과 영어 및 중국어의 네 가지 회의 데이터셋에서, Murmur는 화자 분리를 포함하여 녹음당 종단 간 지연 시간을 단일 패스 디코딩 대비 평균 2.5배(1.9–2.9배) 줄이는 동시에 tcpWER을 평균 1.9포인트 낮춘다. 코드는 https://github.com/uw-syfi/Murmur 에서 확인할 수 있다.

arXiv:2502.16914v2cs.SD

ENACT-Heart: CNN과 Transformer를 이용한 심음의 앙상블 기반 평가

ENACT-Heart -- ENsemble-based Assessment Using CNN and Transformer on Heart Sounds

ENACT-Heart는 심음 분류를 위한 2-브랜치 앙상블이다. Vision Transformer(ViT)는 스펙트로그램 이미지를 처리하고, 합성곱 신경망(CNN)은 동일한 녹음에서 얻은 파형과 스펙트럼 중심의 시각화를 처리한다. 두 브랜치의 예측은 입력과 무관한 고정 가중치를 사용한 가중 평균으로 결합된다. PASCAL 심음 데이터셋에서 이 앙상블은 97.52%의 정확도를 달성하였으며, ViT는 93.88%, CNN은 95.45%였다. 이 앙상블은 매크로 F1 0.94, 추가 심음에 대한 재현율 0.74를 기록하였다. 이 데이터셋에서 후기 융합은 각 개별 브랜치에 비해 정확도와 매크로 F1을 향상시켰다.

arXiv:2611.06812v1cs.CL

SAUCE: 대화 함의를 이용한 요약 분석

SAUCE: Summary Analysis Using Conversation Entailment

대규모 언어 모델(LLM)과 이를 음성에 적용하는 연구를 평가할 필요성이 커지면서, 명확한 최종 목표가 없는 대화를 요약하고 평가하는 일에는 여전히 어려움이 있다. 본 논문은 다국어 대화 음성 요약을 위한 참조 불필요, 사실 기반 평가 파이프라인인 SAUCE를 소개한다. SAUCE는 대화와 텍스트 사이의 함의를 통해 요약의 정확성과 사실 포괄도를 측정한다. SAUCE를 여러 널리 쓰이는 요약 지표와 비교하여, 전사 및 번역 오류로 인한 정보 손실과 깨진 요약을 식별하는 데 효과적임을 보인다. 특히 블랙박스 LLM 평가기나 밀집 임베딩 지표와 달리, SAUCE는 본질적으로 설명 가능하여 요약 점수를 검증 가능한 개별 사실에 대응시키므로, 사용자가 환각이나 누락을 정확히 짚어낼 수 있다. 이러한 해석 가능성이 개발자가 LLM의 행동을 체계적으로 분석하는 데 어떻게 도움이 되는지, 그리고 최종 사용자에게 잡음이 많은 실제 환경에서 요약 정확도를 검증할 실용적 도구를 어떻게 제공하는지 설명한다. 예비 조사 결과 SAUCE는 인간의 판단과 강하게 일치한다.

arXiv:2611.05384v1cs.CL

심층 신경망 화자 임베딩의 인간과 유사한 교차 언어 일반화와 그 음향적 기반

Human-like cross-language generalisation in deep neural speaker embeddings and its acoustic foundations

일반화 가능성은 화자 임베딩의 교차 언어 일반화를 포함하여 심층 신경망의 핵심 문제이다. 본 연구는 심층 신경망 화자 임베딩이 언어 간에 일반화되는지, 그리고 이러한 일반화가 인간의 지각 및 음향 구조와 어떤 관련이 있는지를 조사하였다. 언어 내 조건과 언어 간 조건으로 제시된 광둥어-영어 이중언어 음성을 사용하여 18개의 최신 모델로부터 유사도를 도출하고, 선형 혼합 모형과 표상 유사성 분석을 사용하여 이를 인간의 평정 및 음향 특징과 비교하였다. 임베딩은 인간의 행동과 대체로 유사한 교차 언어 일반화를 보였으며, 이는 정확한 신원 변별과 언어 전환에 대한 민감성을 반영한다. 이러한 일반화는 언어에 민감한 가중치를 갖되 대체로 공유된 음향 단서에 의존하였으며, 이는 인간의 패턴을 반영한다. 종합하면 이러한 결과는 교차 언어 음성 유사성 처리에서 인간-기계 정렬에 대한 수렴적 증거를 제공한다.

arXiv:2611.01680v2cs.LG

표현으로서의 파동 물리: 해양 음향장을 위한 텐서 구조 신경 복원

Wave Physics as Representation: Tensor-Structured Neural Reconstruction for Ocean Acoustic Fields

희소한 측정으로부터 3차원(3D) 복잡 해양 음향장을 복원하는 것은 파동 구조가 매우 진동적이고 감지 패턴/경로가 제한되어 있어 어렵다. 학습 기반 접근은 두 범주로 나뉜다. 첫째, 순수 데이터 기반 모델은 복잡한 장 패턴을 학습할 수 있으나, 해석 가능성을 높이고 학습 비용을 줄일 수 있는 파동 물리를 명시적으로 활용하지 않는다. 둘째, 물리 정보 기반 방법은 지정된 물리 방정식을 복원 제약으로 부과하지만, 획득하기 어려운 환경 의존적 매개변수를 종종 요구한다. 그 결과 물리적 근거를 갖추면서 불확실한 환경 정보에도 강건한 실용적 3D 음향장 복원은 대체로 탐구되지 않았다. 본 연구는 대안적 경로를 취한다. 완전히 지정된 파동 방정식을 푸는 대신, 파동 물리로부터 구조화된 표현을 추출하고 그 구성 요소를 데이터로부터 학습한다. 헬름홀츠 방정식과 정규 모드 전파로부터 우리는 S/c 표현이라 부르는 구조화된 공간-각도 텐서 표현을 유도한다. 저랭크 특수화 하에서 이는 랭크-(L,L,1) 블록항 텐서 분해의 형태를 가지며, 해양 감지에 사용되는 구조화된 샘플링 패턴/경로를 장 복원의 충분 조건과 연결한다. 이 텐서 표현을 바탕으로 우리는 S/c 표현을 구조적 디코딩을 위한 귀납적 편향으로 사용하고 정보 집계를 샘플링 기하와 정렬하는 신경 복원기 TIDAL을 제안한다. 이 신경 학습기는 기존 물리 기반 복원 방법이 요구하는 알려진 모델 매개변수의 필요성을 제거한다. 세 가지 구조화된 샘플링 기하에 걸친 실험에서 TIDAL은 기준 모델 중 최고의 복원 성능과 가장 빠른 추론을 달성하며, 제한된 데이터와 모델 용량에서 물리 유도 표현의 이점을 보인다.

arXiv:2606.30356v2cs.CL

OLIVE: 음성 자기지도학습을 위한 뷰 증강 잠재 예측과 파형 재구성

OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL

우리는 분석과 합성 목적을 함께 최적화하는 자기지도 음성 표현 학습 프레임워크인 OLIVE(Online Latent prediction with Invariant Views and rEconstruction)를 제안한다. OLIVE는 단일 인코더 내의 기능적 분리를 통해 마스킹된 잠재 예측과 파형 복원을 결합한다. 복원은 인코더의 초기 특징이 신호 수준의 정보를 유지하도록 제약하고, 마스킹된 잠재 예측은 강건한 하위 작업 성능을 위해 이후의 문맥 표현을 형성하며, 파형 뷰 증강은 이들이 학습하는 불변성을 정의한다. 우리가 아는 한, OLIVE는 파형을 직접 복원하고, 사전학습 후에도 보코더를 유지하며, 판별 과제에서도 경쟁력을 갖는 최초의 음성 SSL 모델이다. 복원을 추가해도 마스킹된 잠재 예측만 사용할 때의 음성 인식 성능은 대체로 유지되면서, 파형 복원과 화자 관련 과제는 향상된다. 파형 mixup과 이득 증강을 추가하면 표현을 화자, 생성, 복원 과제 쪽으로 더 이동시키는 제어 가능한 방법을 제공하면서도 인식 및 의미 과제에서 경쟁력을 유지한다.

arXiv:2611.04480v1cs.CL

ReListen: 고정된 오디오 언어 모델을 이용한 한 시간 길이 오디오에서의 학습 없는 근거 위치 탐색

ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models

오디오 언어 모델은 오디오 자체로부터 질문에 답하도록 만들어졌지만, 한 시간 길이의 녹음은 컨텍스트에 들어가기 어렵고 답은 그중 몇 초에 좌우되는 경우가 많다. 녹음을 먼저 전사하면 컨텍스트에 맞출 수 있으나 소리와 목소리가 사라지며, 오디오로 되돌아가는 시스템은 이러한 동작을 위해 학습되어야 한다. 우리는 고정된 오디오 언어 모델이 답하기 전에 스스로 근거를 찾는 학습 없는 방법인 ReListen을 제안한다. Jev 방식의 스캔에서 모델은 각 20초 구간이 질문에 답하는 데 도움이 될 확률로 점수를 매기고, 가장 높은 점수의 1분 구간으로부터 답한다. 이 1분 구간은 VoiceGiraffe 질문의 88.5%에서 전사문 검색보다 훨씬 더 자주 주석된 근거와 겹친다. 아무런 변경 없이도 동일한 스캔은 LAT-Bench에서 시간적 근거 탐색용으로 학습된 모델만큼 이벤트의 위치를 잘 찾는다. 이로부터 답하는 것은 오디오의 작은 일부만으로 전체 녹음을 듣는 것과 같거나 더 나은 성능을 보이며, VoiceGiraffe에서는 전체 녹음의 전사문보다 9.2점 더 높다. 선택된 근거는 읽는 것보다 듣는 것이 가치 있다. 동일한 발췌문이 주어졌을 때 전사문을 읽는 것은 발화 내용에서는 듣는 것과 대등하지만, 소리와 목소리에 관한 질문에서는 듣는 것이 분명히 더 정확하다. 또한 ReListen은 모든 전사문 기반 시스템보다 빠르게 답하며, 하나의 GPU에서 전체를 듣기에는 너무 긴 녹음에서도 메모리가 일정하게 유지된다. 따라서 고정된 오디오 언어 모델은 전사문이나 추가 학습 없이도 한 시간 길이의 녹음을 스스로 탐색할 수 있다.

arXiv:2611.03769v1cs.SD

적응형 호흡음 분류를 위한 메타데이터 조건부 오디오 트랜스포머

Metadata-Conditioned Audio Transformers for Adaptive Respiratory Sound Classification

청진 녹음으로부터의 호흡음 분류는 녹음 장치, 청진 부위, 환자 특성을 포함한 이질적인 획득 조건 때문에 어려움을 겪으며, 이러한 조건은 기저 병리와 무관한 체계적 변동을 유발한다. 이러한 메타데이터는 흔히 이용할 수 있음에도 기존 접근법은 이를 무시하거나, 서로 다른 메타데이터 출처가 음향 표현의 여러 구성 요소에 어떻게 영향을 미치는지 모델링하지 않는 단순한 융합 전략에 의존한다. 우리는 게이트 잔차 융합에서 시작하여 트랜스포머 아키텍처에 맞게 조정한 특징별 선형 변조(Feature-wise Linear Modulation, FiLM)에 이르는, 오디오 스펙트로그램 트랜스포머(Audio Spectrogram Transformer, AST)를 위한 일련의 메타데이터 조건화 메커니즘을 제안한다. 또한 분류 토큰과 패치 토큰에 서로 다른 변조를 적용하는 Token-Aware FiLM(TAFiLM)과, 메타데이터 요인을 분리된 특징 부분공간에 정렬하기 위해 소프트 마스크를 학습하는 Soft-Factorized FiLM(SoftFiLM)이라는 두 가지 새로운 변형을 도입한다. ICBHI 벤치마크 실험은 모든 조건화 전략에서 일관된 향상을 보여 준다. SoftFiLM은 공식 4-클래스 과제에서 64.11%(기준선 대비 +3.94%), 2-클래스 과제에서 72.40%를 달성하여, 2-클래스 과제에서 새로운 최고 성능을 세우고 4-클래스 벤치마크에서도 경쟁력 있는 성능을 보였다.

arXiv:2611.03718v1eess.AS

NepTTS-Bench: 네팔어 음성 합성을 위한 원어민 벤치마킹과 NepaliMOS

NepTTS-Bench: Native-Speaker Benchmarking and NepaliMOS for Nepali Text-to-Speech

네팔어 TTS는 여러 시스템을 이용할 수 있는 단계에 이르렀지만, 이를 비교할 공통 평가는 없다. NepTTS-Bench는 네팔어 TTS에 대해 기존의 자동 및 수동 평가 체계가 갖추지 못한 점을 보완하기 위해 만들어졌다. 이는 음운론적 근거를 갖춘 통제된 벤치마크로, 205개 문장(유기음, 권설음/치음 대비, 비음화, 중자음화, 슈와 탈락을 겨냥한 최소 대립쌍 77개 포함)을 담고 있으며 180명의 화자가 평가했다. 10개의 TTS 구성과 2개의 인간 참조에 대해 6,962개의 평가가 있다. 이와 함께 7개의 ASR 시스템을 왕복 CER로 평가했다. SCOREQ도 자동화된 기준선으로 실행했다. 핵심 발견은 SCOREQ 같은 자동 평가는 ElevenLabs와 같은 상용 시스템을 선호하지만 원어민 청취자는 Piper를 선호한다는 점이다. 이는 네팔어에 맞게 제대로 조정되지 않은 대부분의 시스템이 힌디어의 음운적 행태를 보이는 경향이 있고, 우리의 최소 대립쌍이 이러한 대비를 드러내도록 설계되었기 때문이다. 우리는 또한 수집된 평가로 미세 조정한 NepaliMOS 예측기를 제시한다. NepaliMOS는 밀집 패널에서 시스템 수준 rho = 0.90을 달성하지만, 시스템 하나 제외 평가에서는 발화 수준 rho = 0.43으로 떨어진다. 이는 통계적으로 유의하며, NepaliMOS가 진정한 신호를 포착하나 제공자 간 전이는 제한적임을 확인해 준다. 새로운 시스템에는 사람에 의한 보정이 권장되며, 실무자가 새 시스템에 대해 벤치마크를 실행할 수 있도록 파이썬 평가 패키지를 공개한다.

arXiv:2611.01047v2cs.SD

주제에 얼마나 가까운가? 게임 음악 생성을 위한 유사도 라벨 조건화

How Close to the Theme? Similarity-Label Conditioning for Game Music Generation

작곡가는 원래의 아이디어에서 음악을 발전시키며, 새로운 구간이 그 아이디어와 얼마나 비슷한지를 거의 반복에 가까운 것부터 새로운 소재에 이르기까지 조절한다. 게임 음악은 긴 플레이 동안 소재가 반복되므로 이러한 조절이 자주 필요하다. 그러나 음악 모델은 실제 곡으로부터 유사도를 제어하는 법을 거의 학습하지 않는다. 우리는 사전 학습된 MIDI 모델을 Super Mario 곡의 구간 쌍으로 추가 학습한다. 라벨은 각 쌍의 유사도를 나타내고, 문맥 벡터는 주어진 구간, 즉 문맥을 요약한다. 157개의 테스트 문맥에 대해 모델은 라벨마다 여섯 개의 출력을 생성한다. 열두 가지 측정 지표가 출력을 평가하며, 선율, 음높이 구성, 리듬, 음 길이를 각각 하나의 주요 지표가 다룬다. 평균적으로 유사하게 요청된 출력은 비유사하게 요청된 출력보다 자신의 문맥과 더 비슷하며, 다른 곡과는 그렇지 않다. 열두 지표 모두 이를 뒷받침하며, 각 주요 지표는 다중 검정 보정 후에도 유의하다. 선율에서 이 차이는 주로 문맥의 선율을 더 자주 재진술하는 데서 비롯된다. 그 밖에는 동일하지만 라벨이 없는 모델과 비교하면 높은 유사도를 요청할 때만 출력이 더 비슷해진다. 청취 실험에서는 모든 지표 중 문맥과의 선율 중복이 평가를 가장 가깝게 따랐다.

arXiv:2610.41381v2cs.SD

만다린어 키워드 검출을 위한 생물학적 영감의 예측 게이팅 부호-이진수 코딩

Biologically Inspired Predictive Gating Signed-Dyadic Coding for Mandarin Keyword Spotting

연속적인 스파이킹 키워드 검출에서는 시간적으로 상관된 음향 프레임이 은닉 활동이 희소한 경우에도 조밀한 입력 인터페이스에서 메모리 접근과 신경 연산을 반복적으로 유발할 수 있다. 예측 처리와 감각 적응은 예측 가능한 입력을 국소적으로 유지하고 편차에만 선택적으로 반응할 것을 시사한다. 이러한 메커니즘에서 영감을 얻어 우리는 예측 게이팅 부호-이진수 코딩(Predictive Gating Signed-Dyadic Coding, PG)을 제안한다. PG는 각 입력 채널에 대해 국소 예측을 유지하며, 잔차가 학습된 임계값을 초과할 때에만 이벤트를 전송한다. 각 이벤트는 부호와 유한한 2의 거듭제곱 크기를 담고, 수신기는 고정소수점 시프트와 덧셈으로 이를 복원한다. 만다린어 키워드 검출에서 INPUT-PG는 90.00%의 정확도에 도달하면서 평균 SRAM 읽기를 33.87%, 추론 사이클을 32.77% 줄인다. PG는 저전력 연속 음성 처리 및 이벤트 기반 감각 시스템 연구를 위한 하드웨어 인터페이스를 제공한다.

arXiv:2610.39004v2cs.CL

아키텍처, 유형론, 적응 전략이 저자원 아프리카 언어 음성 인식에 미치는 영향: 통제된 실증 연구

How Architecture, Typology, and Adaptation Strategies Shape ASR for Low-Resource African Languages: A Controlled Empirical Study

최근 음성 인식(ASR)이 발전했음에도 저자원 언어에 효과적인 아키텍처, 미세 조정 방식, 데이터 적응 전략을 찾는 일은 여전히 어렵다. 본 연구는 다섯 개의 저자원 아프리카 언어와 중간 자원 대조군인 스와힐리어를 대상으로 체계적인 비교를 수행하며, 서로 다른 아키텍처의 세 모델인 Phi-4-multimodal-instruct, Whisper-large-v3-turbo, MMS-1B-all을 미세 조정한다. 데이터 충분성, 단일 언어 대 다국어 적응, 도메인 미세 조정, 언어 어댑터 전이를 분석한다. Phi-4가 전반적으로 가장 높은 정확도를 달성했고, MMS는 비슷한 수준의 CER을 보였으며, Whisper는 알려진 환각 및 반복 루프와 일치하게 높은 CER을 나타냈다. 성능은 서로 다른 데이터 규모에서 포화되어 실용적인 데이터 효율 목표를 제시하며, 유형론적 복잡성은 오류율을 일관되게 좌우한다. 도메인 미세 조정은 Phi-4와 Whisper에는 이득이 되지만 MMS는 성능이 저하되어 어댑터 기반 적응의 한계를 드러낸다. 프록시 언어 어댑터는 MMS 어댑터를 처음부터 학습하는 것보다 성능이 우수하다.

arXiv:2610.13447v2cs.SD

O\'ido: 신경망 가속기 없는 5달러 마이크로컨트롤러에서의 실시간 오픈 어휘 음성 인식

O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator

저가 마이크로컨트롤러에서의 음성 인식은 실제로는 키워드 검출이나 고정된 명령어 목록에 한정된다. 본 연구는 신경망 가속기 없이 ESP32-S3(240 MHz Xtensa LX7, 8 MB PSRAM, 16 MB 플래시)만으로 단일 코어에서 실시간보다 빠르게 오픈 어휘 영어 음성 인식을 수행하는 추론 엔진과 모델군인 O\'ido를 제시한다. 이 연구의 버전 1은 13 M 파라미터 Conformer-CTC를 오디오 길이의 1.97배 시간에 실행했다. 보드에서 측정한 결과 병목은 산술 연산이 아니라 메모리 트래픽과 프레임당 비용이었다. 외부 메모리 읽기 속도는 PSRAM이 89 MB/s, 플래시가 32 MB/s였으며, 스트리밍 인식기는 청크마다 모든 가중치를 다시 읽는다. 버전 2는 이러한 메모리 시스템에 맞춰 설계한 모델(80 ms 프레임 스태킹, 64채널 프런트엔드, 12개 또는 16개 블록, 대부분 PSRAM에 들어가는 int4 가중치, 버전 1 모델에서 미세 조정)과, 가중치 스트림을 연산과 중첩시키고(비동기 데이터 캐시 프리로드) 작업 버퍼를 SRAM에 두며 디코더를 경량화하는 엔진 개선을 결합한다. 실제 보드에서 스트리밍 실시간 계수(real-time factor)는 1.77에서 0.54(변형 B)와 0.72(변형 A)로 낮아졌고, 오디오를 실시간 속도로 입력했을 때 최종 텍스트는 발화 종료 후 259 ms(B) 또는 431 ms(A)에 나타나며, 호스트 빌드와 펌웨어는 동일한 전사 결과를 생성한다. 변형 A는 0.64초 청크와 온칩 언어 모델을 사용한 스트리밍 모드에서 LibriSpeech test-clean/test-other 단어 오류율 7.1%/16.4%를 달성한다(전체 문맥 사용 시 4.6%/10.7%). 코드, 모델, 원시 보드 측정값을 공개한다.

arXiv:2611.03605v1cs.CL

ufakzeka-kulak: 31.6M 파라미터 튀르키예어 음성 인식기를 처음부터 구축하고 평가하기

ufakzeka-kulak: Building and Evaluating a 31.6M-Parameter Turkish Speech Recognizer from Scratch

ufakzeka-kulak은 31.6M 파라미터의 공개 튀르키예어 음성-텍스트 변환 모델로, 토큰-지속시간 트랜스듀서(TDT)와 CTC 헤드를 갖춘 FastConformer 인코더를 처음부터 학습하여 Apache-2.0 라이선스로 공개한다. 이 모델은 대소문자와 문장부호를 갖추고 숫자를 단어로 표기한 튀르키예어를 출력한다. 4,977시간의 학습 데이터는 상업적 이용을 허용하는 라이선스의 출처에서 가져왔으며, 281시간은 사람이 전사한 것이고, 나머지 4,696시간의 학습 텍스트는 업로더 자막 또는 기계 전사본으로서 오디오에 대한 두 번째 독립적 판독이 이와 일치하는 경우에만 유지했다. 학습 레시피, 체크포인트, 레이블링 및 내보내기 선택은 개발 데이터에서 이루어졌으며, 테스트 세트는 학습 전에 고정된 릴리스 게이트에서 한 번만 채점했다. 그리디 TDT 디코딩으로 정규화된 단어 오류율(WER)은 FLEURS 튀르키예어 테스트에서 0.0921(95% 구간 0.0792~0.1055), Common Voice 27.0 튀르키예어 테스트에서 0.0916(0.0873~0.0958)이며, 두 세트 모두에서 Whisper base와 Whisper small보다 낮고 쌍체 구간이 전부 0 미만이다. Whisper large-v3(그리디)는 0.0604와 0.0767을 기록한다. 대화체 음성에서 WER은 0.3807이다. 또한 문장부호와 대소문자, 열화된 오디오, 그리고 배포된 각 내보내기 모델이 학습된 모델을 얼마나 가깝게 재현하는지도 보고한다.

arXiv:2611.02430v1cs.SD

InteractionBench: 실시간 음성 시스템의 타이밍, 과업 정확도, 속삭임과 음량, 근거성 측정

InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems

실시간 음성 시스템에 대한 대부분의 벤치마크는 턴 교대, 지시 따르기, 준언어적 제어, 대화 기억 등 한 가지 측면에 초점을 맞추며, 각각 고유한 데이터와 시스템 집합을 사용한다. 우리는 동일한 시스템에 대해 동일하게 녹음된 사용자 음성으로 네 가지 차원, 즉 대화 타이밍, 음성 과업 정확도, 속삭임과 음량, 스무 턴 이상 대화에서의 근거성을 측정하는 벤치마크 및 평가 도구인 InteractionBench를 제시한다. 이 벤치마크는 13개 시나리오에서 시스템당 221개 항목을 포함한다. 어떤 시스템도 실행하기 전에, 음성 과업에 대해 기대되는 발화권 제어 행동을 규칙으로 고정하고 기대 답변은 각본화된 대화에서 가져온다. 속삭임은 오디오 신호로부터 채점한다. 우리는 GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, 그리고 턴 기반 캐스케이드를 1,519회의 채점된 실행에서 평가한다. 여섯 개의 전이중 시스템 사이에서 타이밍과 음성 과업 정확도는 순위 상관을 보이는 반면($\rho = 0.83$), 캐스케이드는 음성 과업 점수가 가장 높고(38/50) 타이밍 점수는 두 번째로 낮다. 어떤 시스템도 요구되는 시간 창 안에 사용자의 문법을 교정하지 못한다. 대부분의 요청(8/10)에서 속삭이는 시스템은 Gemini Live뿐이다. 호스팅 시스템은 근거성 탐침의 67-88%를 통과한 반면 공개 전이중 모델은 14-35%를 통과한다. 타이밍은 클라이언트가 각 시스템의 소리를 듣는 지점에서 측정되므로 호스팅 시스템의 타이밍에는 네트워크 지연이 포함된다. 서버가 자체 시계를 보고하는 GPT-Live의 경우 약 1.5초의 지연을 제거하면 타이밍 점수가 86%에서 56%로 낮아진다. 우리는 또한 텍스트 지시를 포함하여 시스템 간에 프로토콜이 다른 부분을 문서화한다.

arXiv:2611.02408v1cs.SD

DSP 기반 트랜스포머 재순위화기를 이용한 배포 제약 환경의 조성 추정

Deployment-constrained key estimation with a DSP-guided transformer reranker

로컬 음악 애플리케이션은 라이브러리 가져오기 과정에서 조성(key)을 추정하며, 작고 빠르며 프로세스 내에서 실행되는 분석기의 이점을 얻는다. 본 연구는 이러한 예산에 맞지만 학습 기반 참조 모델에는 뒤처지는 소형 크로마 템플릿 조성 분석기에서 출발한다. 학습 기반 시스템은 더 높은 정확도를 달성하지만, 설치된 모델과 런타임 의존성이 수십에서 수백 메가바이트를 차지할 수 있다. 본 논문은 key lime을 제시한다. key lime은 21.5k개의 매개변수를 가진 DSP 기반 트랜스포머 재순위화기로, 모델 아티팩트는 115 KB이며 압축 해제된 ONNX Runtime을 포함한 설치 용량은 76.7 MB이다. 이는 결정론적 DSP 점수 계산에 트랙당 0.32 ms를 추가한다. FMAK 트랙 4,040개의 레이블로 학습하고 449개 트랙을 검증에 사용했으며, 평가를 위해 분리된 FMAKv2 트랙 1,000개를 따로 두었다. 세 번의 시드에 걸쳐(평균 ± 모집단 표준편차) MIREX 점수를 61.08에서 73.55 ± 0.46으로, 정확 일치 정확도를 52.30에서 67.07 ± 0.65로 향상시킨다. 이는 동일 매니페스트 기반의 로컬 madmom KeyCNN 참조 모델의 MIREX 74.16에 근접한다. 12개 매개변수의 원형 입력 단계는 468개 매개변수의 선형 입력 투영과 동일한 정확도 범위에 도달한다.

arXiv:2611.02330v1cs.SD

Spatial Transfusion: 구조화된 공간 장면 이해에서 생성과 편집까지

Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing

공간 오디오는 어떤 소리가 존재하는지뿐 아니라 그 소리가 어디에서 나오고 환경과 어떻게 상호작용하는지도 전달한다. 최근의 오디오-언어 모델은 이러한 장면을 점점 더 잘 이해하고 추론하지만, 공간 오디오의 이해, 생성, 편집은 여전히 대체로 분리되어 있다. 우리는 사전 학습된 공간 오디오 이해 모델을 VAE 잠재 변수에 대한 플로 매칭을 통해 생성과 편집으로 확장하는 통합 1차 앰비소닉스(FOA) 프레임워크인 Spatial Transfusion을 제시한다. 우리는 편집을 원자적 편집의 분류 체계에 기반한 구조화된 장면 변환으로 정식화한다. 사전 학습된 백본을 고정한 채, 모달리티 기반 LoRA 라우팅과 생성, 편집, 자연어 상호작용을 점진적으로 추가하는 커리큘럼을 도입한다. 실험 결과 Spatial Transfusion은 공간 이해 능력을 대체로 보존하면서 생성과 편집에서 전체 미세 조정보다 우수한 성능을 보인다. 결과 모델은 구조화된 인터페이스와 자연어 인터페이스 모두를 통해 제어 가능한 FOA 생성과 편집을 지원한다. 오디오 샘플은 https://microsoft.github.io/spatial-transfusion/ 에서 확인할 수 있다.

arXiv:2611.01843v1cs.SD

MEX: 음악적 기대 벤치마크 스위트

MEX: The Musical Expectation Benchmark Suite

본 연구는 음악적 기대의 계산 모델, 즉 기호 음악이나 음악 오디오로부터 놀라움(surprisal)이나 불확실성과 같이 지각된 음악적 기대를 나타내는 음악 정보 동역학(MID) 척도를 추정하는 모델을 지각적으로 검증하기 위한 Musical Expectation(MEX) 벤치마크 스위트를 제안한다. MEX는 음악 정보 검색과 인지과학에서 이전에 제안된 이러한 모델의 평가 과제를 수집하고 확장하여 표준 데이터셋을 사용하며, 다음을 평가한다. (1) 제안된 MID 척도가 계산 모델의 인컨텍스트 학습으로 인해 반복에 따라 감소하는지, (2) 이러한 척도의 피크가 음악 구간의 경계와 일치하는지, (3) 오디오에서 추정한 음높이 놀라움과 불확실성이 이벤트 기반 기호 음악에서 모델링된 것과 일관되는지, (4) 제안된 MID 척도가 음악에 대한 전기생리학적 반응을 예측할 수 있는지. 본 벤치마크 스위트가 음악적 기대에 대한 포괄적인 계산적 특성화를 제공하지는 않음을 강조한다. 오히려 이를 능동적인 학제 간 이니셔티브로 구상하며, 벤치마크는 기저의 지각 과정에 대한 이해가 깊어짐에 따라 발전한다. 기준 모델을 사용해 오디오로부터 놀라움과 불확실성을 추정하고, 표준 데이터셋에서 과제를 실행하며, 사용자 자신의 데이터로 과제를 실행하기 위한 유틸리티를 포함하는 오픈 액세스 코드를 https://github.com/musicperceptmodeling/mex 에서 제공한다.

arXiv:2611.01639v1cs.AI

로컬인가 에스컬레이션인가? 실시간 이중 음성 모델을 위한 사후 학습 전문가 라우팅

Local or Escalate? Post-Training Expert Routing for Real-Time Duplex Speech Models

전이중 모델은 쉬운 질문에는 즉시 답해야 하지만, 어려운 질문은 대개 더 강력한 추론을 필요로 하며 이를 위해 기다려야 할 수 있다. 과제는 모델이 말하기 시작하는 순간에 이 두 경로 중 하나를 선택하는 것이다. 최근 시스템들은 대화 모델 내부의 특수 토큰 생성을 통해 관련된 모드 결정을 학습하며, 이로 인해 라우팅이 턴 전환 및 시간 주석이 달린 전이중 학습과 결합된다. 우리는 사후 학습 방식의 대안을 연구한다. 우리는 MiniCPM-o 4.5를 고정하고 음성 입력과 출력만 사용하며, 고유의 듣기-말하기 전환 시점에 이미 사용 가능한 은닉 상태에 로지스틱 실패 판독기를 적합시킨다. 그 결과 얻어진 게이트는 추가적인 모델 생성이 필요 없으며, 이중 정책을 바꾸지 않고도 재조정할 수 있는 임계값을 제공한다. 텍스트 입력 상태에서 적합시킨 프로브는 보지 못한 실제 사람 녹음을 포함하여 음성 질문의 상태도 읽어낸다. 내부 벤치마크에서 선택적 인계는 답변 정확도를 27.1포인트 향상시킨다. 항상 전문가를 사용하는 경우와 비교하면, 첫 응답 오디오까지의 평균 서버 시간을 31.5퍼센트 줄인다. 또한 외부 음성 질의응답 풀 전반에서 대응되는 무작위 라우팅을 능가하며, 전사된 질문을 평가하는 제로샷 GPT-5.4 mini 라우터도 능가한다. 이 학습 방식은 두 번째 이중 모델 계열에도 전이된다. 이러한 결과는 기존 이중 모델이 추가적인 이중 학습 없이도 쉬운 턴에는 즉시 답하고, 더 강력한 추론이나 더 최신의 지식이 필요한 턴에서는 기다리도록 갖춰질 수 있음을 보여준다.