arXiv:2606.26451v1 cs.SD

심사위원처럼 듣기: 자동 가창 성능 평가를 위한 음악 인식 프레임워크

Listening Like a Judge: A Music-Aware Framework for Automatic Singing Performance Evaluation

Neelam Saini, Sourav Ghosh

제출 2026-06-24

한국어 초록

자동 노래 품질 평가(SQA)는 표현적 변주를 처리하면서 가사 정확성과 음악적 충실도를 평가해야 한다. 그러나 기존 시스템은 대부분 음향 단서 또는 가사 전사(lyric transcription) 중 하나에만 의존하여 총체적인 퍼포먼스 평가를 제한한다. 더불어 멜리스마(melisma), 비브라토(vibrato), 템포 탄력성 속에서 강인한 노래 전사의 어려움으로 인해 이들의 통합은 간단하지 않다. 이를 위해, 우리는 가사 정확성과 음정-리듬 충실도를 결합한 블록 정렬 멀티모달 분석을 수행하는 자동 SQA용 모달리티 유도 프레임워크 MusicJudge를 제안한다. MusicJudge는 의미론적 임베딩, 어휘적 유사도, 음성 정렬(phonetic alignment)을 통합하는 다중 신호 매칭으로 의미론적으로 유의미한 가사 블록을 탐지한다. 노래 오디오 전사를 개선하기 위해 ASR 미세조정을 위한 모달리티 유도 LoRA를 도입한다. 여러 데이터셋에 걸친 실험은 인간 전문가 판단과의 강한 일치를 입증하며 MusicJudge의 일반화 가능성을 검증한다.

원문 초록

Automatic singing quality assessment (SQA) requires evaluating lyrical correctness and musical fidelity while handling expressive variations. However, existing systems largely rely on either acoustic cues or lyric transcriptions exclusively, limiting holistic performance evaluation. Furthermore, their integration is non-trivial due to challenges in robust singing transcription amid melisma, vibrato, and tempo elasticity. To this end, we propose MusicJudge, a modality-guided framework for automated SQA that performs block-aligned multimodal analysis by coupling lyric correctness with pitch-rhythm fidelity. It detects semantically meaningful lyric blocks using multi-signal matching that integrates semantic embeddings, lexical similarity, and phonetic alignment. To improve singing audio transcription, we introduce Modality-Guided LoRA for ASR fine-tuning. Experiments across datasets demonstrate strong agreement with human expert judgments and validate the generalizability of MusicJudge.

요약

자동 노래 품질 평가(SQA)에서 음향 단서와 가사 전사만으로는 총체적 판단이 어렵다는 한계를 MusicJudge가 블록 정렬 멀티모달 분석으로 가사 정확성과 음정·리듬 충실도를 함께 평가하도록 해결하며, 의미론적 임베딩·어휘·음성 정렬 기반 다중 신호 매칭과 ASR 미세조정용 Modality-Guided LoRA로 멜리스마·비브라토 등 표현 변주에도 강인한 전사를 지원한다. 여러 데이터셋 실험에서 인간 전문가 판단과 강한 일치를 보였고 SwaraLyrics에서는 Spearman 상관 0.683, Kendall τ 0.499를 달성해 일반화 가능성을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26451v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.30237v2cs.CL공통 태그 Speech Recognition, automatic speech recognition asr

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

arXiv:2606.30356v2cs.CL공통 태그 Speech Recognition, automatic speech recognition asr

OLIVE: 음성 자기지도학습을 위한 뷰 증강 잠재 예측과 파형 재구성

OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL

우리는 분석과 합성 목적을 함께 최적화하는 자기지도 음성 표현 학습 프레임워크인 OLIVE(Online Latent prediction with Invariant Views and rEconstruction)를 제안한다. OLIVE는 단일 인코더 내의 기능적 분리를 통해 마스킹된 잠재 예측과 파형 복원을 결합한다. 복원은 인코더의 초기 특징이 신호 수준의 정보를 유지하도록 제약하고, 마스킹된 잠재 예측은 강건한 하위 작업 성능을 위해 이후의 문맥 표현을 형성하며, 파형 뷰 증강은 이들이 학습하는 불변성을 정의한다. 우리가 아는 한, OLIVE는 파형을 직접 복원하고, 사전학습 후에도 보코더를 유지하며, 판별 과제에서도 경쟁력을 갖는 최초의 음성 SSL 모델이다. 복원을 추가해도 마스킹된 잠재 예측만 사용할 때의 음성 인식 성능은 대체로 유지되면서, 파형 복원과 화자 관련 과제는 향상된다. 파형 mixup과 이득 증강을 추가하면 표현을 화자, 생성, 복원 과제 쪽으로 더 이동시키는 제어 가능한 방법을 제공하면서도 인식 및 의미 과제에서 경쟁력을 유지한다.

arXiv:2607.01733v2cs.CL공통 태그 Speech Recognition, automatic speech recognition asr

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

음성-LLM(Speech-LLM) 통합은 방대한 텍스트 사전학습(pre-training)을 활용하여 유망한 결과를 보여주었으나, 자동 음성 인식(ASR)에 대한 구체적인 이점은 여전히 불분명하다. 본 연구에서는 지도 ASR 학습(training) 데이터가 증가함에 따라 LLM 사전확률(prior)의 기여도가 덜 뚜렷해지며, 단순한 음성-텍스트 공동 학습은 텍스트 지식을 충분히 활용하지 못한다는 점을 관찰하였다. 이에 따라 연속적인 입력을 수용하는 Speech-LLM 아키텍처를 위해 정렬된 쌍 내에서 단어 및 세그먼트 수준의 음성-텍스트 인터리빙(interleaved) 시퀀스를 구성하는 ASR 지향 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간의 ASR 데이터에 대한 실험 결과, ASR 전용 및 음성-텍스트 공동 학습 베이스라인 대비 일관된 개체명(entity) 정확도 향상을 보였다. JSTIP은 합성 음성-텍스트 쌍과 비교하여 도메인 전사 텍스트를 사용할 때 동등한 수준의 개체명 인식 성능을 달성하여 도메인 적응을 단순화한다. 텍스트 사전학습 및 도메인 텍스트 데이터의 이점을 바탕으로, JSTIP은 의료 개체명 인식에서 오픈소스 ASR 및 Speech-LLM 시스템과 경쟁력 있는 성능을 보인다. 나아가 제로샷(zero-shot) 음성 질의응답 양상은 인터리빙이 음성-텍스트 모달리티 간극을 줄이고 LLM의 생성적 사전확률을 보존함을 시사하며, 이는 ASR 태스크에서 개체명 성능이 향상된 이유일 가능성이 높다.

arXiv:2607.09598v2cs.CL공통 태그 Speech Recognition, automatic speech recognition asr

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2606.28445v2cs.SD공통 태그 Speech Recognition, automatic speech recognition asr

다중 관점 음성 파생 특징을 활용한 치매 감지를 위한 LoRA 튜닝 대규모 언어 모델

LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features

치매의 조기 감지는 적시 개입을 가능하게 하며, 인지 장애를 반영하는 자발적 발화는 비침습적 선별 검사 방식을 제공한다. 기존 접근법은 음향 기술자(acoustic descriptor), 포즈(pause) 모델링, 자동 음성 인식(ASR) 전사본, 또는 멀티모달 융합 등 단일 표현 차원에 집중하는 경우가 많아, 이질적인 인지 증상에 걸친 통합적 추론이 제한된다. 우리는 네 가지 상호 보완적인 음성 파생 신호—포즈 마커가 포함된 ASR 전사본, 담화 수준의 토픽 단서, 시간적 유창성 통계, 음운 시퀀스—에 대해 구조화된 다중 관점 추론을 수행하는 저랭크 적응(LoRA) 튜닝 대규모 언어 모델(LLM)을 제안한다. 이러한 단서들은 단일 프롬프트 내에 인코딩되어, 모달리티별 인코더나 후기 융합 없이 하나의 LLM이 일관된 결정 함수를 학습할 수 있게 한다. ADReSSo에서 우리의 최선 모델은 F1 점수 90.14%를 달성하였으며, 어블레이션(ablation) 분석을 통해 각 관점의 상호 보완적 기여가 확인되었다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Recognition, automatic speech recognition asr

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.