AccentCL: 점진적 확장을 지원하는 강건한 악센트 분류
AccentCL: Robust Accent Classification with Incremental Expansion
한국어 초록
악센트 분류기는 일반적으로 고정된 레이블 인벤토리로 학습(training)되며, 새로운 데이터가 제공되더라도 새로운 악센트 범주를 수용하지 못합니다. 더욱이 악센트 음성 코퍼스는 말뭉치 간 녹음 환경의 차이로 인해 상당한 클래스 불균형 및/또는 도메인 이동(domain shift)을 보이는 경우가 많습니다. 본 논문에서는 클래스 불균형과 코퍼스 간 도메인 이동에 강건한 영어 악센트 분류(classification)용 클래스 점진적 학습(class-incremental learning) 프레임워크인 AccentCL을 제안합니다. AccentCL은 동결된 Whisper-Large-v3 인코더에서 다층(multi-layer) 표현을 추출하며, 다수 악센트 클래스에 대한 바이어스(bias)를 줄이기 위한 불균형 인식 교차 엔트로피(cross-entropy) 손실(loss)과 학습 말뭉치 간의 분포 평균 이동을 최소화하는 도메인 평균 정렬 손실을 통해 최적화(optimization)됩니다. 이후 지식 보존을 위한 동결된 베이스 모델(model)과 새로 추가된 클래스에 대한 과도한 예측을 줄이기 위한 기존-신규 마진(margin) 손실을 사용하는 리플레이 기반 지속 학습(continual learning)을 통해 레이블 공간을 확장합니다. 5개 클래스 악센트 분류 태스크에서 AccentCL은 77.1%의 균형 정확도(balanced accuracy)와 76.9%의 매크로 평균 F1 점수를 달성했습니다. 또한 스페인어 악센트 및 중국어 악센트 영어라는 두 가지 새로운 악센트 범주를 점진적으로 통합하는 모델의 능력을 추가로 평가(evaluation)합니다. 사전학습(pre-training)된 모델에 스페인어 악센트 영어를 추가할 때 AccentCL은 기본 클래스에서 77.3%의 균형 정확도를 유지하면서 신규 클래스에서 83.3%의 F1을 달성합니다. 이어서 중국어 악센트 영어를 추가할 때 이전에 학습된 클래스에서 77.6%의 균형 정확도를 보존하면서 신규 클래스에서 61.8%의 F1을 달성합니다. 이러한 결과는 AccentCL이 전체 재학습 없이도 새로운 악센트 범주를 추가할 수 있도록 지원하는 동시에 강건한 지역 악센트 분류를 가능하게 함을 보여줍니다.
원문 초록
Accent classifiers are typically trained with a fixed label inventory and cannot accommodate new accent categories as new data becomes available. Moreover, accented speech corpora often exhibit substantial class imbalance and/or domain shift due to differences in recording conditions across corpora. We present AccentCL, a class-incremental learning framework for English accent classification that is robust to class imbalance and cross-corpus domain shift. AccentCL extracts multi-layer representations from a frozen Whisper-Large-v3 encoder, optimized with an imbalance-aware cross-entropy loss to reduce bias toward the majority accent classes and a domain mean alignment loss that minimizes distributional mean shift across training corpora. The label space is then expanded via replay-based continual learning, using the frozen base model for knowledge retention and an old-to-new margin loss to reduce overprediction on newly added classes. On a five-class accent classification task, AccentCL achieves 77.1% balanced accuracy and a 76.9% macro-averaged F1 score. We further evaluate the model's ability to incrementally incorporate two new accent categories: Spanish-accented and Chinese-accented English. When adding Spanish-accented English to the pretrained model, AccentCL attains an F1 of 83.3% on the new class while retaining 77.3% balanced accuracy on the base classes. When subsequently adding Chinese-accented English, it achieves 61.8% F1 on the new class while preserving 77.6% balanced accuracy on the previously learned classes. These results show that AccentCL enables robust regional accent classification while allowing new accent categories to be added without full retraining.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Published in Proceedings of IEEE Spoken Language Technology Workshop (SLT) 2026