길이 기반 학습 재고: 음성 토큰 언어 모델에서 배치 구성과 손실 정규화
Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models
짧은 것에서 긴 것으로의 학습(short-to-long training)은 음성 모델을 위한 단순한 커리큘럼이지만, 그 효과를 해석하기 어려울 수 있다. 음성 토큰 언어 모델에서 길이 기반 학습은 배치 평균(batch-mean) 손실 하에서 셔플 정책, 배치 구성, 토큰 유지율, 토큰 가중치를 바꿀 수 있다. 우리는 대응 비교(matched comparisons)를 통해 이러한 요인들을 분리한다. 검증한 설정에서는 배치 구성과 토큰 노출을 고정했을 때 short-to-long 순서만으로는 독립적인 이득이 나타나지 않는다. 첫 에포크 그룹화는 배치 평균 손실 하에서 Mimi의 perplexity를 낮추지만, 토큰 균형(token-balanced) 손실 하에서는 이 이득이 관찰되지 않는다. 교차 토크나이저 결과는 청크 길이 변동과 토큰 가중치 사이의 연관성과 일치한다. 본 연구는 가변 길이 음성 모델에서 길이 기반 학습을 연구하기 위한 체계적인 분석 프로토콜을 제공한다.