ScenA는 대규모 in-the-wild 데이터로 사전학습된 텍스트-오디오 flow-matching 파운데이션 모델에 여러 참조 음성과 자유 형식 장면 설명 프롬프트를 조건으로 걸어, 턴별 구조 없이 다화자 대화·겹치는 발화·환경음이 포함된 오디오 장면을 생성한다. 학습 시 참조 음성만으로 화자를 맞추는 Reference Shortcut을 고노이즈 편향 timestep 분포로 완화했으며, CoVoMix2-Dialogue에서 화자 바인딩 지표가 기존 다화자 시스템을 능가한다.
자기 지도 임베딩(self-supervised embeddings)의 k-means 군집화를 통해 얻은 이산 음성 유닛(discrete speech units)은 음성적(phonetic), 화자, 언어 정보가 얽혀 있어, 다국어 다화자 음성 생성에서 화자 혼합(speaker mixing)과 언어 간 간섭(cross-lingual interference)을 유발합니다. 오디오 LLM(Audio LLM) 및 음성 대 음성 시스템(speech-to-speech systems)에서의 사용이 증가하고 있음에도 불구하고, 유닛 보코더(unit vocoder)는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 4개의 인도어를 대상으로 BigVGAN 기반 유닛 보코더를 분석합니다. WER(단어 오류율), 화자 유사도, 유닛 수준 메트릭을 사용하여 클러스터 크기와 조건화 전략 간의 상호작용을 연구합니다. 결과에 따르면, 클러스터 크기는 음성적 식별력(phonetic discriminability)을 향상시켜 명료도(intelligibility)를 좌우하며, 명시적 화자 조건화(explicit speaker conditioning)는 정체성 붕괴(identity collapse) 방지에 필수적입니다. 언어 감독(language supervision)은 유닛이 여전히 모호한 낮은 클러스터 크기에서 주로 추가적인 이득을 제공합니다. 분석 결과, 더 작은 인벤토리(inventory)에서 언어 간 유사한 음소(phonemes)는 동일한 클러스터 ID로 통합되는 반면, 더 큰 클러스터에서는 점진적으로 분리되는 것으로 나타났습니다.