신경망 백채널 생성과 음성 대사 스케줄링을 통한 동적 대화 구성
Constructing Dynamic Conversations with Neural Back-channel Generation and Voice-line Scheduling
한국어 초록
본 논문은 이자 간 대화 오디오의 두 음성 대사 채널을, 백채널링과 발화 순서 전환 동역학을 제어할 수 있는 하나의 통합된 대화로 결합하는 문제에 대한 새로운 접근법을 제시한다. 게임 산업의 음성 연기에서는 두 개의 음성 대사 트랙이 일반적으로 서로 분리되어 녹음되거나 합성된다. 제안 방법은 동기화되지 않은 두 트랙을 입력으로 받아 신경망 스케줄러로 하나의 동적 대화로 배열하며, 두 트랙 모두에 대해 적절히 휴지를 삽입하거나 제거하고 음성 겹침을 도입하여 수정한다. 또한 주어진 대화 발화의 오디오와 내용에 대해 백채널이 들어갈 수 있는 시점을 예측하는 백채널 예측기를 제안하며, 스케줄러는 이를 반영할 수 있다. 스케줄러와 예측기를 각각 독립적으로 그리고 결합하여 평가하였으며, 평가는 다양한 정량적 비교, 기존 연구 및 단순 기준선과의 정성적·지각적 비교, 그리고 애니메이터가 백채널링과 발화 전환 동역학의 다양성, 정도, 성격을 제어할 수 있음을 보여주는 설득력 있는 결과 집합으로 구성된다.
원문 초록
We present a novel approach to the problem of combining two voice-line channels of dyadic conversational audio into a unified conversation with controllable back-channeling and turn-taking dynamics. In voice performances for the game industry, the two tracks of voice-lines are typically recorded or synthesized in isolation. Our method takes two such unsynchronized tracks and uses a neural scheduler to sequence them into a single dynamic conversation, modifying both tracks by inserting or removing pauses and introducing voice overlap as appropriate. We further propose a back-channel predictor that is able to predict opportunity for back-channels for a given conversational turn's audio and content, which the scheduler can then incorporate. We evaluate our scheduler and predictor independently and in combination by: various quantitative comparison; a qualitative and perceptual comparison to prior art and naive baselines; a compelling set of results showing animator control over the diversity, extent and nature of back-channeling and turn dynamics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24086v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.