arXiv:2609.36685v2 cs.CV

의미가 중요할 때: 신뢰도를 고려한 의미-리듬 제어 기반 음성 동반 제스처 생성

When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation

Zhirui Xing, Ming Meng, Kaige Li, Ziyi Xu, Zhaoxin Fan

제출 2026-11-18

한국어 초록

음성 동반 제스처 생성은 음성과 시간적으로 동기화되고 발화 내용과 의미적으로 일치하는 자연스러운 제스처를 합성하는 것을 목표로 한다. 최근 방법들은 리듬 면에서 그럴듯한 동작을 생성할 수 있지만, 특히 의미 주석이 불완전하거나 잡음이 있거나 이용할 수 없을 때 음향 운율에 크게 의존하고 텍스트 의미는 충분히 활용하지 못하는 경우가 많다. 그 결과 생성된 제스처는 음성 리듬을 따르면서도 의도된 의미를 표현하지 못할 수 있다. 이 문제를 해결하기 위해 우리는 음성 동반 제스처 생성을 위한 신뢰도 인식 의미-리듬 제어 프레임워크를 제안한다. 먼저 연속적인 제스처를 간결하고 구조화된 모션 코드 공간으로 표현하는 이산 모션 사전 분포를 학습한다. 이어서 전체 멀티모달 브랜치와 오디오 전용 브랜치로 구성된 이중 브랜치 의미 기여도 추정 메커니즘을 도입한다. 두 브랜치 간의 분포적 불일치는 텍스트에 의해 유발되는 예측 영향에 대한 모델 기반 대리 지표를 제공하며, 이는 세그먼트 수준의 의미 관련성과 함께 해석된다. 이 추정을 바탕으로 제어 가능한 의미-리듬 목적 함수는 내용과 관련된 세그먼트에서는 의미 가이던스를 선택적으로 강화하고, 리듬이 지배적인 세그먼트에서는 불필요한 의미적 개입을 제한한다. 나아가 배경 잡음을 음향 신뢰도 조건으로 간주하여, 현실적인 음향 환경에서 생성의 강건성을 높이기 위해 잡음 조건부 특징 변조와 이득 정규화된 잠재 섭동을 도입한다. 벤치마크 데이터셋에서의 실험을 통해 제안한 프레임워크가 의미 표현력, 리듬 동기화, 동작 다양성, 강건성 간의 우수한 균형을 달성하여 신뢰할 수 있고 제어 가능한 음성 동반 제스처 생성을 가능하게 함을 보인다.

원문 초록

Co-speech gesture generation aims to synthesize natural gestures that are both temporally synchronized with speech and semantically consistent with the spoken content. Although recent methods can generate rhythmically plausible motions, they often rely heavily on acoustic prosody while underutilizing textual semantics, especially when semantic annotations are incomplete, noisy, or unavailable. Consequently, the generated gestures may follow speech rhythm while failing to express the intended semantics. To address this problem, we propose a reliability-aware semantic-rhythm control framework for co-speech gesture generation. We first learn a discrete motion prior that represents continuous gestures in a compact and structured motion-code space. We then introduce a dual-branch semantic contribution estimation mechanism consisting of a full multimodal branch and an audio-only branch. Their distributional discrepancy provides a model-based proxy for text-induced predictive influence, which is interpreted jointly with segment-level semantic relevance. Based on this estimate, a controllable semantic-rhythm objective selectively strengthens semantic guidance in content-relevant segments while limiting unnecessary semantic intervention in rhythm-dominant segments. Furthermore, we treat background noise as an acoustic reliability condition and introduce noise-conditioned feature modulation together with benefit-regularized latent perturbation to improve generation robustness under realistic acoustic environments. Experiments on benchmark datasets demonstrate that the proposed framework achieves a favorable balance among semantic expressiveness, rhythmic synchronization, motion diversity, and robustness, enabling reliable and controllable co-speech gesture generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36685v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.