arXiv:2606.30145v1 cs.AI

FacePlex: Full-Duplex Joint Speech-Facial Motion Generation for Conversational Avatars

Habin Lim, Jae-Ho Lee, Hah Min Lew, Ji-Su Kang, Gyeong-Moon Park

제출 2026-06-29

원문 초록

Natural face-to-face conversation requires real-time speech generation together with synchronized facial motion. Existing systems only partially address this problem: speech-only full-duplex models can generate speech in real time but do not produce facial motion, while audio-driven facial motion models animate a face from already available audio rather than jointly generating speech and motion online. To bridge this gap, we first formalize full-duplex joint speech-facial motion generation, where speech tokens and facial motion tokens are produced together every step. Building on this formulation, we propose FacePlex, a unified streaming framework with two key components. First, Rolling Flow Matching adapts flow matching to online motion generation by committing new motion frames at each streaming step. Second, Rolling Cross-Attention couples the streaming audio queue with the motion queue, allowing speech and facial motion to condition each other as generation progresses. Through extensive experiments, ablation studies, and a user study, we show that FacePlex enables full-duplex joint speech-facial motion generation under online streaming constraints, while achieving stronger lip-sync quality and motion fidelity than audio-driven facial motion baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.30145v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Video Generation, flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2610.00691v2cs.CV공통 태그 Video Generation, flow matching

Soundwich: 계층화 및 제어 가능한 오디오를 결합한 비디오 생성

Soundwich: Video Generation with Layered and Controllable Audio

최근 오디오-비디오 공동 생성 모델은 동기화된 사운드를 포함한 사실적인 비디오를 합성할 수 있지만, 일반적으로 단일 믹싱 트랙으로 오디오를 생성합니다. 이는 음원 수준의 제어를 제한하며, 음성, 음악, 음향 효과 및 주변음이 편집 가능한 별도의 트랙으로 표현되는 실제 시청각 워크플로와 차이가 있습니다. 본 연구에서는 고정된(frozen) 오디오-비디오 결합 플로우 매칭(flow-matching) 모델을 공유 비디오와 결합된 동기화되고 독립적으로 편집 가능한 다중 오디오 스템(stem) 생성기로 변환하는 무학습(training-free) 프레임워크인 Soundwich를 소개합니다. Soundwich는 시간적 활성화를 명시적으로 제어하면서 별도의 오디오 스템을 생성합니다. 개별적으로 생성된 사운드의 일관성을 유지하기 위해, 음원 수준의 분리를 보존하면서 스템 전반에 걸쳐 전역적 시청각 컨텍스트를 전달하는 공유 장면 표현을 도입합니다. 나아가 각 오디오 스템과 그에 대응하는 시각적 소스 간의 교차 모달 상호작용을 라우팅하여 시청각 일관성을 향상합니다. 그 결과 생성된 스템은 비디오와 동기화된 상태를 유지하며 독립적으로 타이밍을 재조정하거나, 음소거, 교체 또는 리믹스할 수 있습니다. 실험 및 정성적 평가를 통해 시간적 제어, 음원 분리 및 자연스러움이 향상됨과 동시에 일관된 시청각 생성 내에서 유연한 음원 수준 편집이 가능함을 보여줍니다. 코드는 https://github.com/CodyNing/Soundwich 에서 확인할 수 있습니다.

arXiv:2610.02726v1cs.CV공통 태그 Video Generation, flow matching

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03047v1cs.CV공통 태그 Video Generation, flow matching

기생적 공동 디노이징: 고정된 비디오 확산 모델에서 3D 인체 동작 생성 잠금 해제하기

Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model

명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.

arXiv:2610.03202v1cs.CV공통 태그 Video Generation, flow matching

컨텍스트 기반 플로우 매칭: 효율적인 시각적 생성을 위한 플로우 모델의 적응형 스텝 선택

Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation

플로우 매칭(Flow Matching)은 연속 시간 동역학을 통해 고품질의 시각적 생성을 가능하게 하지만, 여러 번의 순차적 함수 평가로 인해 여전히 추론(inference) 비용이 많이 듭니다. 기존의 가속 기법들은 함수 평가 횟수를 줄이지만 추가적인 학습(training) 부담을 초래하거나 품질을 저하시키며, 입력에 따른 변동성을 고려하지 못하는 경우가 많습니다. 본 논문에서는 프롬프트(prompt) 특징을 기반으로 매 생성마다 스텝 수를 적응적으로 선택하는 추론 시점 기법인 COFLOW를 제안합니다. 컨텍스트를 인식하는 COFLOW는 추론 효율성과 생성 충실도의 균형을 맞추는 비지도 보상(reward)을 통해 온라인으로 학습됩니다. 본 기법은 플러그 앤 플레이(plug-and-play) 방식으로 기반 생성 모델(generative model)을 재학습할 필요가 없습니다. 이는 이미지 및 비디오 생성으로 일반화되며, 지각적 및 의미론적 품질을 유지하면서 2.5배 이상의 속도 향상을 달성합니다. 나아가 표준 정칙성 조건 하에서 O(1/K) 전향 오일러(forward-Euler) 이산화 오차 한계를 확립하는 이론적 분석을 제공합니다.

arXiv:2609.27656v1cs.RO공통 태그 Video Generation, flow matching

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.