arXiv:2605.26316 cs.CV

E$^3$C: Video Generation with 3D Environmental Memory and Ego-Exo Human Pose Control

제출 2026-05-25

한국어 초록

제어 가능하고 물리적으로 기반이 된 자아중심적 비디오 생성은 체화된 에이전트가 자신과 타인의 행동이 세계에서 어떻게 나타나고 변하는지 추론하기 위해 필수적입니다. 일반적인 비디오 합성에 비해 자아중심적 생성은 특히 도전적입니다: 카메라가 행위자와 밀접하게 결합되어 있어 급격한 시점 변화와 빈번한 자체 폐색이 발생하고; 기저 동작들은 미묘하고 정교하며 종종 부분적으로만 보이며; 사람과 장면 상태 모두가 지정된 제어와 일관되게 진화해야 합니다. 우리는 지속적인 장면 구조와 인간-주도적 동역학을 분리하는 구조화되고 압축된 조건을 구축하는 자아중심적 생성을 위한 제어 가능한 비디오 디퓨전(Diffusion) 프레임워크인 E³C를 제시합니다. 컨텍스트 프레임에서 E³C는 반-밀도 포인트 클라우드 기반 3D 메모리를 구성하고 각 포인트를 비디오-VAE 특성에서 추출한 외형 기술자로 보강합니다. 이 메모리를 목표 시점으로 렌더링하면 목표 프레임과 정렬된 조건을 생성합니다. 인간 동역학은 별도로 모델링됩니다. 장면의 관찰된 사람들은 스켈레톤 렌더링(외부 인간 제어)으로 제어되는 반면, 카메라 착용자는 3D 신체 관절과 6DoF 손목 동작(자아 인간 제어)으로 지정됩니다. 착용자의 신체 부분이 보이지 않을 때 자아 인간 제어를 유지하기 위해 우리는 지속적인 교차-어텐션 토큰을 생성하는 자아 동작 인코더를 도입합니다. Nymeria에서의 실험은 E³C가 강력한 기준선에 비해 시각적 충실도, 카메라-동작 정확도, 객체 일관성, 그리고 자아 및 외부 인간 제어를 개선하면서도 직관적인 장면 편집을 가능하게 함을 보여줍니다.

요약

구체화된 에이전트가 자신의 행동이 세계를 어떻게 변화시키는지 시뮬레이션하고 추론하기 위해서는 제어 가능하고 물리적으로 기반한 자아중심 비디오 생성이 필수적입니다. 그러나 자아중심 관점에서의 비디오 생성은 일반적인 비디오 합성보다 훨씬 복잡한데, 카메라가 행동 주체의 신체에 직접 부착되어 있어 급격한 시점 변화와 빈번한 자가 폐색을 야기하며, 동시에 장면의 모든 요소가 지정된 제어 조건에 따라 일관되게 변화해야 하기 때문입니다. 본 논문에서 제시하는 E³C는 이러한 도전과제를 해결하기 위해 지속적인 장면 구조와 인간 주도의 동역학을 명확히 분리하는 구조화된 조건 설계에 기초합니다. 핵심 혁신은 컨텍스트 프레임으로부터 반밀집 포인트 클라우드 기반의 3D 환경 메모리를 구성하고, 각 포인트에 비디오-VAE 특성으로부터 추출한 외형 정보를 부여하여 목표 미래 시점으로의 렌더링이 목표 프레임과 정렬된 조건을 생성하도록 하는 것입니다. 인간 동역학의 제어를 위해 E³C는 이원적 접근을 채택하는데, 카메라를 착용한 사람 자신은 3D 신체 관절과 6자유도 손목 모션으로 지정하고, 장면에 관찰되는 다른 사람들은 2D 스켈레톤 렌더링으로 제어합니다. 특히 주목할 점은 자아 인간 제어를 위해 도입된 자아 포즈 인코더로, 이는 3D 신체 정보를 지속적인 교차 어텐션 토큰으로 변환하여 신체 부위가 시야에서 벗어나거나 폐색된 상황에서도 자아 인간 제어를 보존합니다. 사전학습된 비디오 디퓨전 모델인 VACE를 기반으로 구축된 E³C는 Nymeria 데이터셋에서의 실험을 통해 시각적 충실도, 카메라 모션 정확도, 객체 일관성, 그리고 자아 및 타아 인간 제어 측면에서 기존의 강력한 기준선들을 크게 능가하는 성능을 입증합니다. 더욱이 제안된 프레임워크의 조건들이 명시적 특성을 가지므로, 3D 메모리에서 객체를 제거하거나 주변 인물의 움직임을 수정하는 등 직관적인 장면 편집도 가능하게 합니다. E³C의 핵심 기여는 기하학적으로 기반한 생성과 인간 운동학 제어를 통합하는 완전한 자아중심 비디오 생성 프레임워크를 제시함으로써, 이전까지 다루어지지 않았던 자아중심 생성의 근본적인 제어 가능성 문제를 해결하는 데 있습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.