PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.25077v2cs.CV

WorldCraft: 인터랙티브 비디오 월드 모델에서 카메라 내비게이션부터 객체 조작까지

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

최근의 비디오 월드 모델(world model)은 인터랙티브한 카메라 내비게이션을 가능하게 하지만, 개별 객체에 대한 제어는 제한적입니다. 본 연구에서는 시점 변화, 생성 청크, 일시적인 비가시성 구간 전반에 걸쳐 객체 궤적 행동이 유효하게 유지되어야 하는 자기회귀(autoregressive) 비디오 월드 모델에서의 지속적인 객체 상태 제어를 연구합니다. 이러한 환경은 자기회귀 메모리가 마지막으로 관찰된 객체 상태를 기록하는 반면 개입된 행동은 화면 밖에서 해당 상태를 업데이트할 수 있기 때문에 행동-메모리 충돌을 유발합니다. 저자들은 카메라 내비게이션과 객체 궤적 제어를 함께 결합한 최초의 카메라 내비게이션 가능 자기회귀 비디오 월드 모델인 WorldCraft를 제시합니다. 사용자가 선택한 객체와 2D 모션 경로가 주어지면, 정규화된 월드 궤적(Normalized World Trajectory, NWT)은 해당 경로를 정규화된 월드 좌표계에 고정하고 각 카메라 뷰로 투영하여 자기회귀 롤아웃(rollout) 전반에 걸쳐 일관된 객체-행동 신호를 생성합니다. 궤적 고정 상태 지속성(Trajectory-Anchored State Persistence, TASP)은 지속적인 NWT 가이던스와 선택적 메모리 갱신을 결합하여, 화면 밖 구간 및 재진입 과정에서도 행동으로 업데이트된 객체 상태를 유지합니다. 경로 선택적 LoRA는 사전학습된 카메라 컨트롤러를 유지하면서 객체 제어 기능을 도입합니다. WorldCraft는 정확하게 결합 가능한 카메라-객체 제어를 달성하며 카메라 충실도를 보존합니다. 나아가 화면 밖 궤적 지도(supervision) 없이도 타깃이 완전히 보이지 않는 확장된 구간 전반에서 행동으로 업데이트된 객체 상태를 유지함을 확인했습니다.

arXiv:2608.02365v2cs.AI

Faster-WAM: 월드 액션 모델에 딥 액션 모듈이 필요한가?

Faster-WAM: Do World Action Models Need Deep Action Modules?

월드 액션 모델(World Action Model, WAM)은 사전학습(pre-training)된 비디오 모델을 기반으로 구축되며, 물리적 동역학에 그라운딩(grounding)된 비디오 모델의 표현은 행동 예측을 위한 자연스러운 토대를 제공합니다. 이러한 자연스러운 토대에도 불구하고, 많은 WAM은 여전히 높은 추론(inference) 지연 시간을 유발하고 제한된 로봇 시연 데이터에 과적합될 수 있는 깊고 매개변수(parameter)가 많은 행동 예측 모듈에 의존하여 실제 환경 적용성이 제한됩니다. 본 논문에서는 용량과 연산을 비디오 월드 모델에 집중시키는 한편, 경량 액션 전문가가 백본의 표현을 실행 가능한 로봇 행동으로 변환하도록 하는 월드 모델 중심의 원칙을 제안합니다. 우리는 세 가지 핵심 선택을 통해 이 원칙을 구현합니다. 첫째, 얕고 가벼운 액션 전문가가 모든 비디오 층(layer)의 표현에 접근할 수 있도록 하는 Lite KV-Fusion 기반의 Dock of Transformers(DoT), 둘째, 액션 전문가에 대한 월드 모델 전용 조건화, 셋째, 비디오 키(key)와 액션 쿼리(query) 간의 위치 정렬을 위한 retracted 1D-RoPE입니다. 우리는 단일 층 액션 전문가만을 갖춘 월드 모델 중심 WAM인 Faster-WAM을 통해 이 원칙을 검증합니다. 행동 전용 연산에 대한 이러한 제약에도 불구하고, Faster-WAM은 추가적인 임바디드 사전학습 없이도 LIBERO 및 RoboTwin 2.0에서 경쟁력 있는 제어 성능을 달성합니다. 또한 Fast-WAM 대비 약 $3.7\times$, $π_{0.5}$ 대비 약 $1.3\times$의 추론 속도 향상을 제공합니다. 월드 모델 중심 설계와 일관되게, Faster-WAM은 분포 변화(distribution shift) 하에서 더 뛰어난 일반화 능력을 보입니다. 동일한 LIBERO 학습(training) 정책이 LIBERO-Plus에서 $78.3\%$의 성공률을 달성하여 Fast-WAM과 LingBot-VA를 각각 $26.8$ 및 $8.8$ 퍼센트포인트 상회합니다. 마지막으로, 실제 로봇 실험을 통해 Fast-WAM에 필적하는 성공률을 달성하면서도 훨씬 낮은 추론 지연 시간과 더 짧은 작업 완료 시간을 입증합니다.

arXiv:2610.02160v1cs.CV

4Director: 강체 3D 지오메트리를 활용한 비디오 월드 모델 제어

4Director: Controlling Video World Models with Rigid 3D Geometry

카메라와 객체 모션에 대한 정밀한 제어는 전문적인 비디오 제작에 필수적입니다. 기존 방법들은 깊이와 회전에서 모호한 이미지 평면 단서를 사용하거나, 완전한 지오메트리가 결여되어 시점 변화에 따른 일관성을 잃는 3D 트랙 및 블롭(blob)을 사용하여 객체를 대략적으로만 제어합니다. 본 논문에서는 명시적인 4D 씬 표현을 조건으로 하는 비디오 월드 모델인 4Director를 소개합니다. 각 객체는 입력 이미지로부터 표준 메쉬(canonical mesh)로 한 번 재구성되며, 프레임당 지정된 하나의 강체 변환(rigid transformation)에 따라 움직입니다. 이러한 표현은 직관적인 3D 제어 인터페이스를 제공하며, 관측되지 않은 지오메트리가 프레임마다 독립적으로 재생성되는 것을 방지합니다. 우리는 제어된 씬을 깊이 비디오로 렌더링하고, 이 기하학적 스캐폴드를 비디오로 변환하는 동시에 시점 일관적인 외형, 조명, 비강체 역학을 합성하는 Motion Adapter를 도입합니다. 학습을 위해 자동화된 파이프라인을 통해 강체 3D 씬 주석이 달린 20,774개 클립의 새로운 데이터셋인 RealCOD-Rigid를 구축합니다. 또한 지정된 객체 모션에 대한 순응도와 객체 동일성 보존을 공동으로 평가하는 Identity-Gated IoU(IG-IoU)를 도입합니다. 실험을 통해 4Director가 시각적 품질과 카메라 및 객체 제어 측면에서 기존 방법들을 일관되게 능가함을 입증합니다.

arXiv:2610.01614v1cs.CV

Oneira: 비디오 월드 모델에서 개방형 생성을 넘어 오픈월드 상호작용으로

Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models

생성형 비디오 월드 모델(generative video world model)은 이제 에이전트가 탐색하고 단순한 방식으로 상호작용할 수 있는 개방형 환경을 합성할 수 있습니다. 그러나 개방형 생성이 완전한 상호작용을 의미하지는 않습니다. 생성된 월드가 확장됨에 따라 탐색을 통해 새롭게 생성된 콘텐츠는 에이전트가 행동을 취할 수 있는 범위를 넓혀야 하며, 에이전트가 월드를 변경할 때 이러한 변경 사항은 일시적인 시각적 효과에 그치지 않고 환경의 지속적인 일부가 되어야 합니다. 본 연구에서는 이 두 가지 요구 사항을 다음과 같이 정의합니다. 첫째, 새롭게 생성되거나 마주친 개체가 실행 가능한 월드에 통합되는 '오픈월드 상호작용성(Open-World Interactivity)'과, 둘째, 상호작용 결과가 월드 상태에 반영되어 후속 관측 및 상호작용에 지속적으로 영향을 미치는 '영구적 상태(Persistent State)'입니다. 우리는 코딩 에이전트가 관리하는 명시적이고 확장 가능한 월드 상태를 통해 생성과 상호작용 간의 루프를 완성하는 대화형 비디오 월드 모델인 Oneira를 제시합니다. 현재 관측과 행동 또는 상위 수준의 목표가 주어지면, 에이전트는 월드 상태를 읽고 관련 개체를 그라운딩(grounding)하며 상호작용을 계획하고 그 결과를 월드 상태 테이블에 다시 기록합니다. 탐험을 통해 새로운 객체가 드러나면 에이전트는 생성된 관측으로부터 이를 통합하여 생성된 월드와 함께 상호작용 공간이 확장되도록 합니다. 한편, 이전에 유도된 상태 변화는 비디오 세그먼트 전반에 걸쳐 전달되므로 상호작용의 결과가 후속 월드 전개의 영구적인 일부가 됩니다. 업데이트된 월드 상태는 카메라 행동 궤적을 따라 거친 조건화 비디오(coarse conditioning video)로 렌더링되며, 비디오 생성기는 이를 바탕으로 상태에 표현되지 않은 외형, 움직임 및 상호작용의 세부 사항을 채워 넣습니다. 실험 결과에 따르면 Oneira는 새롭게 생성된 객체와의 직접적이고 일관된 상호작용을 가능하게 하는 동시에, 장기적인 시계(long horizons)에 걸쳐 이전 상호작용의 효과를 보존함을 보여줍니다. 프로젝트 페이지: https://madaoer.github.io/projects/oneira

arXiv:2609.37690v2cs.CV

Honeycomb: 비디오 월드 모델을 위한 고정 크기 씬 메모리 표현

Honeycomb: Constant-Size Scene Memory Representation for Video World Models

비디오 월드 모델(video world model)은 장기(long-horizon) 비디오 생성 과정에서 일관성을 유지하기 위해 지속적인 씬 메모리(scene memory)를 필요로 합니다. 기존의 공간 메모리는 RGB 관측치나 잠재 특징(latent feature)을 누적하므로 생성이 진행됨에 따라 저장 공간 요구량이 증가합니다. 본 논문에서는 총 6개의 공간 및 시공간 평면을 갖는 고정 크기 메모리에 씬 특징을 저장하기 위해 제안된 저순위(low-rank) 표현인 HexMemory를 기반으로 구축된 비디오 월드 모델 Honeycomb을 소개합니다. 피드포워드 방식의 기록기(writer)는 생성된 각 청크(chunk)를 새로운 평면 특징으로 매핑합니다. 공간적 범위나 시간적 범위가 확장됨에 따라, 이전 평면의 차원을 유지하면서 워핑(warping)한 뒤 신뢰도 가중 풀링(confidence-weighted pooling) 및 학습된 잔차 보정(residual correction)을 통해 새로운 특징과 융합합니다. 판독기(reader)는 HexMemory에서 잠재 변수(latent)를 검색하여 후속 비디오 생성의 조건으로 사용합니다. 기록기는 새 청크의 관측치만 처리하므로 씬별 최적화와 전체 이력에 대한 반복 처리를 피할 수 있습니다. WorldScore 및 RealEstate10K 데이터셋에서의 실험을 통해, 생성 과정 전반에 걸쳐 HexMemory 특징 저장 용량을 일정하게 유지하면서도 우수한 비디오 생성 품질과 견고한 재방문(revisit) 일관성을 보여줍니다. 코드와 추가 시각화 자료는 프로젝트 페이지(https://jackswl.github.io/honeycomb/)에서 확인할 수 있습니다.

arXiv:2607.11836v1cs.CV

Cycle-World: 역방향 예측 순환 일관성을 통한 장기 비디오 월드 모델의 오류 누적 완화

Cycle-World: Mitigating Error Accumulation in Long-term Video World Models via Reverse-Prediction Cycle Consistency

자기회귀 확산 모델은 고품질 비디오 생성을 가능하게 했지만, 순차적 특성으로 인해 본질적으로 오류 누적 문제를 겪는다. 장기(long-horizon) 비디오 합성에서 미세한 예측 편차가 시간이 지남에 따라 복합적으로 누적되어, 제약 없는 생성 드리프트(generative drift), 구조적 붕괴, 심각한 시각적 열화를 필연적으로 초래한다. 이를 해결하기 위해, 우리는 안정적이고 시간적으로 일관된 장기 비디오 생성을 위해 설계된 새로운 프레임워크인 Cycle-World를 제안한다. 우리의 접근법은 학습 및 추론 단계 모두에 걸쳐 엄격한 시간적 가역성을 강제함으로써 오류 드리프트를 해결한다. 이론적으로, 우리는 순방향 생성 드리프트가 순환 일관성(cycle-consistency) 목적함수에 의해 엄격하게 병목될 수 있음을 증명한다. 학습 중에는 효율적인 역방향 예측 모델을 통합하여 순방향 생성기에 인과적 제약을 암묵적으로 내재화하고, 이를 통해 자연 비디오 매니폴드에 밀접하게 부합하는 가역적 시퀀스를 생성하도록 강제한다. 추론 시에는 이 고정된 역방향 모델을 런타임 보정기로 재활용한다. 그래디언트 기반 순환 가이던스를 통해 생성된 잠재 표현(latent representation)을 반복적으로 정제하여, 누적된 오류가 히스토리 컨텍스트에 반영되기 전에 적극적으로 억제한다. VBench 벤치마크에서의 광범위한 실험을 통해, Cycle-World의 이중 단계 시너지가 오류 드리프트를 크게 완화하여 60초 합성에서 최첨단 전반적 생성 품질과 장기 시간적 일관성을 달성함을 입증한다.

arXiv:2512.17796v2cs.CV

CustomX: Unified Character, Action, and Scene Customization in Video World Models

Recent advances in world models have greatly enhanced interactive environment simulation. Existing methods mainly fall into two categories: (1) static world generation models, which construct 3D environments without active agents, and (2) controllable-entity models, which allow a single entity to perform limited actions in an otherwise uncontrollable environment. In this work, we introduce CustomX, leveraging the realism and structural grounding of static world generation while extending controllable-entity models to support user-specified characters capable of performing open-ended actions. Users can provide a 3DGS scene and a character, then use natural language to direct the character to perform diverse behaviors, ranging from basic locomotion to object-centric interactions, while freely exploring the environment. CustomX synthesizes temporally coherent video clips that preserve visual fidelity with the provided scene and character, formulated as a conditional autoregressive video generation problem. Built upon a pre-trained video generator, our training strategy significantly enhances motion dynamics while maintaining generalization across actions and characters. Our evaluation covers a broad range of aspects, including visual quality, character consistency, action controllability, and long-horizon coherence.