합성 상태 전이를 활용한 비디오 상호작용 생성 부트스트래핑
Bootstrapping Video Interaction Generation with Synthetic State Transitions
한국어 초록
최근의 비디오 생성 모델은 고화질 비디오를 합성할 수 있지만, 타당한 물리적 상호작용과 그로 인한 상태 전이(state transition)를 묘사하는 데 어려움을 겪고 있으며, 이는 로보틱스 및 VR/AR 응용 분야에서 중대한 병목 현상입니다. 이를 해결하기 위해, 본 연구에서는 제어 가능한 상호작용의 확장 가능한 합성 데이터셋을 생성하는 프레임워크를 소개합니다. 제안하는 파이프라인은 구조화된 분류 체계(taxonomy)와 최신 이미지 편집 모델을 활용하여 상호작용의 시각적 앵커(visual anchor) 역할을 하는 명시적인 '시작' 및 '종료' 상태 이미지를 생성합니다. 이러한 앵커를 활용해 매끄러운 비디오를 생성하기 위해, 단순한 조건부 생성에서 흔히 발생하는 아티팩트를 완화하는 새로운 샘플링 기법인 상태 유도 샘플링(State-Guided Sampling, SGS)을 제안합니다. 나아가, 데이터 품질을 보장하기 위해 인간의 판단과 일치하는 새로운 자동화 평가 시스템을 개발하고 검증합니다. 실험 결과, 본 데이터셋으로 베이스 모델을 미세조정(fine-tuning)하면 타당한 상호작용을 생성하는 능력이 크게 향상됨을 보여줍니다.
원문 초록
While recent video generative models can synthesize high-fidelity videos, they struggle to portray plausible physical interactions and the resulting state transitions, a critical bottleneck for applications in robotics and VR/AR. To address this, we introduce a framework to generate a scalable synthetic dataset of controllable interactions. Our pipeline leverages a structured taxonomy and state-of-the-art image editing models to create explicit `start' and `end' state images, which serve as visual anchors for the interaction. To generate a seamless video utilizing these anchors, we propose State-Guided Sampling (SGS), a novel sampling technique that mitigates artifacts common in naive conditional generation. Furthermore, we develop and validate a new automated evaluation system that aligns with human judgments to ensure data quality. Experiments show that fine-tuning a base model on our dataset significantly enhances its ability to generate plausible interactions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SafeGen: VLM 기반 자율주행을 위한 안전 임계 시나리오의 목표 조건 비디오 확산
SafeGen: Goal-Conditioned Video Diffusion of Safety-Critical Scenarios for VLM-Based Autonomous Driving
VLM은 자율주행(AD) 시스템에 점점 더 배포되고 있어, 드물지만 안전 임계적인 시나리오에서 엄격한 안전성 평가가 시급해졌다. 이 중 취약 도로 이용자와의 상호작용은 실제 세계 실패의 주요 원인이다. 그러나 기존 안전 임계 시나리오 생성 방법은 대부분 시뮬레이터 기반 파이프라인에 의존하며, 이는 상당한 sim-to-real 격차를 겪고 현실적이고 다양하며 예견하지 못한 인간-차량 상호작용 역학을 포착하는 데 자주 실패한다. 우리는 VLM 기반 자율주행(VLMAD)에서 안전 임계 시나리오 생성을 위한 목표 조건 확산 프레임워크인 SafeGen을 제안한다. 핵심 통찰은 시나리오 생성을 목표 조건 확산 과정으로 공식화하는 것으로, 사전 정의된 치명적 종료 상태가 강한 지도 신호로 작용하여 안전 임계 결과를 향해 자연스럽게 진화하는 시간적으로 일관된 비디오 궤적 생성을 유도한다. 이 공식화를 바탕으로, 우리는 컨텍스트 그라운딩 종료 상태 추론(Context Grounded End State Reasoning)을 도입한다. 이는 VLM을 활용해 양호한 주행 컨텍스트를 분석하고 인간-차량 상호작용의 잠재적 취약점을 추론하여 고위험 시나리오를 유도하는 구조화된 종료 상태 명세를 생성한다. 이러한 목표에 조건화하여, 우리는 종료 상태 조건 비디오 진화(End State Conditioned Video Evolution)를 추가로 제안한다. 이는 의미적 위협을 물리적으로 타당한 시각적 역학으로 그라운딩한다. 구체적으로, 깊이 인식 기하학적 투영을 통해 장면 내 고위험 에이전트를 인스턴스화하고, 이어 경계 조건 확산으로 일관된 운동 패턴과 시간적 일관성을 갖는 중간 프레임을 생성한다. 3개 VLMAD에 걸친 광범위한 실험은 SafeGen이 VLM 판사를 사용해 VLMAD의 이해와 의사결정을 평가하는 지표인 Judge Overall Score를 SoTA 베이스라인 대비 평균 24.25% 향상시킴을 보여준다. 또한 VLMAD 미세조정은 실제 주행 장면에서 성능을 평균 15.9% 향상시킨다.
Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델
Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
IJCAI 2026