PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.09929v2cs.LG

그래디언트 기반 플래닝을 위한 월드 모델의 학습-테스트 격차 해소

Closing the Train-Test Gap in World Models for Gradient-Based Planning

모델 예측 제어(MPC)와 결합된 월드 모델(world model)은 대규모 전문가 궤적 데이터셋을 통해 오프라인으로 학습(training)될 수 있으며, 추론(inference) 시점에 광범위한 플래닝 작업으로의 일반화를 가능하게 합니다. 느린 탐색 알고리즘이나 최적화 문제를 반복적으로 정확히 푸는 방식에 의존하는 전통적인 MPC 절차와 비교했을 때, 그래디언트(gradient) 기반 플래닝은 계산 효율적인 대안을 제공합니다. 그러나 그래디언트 기반 플래닝의 성능은 지금까지 다른 접근 방식들에 비해 뒤처져 있었습니다. 본 논문에서는 효율적인 그래디언트 기반 플래닝을 가능하게 하는 월드 모델 개선 학습 방법을 제안합니다. 우리는 월드 모델이 다음 상태 예측 목표로 학습되지만, 테스트 시점에는 일련의 행동 순서를 추정하는 데 사용된다는 관찰에서 출발합니다. 본 연구의 목표는 이러한 학습-테스트 격차(train-test gap)를 좁히는 것입니다. 이를 위해 기존 월드 모델에서 크게 개선된 그래디언트 기반 플래닝을 가능하게 하는 학습 시점 데이터 합성 기법을 제안합니다. 테스트 시점에 우리의 접근 방식은 10%의 시간 예산만으로도 다양한 물체 조작 및 내비게이션 작업 전반에서 고전적인 그래디언트 미사용 교차 엔트로피(cross-entropy) 방법(CEM)보다 우수하거나 동등한 성능을 달성합니다.

arXiv:2601.22153v2cs.RO

DynamicVLA: 동적 물체 조작을 위한 비전-언어-행동 모델

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

동적 물체를 조작하는 것은 비전-언어-행동(VLA, Vision-Language-Action) 모델에 여전히 미해결 과제로 남아 있습니다. 최근 VLA 모델들이 정적 조작에서는 우수한 일반화 성능을 보이지만, 동적 장면에서는 지연 시간으로 인한 인식-실행 불일치(latency-induced perception-execution mismatch)가 발생합니다. 즉, 추론(inference) 중에 물체의 상태가 계속 변화하여 과거 관측을 기반으로 예측된 행동이 실행 시점에는 유효하지 않게 됩니다. 본 연구에서는 동적 물체 조작을 위한 지연 시간 인지형 VLA 모델인 DynamicVLA를 제안합니다. 이 모델은 효율적인 멀티모달 추론을 위해 소형 0.4B 구조와 합성곱 비전 인코더를 결합하고, 논블로킹(non-blocking) 제어를 위해 추론과 실행을 중첩하는 연속 추론 일정을 적용합니다. 이후 지연 인지형 액션 스트리밍(Latent-aware Action Streaming)을 통해 지연 시간으로 인해 무효화된 행동 접두사를 폐기하고 각 예측 청크에서 시간적으로 유효한 접미사만 실행함으로써 동적 물체 움직임 속에서도 행동-시간 정렬을 유지합니다. 동적 조작 데이터의 부족한 기반을 채우기 위해, 2.8K개 장면과 206개 물체에 걸쳐 200K개의 합성 에피소드를 수집하고 원격 조작(teleoperation) 없이 2K개의 실제 환경 에피소드를 빠르게 수집할 수 있는 자동화된 수집 파이프라인으로 구축된 DOM(Dynamic Object Manipulation) 벤치마크를 도입합니다. 시뮬레이션 및 실제 로봇을 통한 광범위한 평가 결과, DynamicVLA가 변화하는 물체 움직임, 높은 인지 능력을 요하는 지시, 미확인 움직임 패턴 환경에서 동적 조작 성공률을 향상함을 입증합니다.

arXiv:2607.14005v1cs.CV

M$^\text{4}$World: 상호작용형 객체 조작 및 분 단위 스트리밍을 위한 멀티뷰 멀티모달 주행 월드 모델

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

주행 월드 생성은 확장 가능한 자율주행 시뮬레이션의 핵심 역량으로 부상했지만, 기존 방법들은 객체 수준의 제어 가능성과 장기 안정성에서 여전히 제한적이다. 우리는 M$^\text{4}$World를 제안한다. 이는 미래의 surround-view 영상 스트림과 동기화된 LiDAR 스캔을 합성하면서 상호작용형 객체 조작과 안정적인 분 단위 스트리밍을 지원하는 멀티뷰·멀티모달 생성형 주행 월드 모델이다. 세밀한 객체 조작은 개별 객체의 공간적 배치와 시각적 외관 모두에 대한 명시적 제어를 지원하는 유연한 conditioning 인터페이스를 통해 구현된다. 한편 안정적인 분 단위 스트리밍은 확장된 rollout 동안 일관된 월드 역학을 유지하면서 단 4개의 denoising 단계만으로 온라인 인과(causal) 생성을 가능하게 하는 다단계 학습 프레임워크를 통해 달성된다. 이러한 구성 요소를 바탕으로, 우리는 효율적인 few-clip 사후 학습과 시각적 참조 조건화 생성 모델 모음을 도입하여, 일반 생성 능력을 유지하면서 장꼬리(long-tail) 제어 가능성을 위한 희귀 사례 맞춤화를 가능하게 한다. 제어 가능성을 사실성(realism)을 넘어 평가하기 위해, 우리는 장면 수준의 조건 준수, 시점별 객체 제어 가능성, 시점 간 객체 일관성을 평가하는 VLM 기반 자동 판별 파이프라인을 추가로 도입한다. 포괄적인 실험 결과, M$^\text{4}$World는 높은 생성 품질, 정밀한 제어 가능성, 안정적인 분 단위 스트리밍을 일관되게 제공함을 보여준다. 하위 장꼬리 증강과 장면 편집과 함께, 이러한 결과는 제어 가능하고 확장 가능한 주행 시뮬레이션을 위한 M$^\text{4}$World의 잠재력을 입증한다.

arXiv:2606.27575v1cs.CV

물리 세계 모델링 기반 지각적 3D 시뮬레이션

Perceptual 3D Simulation With Physical World Modeling

이미지로부터 원하는 3D 변환이 이루어진 뒤 장면이 어떻게 변화할지 예측하는 것은 컴퓨터 비전(CV), 그래픽스, 로봇 공학의 핵심 목표이다. 그러나 3D 기하학과 동역학에 완전히 접근할 수 있는 이상적 시뮬레이터와 달리, 실세계 시스템은 본질적으로 부분적이고 불완전한 지각 입력과 국소적 행동에 의존해야 한다. 본 연구에서는 부분 관측과 불완전한 3D 변환 신호 모두 하에서 미래 장면 상태를 시뮬레이션하는 물리 세계 모델링 시스템 P3Sim을 제안한다. P3Sim은 상호작용하는 세 가지 구성 요소로 이루어진다: 학습된 물리 세계 모델, 기하학적 조건화 모듈, 지속적 장면 메모리. 세계 모델은 지각을 다중 모달 장면 변수에 대한 확률적 추론으로 해석하여, 다른 변수들의 임의 조합에 조건화된 임의 장면 변수의 분포 예측을 제공한다. 기하학적 조건화 모듈은 추론 시점에 세계 모델을 조건화하기 위한 부분 3D 변환 신호를 제공한다. 지속적 장면 메모리는 시간에 걸쳐 예측을 통합하여, 불확실성 하에서 온라인 갱신과 일관성을 가능하게 한다. 학습된 추론과 명시적 기하학적 구조를 결합함으로써 P3Sim은 데이터 기반 유연성과 내재된 귀납적 바이어스를 균형 있게 맞춘다. 이 설계는 새로운 시점 합성(novel view synthesis), 객체 조작(object manipulation), 동적 장면 예측(dynamic scene prediction)과 같은 다양한 3D 변환 작업에 일반화되는 유연한 지각 시뮬레이터를 만들어, 범용 3D 장면 이해 및 변환을 향해 나아간다.