PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13927v1cs.CV

Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델

Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data

다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.

arXiv:2606.20083v1cs.CV

Holo-World: 비디오 월드 모델을 위한 통합 카메라, 객체 및 날씨 제어

Holo-World: Unified Camera, Object and Weather Control for Video World Model

비디오 월드 모델은 제어 가능한 카메라 및 객체 움직임 아래 관측된 세계를 보존하면서도 환경 상태가 변하도록 허용하는 방향으로 발전하고 있다. 그러나 이러한 제어는 여전히 분리되어 있으며, 날씨 생성은 일반적으로 미래 구조를 이미 지정하는 소스 비디오 또는 재구성된 장면에 의존한다. 우리는 첫 프레임 고정(first-frame-anchored) source-to-state 설정을 연구한다. 여기서 모델은 단일 이미지에서 시작하여 명시적인 카메라 및 객체 제어와 선택적 날씨 지시를 따른 뒤, 소스 세계를 보존하거나 대상 날씨 상태로 전이하는 비디오를 생성한다. 이러한 과제를 해결하기 위해, 먼저 HoloStateData를 구축한다. 이는 다양한 비디오를 카메라, 객체, 날씨 지도를 위한 통합 제어 샘플로 변환하는 상태 비디오 데이터셋이다. 둘째, 단일 이미지로부터 장면을 공동 제어하는 통합 제어 가능 비디오 월드 모델인 Holo-World를 제안한다. Unified Scene Adapter는 세계 보존과 날씨 전이를 서로 다른 매개변수 부분공간으로 인수분해하며, 렌더링된 배경, 기하학 버퍼, 객체 제어를 사용하여 제어된 장면 구조를 유지하면서 날씨 의존적 외관과 입자 효과를 모델링한다. 또한 Scene-Weather Decomposed CFG는 장면과 날씨 잔차를 별도로 유도하여, 전체 조건을 과도하게 증폭하지 않으면서 대상 날씨 효과를 강화한다. 정량적 및 정성적 실험은 Holo-World가 일관된 장면 구조와 함께 정밀한 카메라 및 객체 제어를 유지하면서 장면을 다양한 대상 날씨 상태로 전이하며, 날씨 상태 생성에서 비디오-대-비디오 날씨 편집 기준선들을 능가함을 보여준다. 프로젝트 페이지는 \url{https://xiangchenyin.github.io/Holo-World/}에서 확인할 수 있다.