PyTorchKR Papers

최신 논문

총 2,547편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27332v1cs.CV

RoPEMover: 위치 임베딩을 통한 깊이 인식 객체 재배치

RoPEMover: Depth-Aware Object Relocation via Positional Embeddings

단일 이미지에서 객체를 기하학적으로 일관되게 옮기는 문제에 대해, 디퓨전 트랜스포머의 회전 위치 임베딩(RoPE) 공간 표현을 직접 변형하는 RoPEMover를 제안한다. 2D RoPE를 깊이 인식 3D 형식으로 확장하고 합성 데이터와 소량의 실제 이미지로 파인튜닝(fine-tuning)해 가려짐·새로 드러난 영역·그림자와 조명까지 일관되게 갱신하며, 표준 객체 이동 벤치마크에서 모든 평가 지표에서 최첨단 성능을 보인다.

arXiv:2606.27317v1cs.CV

OctoSense: 다중모달 로봇 지각을 위한 자기지도 학습

OctoSense: Self-Supervised Learning for Multimodal Robot Perception

우리는 스테레오 RGB 및 이벤트 카메라, LiDAR, 열화상 카메라, 관성 측정 장치(IMU), RTK 보정 글로벌 포지셔닝 시스템(GPS), 그리고 고유수용감각(proprioception, 자동차의 CAN 버스 데이터와 사족보행 로봇의 관절 각도)을 갖춘 오픈소스 센서 플랫폼 OctoSense를 제시한다. 동명의 OctoSense 데이터셋은 하루 중 서로 다른 시간대와 다양한 유형의 환경에 걸친 59시간의 시간 동기화 주행 데이터를 포함하며, 센서가 심하게 열화된 상황도 포함한다. 우리는 센서가 서로 다른 표현, 주파수, 지연, 노이즈를 갖는 이러한 실세계 로보틱스 데이터를 활용한 다중모달 자기지도 학습을 입증한다. 우리의 접근법인 "late-fusion" 마스크드 오토인코더(masked autoencoder)는 (i) 이러한 센서의 서로 다른 시공간적 특성을 반영하기 위해 모달리티별 토크나이저(tokenizer)를 사용하고, (ii) 새로운 측정값이 들어올 때 이를 처리하기 위해 추론(inference) 시간에 모달리티별 토큰(token)을 캐시한다. 이 아키텍처는 (i) 빠르며(표현 계산에 NVIDIA 5090과 Orin NX에서 각각 6.68 ms와 112 ms), (ii) 광학 흐름(optical flow), 깊이, 의미 분할(semantic segmentation), 자차 운동(ego-motion, 이동, 회전, 조향각) 추정 등의 과제에서 기존 이미지 전용 파운데이션 모델(foundation model)보다 우수한 성능을 보이고, (iii) 야간이나 감각 데이터가 열화된 상황에서도 견고하게 예측한다. 데이터셋, 코드, 보조 영상에 대한 링크는 프로젝트 페이지(https://abisulco.com/octosense/)에서 확인할 수 있다.

arXiv:2606.27223v1cs.CV

SatSplatDiff: 고충실도 위성 Gaussian Splatting을 위한 기하학 보존 생성적 정제

SatSplatDiff: Geometry-preserving generative refinement for high-fidelity satellite Gaussian Splatting

Gaussian Splatting은 최근 위성 3D 재구성에 탐구되어, 복사 특성이 다양한 위성 장면을 표현하는 데 유연성과 효율성을 보여주었다. 그러나 위성 영상의 제한된 상단(top) 시점으로 인해 건물 정면에 대한 감독이 부족하여 표면 구멍과 저하된 시각적 충실도가 남는다. 감독 대상으로 사용되는 렌더링 이미지를 반복적으로 정제하고 갱신하기 위해 사전학습된 생성적 사전지식(prior)을 활용하는 생성적 정제(generative refinement)는 Gaussian 렌더링 이미지의 시각적 충실도를 향상시키기 위해 최근 연구되었다. 그러나 이러한 모델은 각 뷰를 독립적으로 정제하기 때문에, 결과 이미지에서 환각(hallucination)이 발생하고 포토 일관성(photo-consistency)이 깨져 기하학적 퇴화로 이어질 수 있다. 이러한 한계를 해결하기 위해, 생성적 정제에서 흔히 나타나는 기하학적 퇴화를 최소화하는 것을 목표로 하는 SatSplatDiff를 제안한다. 선행 연구 SatSplat에서 확립한 촬영 측량(photogrammetric) DSM 초기화와 2DGS 기반 그림자 투사(shadow casting)를 기반으로, 먼저 단안 깊이 감독과 다중 스케일 기하학적 정제를 도입하여 기하학적으로 정확하고 잘 정규화된 표면 표현을 구축한다. 이후 기하학적으로 계산된 그림자 맵(shadow map)이 기저 기하학과의 일관성을 유지하도록 Gaussian을 유도하는 그림자 유도 생성적 정제(shadow-guided generative refinement)를 적용하여, 기하학적 퇴화를 줄이면서 시각적 충실도를 향상시킨다. IARPA2016 및 DFC2019 데이터셋(dataset)에 대한 광범위한 평가(evaluation)는 최신(state-of-the-art) 성능을 보여주며, 기존 베이스라인 대비 기하학적 MAE를 최대 18% 감소시키고 시각적 충실도(FID-CLIP)를 28-45% 향상시킨다. 우리 방법은 최소한의 환각과 센서 일관적(sensor-consistent) 외관으로 최대 5배 해상도 향상을 제공하며, 타일 간 원활한 일관성과 대규모 재구성을 위한 강한 확장성(scalability)을 보여준다. 소스 코드는 https://github.com/GDAOSU/SatSplatDiff 에서 제공된다.

arXiv:2606.26694v1cs.CV

PhysEditWorld: 물리 편집 가능 월드 모델을 향한 대규모 데이터셋

PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models

게임 월드 모델의 물리 법칙 편집 가능성을 지원하기 위해, UE5 재생(replay) 파이프라인을 활용해 동일한 장면·행동·카메라 조건에서 중력 설정만 변경한 매칭 롤아웃을 구축한 대규모 멀티모달 데이터셋 PhysEditWorld를 제안한다. 12개의 시네마틱 UE5 장면과 6천만 개 이상의 렌더링 프레임, RGB·깊이·노멀·오디오·중력 레이블 등 동기화된 멀티모달 신호를 포함하며, 생성 비디오 모델 및 비전-언어(vision-language) 모델 실험에서 중력 충실 역학 모델링 개선 가능성을 확인했다.

arXiv:2606.26515v1cs.CV

망각, 예측, 적응: 긴 동영상을 위한 테스트 시점 학습

Forget, Anticipate and Adapt: Test Time Training for Long Videos

수 시간 길이의 긴 동영상에서 슬라이딩 윈도우 기반 테스트 시점 학습(TTT)의 계산량 증가와 유사 프레임에 대한 불필요한 적응 문제를 해결하기 위해, 윈도우에서 나가는·현재·다음 세 프레임만 처리하는 Frame Forgetting Network(FFN)와 서프라이즈(surprise) 지표 기반 적응형 윈도우 알고리즘을 제안한다. 최대 3시간 분량의 EpicTours 데이터셋과 11개 벤치마크에서 밀집 분할, 동영상 분류, 깊이 추정 등 과제에서 FFN의 효과를 입증했다.

arXiv:2606.26410v1cs.CV

신경 복셀 역학: 체적 특징 이류를 통한 암시적 3D 물리 학습

Neural Voxel Dynamics: Learning Implicit 3D Physics via Volumetric Feature Advection

V-JEPA의 의미 특징을 단안 깊이 추정으로 3D 복셀 격자에 역투영한 뒤, 명시적 물리 시뮬레이터 없이 체적 특징 이류(Volumetric Feature Advection)로 암시적 3D 물리 역학을 자기지도 학습하는 Neural Voxel Dynamics 프레임워크를 제안한다. 물리 엔진 내부 상태나 레이블 없이 동영상 신호만으로 학습하여 CLEVERER, PhysInOne, PhysGaia 벤치마크에서 강체·유체 등 이질적 물리 현상을 단일 파이프라인으로 시뮬레이션하며 기존 2D 세계 모델을 능가하는 물리적 타당성을 보인다.

arXiv:2606.23027v2cs.CV

신규 시점 합성 및 그 응용을 위한 안정적 정규 세계 학습

Learning Stable Canonical Worlds for Novel View Synthesis and Beyond

피드포워드 가우시안 스플래팅(FFGS)에서 입력 시점이 늘어날수록 노이즈와 중복 증거가 쌓이는 문제를 해결하기 위해, CanonicalGS는 깊이·의미 특징·불확실성 기반의 시점 중심 증거를 정규(canonical) 잠재 세계에서 불확실성 인식 융합으로 집계해 안정적인 장면 중심 표현을 학습한다. 실험에서 신규 시점 합성 PSNR이 최대 2.5 dB, 의미 분할 정확도가 11% 향상되었고, 하류 시각 인지 작업으로도 전이 가능한 표현을 만든다.

arXiv:2508.17916v2cs.CV

EndoUFM: 내시경 영상의 단안 깊이 추정을 위한 파운데이션 모델 활용

EndoUFM: Utilizing Foundation Models for Monocular depth estimation of endoscopic images

EndoUFM은 내시경 영상의 비지도 단안 깊이 추정을 위해 Depth Anything Model과 MedSAM 이중 파운데이션 모델(foundation model)의 사전학습 prior를 결합하고, RVLoRA 적응형 파인튜닝(fine-tuning), Res-DSC, 마스크 유도 평활화 손실로 도메인 격차와 조명·질감 변화에 대응한다. SCARED, Hamlyn, SERV-CT, EndoNeRF에서 효율적인 모델 크기를 유지하면서 최신(state-of-the-art) 성능을 달성해 최소침습 수술의 3D 재구성과 AR·내비게이션에 기여한다.

arXiv:2603.19964v3cs.CV

2K Retrofit: Entropy-Guided Efficient Sparse Refinement for High-Resolution 3D Geometry Prediction

High-resolution geometric prediction is essential for robust perception in autonomous driving, robotics, and AR/MR, but current foundation models are fundamentally limited by their scalability to real-world, high-resolution scenarios. Direct inference on 2K images with these models incurs prohibitive computational and memory demands, making practical deployment challenging. To tackle the issue, we present 2K Retrofit, a novel framework that enables efficient 2K-resolution inference for any geometric foundation model, without modifying or retraining the backbone. Our approach leverages fast coarse predictions and an entropy-based sparse refinement to selectively enhance high-uncertainty regions, achieving precise and high-fidelity 2K outputs with minimal overhead. Extensive experiments on widely used benchmark demonstrate that 2K Retrofit consistently achieves state-of-the-art accuracy and speed, bridging the gap between research advances and scalable deployment in high-resolution 3D vision applications. Code will be released upon acceptance.

arXiv:2601.22615v3cs.CV

TTSA3R: Training-Free Temporal-Spatial Adaptive Persistent State for Streaming 3D Reconstruction

Streaming recurrent models enable efficient 3D reconstruction by maintaining persistent state representations. However, they suffer from catastrophic forgetting over long sequences due to balancing historical information with new observations. Recent methods alleviate this by deriving adaptive signals from the attention perspective, but they operate on single dimensions without considering temporal and spatial consistency. To this end, we propose a training-free framework termed TTSA3R that leverages both temporal state evolution and spatial observation quality for adaptive state updates in 3D reconstruction. In particular, we devise a Temporal Adaptive Update Module that regulates update magnitude by analyzing temporal state evolution patterns. Then, a Spatial Contextual Update Module is introduced to localize spatial regions that require updates through observation-state alignment and scene dynamics. These complementary signals are finally fused to determine the state updating strategies. Extensive experiments show that TTSA3R achieves competitive performance on standard short-sequence benchmarks and provides substantially stronger robustness on extended sequences. On NRGBD, as sequences extend from 50 to 250 frames, TTSA3R exhibits only a 1.33x error increase, compared with over 4x degradation for CUT3R. This highlights the practical value of temporal-spatial adaptive updates for long-term reconstruction stability. Our code is available at https://github.com/anonus2357/ttsa3r.

arXiv:2506.21091v2cs.CV공식 코드 · Papers with Code

ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching

Stereo matching has become an increasingly important component of modern autonomous systems. Developing deep learning-based stereo matching models that deliver high accuracy while operating in real-time continues to be a major challenge in computer vision. In the domain of cost-volume-based stereo matching, accurate disparity estimation depends heavily on large-scale cost volumes. However, such large volumes store substantial redundant information and also require computationally intensive aggregation units for processing and regression, making real-time performance unattainable. Conversely, small-scale cost volumes followed by lightweight aggregation units provide a promising route for real-time performance, but lack sufficient information to ensure highly accurate disparity estimation. To address this challenge, we propose the Enhanced Shuffle Mixer (ESM) to mitigate information loss associated with small-scale cost volumes. ESM restores critical details by integrating primary features into the disparity upsampling unit. It quickly extracts features from the initial disparity estimation and fuses them with image features. These features are mixed by shuffling and layer splitting then refined through a compact feature-guided hourglass network to recover more detailed scene geometry. The ESM focuses on local contextual connectivity with a large receptive field and low computational cost, leading to the reconstruction of a highly accurate disparity map at real-time. The compact version of ESMStereo achieves an inference speed of 116 FPS on high-end GPUs and 91 FPS on the AGX Orin.

arXiv:2312.00206v4cs.CV공식 코드 · Papers with Code

SparseGS: Sparse View Synthesis using 3D Gaussian Splatting

3D Gaussian Splatting (3DGS) has recently enabled real-time rendering of unbounded 3D scenes for novel view synthesis. However, this technique requires dense training views to accurately reconstruct 3D geometry. A limited number of input views will significantly degrade reconstruction quality, resulting in artifacts such as "floaters" and "background collapse" at unseen viewpoints. In this work, we introduce SparseGS, an efficient training pipeline designed to address the limitations of 3DGS in scenarios with sparse training views. SparseGS incorporates depth priors, novel depth rendering techniques, and a pruning heuristic to mitigate floater artifacts, alongside an Unseen Viewpoint Regularization module to alleviate background collapses. Our extensive evaluations on the Mip-NeRF360, LLFF, and DTU datasets demonstrate that SparseGS achieves high-quality reconstruction in both unbounded and forward-facing scenarios, with as few as 12 and 3 input images, respectively, while maintaining fast training and real-time rendering capabilities.

arXiv:2606.24847v1cs.CV

Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Omnidirectional stereo images provide full-surround perception but violate the geometric assumptions of classical disparity estimation: in spherical or fisheye views, epipolar correspondences follow curved great-circle paths, producing two-dimensional displacements that cannot be treated as single-axis disparity before geometric rectification. In this work, we adopt a standard spherical-to-equirectangular (ERP) projection as a preprocessing step, which straightens epipolar curves and restores a one-dimensional disparity structure - horizontal for left-right rigs and vertical for top-bottom rigs. Building on our previously introduced RAFT + Epipolar-Aligned Channel Selection (EACS) framework, originally developed for rectilinear and ERP stereo, we examine whether the same modular pipeline remains accurate when the input originates from spherical stereo imagery. After ERP projection, dense optical flow from RAFT is reduced to disparity by retaining only the baseline-aligned flow component. Experiments on synthetic fisheye stereo datasets show that this spherical-to-ERP-to-RAFT+EACS pipeline produces accurate, smooth, and structurally consistent disparity maps at real-time speed. These findings confirm that established ERP preprocessing can be effectively combined with our earlier RAFT+EACS method to enable practical, interpretable, and efficient disparity estimation from spherical stereo, providing a straightforward pathway for extending conventional stereo pipelines to 360 imaging.

arXiv:2606.24829v1cs.CV

GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction

Camera-prompted text-to-video (T2V) models are increasingly used to synthesize virtual camera captures, such as orbiting objects or moving through static scenes. For these outputs, visual plausibility is insufficient: the generated frames should also provide coherent multi-view evidence for a single static 3D scene. We introduce GeoT2V-Bench, a reconstruction-based diagnostic benchmark for evaluating whether camera-prompted T2V clips can support explicit rigid 3D reconstruction. Our pipeline estimates per-frame camera intrinsics and poses with VGGT-style geometry estimation, fits DeformableGS, derives a static MedianGS proxy by temporal-median aggregation, and renders this proxy along the estimated camera path. Instead of producing a pass/fail label or a single scalar score, GeoT2V-Bench reports a continuous reconstruction profile covering apparent image motion, estimated trajectory behavior, MedianGS static rendering error, static-render flow agreement, and the gap between flexible and static fits. On a fair-format four-seed evaluation with 3,840 completed reconstructions from 12 open-weight model configurations and 80 GeCo-Eval static-scene prompts, we find that visible motion, static rendering error, flow agreement, and flexible-vs-static behavior often disagree. GeoT2V-Bench therefore captures complementary failure modes that emerge when generated videos are tested as global static-scene acquisitions.

arXiv:2606.24464v1cs.CV

기하학 인식 지식 증류를 통한 텍스트 기반 비디오 분할 향상

Boosting Text-Driven Video Segmentation via Geometry-Aware Distillation

텍스트 기반 참조 비디오 객체 분할(RVOS)은 자연어가 주어졌을 때 비디오에서 대상 객체를 위치 파악하고 분할하는 것을 목표로 한다. 그러나 기존 모델들은 일반적으로 단순한 분할 손실을 사용하여 2D 이미지 또는 비디오 데이터셋에서 학습되어, 프레임 간 기하학적 일관성을 간과하고 공간적 이해가 약해지는 문제가 있다. 본 논문에서는 텍스트 기반 비디오 분할을 향상시키기 위해 이미지로부터 3D 기하학적 지식을 증류하는 2단계 프레임워크인 기하학 강화 언어 유도 비디오 분할(GeoLaV)을 제안한다. 첫 번째 단계에서는 단안 새로운 시점 합성을 통한 단안 기하학 사전학습을 수행하여, 대규모 단일 이미지 데이터셋에서의 공간 정렬을 통해 모델이 기하학적으로 일관된 시각적 표현을 획득할 수 있도록 한다. 두 번째 단계에서는 기하학 인식 지식 증류를 도입하고 비디오 분할 데이터셋에서 모델을 미세조정하여, 일반적인 3D 사전 모델로부터 3D 구조 지식을 전이한다. 이 과정은 3D 인식을 강화하고 분할에서의 시공간 일관성과 언어 그라운딩을 모두 향상시킨다. 광범위한 실험을 통해 이미지 분할 데이터만을 사용한 우리의 방법이 이미 RVOS에서 눈에 띄는 제로샷 일반화 성능을 제공함을 확인하였다. 비디오에 대한 미세조정을 위한 기하학 인식 지식 증류와 결합하면, 우리의 방법은 다수의 RVOS 벤치마크에서 최첨단 성능을 달성한다. 코드는 https://github.com/Tony1882880/GeoLaV 에서 확인할 수 있다.

arXiv:2606.24457v1cs.CV

Lite Any Stereo V2: 더 빠르고 강력한 효율적 제로샷 스테레오 매칭

Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

스테레오 매칭 분야의 최근 발전은 놀라운 정확도를 달성했지만, 대형 모델이나 높은 연산량, 또는 추가적인 파운데이션 모델 사전 정보에 의존하는 경우가 많아 자원이 제한된 플랫폼에 배포하기 어렵다. 반면, 효율적인 스테레오 모델은 더 빠른 추론을 제공하지만 강력한 제로샷 일반화 능력이 부족하다는 인식이 일반적이다. 본 논문에서는 이러한 가정에 도전하여, 효율적인 제로샷 스테레오 매칭을 위해 설계된 초고속 모델 시리즈인 Lite Any Stereo V2(LAS2)를 제안한다. LAS2는 아키텍처와 학습 두 가지 관점에서 개발되었다. 아키텍처 측면에서, 실제 배포 환경을 고려한 효율적인 스테레오 설계를 재검토하고, 이론적 MAC 수치만이 아닌 실제 추론 지연 시간을 최적화한 2D 전용 비용 집계(cost aggregation) 프레임워크를 제안한다. 학습 측면에서는, 합성 데이터 지도 학습, 자기 증류(self-distillation), 그리고 실세계 지식 증류를 결합한 3단계 학습 전략을 개발한다. 실세계 유사 지도(pseudo supervision)의 신뢰성을 높이기 위해, 유사 레이블 필터링과 오류 클램핑(error-clamping) 연산을 추가로 도입하여 합성-실세계 전이를 더욱 원활하게 한다. LAS2는 다양한 효율성 예산을 위한 피드포워드 변형 모델과 더 높은 정확도를 위한 반복적 변형 모델을 포함하는 모델 패밀리로 구성된다. 광범위한 실험을 통해 LAS2가 효율적인 스테레오 방법들 중 최첨단 정확도를 달성하면서도 현저히 낮은 지연 시간을 유지함을 보인다. 특히, LAS2-H는 반복적 방법인 Fast-FoundationStereo보다 전반적으로 더 강한 제로샷 성능을 달성하며, H200과 Orin에서 각각 1.8배 및 2.7배 빠른 추론 속도를 보인다. 프로젝트 페이지, 데모, 코드는 https://tomtomtommi.github.io/LiteAnyStereoV2/ 에서 확인할 수 있다.

arXiv:2606.24282v1cs.CV

UniRED: 이벤트 가이던스를 활용한 통합 RGB-D 비디오 프레임 보간

UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance

고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.

arXiv:2606.24225v1cs.CV

기하학 지시 기반 비디오 편집

Geometry-Instructed Video Editing

객체 수준의 기하학적 편집—이동, 회전, 크기 조정, 복제, 제거 등—은 디지털 콘텐츠 제작(DCC) 워크플로우에서 일상적인 작업이지만, 생성형 비디오 편집에서는 아직 신뢰하기 어렵다. 핵심 과제는 시점과 시간에 걸쳐 대상 객체의 3D 상태 변화를 명확하게 지정하면서, 그림자나 반사와 같이 기하학에 의존하는 이차적 효과를 일관되게 갱신하는 것이다. 우리는 통합된 객체 상태 정식화를 통해 편집을 표현하는 기하학 지시 비디오 편집 프레임워크인 GIVE를 소개한다. 비디오와 정렬된 두 기하학 스트림이 편집 전후의 대상 객체를 기술한다: 하나는 대략적인 3D 위치와 크기를 인코딩하는 깊이-박스(depth-box)이고, 다른 하나는 외관에 독립적인 방향 단서를 제공하는 방향-박스(orientation-box)이다. 이 두 스트림은 함께 객체 상태 전환을 위한 간결한 편집 전/후 기하학적 명세를 제공한다. 이러한 편집 학습을 위한 쌍(paired) 지도 데이터를 확보하기 위해, 우리는 객체 수준의 편집 프로그램을 실행하고 제어된 전/후 쌍을 렌더링하는 확장 가능한 그래픽스 엔진 파이프라인을 구축하였으며, 이를 통해 의도한 기하학적 편집을 분리하면서 이차적 효과가 변환과 일관성을 유지하도록 한다. 실험 결과, GIVE는 통합 프레임워크 내에서 다양한 연산자에 걸쳐 시간적 일관성과 일관된 이차적 효과를 갖춘 충실한 기하학적 편집을 생성하며, 실제 환경의 비디오로의 전이 가능성도 보여준다. 프로젝트 페이지: https://geometry-instructed-video-editing.github.io/give/

arXiv:2606.24144v1cs.CV

3D 가우시안 스플래팅에서의 기하학 인식 스타일 전이

Geometry-Aware Style Transfer in 3D Gaussian Splatting

본 논문에서는 외형 속성과 기하학적 구조를 동시에 전이하는 3D 가우시안 스플래팅(3DGS)을 위한 새로운 기하학 인식 스타일 전이 프레임워크를 제안한다. 색상 기반 스타일화에 주로 집중하고 구조적 적응을 간과하는 기존 연구들과 달리, 본 방법은 색상 및 기하학 파라미터를 교대로 갱신하는 분리된 최적화 방식을 통해 기하학 적응을 명시적으로 통합한다. 이 전략은 색상과 기하학 갱신 간의 잠재적 간섭을 완화하여 안정적이고 일관된 장면 수준의 기하학 변환을 가능하게 한다. 분리된 최적화는 제안된 기하학 인식 대조적 특징(feature) 매칭(GCFM)에 의해 구현된다. GCFM은 RGB, 깊이, 에지 단서를 대조적 목적 함수에 통합하며, 스타일 이미지에서 가우시안 프리미티브로 구조적 특성을 효과적으로 전이하기 위해 두 최적화 단계 모두에 적용된다. 광범위한 실험을 통해 본 접근법이 정성적 충실도와 정량적 지표 모두에서 우수한 성능을 달성하며, 기존 3DGS 기반 스타일화 방법들을 크게 능가함을 보인다. 코드는 https://github.com/oweixx/gast 에서 확인할 수 있다.

arXiv:2606.24107v1cs.CV

DramaDirector: 기하학 기반 단막극 생성

DramaDirector: Geometry-Guided Short Drama Generation

단막극은 빠른 샷 리듬, 대화 중심의 초점 전환, 까다로운 촬영학적 그라운딩으로 인해 프롬프트 수준 또는 텍스트 전용 비디오 생성 파이프라인이 충족하기 어려운 과제를 제시한다. 우리는 플롯-투-단막극 생성을 연구하며, 전역 플롯과 지역 컨텍스트를 시각적으로 그라운딩된 멀티샷 비디오로 변환한다. 우리는 DramaDirector를 제안한다. 이는 기하학 기반 프레임워크로, 플래너가 깊이(depth)와 포즈(pose)로 인덱싱된 실제 단막극 샷 갤러리에서 촬영학적 기하학 정보를 차용할 수 있게 한다. DramaDirector는 각 샷을 정적 시각 조건과 동적 내러티브 조건으로 분리하고, 학습된 텍스트-시각 정렬 보상 하에서 스키마 제약 SFT 및 GRPO로 플래너를 학습시키며, 깊이-포즈 레퍼런스를 검색하여 첫 프레임 생성 및 이미지-투-비디오 합성을 안내한다. 또한 35편의 실사 드라마, 2,800개의 에피소드, 81,000개의 샷으로 구성된 벤치마크 DramaBoard를 도입하며, 구조화된 스토리보드와 다차원 평가 프로토콜을 포함한다. 실험 결과, DramaDirector는 충실도(faithfulness), 일관성(consistency), 제어 가능성(controllability) 측면에서 대표적인 멀티 에이전트 및 비디오 생성 기준선을 상회하는 성능을 보인다. 코드는 https://github.com/iLearn-Lab/DramaDirector 에서 공개되어 있다.