PyTorchKR Papers

최신 논문

총 2,547편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09024v1cs.CV

비디오 생성 모델은 범용 비전 학습자다

Video Generation Models are General-Purpose Vision Learners

다음 토큰 예측에 힘입어, 자연어 처리(NLP)는 태스크별 모델에서 강력한 범용 파운데이션 모델로 전환되었다. 그렇다면 컴퓨터 비전(CV)에서 범용 모델을 달성하기 위해 필요한 동등한 촉매는 무엇인가? 본 논문에서 우리는 대규모 텍스트-투-비디오 생성이 컴퓨터 비전을 위한 강력한 사전학습 패러다임으로 기능하며, 범용 시각 지능에 필요한 시공간적 사전 지식, 비전-언어(vision-language) 정렬, 그리고 확장성을 제공한다고 주장한다. 우리는 GenCeption을 소개한다. GenCeption은 사전학습된 비디오 생성 확산(diffusion) 백본을 활용하여 피드포워드 인식 모델을 정의하며, 텍스트 인스트럭션으로 조종되는 다양한 비전 태스크를 수행할 수 있다. 실험 결과, GenCeption은 깊이 추정, 표면 법선 추정, 카메라 포즈 추정, 표정-참조 분할(expression-referring segmentation), 3D 키포인트 예측을 포함한 다양한 태스크에서 최첨단 성능을 달성하며, DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, Lotus-2 등 전문화된 모델과 동등하거나 이를 능가하는 경우가 많다. 또한, 비디오 생성 사전학습 백본은 동등한 조건에서 V-JEPA, Video MAE 등 대안적 사전학습 패러다임을 능가한다. 중요하게도, GenCeption은 초기적인 데이터 및 모델 스케일링(scaling) 특성과 함께 뛰어난 데이터 효율성을 보이며, D4RT 및 VGGT-Omega와 같은 선도 모델 대비 학습 데이터를 7배에서 500배 적게 사용하면서도 비슷한 성능을 달성한다. 마지막으로, GenCeption은 흥미로운 창발적(emergent) 행동을 보인다. 합성 인간 비디오만으로 학습된 모델이 실제 영상과 분포 외(out-of-distribution) 객체 범주(예: 동물 및 로봇)로 일반화된다. 이러한 결과는 비디오 생성이 단순한 합성 도구가 아니라, 물리적 세계를 위한 범용 시각 지능을 향한 근본적인 경로임을 시사한다. 프로젝트 페이지: https://genception.github.io

arXiv:2607.08948v1cs.RO

SplatCtrl: 가우시안 장면 표현과 반응형 로봇 제어를 통한 인지-행동 결합

SplatCtrl: Perception-Action Coupling via Gaussian Scene Representations and Reactive Robot Control

로봇 매니퓰레이터는 구조화된 환경에서 뛰어난 성능을 발휘하지만, 비구조적이고 동적인 환경에서는 상당한 어려움에 직면한다. 본 논문은 기존에 경험하지 못한 환경과 지속적으로 변화하는 환경에서 충돌 없는 로봇 팔 제어를 가능하게 하는 실시간 장면 재구성 및 반응형 로봇 동작 생성을 위한 통합 프레임워크인 SplatCtrl을 제안한다. 3D 가우시안 스플래팅(3D-GS)을 기반으로, RGB-D 스트림으로부터의 효율적인 장면 재구성을 지원하면서 환경 변화를 수용하는 하이브리드 복셀 기반 필터링 및 동적 가우시안 재배치 전략을 도입한다. 안전하고 반응적인 제어를 위해, 등방성 가우시안으로부터 연속적인 부호 있는 거리 함수(signed distance function)를 유도하는 방법을 추가로 제안하며, 이는 고전적인 거리 필드와 현대적인 암묵적 표현을 연결하는 안정적이고 미분 가능한 충돌 확률 추정값을 제공한다. 이러한 연속적인 거리 메트릭은 제어 배리어 함수(control barrier function)에 통합되어, 장면 변화에 대응하는 부드럽고 신뢰할 수 있는 실시간 동작 생성을 지원하는 통합 인지-행동 결합 프레임워크를 구성한다. 시뮬레이션, 실제 로봇, 그리고 인간-로봇 공유 작업 공간에서의 실험적 검증을 통해 프레임워크의 효과성을 입증하며, 불확실하고 동적인 환경에서 통합된 장면 재구성과 반응형 제어를 달성함을 보인다.

arXiv:2607.08808v1cs.CV

StereoSplat+: 확산 모델 보조 점진적 추론을 활용한 피드-포워드 스테레오 가우시안 스플래팅

StereoSplat+: Feed-Forward Stereo Gaussian Splatting with Diffusion-Assisted Progressive Inference

3D 가우시안 스플래팅(3DGS)의 최근 발전으로 새로운 시점 합성을 위한 고품질 렌더링 가능 장면 표현이 가능해졌다. 그러나 기존 3DGS 파이프라인 대부분은 충분한 커버리지를 달성하기 위해 다중 시점 관측(또는 미래 프레임에 대한 비인과적 접근)에 의존하며, 이는 단일 스테레오 리그로 감지가 제한되는 온-디바이스 로보틱스 및 AR 환경에서는 대개 이용 불가능하다. 따라서 하나의 스테레오 관측으로부터 고품질 3DGS 장면을 복원하는 것은 가림 현상, 제한된 시야각, 누락된 기하 정보로 인해 여전히 어려운 과제이다. 본 논문에서는 단일 스테레오 쌍으로부터 인과적 재구성을 가능하게 하는 확산 모델 강화 피드-포워드 프레임워크인 StereoSplat+를 제안한다. 본 방법은 두 가지 핵심 구성 요소를 기반으로 한다. 첫째, 입력 불변(input-invariant) 피드-포워드 3D 가우시안 추정기인 StereoSplat을 제안한다. StereoSplat은 가변 수의 포즈 정보가 주어진 스테레오 쌍을 입력으로 받아 고품질 3D 가우시안을 예측한다. StereoSplat은 코스트 볼륨 브랜치와 트라이플레인 기반 3D 볼륨 브랜치를 통해 상호 보완적인 기하 단서를 융합하고, 연속적인 포즈 인코딩을 활용하여 다양한 시점 수와 카메라 구성에 걸쳐 일반화한다. 둘째, 추론 시 다수의 포즈 정보가 주어진 스테레오 쌍이 일반적으로 이용 불가능하기 때문에, StereoSplat+라는 확산 모델 강화 원샷 점진적 추론 방식을 도입한다. 이 방식은 하나의 스테레오 쌍에서 시작하여, 예측된 3DGS로부터 새로운 스테레오 시점을 렌더링하고, 1단계 확산 모델 인핸서로 이를 정제한 후, 3DGS를 갱신하기 위한 추가 입력으로 다시 공급한다. KITTI-360 데이터셋에서의 실험 결과, StereoSplat+는 특히 가림 영역과 강한 시점 외삽 환경에서 새로운 시점 렌더링 품질 및 기하 정확도를 향상시키며, 최근 피드-포워드 3DGS 기반 방법들을 능가한다.

arXiv:2607.02360v4cs.CV

GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정

GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision

단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.

arXiv:2603.22786v2cs.CV

새로운 시점 합성을 위한 가우시안 스플래팅의 예측적 광도 불확실성

Predictive Photometric Uncertainty in Gaussian Splatting for Novel View Synthesis

3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 인상적인 포토리얼리스틱한 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 순수한 렌더링 엔진에서 자율 에이전트(autonomous agents)와 안전 필수 애플리케이션을 위한 신뢰할 수 있는 공간 맵으로 전환하기 위해서는, 표현이 어디서 불확실한지를 아는 것이 렌더링 충실도 자체만큼이나 중요하다. 우리는 픽셀 단위의 시점 의존적 예측 불확실성 추정을 위한 경량의 플러그앤플레이(plug-and-play) 프레임워크를 도입하여 이 핵심적 격차를 해소한다. 우리의 사후(post-hoc) 방법은 재구성 잔차에 대한 베이즈 정규화 선형 최소자승 최적화로 불확실성을 공식화한다. 이 아키텍처 독립적 접근법은 기반 장면 표현을 수정하거나 기준선 시각적 충실도를 저하시키지 않고 프리미티브별 불확실성 채널을 추출한다. 결정적으로, 이 실행 가능한 신뢰성 신호를 제공함으로써 3D 가우시안 스플래팅이 신뢰할 수 있는 공간 맵으로 성공적으로 전환됨을 입증하며, 능동적 시점 선택, 포즈 독립적 장면 변화 감지, 포즈 독립적 이상 탐지라는 세 가지 중요한 다운스트림 인식 작업 전반에서 최신 성능을 더욱 향상시킨다.

arXiv:2603.05711v2cs.CV

Any to Full: 단일 단계 깊이 완성을 위한 Depth Anything 프롬프팅

Any to Full: Prompting Depth Anything for Depth Completion in One Stage

정확하고 밀집된 깊이 추정은 로봇 인식에 필수적이지만, 일반 센서는 하드웨어 한계로 인해 희소하거나 불완전한 측정값을 생성하는 경우가 많다. 기존의 RGBD 융합 깊이 완성 방법은 학습 RGB 분포와 특정 깊이 패턴에 공동으로 조건화된 사전 지식을 학습하여, 다양한 깊이 패턴에 대한 도메인 일반화와 강건성이 제한된다. 최근의 연구들은 단안 깊이 추정(MDE) 모델을 활용하여 도메인 일반적인 기하학적 사전 지식을 도입하고 있으나, 명시적인 상대-절대 스케일 정렬에 의존하는 현재의 2단계 통합 전략은 추가적인 연산을 요구하고 구조적 왜곡을 유발한다. 이를 해결하기 위해, 본 논문에서는 완성 문제를 사전학습된 MDE 모델의 스케일 프롬프팅 적응으로 재정의하는 단일 단계, 도메인 일반적, 패턴 무관 프레임워크인 Any2Full을 제안한다. 다양한 깊이 희소성 수준과 불규칙한 공간 분포를 처리하기 위해, 스케일 인식 프롬프트 인코더(Scale-Aware Prompt Encoder)를 설계하였다. 이 인코더는 희소 입력으로부터 스케일 단서를 통합된 스케일 프롬프트로 증류하여, MDE 모델이 기하학적 사전 지식을 보존하면서 전역적으로 스케일 일관성 있는 예측을 생성하도록 유도한다. 광범위한 실험을 통해 Any2Full이 우수한 강건성과 효율성을 달성함을 확인하였다. Any2Full은 평균 AbsREL 기준으로 OMNI-DC 대비 32.2% 향상된 성능을 보이며, 동일한 MDE 백본을 사용하는 PriorDA 대비 1.4배의 속도 향상을 달성하여 범용 깊이 완성의 새로운 패러다임을 제시한다. 코드와 체크포인트는 https://github.com/zhiyuandaily/Any2Full에서 공개되어 있다.

arXiv:2506.22784v2cs.CV

지도 학습 기반 크로스 모달 특징 매칭을 통한 단일 프레임 포인트-픽셀 정합

Single-Frame Point-Pixel Registration via Supervised Cross-Modal Feature Matching

LiDAR 포인트 클라우드와 카메라 이미지 간의 포인트-픽셀 정합(point-pixel registration)은 자율주행 및 로봇 인식에서 근본적이면서도 어려운 과제입니다. 핵심적인 난점은 비정형 포인트 클라우드와 정형 이미지 간의 모달리티 격차에 있으며, 특히 희소한 단일 프레임 LiDAR 환경에서 더욱 두드러집니다. 기존 방법들은 포인트 클라우드와 이미지에서 각각 특징(feature)을 추출한 후 수작업 또는 학습 기반 매칭 전략에 의존합니다. 이러한 분리 인코딩 방식은 모달리티 격차를 효과적으로 해소하지 못하며, 더 중요하게는 단일 프레임 LiDAR의 희소성(sparsity)과 노이즈 문제에 취약하여 신뢰성 향상을 위해 포인트 클라우드 누적이나 추가적인 사전 정보를 필요로 하는 경우가 많습니다. 최근 디텍터 프리(detector-free) 매칭 패러다임의 발전에서 영감을 받아, 우리는 프로젝션 기반 접근법을 재고하고 LiDAR와 카메라 뷰 간의 직접적인 포인트-픽셀 매칭을 위한 디텍터 프리 프레임워크를 도입합니다. 매칭 신뢰성을 더욱 향상시키기 위해, 소프트 가시성 사전 정보(soft visibility prior)로 작동하는 반복성 점수화 메커니즘(repeatability scoring mechanism)을 도입합니다. 이는 네트워크가 강도 변화가 낮은 영역에서 신뢰할 수 없는 매칭을 억제하도록 유도하여 희소한 입력에 대한 강건성을 향상시킵니다. KITTI, nuScenes, MIAS-LCEC-TF70 벤치마크에 대한 광범위한 실험을 통해, 우리의 방법이 단일 프레임 LiDAR만을 사용함에도 불구하고 누적 포인트 클라우드에 의존하는 방법들을 포함한 기존 접근법들을 nuScenes에서 능가하며 최첨단 성능을 달성함을 입증합니다.

arXiv:2408.12322v2cs.CV

멀티모달 파운데이션 모델과 기하학을 활용한 제로샷 3D 일반 장애물 탐지

Zero-shot 3D General Obstacle Detection via Multimodal Foundation Models and Geometry

일반 장애물 탐지는 자율주행, 특히 희귀하거나 미지의 객체가 등장하는 롱테일 시나리오에서 매우 중요합니다. 기존 방법들은 지도 학습이나 사전 정의된 카테고리에 의존하여 일반화 능력이 제한됩니다. 본 연구에서는 멀티모달 파운데이션 모델과 기하학적 추론을 결합한 학습-프리(training-free) 방식의 3D 장애물 탐지 접근법을 제안합니다. 핵심 아이디어는 장애물을 도로 표면으로부터의 이탈로 탐지하고, 이를 2D에서 분할한 뒤 시간적 LiDAR 집계를 통해 3D로 위치를 추정하는 것입니다. 해당 파이프라인은 태스크별 학습 없이 제로샷(zero-shot) 방식으로 동작합니다. 실험 결과, 최대 100미터까지 정확한 위치 추정이 가능하며, 파운데이션 모델 사전 정보를 통해 재현율이 10~25% 향상되고 확장 가능한 자동 레이블링이 가능함을 보여줍니다.

arXiv:2607.07885v1cs.RO

비정형 환경에서 로봇을 위한 사전학습 비전 모델 기반 충돌 시간(TTC) 동적 장애물 회피

Time-to-Collision Based Dynamic Obstacle Avoidance Using Pretrained Vision Models for Robots in Unstructured Environments

UniDepth 기반 단안 깊이 추정과 SuperPoint/SuperGlue 키포인트 대응을 결합해 각 키포인트의 충돌 시간(TTC)을 기하학적으로 계산하고, 최소 TTC 키포인트로부터 로봇을 회피시키는 해석 가능한 동적 장애물 회피 방법을 제안한다. M3ED 데이터셋 실험에서 모델 학습 없이 74초 분량의 데이터만으로 하이퍼파라미터를 조정하면서도 22개 장애물 중 20개를 탐지하고, 참양성의 84%에서 올바른 회피 방향을 생성하는 높은 데이터 효율성을 달성했다.

arXiv:2607.08772v1cs.CV

Wat3R: 어노테이션 없는 수중 3D 기하 학습

Wat3R: Underwater 3D Geometry Learning without Annotations

수중 환경의 빛 감쇠 및 산란으로 인한 어노테이션 부재 문제를 해결하기 위해, Wat3R는 교사-학생 아키텍처 기반의 크로스 도메인 준지도 학습(semi-supervised learning) 프레임워크로 VGGT를 수중 도메인에 적응시키며 어노테이션 없이 실제 수중 영상만으로 학습한다. 크로스 뷰 일관성 손실(Cross-View Consistent Loss)과 새로 구축한 Water3D 데이터셋을 통해 수중 다시점 깊이 추정 및 포인트 클라우드 재구성에서 최고 성능(SOTA)을 달성했다.

arXiv:2607.08771v1cs.CV

ZipDepth: 경량 제로샷 단안 깊이 추정을 모든 기기 어디서나

ZipDepth: Bringing Lightweight Zero-Shot Monocular Depth Anywhere, on Any Device

ZipDepth는 파운데이션 모델(Depth Anything v2-Large)로부터의 대규모 지식 증류(distillation)와 효율적인 재매개변수화(reparameterizable) 인코더-디코더를 결합해, 단 610만 개의 파라미터로 제로샷(zero-shot) 단안 깊이 추정(monocular depth estimation)을 실현한 경량 네트워크다. 5개의 벤치마크에서 경량 모델 중 최고의 정확도-효율성 트레이드오프를 달성하며, 서버 GPU부터 Jetson Orin NX 등 전력 제약 기기에서도 실시간 추론이 가능하다.

arXiv:2607.08769v1cs.CV

파노라마 야외 재건을 위한 기하학 및 그래디언트 기반 분할

Geometry and Gradient-based Partitioning for Panoramic Outdoor Reconstruction

대규모 야외 파노라마 장면에서 3D 가우시안 스플래팅(3DGS)을 블록 단위로 효율적으로 최적화하기 위해, 기존의 핀홀 카메라 프러스텀 기반 분할 전략이 360° 전방위 가시성으로 인해 무력화되는 문제를 해결하는 PanoLOG 프레임워크와 기하학·그래디언트 기반 분할 전략(G²PS)을 제안한다. G²PS는 시차 기반 불확실성 분석으로 적응형 경계 볼륨을 구성하고 그래디언트 중요도 점수로 카메라-블록 할당 문제를 해결하며, 새로 구축한 대규모 파노라마 벤치마크 Pano360에서 최고 수준의 렌더링 품질과 확장 가능한 블록 병렬 학습 성능을 입증한다.

arXiv:2607.08765v1cs.CV

기하학적 인식 사전학습을 통한 문맥 내 파노라마 생성 향상

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

Canvas360은 기하학적 인식 사전학습과 문맥 내(in-context) 파노라마 생성을 결합한 2단계 프레임워크로, 병렬 깊이 생성, velocity circular padding, 유사도 손실 정규화를 통해 구형 공간의 기하학적 일관성과 경계 연속성을 확보한다. 스타일 전환, 인페인팅, 아웃페인팅, 편집을 포괄하는 100만 쌍 규모의 Canvas360Dataset을 구축하고 토큰 수준 연결로 통합 프레임워크를 학습한 결과, 파노라마 특화 FAED 지표에서 기존 방법 대비 우수한 성능을 달성했다.

arXiv:2607.08711v1cs.CV

LTM: 산불 취약 지형을 위한 대규모 지형 모델

LTM: Large-scale Terrain Model for Wildfire-prone Landscapes

산불 취약 지역의 광대한 지형을 실시간으로 3D 재건하기 위해, 기존 수치 표고 모델(DEM)을 기하학적 사전 정보로 활용하는 멀티모달 프레임워크 LTM을 제안하며, 물리 기반 픽셀-픽셀 정합으로 고비용 특징 매칭을 대체해 계산 복잡도를 획기적으로 줄인다. 실제 산불 피해 지역 기반 대규모 지형 시뮬레이터로 검증한 결과, 기존 기법 대비 재건 정확도와 계산 효율성 모두에서 유의미한 향상을 달성했다.

arXiv:2607.08537v1cs.CV

Whareformer: 긴 1인칭 시점 비디오에서 무엇이 어디에 있는지 추적하는 학습 기반 방법

Whareformer: Learning to Track What is Where in Long Egocentric Videos

1인칭 시점 장시간 영상에서 카메라 착용자가 이동시킨 객체가 시야를 벗어나도 추적을 유지하는 OSNOM 태스크를 위해, 객체의 외형(what)과 3D 위치(where)를 함께 추론하는 최초의 학습 기반 트랜스포머 모델 Whareformer를 제안한다. 56개 영상만으로 학습했음에도 EPIC-KITCHENS-100, IT3DEgo, HD-EPIC 세 벤치마크에서 기존 방법 대비 큰 성능 향상으로 SOTA를 달성했다.

arXiv:2607.08375v1cs.CV

WCog-VLA: 엔드-투-엔드 자율주행을 위한 이중 수준 세계-인지 비전-언어-액션 모델

WCog-VLA: A Dual-Level World-Cognitive Vision-Language-Action Model for End-to-End Autonomous Driving

의미론적 세계 예측과 생성적 세계 진화를 통합하는 이중 수준 VLA 프레임워크 WCog-VLA를 제안하며, 3D 공간 인지 기반의 에이전트 토큰과 Game-CoT 추론, 그리고 다중 에이전트 궤적을 합성하는 ADDT 생성 세계 모델을 결합해 능동적 자율주행을 구현한다. NAVSIM 벤치마크에서 PDMS 92.9의 최고 성능(SOTA)을 달성했으며, 85k개의 Game-CoT 어노테이션 데이터셋을 추가로 구축하였다.

arXiv:2607.06553v2cs.CV

RGB 생성에서 밀집 필드 판독으로: 텍스트-이미지 모델을 활용한 픽셀 공간 밀집 예측

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

ReChannel은 텍스트-이미지 생성 모델(FLUX-Klein 기반)의 DiT 백본을 밀집 예측(dense prediction)에 재활용할 때, 기존처럼 타깃을 VAE 잠재 공간에 인코딩-디코딩하는 생성적 출력 인터페이스를 제거하고, 각 공간 토큰을 태스크 고유의 픽셀 패치로 직접 매핑하는 토큰-로컬 선형 헤드(약 33K 파라미터)로 대체한다. 트리맵 없는 매팅, KITTI 깊이, 지칭 분할에서 최첨단 성능을 달성하면서 동일한 4B 설정에서 기존 편집-잠재 디코드 방식 대비 2.48배 빠른 추론 속도를 보인다.

arXiv:2606.27071v2cs.CV

PanoImager: 희소 파노라마 뷰로부터의 기하학 유도 신규 뷰 합성 및 재구성

PanoImager: Geometry-Guided Novel View Synthesis and Reconstruction from Sparse Panoramic Views

회전이 지배적이고 시차가 약한 희소 파노라마에서는 SfM/SLAM 초기화가 불안정해지는 문제를, PanoImager가 피드포워드 포즈·깊이 사전, 기하학 조건화 diffusion 뷰 완성, 깊이 유도 3DGS 최적화를 결합한 SfM-free 방식으로 해결한다. 소수의 파노라마를 지역 원근 뷰로 분해해 보조 관측을 합성하고 Gaussian 최적화를 안정화하며, 여러 벤치마크에서 극단적 희소성 하에서도 재구성 안정성이 개선됨을 보였다.

arXiv:2512.14236v2cs.CV

Elastic3D: 가이드된 잠재 디코딩을 활용한 제어 가능한 스테레오 비디오 변환

Elastic3D: Controllable Stereo Video Conversion with Guided Latent Decoding

몰입형 3D 콘텐츠에 대한 수요가 증가함에 따라 단안(monocular) 영상을 스테레오 비디오로 자동 변환하는 기술이 필요해지고 있다. 본 논문에서는 일반 비디오를 양안(binocular) 비디오로 업그레이드하는 제어 가능한 직접 엔드-투-엔드 방법인 Elastic3D를 제안한다. 조건부 잠재 확산(conditional latent diffusion)에 기반한 우리의 접근법은 명시적인 깊이 추정 및 워핑(warping)으로 인한 아티팩트를 방지한다. 고품질 스테레오 비디오 출력의 핵심은 선명하고 에피폴라(epipolar) 일관성을 갖춘 스테레오 비디오 출력을 보장하는 새로운 가이드 VAE 디코더이다. 또한, 우리의 방법은 직관적인 스칼라 조절 노브를 통해 추론 시 사용자가 스테레오 효과의 강도(더 정확히는 시차(disparity) 범위)를 제어할 수 있도록 한다. 실제 스테레오 비디오의 세 가지 서로 다른 데이터셋에 대한 실험 결과, 우리의 방법은 전통적인 워핑 기반 및 최근의 워핑 없는(warping-free) 기준 방법들을 모두 능가하며 신뢰할 수 있는 제어 가능한 스테레오 비디오 변환의 새로운 기준을 제시한다. 비디오 샘플은 프로젝트 페이지(https://elastic3d.github.io)에서 확인할 수 있다.

arXiv:2511.20644v2cs.CV

공간 추론을 위한 비전-언어 메모리

Vision-Language Memory for Spatial Reasoning

공간 추론은 지능형 로봇에게 핵심적인 능력이지만, 현재의 비전-언어 모델(VLM)은 비디오 기반 공간 추론에서 인간 수준의 성능에 아직 미치지 못한다. 이 격차는 주로 두 가지 과제에서 비롯된다: 일관된 3D 이해를 방해하는 의미론적-기하학적 불일치, 그리고 프레임 간 3D 표현 및 이해를 유지하는 지속적 메모리의 부재이다. 이러한 한계를 해결하기 위해, 우리는 VLM$^2$를 제시한다. 이는 순수한 2D 비디오로부터 시점 일관적이고 3D를 인식하는 표현을 활용하여 공간 추론을 수행하는 지속적 메모리를 갖춘 비전-언어 모델이다. 구체적으로, 즉각적인 컨텍스트에 집중하기 위해 슬라이딩 윈도우 방식으로 작동하는 작업 기억(working memory)과 프레임 전반에 걸쳐 중요한 정보를 통합하고 저장하는 에피소딕 메모리(episodic memory)로 구성된 이중 메모리 모듈을 도입한다. 이 설계는 고정된 계산 비용 하에서 제한적이고 효율적인 공간 추론을 가능하게 한다. 다수의 벤치마크에서 수행한 광범위한 실험을 통해 VLM$^2$가 비디오 기반 모델 중 최첨단 성능을 달성하며, 시각적 공간 지능의 경계를 크게 발전시킴을 보인다.