GeoFill: Reference-Based Image Inpainting with Better Geometric Understanding
원문 초록
Reference-guided image inpainting restores image pixels by leveraging the content from another single reference image. The primary challenge is how to precisely place the pixels from the reference image into the hole region. Therefore, understanding the 3D geometry that relates pixels between two views is a crucial step towards building a better model. Given the complexity of handling various types of reference images, we focus on the scenario where the images are captured by freely moving the same camera around. Compared to the previous work, we propose a principled approach that does not make heuristic assumptions about the planarity of the scene. We leverage a monocular depth estimate and predict relative pose between cameras, then align the reference image to the target by a differentiable 3D reprojection and a joint optimization of relative pose and depth map scale and offset. Our approach achieves state-of-the-art performance on both RealEstate10K and MannequinChallenge dataset with large baselines, complex geometry and extreme camera motions. We experimentally verify our approach is also better at handling large holes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법
Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation
이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.
기하학적 인식 사전학습을 통한 문맥 내 파노라마 생성 향상
Enhancing In-context Panoramic Generation via Geometric-aware Pretraining
본 연구에서는 기하학적 인식 사전학습과 다운스트림 태스크별 미세조정을 결합한 문맥 내(in-context) 파노라마 생성을 위한 2단계 프레임워크 Canvas360을 제시합니다. 문맥 내 파노라마 태스크에 특화된 대규모 고품질 학습 데이터의 부족 문제를 해결하기 위해, 스타일 전환, 인페인팅(inpainting), 아웃페인팅(outpainting), 편집을 위한 100만 개의 고품질 쌍(paired) 파노라마 샘플로 구성된 Canvas360Dataset을 제안하여 다양한 문맥 내 생성 시나리오에 걸친 효과적인 지도 학습을 가능하게 합니다. 모델링 측면에서 Canvas360은 병렬 깊이 생성(parallel depth generation), 속도 순환 패딩(velocity circular padding), 유사도 손실 정규화(similarity loss regularization)를 통해 텍스트-파노라마 생성을 향상시키며, 모델이 기하학적 인식 표현을 학습하고 객체 왜곡 세부 사항을 포착하여 기하학적 일관성과 전역 일관성을 개선할 수 있도록 합니다. 나아가, 강력한 파노라마 사전 지식(panoramic priors)을 기반으로 Canvas360은 토큰 수준 연결(token-level concatenation)을 통해 다양한 다운스트림 태스크를 지원하는 통합 문맥 내 파노라마 생성 프레임워크를 실현하며, 태스크 커버리지와 모델링 유연성 모두에서 기존 방법을 능가합니다. 광범위한 실험을 통해 Canvas360이 파노라마 이미지 충실도를 향상시키며, 파노라마 특화 FAED 지표에서 특히 강력한 성능을 달성하고 보고된 정량적 평가 전반에 걸쳐 경쟁력 있거나 선도적인 결과를 달성함을 확인하였습니다. 자세한 정보는 프로젝트 페이지에서 확인할 수 있습니다: https://zry000.github.io/Canvas360/
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
Cross-modal transformers for infrared and visible image fusion
TransDSSL: Transformer based Depth Estimation via Self-Supervised Learning
Focal-WNet: An Architecture Unifying Convolution and Attention for Depth Estimation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.