PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.00911v2cs.CV

이중 투영 융합을 통한 투영 인식 360도 이미지 왜곡 보정 학습

Learning Projection-Aware 360-Degree Image Rectification via Dual-Projection Fusion

파노라마 카메라는 360° 시야각을 제공하여 파노라마 비전, 몰입형 시각 컴퓨팅, 로봇 인식 분야에서 널리 활용되고 있다. 그러나 카메라 방향의 변화는 수직이 맞지 않는(non-upright) 파노라마를 생성하여 기하학적 변형을 유발하며, 이는 다운스트림 시각 분석을 복잡하게 만들 수 있다. 기존의 비전 기반 보정 방법들은 대개 단일 투영 도메인 내에서 작동하므로, 국소적 기하학적 구조와 전역적 문맥 정보를 함께 활용하는 능력에 한계가 있다. 이를 해결하기 위해 본 논문에서는 360° 이미지 왜곡 보정을 투영 인식(projection-aware) 표현 학습 문제로 정의하고, 직립 파노라마 보정을 위한 이중 투영 프레임워크를 제안한다. 합성곱 신경망(CNN) 브랜치는 정거원통도법(ERP) 입력으로부터 국소적 기하 구조를 포착하며, 비전 트랜스포머(ViT) 브랜치는 큐브맵 투영으로부터 전역적 문맥 단서를 모델링한다. 상호 투영 특징 변환 및 다단계 특징 융합을 통해 이러한 상호 보완적인 표현 간의 효과적인 상호작용이 가능해진다. 학습된 표현은 협력적 경사 추정과 직립 파노라마 생성을 지원하며, 이 두 작업은 상호 보완적인 기하학적 및 외관적 지도(supervision)를 제공한다. SUN360 및 M3D 데이터셋 대상 실험에서 본 기법은 기존 방법 대비 일관된 성능 향상을 보여주었으며, 각각 1° 오차 임계값 내 정확도 65.9% 및 85.2%, Fréchet Inception Distance 점수 5.87 및 3.26을 달성하였다. 소거 연구(ablation studies)를 통해 이중 투영 표현, 상호 투영 특징 변환 및 융합, 협력적 다중 작업 학습의 기여도를 검증하였다. 제안하는 프레임워크는 파노라마 보정을 위한 투영 인식 시각 컴퓨팅 접근법을 제공한다. 코드, 사전학습 모델, 학습/테스트 스크립트는 https://github.com/YuhaoShine/DualProjectionFusion 에서 확인할 수 있다.

arXiv:2505.06668v2cs.CV

StableMotion: 확산 사전 기반 원스텝 모션 추정

StableMotion: One-Step Motion Estimation with Diffusion Prior

본 논문은 사전학습된 대규모 이미지 확산 모델의 기하학적·콘텐츠 사전(prior)을 활용하여 Stitched Image Rectangling(SIR) 및 Rolling Shutter Correction(RSC)과 같은 단일 이미지 보정(rectification) 작업에서 모션 추정을 수행하는 새로운 프레임워크 StableMotion을 제안한다. 구체적으로 StableMotion은 텍스트-이미지 Stable Diffusion(SD) 모델을 백본으로 사용하고 이를 이미지-모션 추정기로 재구성한다. 확산 모델이 생성하는 불일관한 출력을 완화하기 위해, 여러 출력을 응집력 있는 고품질 결과로 통합하는 Adaptive Ensemble Strategy(AES)를 제안한다. 또한 샘플링 스텝 수를 늘리면 오히려 결과가 나빠질 수 있는 역설적 현상인 Sampling Steps Disaster(SSD)를 제시하고, 이는 원스텝 추론 설계의 동기가 된다. StableMotion은 두 가지 이미지 보정 작업에서 평가되었으며 두 작업 모두에서 최신(state-of-the-art) 성능을 달성했고, 보지 못한 SIR-OOD 및 실제 촬영 RSC 벤치마크에 대한 정성적 예시와 무참조(no-reference) 평가를 통해 유망한 전이 가능성도 보여준다. SSD에 힘입어 StableMotion은 효율적인 원스텝 추론을 달성하며, 선택적 AES 후처리와 함께 사용하더라도 이전 확산 모델 기반 방법 대비 100× 이상의 속도 향상을 제공한다. 코드와 가중치는 https://github.com/ivowang/StableMotion 에서 제공된다.