이중 투영 융합을 통한 투영 인식 360도 이미지 왜곡 보정 학습
Learning Projection-Aware 360-Degree Image Rectification via Dual-Projection Fusion
파노라마 카메라는 360° 시야각을 제공하여 파노라마 비전, 몰입형 시각 컴퓨팅, 로봇 인식 분야에서 널리 활용되고 있다. 그러나 카메라 방향의 변화는 수직이 맞지 않는(non-upright) 파노라마를 생성하여 기하학적 변형을 유발하며, 이는 다운스트림 시각 분석을 복잡하게 만들 수 있다. 기존의 비전 기반 보정 방법들은 대개 단일 투영 도메인 내에서 작동하므로, 국소적 기하학적 구조와 전역적 문맥 정보를 함께 활용하는 능력에 한계가 있다. 이를 해결하기 위해 본 논문에서는 360° 이미지 왜곡 보정을 투영 인식(projection-aware) 표현 학습 문제로 정의하고, 직립 파노라마 보정을 위한 이중 투영 프레임워크를 제안한다. 합성곱 신경망(CNN) 브랜치는 정거원통도법(ERP) 입력으로부터 국소적 기하 구조를 포착하며, 비전 트랜스포머(ViT) 브랜치는 큐브맵 투영으로부터 전역적 문맥 단서를 모델링한다. 상호 투영 특징 변환 및 다단계 특징 융합을 통해 이러한 상호 보완적인 표현 간의 효과적인 상호작용이 가능해진다. 학습된 표현은 협력적 경사 추정과 직립 파노라마 생성을 지원하며, 이 두 작업은 상호 보완적인 기하학적 및 외관적 지도(supervision)를 제공한다. SUN360 및 M3D 데이터셋 대상 실험에서 본 기법은 기존 방법 대비 일관된 성능 향상을 보여주었으며, 각각 1° 오차 임계값 내 정확도 65.9% 및 85.2%, Fréchet Inception Distance 점수 5.87 및 3.26을 달성하였다. 소거 연구(ablation studies)를 통해 이중 투영 표현, 상호 투영 특징 변환 및 융합, 협력적 다중 작업 학습의 기여도를 검증하였다. 제안하는 프레임워크는 파노라마 보정을 위한 투영 인식 시각 컴퓨팅 접근법을 제공한다. 코드, 사전학습 모델, 학습/테스트 스크립트는 https://github.com/YuhaoShine/DualProjectionFusion 에서 확인할 수 있다.