PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.00911v2cs.CV

이중 투영 융합을 통한 투영 인식 360도 이미지 왜곡 보정 학습

Learning Projection-Aware 360-Degree Image Rectification via Dual-Projection Fusion

파노라마 카메라는 360° 시야각을 제공하여 파노라마 비전, 몰입형 시각 컴퓨팅, 로봇 인식 분야에서 널리 활용되고 있다. 그러나 카메라 방향의 변화는 수직이 맞지 않는(non-upright) 파노라마를 생성하여 기하학적 변형을 유발하며, 이는 다운스트림 시각 분석을 복잡하게 만들 수 있다. 기존의 비전 기반 보정 방법들은 대개 단일 투영 도메인 내에서 작동하므로, 국소적 기하학적 구조와 전역적 문맥 정보를 함께 활용하는 능력에 한계가 있다. 이를 해결하기 위해 본 논문에서는 360° 이미지 왜곡 보정을 투영 인식(projection-aware) 표현 학습 문제로 정의하고, 직립 파노라마 보정을 위한 이중 투영 프레임워크를 제안한다. 합성곱 신경망(CNN) 브랜치는 정거원통도법(ERP) 입력으로부터 국소적 기하 구조를 포착하며, 비전 트랜스포머(ViT) 브랜치는 큐브맵 투영으로부터 전역적 문맥 단서를 모델링한다. 상호 투영 특징 변환 및 다단계 특징 융합을 통해 이러한 상호 보완적인 표현 간의 효과적인 상호작용이 가능해진다. 학습된 표현은 협력적 경사 추정과 직립 파노라마 생성을 지원하며, 이 두 작업은 상호 보완적인 기하학적 및 외관적 지도(supervision)를 제공한다. SUN360 및 M3D 데이터셋 대상 실험에서 본 기법은 기존 방법 대비 일관된 성능 향상을 보여주었으며, 각각 1° 오차 임계값 내 정확도 65.9% 및 85.2%, Fréchet Inception Distance 점수 5.87 및 3.26을 달성하였다. 소거 연구(ablation studies)를 통해 이중 투영 표현, 상호 투영 특징 변환 및 융합, 협력적 다중 작업 학습의 기여도를 검증하였다. 제안하는 프레임워크는 파노라마 보정을 위한 투영 인식 시각 컴퓨팅 접근법을 제공한다. 코드, 사전학습 모델, 학습/테스트 스크립트는 https://github.com/YuhaoShine/DualProjectionFusion 에서 확인할 수 있다.

arXiv:2603.09760v2cs.CV

PanoAffordanceNet: 360° 실내 환경에서의 통합적 어포던스 그라운딩

PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments

360° 공간에서 체현형 에이전트(embodied agents)에게 전역 인식은 필수적이지만, 현재 어포던스 그라운딩(affordance grounding)은 대부분 객체 중심적이며 원근 뷰(perspective views)에 제한되어 있다. 이 간극을 메우기 위해 360° 실내 환경에서의 통합적 어포던스 그라운딩(Holistic Affordance Grounding in 360° Indoor Environments)이라는 새로운 태스크를 도입한다. 이 태스크는 등거리 원통 투영(Equirectangular Projection, ERP)으로 인한 심각한 기하 왜곡, 의미 분산(semantic dispersion), 교차 스케일 정렬(cross-scale alignment)의 어려움 등 고유한 도전에 직면한다. 우리는 PanoAffordanceNet이라는 end-to-end 프레임워크를 제안하는데, 위도 의존적 보정을 위한 왜곡 인식 스펙트럴 변조기(Distortion-Aware Spectral Modulator, DASM)와 희소 활성화(sparse activations)로부터 위상적 연속성(topological continuity)을 복원하는 전구형 밀집화 헤드(Omni-Spherical Densification Head, OSDH)를 특징으로 한다. 픽셀 단위, 분포적, 영역-텍스트 대조 목표로 구성된 다중 수준 제약을 통합함으로써, 본 프레임워크는 낮은 수준의 감독 하에서 의미 표류(semantic drift)를 효과적으로 억제한다. 또한 최초의 고품질 전경(panoramic) 어포던스 그라운딩 데이터셋인 360-AGD를 구축한다. 광범위한 실험을 통해 PanoAffordanceNet이 기존 방법들을 크게 능가하며, 체현 지능(embodied intelligence)에서 장면 수준 인식을 위한 견고한 기준선을 확립함을 보여준다. 소스 코드와 벤치마크 데이터셋은 https://github.com/GL-ZHU925/PanoAffordanceNet 에서 공개될 예정이다.

arXiv:2606.27745v2cs.CV

파노라마 장면 이해: 왜곡 인지 엔지니어링에서 구면 고유 모델링까지의 서베이

Panoramic Scene Understanding: A Survey from Distortion-Aware Engineering to Sphere-Native Modeling

파노라마 이미지는 한 프레임에 전체 시각적 구면을 담아 일반 카메라로는 얻을 수 없는 맥락을 제공한다. 그러나 이 완전성에는 피할 수 없는 기하학적 대가가 따른다. 2-구면(2-sphere)은 평면에 충실하게 사상될 수 없으며, 모든 투영은 표준 비전 아키텍처에 도전하는 왜곡을 도입한다. 본 서베이는 투영 기반 적응과 왜곡 인지 엔지니어링에서 구면 고유 모델링으로 이어지는 파노라마 장면 이해의 발전을 추적하며, 구면 기하학에 대한 점점 깊어지는 헌신을 반영한다. 파운데이션 모델은 네 번째 계열을 이루며, 기하학 인지 토큰화(geometry-aware tokenization)는 입력 인터페이스를 적응시키면서 원근 사전학습(pre-training) 가중치를 재사용한다. 이러한 접근법들을 다섯 가지 과제 계열—밀집 예측(dense prediction), 통합 다중 과제 이해, 개방 세계(open-world) 지각, 비전-언어 추론, 동적 비디오 분석—에 걸쳐 검토한다. 과제들을 가로질러 구면 기하학으로의 동일한 전환이 반복된다. 그러나 실제로 이 분야는 원근 사전학습 백본을 재사용할 수 없어 확장되지 못한, 정확히 회전 동변(exactly rotation-equivariant)인 가장 강력한 구면 고유 연산자가 아니라, 적당한 기하학적 인식과 대규모 사전학습 모델을 결합한 호환성을 보존하는 중간 지점으로 수렴했다. 이 헌신은 고르지 않다. 밀집 예측에서 가장 깊고 동적 지각에서는 가장 얕은데, 후자에서는 방법들이 공간적으로는 구면 인지적이지만 시간적으로는 평면적이다. 파운데이션 모델 적응은 파노라마 깊이 추정에서 가장 빠르게 진전했으며, 레이아웃, 표면 법선(surface-normal), 비디오 수준 이해는 여전히 대부분 미탐색 상태로 남아 있다. 구면 데이터로 사전학습된 파노라마 파운데이션 모델은 아직 없다. 다섯 가지 평가 공백을 식별한다: 구면 면적 가중(metric), 이음(seam) 일관성 테스트, 극지역(polar) 견고성 계층화, 교차 투영 일반화, 표준화된 개방 세계 프로토콜. 범용 파노라마 지능을 향한 여섯 가지 로드맵으로 마무리한다.