PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.00911v2cs.CV

이중 투영 융합을 통한 투영 인식 360도 이미지 왜곡 보정 학습

Learning Projection-Aware 360-Degree Image Rectification via Dual-Projection Fusion

파노라마 카메라는 360° 시야각을 제공하여 파노라마 비전, 몰입형 시각 컴퓨팅, 로봇 인식 분야에서 널리 활용되고 있다. 그러나 카메라 방향의 변화는 수직이 맞지 않는(non-upright) 파노라마를 생성하여 기하학적 변형을 유발하며, 이는 다운스트림 시각 분석을 복잡하게 만들 수 있다. 기존의 비전 기반 보정 방법들은 대개 단일 투영 도메인 내에서 작동하므로, 국소적 기하학적 구조와 전역적 문맥 정보를 함께 활용하는 능력에 한계가 있다. 이를 해결하기 위해 본 논문에서는 360° 이미지 왜곡 보정을 투영 인식(projection-aware) 표현 학습 문제로 정의하고, 직립 파노라마 보정을 위한 이중 투영 프레임워크를 제안한다. 합성곱 신경망(CNN) 브랜치는 정거원통도법(ERP) 입력으로부터 국소적 기하 구조를 포착하며, 비전 트랜스포머(ViT) 브랜치는 큐브맵 투영으로부터 전역적 문맥 단서를 모델링한다. 상호 투영 특징 변환 및 다단계 특징 융합을 통해 이러한 상호 보완적인 표현 간의 효과적인 상호작용이 가능해진다. 학습된 표현은 협력적 경사 추정과 직립 파노라마 생성을 지원하며, 이 두 작업은 상호 보완적인 기하학적 및 외관적 지도(supervision)를 제공한다. SUN360 및 M3D 데이터셋 대상 실험에서 본 기법은 기존 방법 대비 일관된 성능 향상을 보여주었으며, 각각 1° 오차 임계값 내 정확도 65.9% 및 85.2%, Fréchet Inception Distance 점수 5.87 및 3.26을 달성하였다. 소거 연구(ablation studies)를 통해 이중 투영 표현, 상호 투영 특징 변환 및 융합, 협력적 다중 작업 학습의 기여도를 검증하였다. 제안하는 프레임워크는 파노라마 보정을 위한 투영 인식 시각 컴퓨팅 접근법을 제공한다. 코드, 사전학습 모델, 학습/테스트 스크립트는 https://github.com/YuhaoShine/DualProjectionFusion 에서 확인할 수 있다.

arXiv:2610.03015v1cs.CV

OmniAct3D: 파노라마 3D 검출을 위한 기초 기하학 및 증거 기반 그라운딩 추론 활용

OmniAct3D: Leveraging Foundation Geometry and Evidence-Grounded Reasoning for Panoramic 3D Detection

정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.

arXiv:2607.03990v1cs.CV

InSpace: 단일 360° 이미지로부터의 구조 인식 3D 실내 장면 생성

InSpace: Structure-Aware 3D Indoor Scene Generation from a Single 360° Image

단일 이미지-3D 생성 분야의 최근 발전으로 고품질 에셋 합성이 가능해졌지만, 이 능력을 실내 장면 생성으로 확장하는 것은 여전히 어려운 과제이다. 기존 방법들은 에셋 수준의 생성에 집중하면서 구조적 레이아웃을 간과하는데, 이 레이아웃은 다운스트림 응용에 필수적이며 에셋을 그라운딩하는 공간적 앵커 역할을 한다. 그러나 제한된 시야각을 가진 단일 이미지는 일관된 전역 레이아웃을 복원하기에 충분한 공간적 커버리지가 부족하다. 이를 위해, 우리는 등장방형 투영(ERP, Equirectangular Projection)으로 표현된 360° 이미지를 사용하고, 3D 실내 장면 생성을 위한 구조 인식 프레임워크인 InSpace를 제안한다. InSpace는 세 단계로 구성된다: (1) 공간적 사전(prior)으로서 부분 장면 기하를 추정하고, (2) 뷰 선택적 크로스 어텐션으로 거친 장면 구조를 생성하며, (3) 플로우 매칭을 활용한 글로벌-로컬 하이브리드 어텐션을 통해 텍스처가 포함된 상세한 레이아웃과 에셋 기하를 생성한다. 또한 우리는 3D-FRONT를 기반으로 한 쌍(paired) ERP-이미지-3D 실내 장면 데이터셋인 ERP-FRONT를 제안한다. 실험 결과, InSpace는 단일 ERP 이미지로부터 구조적 레이아웃과 함께 완전한 3D 실내 장면을 생성하고, 별도의 텍스처 에셋도 생성하며, 3D 및 2D 메트릭 전반에 걸쳐 우수한 성능을 달성한다. 프로젝트 페이지: https://kookie12.github.io/InSpace-Project-Page/