PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03308v1cs.CV

T3lescope: 이미지로부터 임의 해상도의 고충실도 생성형 표면 재구성

T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images

본 논문에서는 단일 객체부터 대규모 야외 장면에 이르는 다양한 규모에서, 장면별 최적화(per-scene optimization) 없이 자세가 추정된 다중 시점(posed multi-view) 이미지로부터 고충실도 3D 장면 메시를 재구성합니다. 장면별 최적화 방식은 관측이 희소하거나 표면이 번쩍이거나(glossy) 투명할 때 필요한 학습된 3D 사전 분포(prior)가 부족합니다. 기존 생성형 방식들은 이러한 사전 분포를 활용하여 희소하게 관측된 영역의 형상을 완성하지만, 일반적으로 제한된 공간 범위에 걸쳐 고정된 해상도로 동작하므로 공간적 커버리지와 디테일 사이에 상충 관계(trade-off)가 발생합니다. 따라서 대규모 장면을 재구성하려면 독립적으로 처리되는 중첩된 국소 영역들로 분할해야 하는 경우가 많아, 전역적 기하학적 일관성을 유지하기 어렵습니다. 이러한 문제를 해결하기 위해, 추론(inference) 시점에 coarse-to-fine 캐스케이드 형태로 장면 스케일에 걸쳐 단일 고정 해상도 생성기를 적용하는 T3lescope를 제안합니다. coarse 단계에서 장면 배치를 설정하고, finer 단계에서는 표면 디테일을 복원하기 위해 점진적으로 더 미세해지는 공간 셀 내에서 coarser 단계로부터 물려받은 형상을 섭동(perturb) 및 디노이징합니다. 이 모델(model)은 여러 스케일의 개별 셀에서 학습(training)되며 모든 레벨에서 가중치를 공유하므로 학습 중에는 어떠한 계층 구조도 고정되지 않으며, 레벨 수, 셀 스케일, 셀 위치는 추론 시점에 결정됩니다. 실내, 야외, 도시 규모 장면에 걸쳐 T3lescope는 피드포워드 및 생성형 베이스라인보다 우수한 성능을 보이며, 장면별 최적화 방식과 대등하거나 능가하고, 번쩍이거나 투명한 표면뿐만 아니라 미세한 구조까지 복원합니다. 이러한 결과는 제안하는 방법이 다양한 장면, 시점 수, 이미지 해상도 전반에 걸쳐 일반화됨을 보여줍니다. 프로젝트 페이지: https://pfnet-research.github.io/t3lescope/

arXiv:2607.00417v1cs.CV

EO-VGGT: 위성 다중 뷰 복원을 위한 궤도 레이 조건부 3D 기반 모델

EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction

위성 군집 시대의 다중 뷰 위성 영상 기반 디지털 표면 모델(DSM) 복원에서, 기존 피드포워드 3D 기반 모델의 원근법 가정과 궤도 푸시브룸 기하학 간의 구조적 불일치를 해소하기 위해 EO-VGGT 프레임워크를 제안한다. GCCS 기반 뷰 선택, Sensor-Ray Encoder(SRE), Ray-Pointing-Aware Adapter(RPAA)를 결합하여 전체 파라미터의 0.1% 미만만 학습시키면서 US3D 벤치마크에서 최강 경쟁 방법 대비 평균 절대 오차 18.0% 감소를 달성했다.

arXiv:2606.23027v2cs.CV

신규 시점 합성 및 그 응용을 위한 안정적 정규 세계 학습

Learning Stable Canonical Worlds for Novel View Synthesis and Beyond

피드포워드 가우시안 스플래팅(FFGS)에서 입력 시점이 늘어날수록 노이즈와 중복 증거가 쌓이는 문제를 해결하기 위해, CanonicalGS는 깊이·의미 특징·불확실성 기반의 시점 중심 증거를 정규(canonical) 잠재 세계에서 불확실성 인식 융합으로 집계해 안정적인 장면 중심 표현을 학습한다. 실험에서 신규 시점 합성 PSNR이 최대 2.5 dB, 의미 분할 정확도가 11% 향상되었고, 하류 시각 인지 작업으로도 전이 가능한 표현을 만든다.

arXiv:2606.22787v1cs.CV

실세계 Visual Geometry Transformer: 방해 요소 없는 3D 재구성

Visual Geometry Transformer in the Wild: Distractor-Free 3D Reconstruction

현재의 end-to-end 다중 뷰 3D 재구성 방법들은 인상적인 결과를 달성하지만, 장면이 완전히 방해 요소가 없고 교차 뷰 기하가 완벽하다는 제한적인 정적 가정에 의존한다. 이러한 이상화된 입력에 대한 의존은 일시적인 방해 요소와 가려림이 존재하는 실세계 환경에서 최첨단 방법조차 실패하게 만든다. 이를 해결하기 위해, 불일치하는 뷰로부터 강건한 재구성을 수행하는 end-to-end 프레임워크인 Visual Geometry Transformer in the Wild (VGTW)를 제안한다. 핵심적으로, 뷰 간 일관된 구성 요소는 보존하면서 방해 요소의 영향을 받은 영역을 분리하고 억제한다. 구체적으로, 어텐션 메커니즘에서 깨끗한 특징과 방해 요소에 오염된 특징을 분리하면서 이미지 간 특징 일관성을 강제하는 Distractor-aware Training (DAT) 전략을 도입한다. 이를 가능하게 하기 위해, 픽셀 수준의 방해 요소 마스크를 포함하여 수집한 새 데이터셋의 supervision을 이용해 보조 마스크 예측 헤드와 함께 모델을 학습한다. 그 결과 얻은 VGTW 모델은 깨끗하고 방해 요소가 없는 포인트 클라우드를 직접 출력하는 순전파 신경망이다. 놀랍게도, 추가적인 3D supervision 없이도 작동하며 계산적으로 효율적이고 기존 파이프라인과 호환된다. 광범위한 실험을 통해 우리 접근법을 검증하였으며, 다양한 실세계 시나리오에서 최첨단 성능과 강건한 일반화를 입증하였다.