Graph-CoVis: GNN-based Multi-view Panorama Global Pose Estimation
원문 초록
In this paper, we address the problem of wide-baseline camera pose estimation from a group of 360$^\circ$ panoramas under upright-camera assumption. Recent work has demonstrated the merit of deep-learning for end-to-end direct relative pose regression in 360$^\circ$ panorama pairs [11]. To exploit the benefits of multi-view logic in a learning-based framework, we introduce Graph-CoVis, which non-trivially extends CoVisPose [11] from relative two-view to global multi-view spherical camera pose estimation. Graph-CoVis is a novel Graph Neural Network based architecture that jointly learns the co-visible structure and global motion in an end-to-end and fully-supervised approach. Using the ZInD [4] dataset, which features real homes presenting wide-baselines, occlusion, and limited visual overlap, we show that our model performs competitively to state-of-the-art approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DreamSat-Pose: 단일 시점 3D 재구성 및 학습된 2D-3D 특징 매칭을 통한 우주선 자세 추정
DreamSat-Pose: Spacecraft Pose Estimation from Single-View 3D Reconstructions and Learned 2D-3D Feature Matching
6-DoF 자세 추정은 자율 접근 및 근접 운용에서 중요한 과제이다. 목표 대상이 알려지지 않은 경우, 대상 형상 모델의 재구성과 함께 수행해야 하므로 이 과제는 더욱 어려워진다. 본 논문에서는 알려지지 않은 우주선 객체에 대한 단일 샷(single-shot) 형상 및 자세 추정을 위한 새로운 프레임워크를 제안한다. 단일 이미지가 주어지면, 먼저 대상의 3D 형상 모델을 재구성한 다음, 밀집 2D-3D 대응을 학습하여 상대적인 6자유도 자세를 추정한다. 이미지 특징은 고정된(frozen) DINOv3 비전 트랜스포머로 추출하고, 기하학적 특징은 재구성된 포인트 클라우드에서 학습 가능한 동적 그래프 합성곱 신경망 인코더로 계산한다. 이중 스트림 트랜스포머 매처가 self-어텐션과 크로스 어텐션을 교대로 적용하여 디스크립터를 정제하고, 소프트 대응을 생성한 뒤 Perspective-$n$-Point(PnP) 솔버로 자세를 복원한다. SPE3R 데이터셋에서 방법을 평가하고, FoundationPose를 현재 최첨단 성능의 대표 기준선으로 삼았다. 결과적으로 단일 이미지와 재구성된 기하 정보만으로 평균 0.157도의 포인팅 오류를 달성하는 신뢰할 수 있는 자세 추정을 보여주었으며, 본 적 없는 우주선에 대해서도 강한 일반화 성능을 입증했다.
EquiFusion: 등변 잠재 확산을 통한 운동학 무관 인체 동작 예측
EquiFusion: Kinematics-Agnostic Human Motion Prediction via Equivariant Latent Diffusion
기존의 확률적 3D 인체 동작 예측 모델들은 스켈레톤 운동학을 하드코딩함으로써 근본적인 제약을 받아, 일반화를 심각하게 저해하고, 교차 데이터셋 학습을 방해하며, 복잡한 데이터 리타겟팅을 요구한다. 우리는 이 병목 문제를 해결하는 최초의 운동학 무관(kinematics-agnostic) 모델인 EquiFusion을 소개하며, 순열 등변(permutation equivariant) 아키텍처를 갖춘 잠재 확산 모델을 구현한다. EquiFusion은 운동학의 연결성을 명시적 입력 매개변수로 처리하여, 내부 연산이 관절 순서와 그래프 구조에 본질적으로 무관하도록 보장한다. 이 새로운 설계는 미관찰 운동학에 대한 진정한 교차 데이터셋 일반화를 가능하게 하고, 부분적이거나 가려진 관측으로부터의 동작 예측 및 특정 사지 생성과 같은 새로운 제로샷(zero-shot) 방향을 열어준다. EquiFusion은 주요 벤치마크에서 최신 기술 수준(state-of-the-art)의 결과를 달성하며, 이전의 운동학 특화 방법들보다 최대 75% 더 컴팩트하면서도 더 빠른 학습 및 추론을 실현한다. EquiFusion은 이로써 강건한 인체 동작 예측을 위한 새롭고 유연한 표준을 확립한다. 모델과 학습 코드는 https://ceveloper.github.io/publications/equifusion/ 에서 확인할 수 있다.
Long-term 3D Localization and Pose from Semantic Labellings
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.