arXiv:2009.12473

SIA-GCN: A Spatial Information Aware Graph Neural Network with 2D Convolutions for Hand Pose Estimation

Deying Kong, Haoyu Ma, Xiaohui Xie

제출 2020-09-25

원문 초록

Graph Neural Networks (GNNs) generalize neural networks from applications on regular structures to applications on arbitrary graphs, and have shown success in many application domains such as computer vision, social networks and chemistry. In this paper, we extend GNNs along two directions: a) allowing features at each node to be represented by 2D spatial confidence maps instead of 1D vectors; and b) proposing an efficient operation to integrate information from neighboring nodes through 2D convolutions with different learnable kernels at each edge. The proposed SIA-GCN can efficiently extract spatial information from 2D maps at each node and propagate them through graph convolution. By associating each edge with a designated convolution kernel, the SIA-GCN could capture different spatial relationships for different pairs of neighboring nodes. We demonstrate the utility of SIA-GCN on the task of estimating hand keypoints from single-frame images, where the nodes represent the 2D coordinate heatmaps of keypoints and the edges denote the kinetic relationships between keypoints. Experiments on multiple datasets show that SIA-GCN provides a flexible and yet powerful framework to account for structural constraints between keypoints, and can achieve state-of-the-art performance on the task of hand pose estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13449v1cs.CV공통 태그 Pose Estimation, Graph Neural Network

DreamSat-Pose: 단일 시점 3D 재구성 및 학습된 2D-3D 특징 매칭을 통한 우주선 자세 추정

DreamSat-Pose: Spacecraft Pose Estimation from Single-View 3D Reconstructions and Learned 2D-3D Feature Matching

6-DoF 자세 추정은 자율 접근 및 근접 운용에서 중요한 과제이다. 목표 대상이 알려지지 않은 경우, 대상 형상 모델의 재구성과 함께 수행해야 하므로 이 과제는 더욱 어려워진다. 본 논문에서는 알려지지 않은 우주선 객체에 대한 단일 샷(single-shot) 형상 및 자세 추정을 위한 새로운 프레임워크를 제안한다. 단일 이미지가 주어지면, 먼저 대상의 3D 형상 모델을 재구성한 다음, 밀집 2D-3D 대응을 학습하여 상대적인 6자유도 자세를 추정한다. 이미지 특징은 고정된(frozen) DINOv3 비전 트랜스포머로 추출하고, 기하학적 특징은 재구성된 포인트 클라우드에서 학습 가능한 동적 그래프 합성곱 신경망 인코더로 계산한다. 이중 스트림 트랜스포머 매처가 self-어텐션과 크로스 어텐션을 교대로 적용하여 디스크립터를 정제하고, 소프트 대응을 생성한 뒤 Perspective-$n$-Point(PnP) 솔버로 자세를 복원한다. SPE3R 데이터셋에서 방법을 평가하고, FoundationPose를 현재 최첨단 성능의 대표 기준선으로 삼았다. 결과적으로 단일 이미지와 재구성된 기하 정보만으로 평균 0.157도의 포인팅 오류를 달성하는 신뢰할 수 있는 자세 추정을 보여주었으며, 본 적 없는 우주선에 대해서도 강한 일반화 성능을 입증했다.

arXiv:2607.10984v1cs.CV공통 태그 Pose Estimation, Graph Neural Network

EquiFusion: 등변 잠재 확산을 통한 운동학 무관 인체 동작 예측

EquiFusion: Kinematics-Agnostic Human Motion Prediction via Equivariant Latent Diffusion

기존의 확률적 3D 인체 동작 예측 모델들은 스켈레톤 운동학을 하드코딩함으로써 근본적인 제약을 받아, 일반화를 심각하게 저해하고, 교차 데이터셋 학습을 방해하며, 복잡한 데이터 리타겟팅을 요구한다. 우리는 이 병목 문제를 해결하는 최초의 운동학 무관(kinematics-agnostic) 모델인 EquiFusion을 소개하며, 순열 등변(permutation equivariant) 아키텍처를 갖춘 잠재 확산 모델을 구현한다. EquiFusion은 운동학의 연결성을 명시적 입력 매개변수로 처리하여, 내부 연산이 관절 순서와 그래프 구조에 본질적으로 무관하도록 보장한다. 이 새로운 설계는 미관찰 운동학에 대한 진정한 교차 데이터셋 일반화를 가능하게 하고, 부분적이거나 가려진 관측으로부터의 동작 예측 및 특정 사지 생성과 같은 새로운 제로샷(zero-shot) 방향을 열어준다. EquiFusion은 주요 벤치마크에서 최신 기술 수준(state-of-the-art)의 결과를 달성하며, 이전의 운동학 특화 방법들보다 최대 75% 더 컴팩트하면서도 더 빠른 학습 및 추론을 실현한다. EquiFusion은 이로써 강건한 인체 동작 예측을 위한 새롭고 유연한 표준을 확립한다. 모델과 학습 코드는 https://ceveloper.github.io/publications/equifusion/ 에서 확인할 수 있다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.