arXiv:1702.03431

Crossing Nets: Combining GANs and VAEs with a Shared Latent Space for Hand Pose Estimation

Chengde Wan, Thomas Probst, Luc van Gool, Angela Yao

제출 2017-02-11

원문 초록

State-of-the-art methods for 3D hand pose estimation from depth images require large amounts of annotated training data. We propose to model the statistical relationships of 3D hand poses and corresponding depth images using two deep generative models with a shared latent space. By design, our architecture allows for learning from unlabeled image data in a semi-supervised manner. Assuming a one-to-one mapping between a pose and a depth map, any given point in the shared latent space can be projected into both a hand pose and a corresponding depth map. Regressing the hand pose can then be done by learning a discriminator to estimate the posterior of the latent pose given some depth maps. To improve generalization and to better exploit unlabeled depth maps, we jointly train a generator and a discriminator. At each iteration, the generator is updated with the back-propagated gradient from the discriminator to synthesize realistic depth maps of the articulated hand, while the discriminator benefits from an augmented training set of synthesized and unlabeled samples. The proposed discriminator network architecture is highly efficient and runs at 90 FPS on the CPU with accuracies comparable or better than state-of-art on 3 publicly available benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23566v1cs.CV공통 태그 Pose Estimation, CPU

G6D: 로봇 조작을 위한 기하학 기반 학습 불필요 RGB-D 6D 자세 솔버

G6D: Geometric Learning-Free RGB-D 6D Pose Solver for Robotic Manipulation

6D 객체 자세 추정은 로봇 조작 및 자동화의 기초이다. 최근 제로샷(zero-shot) 방법은 보지 못한 객체에 대한 일반화를 크게 개선했지만, 대부분은 여전히 상당한 GPU 연산 및 메모리 요구가 따르는 대규모 사전학습(pre-training) 모델에 의존한다. 이러한 요구사항은 인식, 계획, 제어가 제한된 연산 자원을 공유하는 로봇 플랫폼에서의 배포를 복잡하게 하며, 학습된 중간 표현은 과제별 적응을 위한 기하학적 해석 가능성을 제한적으로만 제공한다. 이러한 한계를 해소하기 위해 학습 불필요·기하학 주도 RGB-D 6D 자세 솔버인 G6D를 제안한다. RGB-D 관측, 객체 인스턴스 마스크, 카메라 내부 파라미터, CAD 모델이 주어지면 G6D는 템플릿 기반 기하학적 매칭으로 자세 가설을 생성하고 실루엣 및 �depth 일관성을 이용해 이를 정제하여 순수 기하학 주도 자세 추정 패러다임을 형성한다. 이 패러다임은 사전학습된 시각 모델도, 대상별 학습도 필요로 하지 않으며, 자세 추정 전 과정에서 해석 가능한 기하학적 표현을 유지한다. 더욱이 조절 가능한 가설 개수는 유연한 정확도-연산 trade-off를 제공하며, CPU 전용 구성은 GPU 자원 없이도 배포를 지원한다. LineMOD 및 BOP19 데이터셋 다섯 개에 대한 실험은 우수한 성능을 보여준다. 실세계 pick-and-place 실험은 로봇 조작에 대한 G6D의 적용 가능성을 추가로 보여준다. 전체 프로젝트는 https://ai4control.github.io/G6D-Project-Page 에서 공개되어 있다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2606.30308v2cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과성

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

에고센트릭(egocentric) 비디오에서의 4D 손 동작 재구성은 기존 방법들의 명확한 한계로 인해 병목 현상을 겪고 있다. 이미지 기반 파이프라인은 심한 가림(occlusion) 상황에서 실패하는 검출기에 의존하고, 비디오 기반 방법은 희소한 손 자세 주석으로만 학습된 시간적 모듈에 의존한다. 이는 동작 역학, 가림 추론, 손-객체 상호작용을 모델링하기에 부족한 신호다. 그러나 이러한 능력들은 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 비디오 생성 모델이 암묵적으로 획득해야 하는 것들이다. 이에 착안하여, 우리는 사전학습된 비디오 확산 모델의 표현을 활용해 4D 양손 자세를 재구성하는 ViDiHand를 제안한다. 우리는 손 오버레이 렌더링 목적함수를 통해 이 모델을 적응시켜 세계 사전 지식을 보존하면서 손에 특화된 특징을 추출하게 한다. 이후 디코더가 적응된 특징으로부터 미터 스케일 자세를 복원한다. 전체 파이프라인은 검출기, 인필러(infiller), 테스트 시간 최적화 없이 전체 프레임에서 직접 동작한다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 기존 방법들을 크게 능가하며, 비디오 확산 모델을 손 동작 재구성을 위한 강력한 새 기반으로, 그리고 체화 AI(embodied AI)를 위한 확장 가능한 자연 환경 데이터 수집의 유망한 경로로 확립한다. 프로젝트 페이지: https://vidihand.github.io.

arXiv:2607.02561v1cs.CV공통 태그 Pose Estimation, CPU

이중 나선 액티브 지오메트리: 선택적 기권을 통한 LiDAR 앵커 기반 다중 뷰 깊이 추정

Double-Helix Active Geometry: LiDAR-Anchored Multi-View Depth with Selective Abstention

최근 아이폰에 탑재된 LiDAR 스캐너와 같은 소비자용 깊이 센서는 미터 단위의 거리를 제공하지만, 유효 범위가 짧고 반환 포인트가 희소하다. 우리는 DH-Active를 제시한다. 이는 경량의 학습 불필요(training-free) 지오메트리 백엔드로, 센서를 깊이의 유일한 소스가 아닌 미터 기준자(metric ruler)로 취급한다. 근거리 반환값은 PnP를 통해 두 뷰의 미터 단위 상대 포즈를 고정(anchor)하고, 유효한 깊이 반환값이 없는 시각적으로 추적 가능한 샘플은 해당 포즈 하에서 삼각측량된다. 시차/재투영 게이트(parallax/reprojection gate)는 지오메트리가 불량하게 조건화된 곳에서 추정을 강제하는 대신 명시적 홀(hole)과 선택적 점수를 남기며 기권(abstain)한다. 나선형 샘플링, 희소 역투영, 홀 분류체계를 포함하되 전처리 및 다중 뷰 복원을 제외한 핵심 프론트엔드는 CPU에서 중앙값 지연 시간 1.11ms로 동작하며(OpenCV, 14스레드 사용), 이는 우리의 타이밍 환경에서 GPU 기반 DINOv2-L 시각 브랜치보다 약 38배 빠르다. 두 개의 아이폰 캡처와 공개 벤치마크인 TUM RGB-D 및 ARKitScenes 전반에 걸쳐, 홀드아웃 깊이는 중앙값 상대 오차 1.4~6.7%로 복원된다. 2m 이내 반환값만을 스케일 설정에 사용하고 독립적인 레이저 스캔을 정답으로 사용하는 통제된 ARKitScenes 프로토콜에서, DH-Active는 평가 가능한 원거리 후보에 대해 씬 중앙값 기준 13.4% 상대 오차로 64.2%의 씬 중앙값 커버리지를 달성한다; 장치 궤적에서의 직접 삼각측량은 사용 불가 수준이다. 또한 우리는 테스트에서 실패한 대안들도 보고한다: 단일 프레임 초점 흐림(defocus), 고전적 포커스 스택 깊이, 초점 흐림-LiDAR 융합, 양호한 시각-관성 궤적 위의 점대점 ICP, 그리고 홀에 대한 어텐션 재샘플링. 12.6억 파라미터 학습 모델은 오라클 스케일 정렬 후 더 높은 정확도를 유지한다. 본 연구의 기여는 보다 한정적이다: 미터 단위 희소 깊이, 명시적 기권, 학습된 파라미터 없음, 그리고 밀리초 수준의 CPU 비용.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.