arXiv:1904.07528

Disentangling Pose from Appearance in Monochrome Hand Images

Yikang Li, Chris Twigg, Yuting Ye, Lingling Tao, Xiaogang Wang

제출 2019-04-16

원문 초록

Hand pose estimation from the monocular 2D image is challenging due to the variation in lighting, appearance, and background. While some success has been achieved using deep neural networks, they typically require collecting a large dataset that adequately samples all the axes of variation of hand images. It would, therefore, be useful to find a representation of hand pose which is independent of the image appearance~(like hand texture, lighting, background), so that we can synthesize unseen images by mixing pose-appearance combinations. In this paper, we present a novel technique that disentangles the representation of pose from a complementary appearance factor in 2D monochrome images. We supervise this disentanglement process using a network that learns to generate images of hand using specified pose+appearance features. Unlike previous work, we do not require image pairs with a matching pose; instead, we use the pose annotations already available and introduce a novel use of cycle consistency to ensure orthogonality between the factors. Experimental results show that our self-disentanglement scheme successfully decomposes the hand image into the pose and its complementary appearance features of comparable quality as the method using paired data. Additionally, training the model with extra synthesized images with unseen hand-appearance combinations by re-mixing pose and appearance factors from different images can improve the 2D pose estimation performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23657v1cs.CV공통 태그 Pose Estimation, Disentanglement

GRAPE: 관절형 초상화 메쉬 추정을 위한 Graduated Routing

GRAPE: Graduated Routing for Articulated Portrait mesh Estimation

관절형 초상화 메쉬 추정은 3D 이해, 아바타 생성, 몰입형 상호작용의 기본이 된다. 기존 접근법은 주로 3D Morphable Models(3DMM)에 의존한다. 그러나 얼굴 중심 모델은 "floating head" 가정으로 인해 목 관절 운동학(kinematics) 부재로 머리 자세와 전역 회전을 혼동하는 문제가 있다. 반대로 신체 중심 모델은 고충실도 얼굴 표정 능력이 부족하다. 또한 현재 방법들은 표현 블렌드셰이프(expression blendshape)와 턱 관절(jaw articulation)을 분리하는 데 어려움을 겪으며, 입 벌림에 표정에 과도하게 의존하는 경우가 많다. 이러한 한계로 인해 단안(monocular) 초상화 복원은 표현, 지도(supervision), 해부학적 매개변수 추정 측면에서 어렵다. 이러한 한계를 해결하기 위해 GRAPE(Graduated Routing for Articulated Portrait mesh Estimation)를 제안한다. 우리는 명시적인 몸통-머리 운동학 체인과 FLAME과 SMPL-X 몸통을 병합하는 정규(canonical) 주입 단계를 갖춘 Portrait Parametric Model(PPM)을 구축한다. 또한 사전학습된 초상화 인코더, Graduated-Mask Router, 초상화 해부학적 사전지식(prior)을 따르는 coarse-to-fine 전문가로 구성된 Progressive Anatomical Alignment(PAA) 네트워크를 제안한다. 그런 다음 희소 해부학적 키포인트, 특징 증류(feature distillation), 전경 마스크 제약, 상대 기하 제약을 결합한 다중 소스 지도로 이 네트워크를 학습한다. 실험 결과 GRAPE는 기존 방법 대비 초상화 메쉬 복원 품질, 자세 정렬, 턱-표정 분리를 개선함을 보여준다. 또한 우리 방법이 오디오 기반 talking-head 생성 및 3D 초상화 생성과 같은 하위 작업에 도움이 될 수 있음을 보여준다.

arXiv:2607.23840v1cs.CV공통 태그 Pose Estimation, Disentanglement

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.