EgoPressDiff: 자기중심 시점 UV 도메인 손 압력 추정을 위한 멀티모달 비디오 디퓨전
EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation
자기중심 시점에서 손 표면 접촉 압력을 추정하는 것은 AR/VR 기기, 로봇 모방, 및 인간공학 분석에 매우 중요하다. 기존 방법은 종종 압력 신호를 이산화하고 프레임을 독립적으로 처리하여 양자화 오류와 시간적 불일치를 초래한다. 우리는 시각 입력으로부터 UV-압력 맵을 생성하는 조건부 비디오 디퓨전 프레임워크인 EgoPressDiff를 제안한다. 우리 접근법의 핵심은 멀티모달 조건화 전략으로, PoseNet과 Vertex Encoder를 도입하여 손 자세와 3D 메시 정점으로부터 특징을 효율적으로 추출한다. 이 신호들은 깊이 정보와 함께 생성 과정을 안내하여 압력 필드가 물리적으로 그라운딩되도록 한다. 이질적인 특징을 효과적으로 융합하기 위해, 우리는 결합 전에 통계적 특성을 정렬하는 Distribution-Calibrated Spatial Layer(분포 보정 공간 층)를 추가로 제안한다. EgoPressure 자기중심 시점 설정에서 평가한 결과, EgoPressDiff는 최신(state-of-the-art) 성능을 달성하여, 기존 기준선 대비 Volumetric IoU를 34% 이상 상대적으로 향상시키는 동시에 MAE를 감소시키고 높은 시간적 정확도를 유지한다. 프로젝트 페이지는 https://egopressdiff.github.io/ 입니다.