PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24482v1cs.CV

STA-TFM: 자세 추정을 위한 뷰 간 시공간 집합 TransForMer

STA-TFM: Spatio-Temporal Aggregation Across Views TransForMer for Pose Estimation

단안(monocular) 3D 인체 자세 추정(HPE)은 깊이 모호성, 가림(occlusion), 시간적 일관성 요구 때문에 여전히 어렵다. 다중 뷰 방법은 단안 접근보다 더 높은 정확도를 제공하지만, 종종 복잡한 구성을 요구한다. 우리는 다중 뷰 자세 추정을 위해 공간·시간 정보를 결합하는 트랜스포머 기반 아키텍처인 STA-TFM을 제안한다. 이 접근법은 각 뷰 내 장거리 자세 종속성을 포착하기 위해 단안 특징 추출기인 DSTformer를 활용한다. 이어 융합 트랜스포머가 뷰 간 정보를 집계하여 일관된 3D 추정을 만든다. 학습 데이터 부족을 완화하기 위해, 기존 3D 자세 데이터셋을 제어 가능한 매개변수를 갖는 다중 뷰 구성으로 바꾸는 데이터 생성 파이프라인을 사용한다. 여러 데이터셋에서의 실험 결과, STA-TFM은 기존 카메라 매개변수 불필요(camera-parameter-free) 다중 뷰 방법들보다 우수함을 보여준다. STA-TFM은 DHP19 데이터셋에서 관절당 평균 위치 오차(MPJPE)와 관절당 평균 속도 오차(MPJVE)를 각각 50.9%, 49.5% 줄였다. 또한 HAA4D에서는 각각 6.7%, 7.7% 감소를, TotalCapture에서는 MPJPE를 15.2% 감소시켰다. STA-TFM은 노이즈가 있거나 누락된 2D 입력도 처리할 수 있어, 의료 모니터링, 운동 능력 평가, 몰입형 기술 분야로의 잠재적 배포를 뒷받침한다. 코드, 학습 체크포인트, 데이터는 https://zenodo.org/records/22832620 에서 제공된다.