가림이 있는 대규모 장면에서의 다중 시점 다중 인물 인간 메시 복원
Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions
인간 메시 복원(HMR)은 이미지로부터 3D 인간 메시를 복원하는 것을 목표로 한다. 기존 HMR 벤치마크와 방법의 대부분은 단일 시점에서의 다중 인물 재구성 또는 다중 시점에서의 단일 인물 재구성 중 하나에 초점을 맞추며, 이 경우 대상자 수와 장면 규모가 상대적으로 제한적이다. 이러한 설정은 대규모 장면과 심각한 인물 간 가림이 있는 실세계 응용에는 부족하다. 이 한계를 해결하기 위해, 우리는 MVMP-HMR이라 명명한 다중 시점 다중 인물 HMR을 위한 대규모 합성 벤치마크를 제안한다. 제안된 데이터셋은 최대 50개의 카메라 시점과 30명의 상호작용하는 인물을 포함하는 15개의 복잡한 장면으로 구성되며, 넓은 공간적 커버리지와 심각한 가림을 특징으로 하여 인간 메시 복원의 난이도를 크게 높인다. 이 벤치마크를 바탕으로, 우리는 MVMP-HMR 모델이라 불리는 다중 시점 다중 인물 전신 인간 메시 복원 모델을 추가로 제안한다. 이 모델은 먼저 다중 시점 특징을 장면 수준의 3D 특징 볼륨으로 융합한 다음, 3D 포즈 추정 네트워크가 예측한 골반 관절을 활용하여 3D 특징 볼륨으로부터 인물별 쿼리를 추출한다. 이러한 인간 쿼리는 3D 특징 볼륨과 교차 어텐션(cross-attention)을 수행하고 통합되어 각 인물의 3D 메시를 디코딩한다. 또한, 심각한 가림 하에서의 방향 및 포즈 모호성을 완화하기 위해 방향 손실(orientation loss)과 3D 관절 밀도 손실(3D joint density loss)이라는 두 가지 새로운 손실을 도입한다. 실험 결과, 기존 최신 HMR 방법들은 제안된 MVMP-HMR 벤치마크에서 어려움을 겪는 반면, 우리 방법은 심각한 가림이 있는 대규모 장면에서 기존 SOTA보다 일관되게 우수한 성능을 보인다.