arXiv:1809.08371

Focus On What's Important: Self-Attention Model for Human Pose Estimation

Guanxiong Sun, Chengqin Ye, Kuanquan Wang

제출 2018-09-22

원문 초록

Human pose estimation is an essential yet challenging task in computer vision. One of the reasons for this difficulty is that there are many redundant regions in the images. In this work, we proposed a convolutional network architecture combined with the novel attention model. We named it attention convolutional neural network (ACNN). ACNN learns to focus on specific regions of different input features. It's a multi-stage architecture. Early stages filtrate the "nothing-regions", such as background and redundant body parts. And then, they submit the important regions which contain the joints of the human body to the following stages to get a more accurate result. What's more, it does not require extra manual annotations and self-learning is one of our intentions. We separately trained the network because the attention learning task and the pose estimation task are not independent. State-of-the-art performance is obtained on the MPII benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.13027cs.CV공통 태그 Pose Estimation공식 코드 · Papers with Code

DETRPose: 수정된 트랜스포머 디코더와 새로운 디노이징 키포인트를 통한 실시간 엔드-투-엔드 다중 인물 포즈 추정

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

다중 인물 포즈 추정(MPPE)은 이미지 내 모든 사람에 대한 신체 관절 위치(키포인트)를 검출하는 작업으로, 컴퓨터 비전의 핵심 과제입니다. 최근 발전에도 불구하고, 현재 실시간 성능을 달성하는 트랜스포머 기반 모델은 존재하지 않습니다. 본 연구는 다중 인물 2D 포즈 추정을 위한 최초의 실시간 엔드-투-엔드 트랜스포머 모델 계열인 DETRPose를 도입하여 지연 시간 문제를 해결합니다. DETRPose는 GroupPose 디코더를 대폭 개선하여 실시간 추론을 가능하게 합니다. 학습을 위해, 수렴을 가속화하는 새로운 디노이징 키포인트 기법이 제안됩니다. 또한, 쿼리 품질을 향상시키기 위해 varifocal 손실을 키포인트에 확장한 Keypoint Similarity VariFocal 손실을 도입합니다. 광범위한 평가를 통해 DETRPose 모델이 학습 에폭 수를 5~10배 줄이면서도 주요 경쟁 모델과 동등하거나 그 이상의 정확도를 달성함을 입증합니다. DETRPose-S는 COCO 데이터셋에서 YOLOv8-Pose-X 및 YOLO11-Pose-X와 유사한 정확도(AP 기준 67.0 대 67.3 및 67.2)를 보이면서, 파라미터 수는 81% 적고(11.5M 대 69.4M 및 58.8M), 추론 속도는 52% 빠릅니다(2.39ms 대 5.23ms 및 4.93ms). CrowdPose 데이터셋에서 DETRPose-X는 ED-Pose-SwinL-5S 대비 FLOPs가 13.1배 적고(232.3G 대 3048.1G), 정밀도는 단 2%만 낮습니다(AP 기준 75.1 대 76.6). OCHuman 데이터셋에서 DETRPose-S는 모든 이전 모델을 능가하며, 분포 외 데이터셋에서의 DETRPose의 강건성을 보여줍니다. 코드는 https://github.com/SebastianJanampa/DETRPose 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.