arXiv:2008.10060

Multi-Person Full Body Pose Estimation

Haoyi Zhu, Cheng Jie, Shaofei Jiang

제출 2020-08-23

원문 초록

Multi-person pose estimation plays an important role in many fields. Although previous works have researched a lot on different parts of human pose estimation, full body pose estimation for multi-person still needs further research. Our work has developed an integrated model through knowledge distillation which can estimate full body poses. Trained based on the AlphaPose system and MSCOCO2017 dataset, our model achieves 51.5 mAP on the validation dataset annotated manually by ourselves. Related resources are available at https://esflfei.github.io/esflfei.gethub.io/website.html.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02597v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.26590v2cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GTR: 효율적인 밀집 예측을 위한 게이트 토큰 순환

GTR: Gated Token Recurrence for Efficient Dense Prediction

셀프 어텐션 기반 비전 백본은 밀집 예측에서 우수한 성능을 보이지만, 전역 소프트맥스 어텐션의 이차 계산 비용은 이미지 해상도가 커질수록 효율성을 제한한다. 본 연구는 게이트 선형 어텐션, 교대하는 공간 스캔 방향, 공간적으로 강화된 SwiGLU 블록을 결합한 소프트맥스 없는 순환 비전 백본인 Gated Token Recurrence(GTR)를 제안한다. GTR은 마스크드 토큰 예측이나 중간 층 지도 없이, 선형 투영과 제곱 $\ell_2$ 손실을 통한 최종 층 패치-토큰 정렬만으로 검출 특화 DINOv3 교사 모델로부터 지식 증류된다. Objects365 검출기 사전학습을 적용한 GTR-L은 RTX~4090에서 컴파일된 FP16 실행 하에 배치 1 중앙값 지연 1.908\,ms로 COCO \texttt{val2017}에서 box AP 58.9를 달성한다. 동일 백본은 인스턴스 분할, 자세 추정, 방향 검출, 의미 분할, 단안 깊이 추정으로도 전이된다. 격리된 커널 벤치마크에서, 우리의 특화 chunkwise CUDA 연산자는 RTX~4090에서 1.6K 토큰 기준 FLA v0.5.0보다 $4.0\times$ 빠르다. DRIVE AGX Thor에서의 TensorRT 엣지 배포는 평가한 모델 전반에 걸쳐 배치 1 중앙값 지연 2.282--8.769\,ms를 달성한다. 이 결과는 순환 토큰 혼합이 고해상도 밀집 예측과 엣지 배포에서 전역 소프트맥스 어텐션에 대한 효율적인 대안이 될 수 있음을 보여준다. Project page: https://intellindust-ai-lab.github.io/projects/GTR/

arXiv:2609.23974v1cs.AI공통 태그 Pose Estimation, Knowledge Distillation

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

arXiv:2607.23517v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

상반신 인간-객체 상호작용을 위한 실시간 인간 중심 월드 모델링

Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction

본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.

arXiv:2607.23657v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

GRAPE: 관절형 초상화 메쉬 추정을 위한 Graduated Routing

GRAPE: Graduated Routing for Articulated Portrait mesh Estimation

관절형 초상화 메쉬 추정은 3D 이해, 아바타 생성, 몰입형 상호작용의 기본이 된다. 기존 접근법은 주로 3D Morphable Models(3DMM)에 의존한다. 그러나 얼굴 중심 모델은 "floating head" 가정으로 인해 목 관절 운동학(kinematics) 부재로 머리 자세와 전역 회전을 혼동하는 문제가 있다. 반대로 신체 중심 모델은 고충실도 얼굴 표정 능력이 부족하다. 또한 현재 방법들은 표현 블렌드셰이프(expression blendshape)와 턱 관절(jaw articulation)을 분리하는 데 어려움을 겪으며, 입 벌림에 표정에 과도하게 의존하는 경우가 많다. 이러한 한계로 인해 단안(monocular) 초상화 복원은 표현, 지도(supervision), 해부학적 매개변수 추정 측면에서 어렵다. 이러한 한계를 해결하기 위해 GRAPE(Graduated Routing for Articulated Portrait mesh Estimation)를 제안한다. 우리는 명시적인 몸통-머리 운동학 체인과 FLAME과 SMPL-X 몸통을 병합하는 정규(canonical) 주입 단계를 갖춘 Portrait Parametric Model(PPM)을 구축한다. 또한 사전학습된 초상화 인코더, Graduated-Mask Router, 초상화 해부학적 사전지식(prior)을 따르는 coarse-to-fine 전문가로 구성된 Progressive Anatomical Alignment(PAA) 네트워크를 제안한다. 그런 다음 희소 해부학적 키포인트, 특징 증류(feature distillation), 전경 마스크 제약, 상대 기하 제약을 결합한 다중 소스 지도로 이 네트워크를 학습한다. 실험 결과 GRAPE는 기존 방법 대비 초상화 메쉬 복원 품질, 자세 정렬, 턱-표정 분리를 개선함을 보여준다. 또한 우리 방법이 오디오 기반 talking-head 생성 및 3D 초상화 생성과 같은 하위 작업에 도움이 될 수 있음을 보여준다.

arXiv:2607.20116v1cs.CV공통 태그 Pose Estimation, Knowledge Distillation

RIM: UAV 교차 도메인 전역 시각적 위치 추정을 위한 검색-내-매칭(Retrieval-In-Matching) 프레임워크

RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs

원격 감지 참조 지도를 이용한 무인항공기(UAV)의 전역 시각적 위치 추정은 점점 더 많은 관심을 받고 있다. 그러나 UAV와 참조 영상 간의 촬영 시점 및 촬영 플랫폼 차이는 상당한 교차 도메인 외형 및 시점 변화를 유발하여, 견고한 6자유도(6-DoF) 자세 추정을 어렵게 한다. 우리는 위치, 고도, 방향에 걸쳐 Google 3D Tiles에서 UAV 시점의 참조 뷰를 샘플링하여 이러한 변화를 해결한다. 2단계 교차 도메인 미세조정 레시피는 자세가 유사한 양성(positive)과 지리적으로 먼 하드 네거티브(hard negative)를 사용하여 SALAD를 적응시키며, 국소 기하학적 일관성이 Top-K 후보를 재순위화한다. 또한 Retrieval-In-Matching(RIM)을 제안한다. 이는 적응된 DINOv2-B 검색기(retriever)를 고정하고, 그 토큰 필드를 얕은 VGG19 디테일 스트림과 함께 재사용하는 국소 디스크립터(local-descriptor) 디코더를 지식 증류(distillation)한다. 따라서 쿼리 측 DINOv2-B의 한 번의 순전파(forward)가 SALAD 검색과 국소 기술(local description) 모두에 사용되어, 두 번째 파운데이션 모델(foundation model) 백본을 제거하면서도 설계상 검색 디스크립터를 보존한다. RIM을 재구성된 EPFL Urbanscape와 자체 수집 Chang'an Park 데이터셋에서 제로샷(zero-shot)으로 평가했으며, 두 데이터셋 모두 학습 데이터와 지리적으로 분리되어 있다. RIM은 최근 10개 검색 기준선 계열을 능가한다. 전체 3D 거리 메트릭에서 25/50 m 기준으로, EPFL에서 SALAD 대비 Recall@1(재현율)을 8.55/13.77 퍼센트포인트, Park에서 4.45/8.94 포인트 향상시켰다. Top-K=5에서 검색, 후보 매칭, 견고한 기하학적 검증을 포함한 완전한 측정된 위치 추정 쿼리는 end-to-end로 67.9 ms가 소요된다: 가장 강력한 별도 sparse-matching 기준선보다 1.8배 빠르고 RoMa보다 40배 이상 빠르면서, 유사한 재순위화(re-ranking) 정확도를 달성한다. 이러한 결과는 GNSS가 어려운 환경에서 UAV 전역 시각적 위치 추정을 위한 효율적이고 배포 가능한 파이프라인을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.