arXiv:2307.03007

Self-supervised Optimization of Hand Pose Estimation using Anatomical Features and Iterative Learning

Christian Jauch, Timo Leitritz, Marco F. Huber

제출 2023-07-06

원문 초록

Manual assembly workers face increasing complexity in their work. Human-centered assistance systems could help, but object recognition as an enabling technology hinders sophisticated human-centered design of these systems. At the same time, activity recognition based on hand poses suffers from poor pose estimation in complex usage scenarios, such as wearing gloves. This paper presents a self-supervised pipeline for adapting hand pose estimation to specific use cases with minimal human interaction. This enables cheap and robust hand posebased activity recognition. The pipeline consists of a general machine learning model for hand pose estimation trained on a generalized dataset, spatial and temporal filtering to account for anatomical constraints of the hand, and a retraining step to improve the model. Different parameter combinations are evaluated on a publicly available and annotated dataset. The best parameter and model combination is then applied to unlabelled videos from a manual assembly scenario. The effectiveness of the pipeline is demonstrated by training an activity recognition as a downstream task in the manual assembly scenario.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24492v2cs.CV공통 태그 Activity Recognition, Pose Estimation

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2610.15891v1cs.CV공통 태그 Activity Recognition, Pose Estimation

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2609.22619v1cs.AI공통 태그 Activity Recognition, Pose Estimation

GaitVista: 접근 가능한 종단 보행 평가를 위한 신뢰성 인식 AI 측정

GaitVista: Reliability-Aware AI Measurement toward Accessible Longitudinal Gait Assessment

보행 기능 회복을 추적하려면 재활 세션에 걸쳐 의미 있는 보행 변화를 감지해야 하지만, 객관적인 3D 측정은 여전히 전문 모션 캡처(motion-capture) 실험실에 국한된다. 소규모 카메라 세트와 착용형 관성 센서(inertial sensor)는 접근성을 넓히지만, 관절과 시간에 따라 신뢰도가 달라져 센싱 실패가 환자 변화처럼 보일 수 있다. 본 논문은 카메라 커버리지, 국소 시각 품질, 교차 모달 불일치, 뿌리(root) 운동 연속성을 이용해 관절·프레임별 시각 기여도를 할당하고 이를 검사할 수 있게 노출하는 경량 게이트를 갖춘, 신뢰성 인식 측정 층인 \textsc{GaitVista}를 제안한다. TotalCapture에서 일곱 가지 깨끗한·열화된 센싱 조건에 대해 \textsc{GaitVista}는 평균 전신 및 하체 오차를 각각 \textbf{27.7\%} 및 \textbf{27.8\%} 줄이고, 융합(fusion) 방법 중 최악 조건 오차가 가장 낮으며, 조건 무시 기준선 대비 관절-프레임 오라클과의 격차를 $2.76$--$5.33$~cm에서 $1.11$~cm로 줄인다. 이미지 유도 키포인트(image-derived keypoint)를 사용한 MoVi에서는, 단일 모달 스트림 모두보다 성능을 개선하는 유일한 배포 가능한 융합 방법으로, 가장 강한 학습 기반 융합 기준선 대비 마커 지원 오차를 \textbf{6.4\%} 상대 감소시킨다. TotalCapture에서는 양측 무릎 굴곡(knee-flexion) 파형 정확도를 \textbf{18.9\%} 개선한다. 다섯 명의 TotalCapture 참가자로부터의 원시 관성 측정값은 위치·시간에 따라 변하는 자기 교란(magnetic disturbance)을 보여 주어, 설계의 신뢰성 전제를 뒷받침한다. 두 벤치마크 모두 통제된 환경의 신경학적으로 건강한 참가자를 포함하며 참가자별 IMU 보정을 유지하므로, 검증된 임상 배포가 아니라 접근 가능한 보행 평가를 향한 진전을 보고한다.

arXiv:2609.23450v1cs.CV공통 태그 Activity Recognition, Object Recognition

방송 스누커 큐볼 식별을 위한 규칙 제약 할당

Rule-Constrained Assignment for Cue-Ball Identification in Broadcast Snooker

정확한 큐볼 식별은 방송 스누커의 계량(metric) 분석에 필수적이다. 기존 시스템은 고정된 흰색 프로토타입에 대해 각 후보를 독립적으로 평가하고, 외관 임계값을 초과하는 후보를 배제한다. 방송 환경에서는 조명 변화로 유색 공이 흰색처럼 보일 수 있으며, 선수와 장비의 침입이 큐볼을 가리거나 경쟁 후보를 유발할 수 있다. 우리는 큐볼 식별을 규칙 제약 할당 문제로 formulation하여, 탐지된 후보를 한정된 스누커 인벤토리—큐볼 1개, 최대 15개의 레드, 알려진 위치의 6색 공—에 공동으로 할당한다. 큐볼은 각 후보를 흰색 슬롯에 할당할 때의 증분(incremental) 비용으로 선택되며, 기존의 외관 검사는 단일 슬롯 경우에 해당한다. 수작업 주석 419샷에서 본 방법은 식별 정확도를 88.1%에서 95.5%로, 홀드아웃(hold-out) 경기장에서는 80.5%에서 95.2%로 향상시킨다. 계량 상태 복구 시스템 CueLift 내에서 할당은 6,241개의 득점 가능 샷에 대해 커버리지를 36.2%에서 55.4%로 확대한다. 2,529샷에 대한 별도 평가에서 모든 샷에 추정치를 할당해도 이 이점이 유지된다.

arXiv:2609.23507v1cs.CV공통 태그 Activity Recognition, Pose Estimation

멀티모달 융합 트랜스포머를 통한 휴대폰 유발 보행자 주의 분산 탐지

Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer

스마트폰 의존도가 증가함에 따라 휴대폰으로 인한 보행자 주의 분산이 점점 더 흔해지고 있다. 문자 메시지 작성, 동영상 시청, 전화 통화와 같은 행동은 교통사고의 주요 원인이 되고 있다. 보행자의 주의 분산을 신뢰성 있게 탐지하는 것은 자율주행차량에 필수적인데, 이는 상황 인식을 향상시키고 적시의 위험 평가를 가능하게 하여 안전한 경로 계획(motion planning) 및 차량 제어를 지원하기 때문이다. 본 논문에서는 휴대폰으로 인한 보행자 주의 분산을 탐지하기 위한 멀티모달 융합 트랜스포머(Multimodal Fusion Transformer, MFT)를 제안한다. MFT는 신체 자세 키포인트로부터 골격 동역학(skeletal dynamics)을, 보행자 이미지로부터 시각적 외형 특징을 공동으로 추출하여 두 모달리티가 제공하는 상호 보완적인 정보를 효과적으로 활용한다. 멀티헤드 교차 어텐션(multi-head cross-attention)을 통해 모달리티 간 의존성을 포착하는 교차 모달 어텐션(cross-modal attention) 모듈이 제안되어, 두 모달리티 간 상호 보완적인 정보의 효과적인 융합을 가능하게 한다. 이어서 트랜스포머 인코더로 구현된 시간적 어텐션 융합 모듈을 사용하여 시간적 의존성을 포착한다. MFT는 20,741장의 이미지로 구성된 287개의 보행자 인스턴스로 이루어진 수작업 주석 데이터셋에서 학습 및 평가되었다. 광범위한 실험을 통해 MFT가 95%의 전체 정확도를 달성하며, 6가지 기준선(baseline) 접근법의 성능을 6% 상회함을 입증하였다.

arXiv:2607.22973v1cs.CV공통 태그 Activity Recognition, Pose Estimation

mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습

mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction

밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.