Multi-Stage HRNet: Multiple Stage High-Resolution Network for Human Pose Estimation
원문 초록
Human pose estimation are of importance for visual understanding tasks such as action recognition and human-computer interaction. In this work, we present a Multiple Stage High-Resolution Network (Multi-Stage HRNet) to tackling the problem of multi-person pose estimation in images. Specifically, we follow the top-down pipelines and high-resolution representations are maintained during single-person pose estimation. In addition, multiple stage network and cross stage feature aggregation are adopted to further refine the keypoint position. The resulting approach achieves promising results in COCO datasets. Our single-model-single-scale test configuration obtains 77.1 AP score in test-dev using publicly available training data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
운동별 관절 선택은 언제 도움이 되는가? 평가 및 대조군 설계에 대한 감사
When Does Exercise-Specific Joint Selection Help? An Audit of Evaluation and Control Design
운동별 관절 선택(joint selection)은 골격 기반 정확도 분류(classification) 성능을 향상시킬 수 있지만, 그러한 향상이 입증하는 바는 무엇일까? 본 연구는 평가 집계, 부분집합 구조, 시간적 표현을 분리하여 10명의 REHAB24-6 피험자로부터 얻은 1,057회의 반복 동작을 감사(audit)한다. 수동 부분집합 kNN 이득은 풀링된 폴드 외부(pooled out-of-fold) AUROC 기준 0.055에서 동일 가중치(weight) 개인 내(within-person) AUROC 기준 0.020으로 변화하며, 두 대응 구간 모두 0을 포함한다. 차원이 일치하는 1,000개의 무작위 맵 중 14개가 수동 풀링 결과와 일치하거나 이를 초과한 반면, 양측 구조와 몸통 포함 여부까지 일치시킨 경우에는 145개가 이를 초과하거나 일치했다. RBF-SVM은 양의 개인 내 이득을 유지하지만, 로지스틱 회귀와 무작위 합성곱(convolution) 비교 대상은 해당 추정량(estimand) 하에서 음의 점 이득을 보인다. 시퀀스 순서 및 대응 시드(paired-seed) 대조군은 해석을 더욱 한정한다. 이러한 탐색적 감사는 관절 선택 주장이 명시적인 추정량과 구조적으로 적절한 대조군을 요구하는 이유를 보여주며, 새로운 알고리즘이나 임상적 이점을 확립하는 것은 아니다.
크리켓 샷 분류 및 자동 생체역학 분석을 위한 3D 포즈 기반 앙상블 프레임워크
A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis
크리켓은 전 세계에서 가장 사랑받는 스포츠 중 하나이며, 기술 발전은 현대 경기가 분석되고 코칭되는 방식에 깊이 자리 잡았다. 크리켓 샷 분류와 자동화된 성과 분석은 이러한 흐름에 또 다른 차원을 더한다. 전통적 접근법은 RGB 영상 특징이나 정적 이미지에 의존하며, 카메라 각도, 조명, 배경 잡음 등 환경 변화에 민감하고, 타격 동작의 근본적인 생체역학을 포착하는 데 종종 실패한다. 본 논문에서는 원시 영상 데이터를 입력으로 받아 YOLO로 영상 프레임에서 타자를 추출하고 MeTRAbs로 영상 프레임에서 3D 포즈 데이터를 추출하여 크리켓 코칭을 개선하는 시스템을 제안한다. 이 시스템은 30개 신체 관절점의 순차적 골격 포즈 데이터를 생성하며 타자의 생체역학적 특징을 포착한다. 시스템의 일부로 flick, pull, defense, drive 네 가지 샷에 대한 샷 분류용 심층 학습 앙상블도 제안한다. 앙상블은 기존 분류 연구 대비 우수한 성능을 보였으며 97.68%의 정확도를 달성했다. 또한 오분류율을 분석하여 샷이 잘못 분류된 사례를 식별하고 가능한 원인을 검토했다. 제안 시스템은 초보 선수가 전문 타자 대비 중요 관절 각도와 같은 유용한 피드백을 얻을 수 있게 하며, 부상 예방에도 도움이 될 수 있다. 샷 분류기는 클래스별 샷을 시간에 따라 추적하여 추가 분석을 돕는다. 초보 선수뿐 아니라 코치도 선수 평가에 이 시스템을 활용할 수 있다.
아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험
Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting
본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.
PosEviLoc: 언어 기반 3D 위치 추정을 위한 위치 조건부 공간 증거
PosEviLoc: Position-Conditioned Spatial Evidence for Language-Based 3D Localization
언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.
일상 임상 상지 평가에서의 마커리스 동작 캡처: 순서형 채점을 넘어서는 타당성과 통찰
Markerless Motion Capture in Routine Clinical Upper Limb Assessments: Validity and Insights Beyond Ordinal Scoring
Action Research Arm Test(ARAT)는 신경 재활에서 널리 사용되는 상지 결과 측정 도구이지만, 순서형 채점은 주관적이며 민감도와 특이도가 제한적이다. 우리는 임상 일상 중 ARAT 평가에 통합된 인공지능(AI) 기반 마커리스 동작 캡처(MMC)가 상지 움직임을 정확하게 재구성하고, 순서형 점수를 넘어 임상적으로 의미 있는 정보를 담은 타당하고 객관적인 운동학적 지표를 제공하는지 평가했다. 20명의 혼합 신경학적 환자로부터 47회 세션(ARAT 과제 1,174건)에 걸쳐, 생체역학적 재구성은 손상 수준 전반에 걸쳐 정확하고 견고했으며, 운동학적 지표는 구성 타당성(construct validity)을 갖춘 측정에서 기대되는 변별 패턴을 보였다. 종단적 사례 연구에서 해당 지표는 순서형 점수가 결여한 특이도와 민감도를 보완했다. 영역 분해(domain decomposition)는 동일한 ARAT 향상 이면에 있는 환자별 회복 프로파일을 드러냈다(특이도), ARAT가 포화된 이후에도 운동학적 개선은 계속 검출되었다(민감도). 따라서 임상 일상에서의 MMC는 순서형 채점을 보완하는 타당하고 객관적이며 민감하고 특이적인 운동학적 측정을 제공할 수 있다.
프레임 수준 인식에서 이벤트 수준 확인으로: 공공 공간 제스처 상호작용의 수리 기록과 런타임 실패 분석
From Frame-Level Recognition to Event-Level Confirmation: Repair Traces and Runtime Failure Analysis of Public-Space Gesture Interaction
공공 공간 제스처 상호작용은 종종 프레임 수준 인식 문제로 평가되지만, 배포된 시스템은 다른 실패 경계를 드러낸다. 관광지 키오스크, 전시장, 서비스 터미널에서 사용자는 개별 손 랜드마크(hand-landmark) 프레임이 정확한지 여부가 아니라, 의도한 동작이 안정적인 상호작용 이벤트가 되는지를 경험한다. 이를 인식-상호작용 격차(recognition-to-interaction gap)라고 부른다. 본 논문은 관광지 인터랙티브 키오스크 프로젝트의 8건의 엔지니어링 수리 기록을 분석하며, 4가지 제스처 과제를 다룬다: 양손 절하기, 한손 주먹 흔들기, 양손 잡기 제어, 지식 그래프 노드 호버링. 이러한 흔적에서 20건의 실패 사례를 추출하고, 여섯 가지 비배타적 작업 실패 클래스로 분류한다: 모델 출력 퇴화, 시간적 불일치, 기하-스케일 불안정성, 좌표-렌더링 불일치, 런타임 라이프사이클 실패, 피드백 동기화 및 복구 실패. 또한 반복되는 수리 메커니즘을 손 랜드마크 모델과 상호작용 과제 사이의 이벤트 수준 런타임 추상화로 정리한다. 기여는 의도적으로 범위가 제한된다: 배포 기반 실패 분류체계, 이벤트 확인 런타임 추상화, 사례 연구 결과. 새로운 인식 모델, 대규모 사용자 평가, 또는 정량화된 정확도 향상을 주장하지 않는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.