arXiv:2110.10734

Self-Supervision and Spatial-Sequential Attention Based Loss for Multi-Person Pose Estimation

Haiyang Liu, Dingli Luo, Songlin Du, Takeshi Ikenaga

제출 2021-10-20

원문 초록

Bottom-up based multi-person pose estimation approaches use heatmaps with auxiliary predictions to estimate joint positions and belonging at one time. Recently, various combinations between auxiliary predictions and heatmaps have been proposed for higher performance, these predictions are supervised by the corresponding L2 loss function directly. However, the lack of more explicit supervision results in low features utilization and contradictions between predictions in one model. To solve these problems, this paper proposes (i) a new loss organization method which uses self-supervised heatmaps to reduce prediction contradictions and spatial-sequential attention to enhance networks' features extraction; (ii) a new combination of predictions composed by heatmaps, Part Affinity Fields (PAFs) and our block-inside offsets to fix pixel-level joints positions and further demonstrates the effectiveness of proposed loss function. Experiments are conducted on the MS COCO keypoint dataset and adopting OpenPose as the baseline model. Our method outperforms the baseline overall. On the COCO verification dataset, the mAP of OpenPose trained with our proposals outperforms the OpenPose baseline by over 5.5%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.10130v2cs.CV공통 태그 Pose Estimation

TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.

arXiv:2609.13504v3cs.CV공통 태그 Pose Estimation

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2606.27385v2cs.LG공통 태그 Pose Estimation

RANSAC 채점의 올바른 접근

RANSAC Scoring Done Right

가장 널리 사용되는 RANSAC 변형들은 임계값을 넘으면 0이 되는 점별 점수를 합산하여 후보 모델에 점수를 매긴다. 이 점수는 가우시안-균등 혼합의 음의 로그 가능도에서 유도된다. 임계값은 잡음 모델을 따르는 인라이어와 아웃라이어를 구분하며, 관측 잡음 수준, 즉 인라이어 스케일의 함수이다. 본 논문은 RANSAC 추론의 통상적인 순서를 뒤집어 이 임계값 의존성을 제거한다. 즉, 스케일을 추정한 뒤 이에 대해 점수를 매기는 대신, 고정된 인라이어 분할에 대해 스케일을 닫힌 형태로 주변화한 다음 분할에 대해 최적화한다. 그 결과 얻어지는 점수는 한 번의 정렬과 선형 스윕으로 최대화된다. 하나의 닫힌 형태 식이 정보적 사전분포와 비정보적 사전분포를 모두 포괄하므로, 동일한 점수가 정답 주석이 풍부하거나 제한적인 데이터셋에 적응한다. 제안한 점수는 균등 아웃라이어 분포의 반폭이라는 단일 하이퍼파라미터를 가진다. 이 반폭이 인라이어 임계값보다 오보정에 훨씬 덜 민감하며 교차 검증도 더 쉬움을 보인다. 제안한 점수는 인라이어 스케일이 식에 나타나지 않는 최초의 가능도 기반 RANSAC 점수이다. 프로젝트 페이지: https://ransacscoringdoneright.github.io

arXiv:2606.24450v2cs.RO공통 태그 Pose Estimation

NoContactNoWorries: 시각과 고유수용감각을 통한 손 안 정교 조작용 접촉 추정

NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation

물리적 접촉을 지각하는 것은 정교한 조작의 기본이다. 로봇은 흔히 전용 하드웨어 촉각 센서에 의존하지만, 인간은 시각 정보를 신체의 자세와 움직임에 대한 타고난 감각과 통합하여 접촉을 추론하는 뛰어난 능력을 보인다. 이러한 체화된 지각 능력에서 착안하여, 본 연구는 로봇이 시각으로부터 접촉을 추론하도록 학습할 수 있는지를 탐구한다. 이 접근은 비용, 취약성, 통합 측면의 현실적 어려움이 있는 촉각 하드웨어에 대해, 특히 이진 접촉 추정을 위한 확장 가능한 대안이 되기도 한다. 우리는 RGB-D 시각 정보와 로봇의 고유수용감각을 융합하여 손-물체 상호작용에 대한 의사 촉각 신호로서 이진 접촉 상태를 추론하는 트랜스포머 기반 멀티모달 프레임워크인 NoContactNoWorries를 제시한다. 여러 물체에 대해 단일 접촉 예측 모델을 학습하여 검증하였으며, 추론된 접촉 신호가 손 안 물체 재배향을 위한 하위 강화학습 에이전트를 뒷받침하고 새로운 물체로도 일반화됨을 보인다. 시뮬레이션과 실제 로봇 모두에서의 실험은 제안 방법을 검증하며, 시각과 고유수용감각으로부터 접촉을 추론하는 것이 실현 가능함을 보여준다. 프로젝트 페이지: https://soham2560.github.io/no-contact-no-worries/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.