arXiv:2403.08586

PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections

Matteo Taiana, Matteo Toso, Stuart James, Alessio Del Bue

제출 2024-03-13

원문 초록

Robustly estimating camera poses from a set of images is a fundamental task which remains challenging for differentiable methods, especially in the case of small and sparse camera pose graphs. To overcome this challenge, we propose Pose-refined Rotation Averaging Graph Optimization (PRAGO). From a set of objectness detections on unordered images, our method reconstructs the rotational pose, and in turn, the absolute pose, in a differentiable manner benefiting from the optimization of a sequence of geometrical tasks. We show how our objectness pose-refinement module in PRAGO is able to refine the inherent ambiguities in pairwise relative pose estimation without removing edges and avoiding making early decisions on the viability of graph edges. PRAGO then refines the absolute rotations through iterative graph construction, reweighting the graph edges to compute the final rotational pose, which can be converted into absolute poses using translation averaging. We show that PRAGO is able to outperform non-differentiable solvers on small and sparse scenes extracted from 7-Scenes achieving a relative improvement of 21% for rotations while achieving similar translation estimates.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.28667v1cs.CL공통 태그 Translation, Pose Estimation

수어 모델의 음운 지각

Phonological Perception of Sign Language Models

수어(Sign Language)는 손 모양(handshape), 위치(location), 동작(movement)과 같은 어휘 하위 음운 매개변수를 조합하여 의미를 형성하는 합성 체계이다. 수어 인식(SLR, Sign Language Recognition)을 위한 심층 학습(deep learning) 모델이 번역 벤치마크에서 성능 향상을 이루었지만, 이러한 모델들이 추상적인 음운 특징을 구별하는지, 아니면 단순히 저수준 통계적 상관관계에 의존하는지는 여전히 불분명하다. 본 연구는 미국 수어(ASL)로 학습된 SLR 모델의 음운 지각을 평가하기 위해 최소 대립쌍(minimal pairs)을 활용한 음운 민감도 탐침(probing)과 인간 행동 데이터와의 표현 정렬(representational alignment) 평가를 수행한다. 실험 결과, SLR 모델은 창발적(emergent) 음운 민감도를 보이지만 명확한 아키텍처 간 트레이드오프가 존재함을 밝혔다: 포즈 기반 모델은 손 모양 대조에 민감한 반면, 픽셀 기반 모델은 위치 변화를 더 잘 포착한다. 또한 포즈 기반 모델은 인간의 지각적 유사도 판단과 상관관계를 보이는 잠재 표현을 학습한다(r~0.49). 이러한 결과는 SLR 모델이 창발적 음운론을 보이지만, 현재의 학습 패러다임이 아키텍처의 귀납적 편향(inductive bias)을 넘어 스케일링(scaling)하기에는 불충분함을 시사한다.

arXiv:2606.22959v1cs.AI공통 태그 Translation, Pose Estimation

확산 기반 수어 생성을 위한 잠재 포즈 표현에서 VAE 설계의 영향

The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production

수어 생성(SLP)을 위한 잠재 확산 접근법은 수어 포즈 시퀀스의 인코딩을 학습하는 초기 단계에 의존하며, 이를 통해 결과적 잠재 공간에서 생성 모델링을 가능하게 한다. 이 단계에서 사용되는 오토인코더는 일반적으로 SLP에서 흔히 쓰이는 기하학적 지표를 통해 재구성 품질 측면에서 평가된다. 유용하긴 하지만, 이러한 지표는 하류 생성 모델의 학습과 성능에 영향을 줄 수 있는 잠재 공간 특성을 완전히 포착하지는 못한다. 본 연구에서는 수어 포즈 인코딩을 위한 변분 자동인코더(VAE)의 아키텍처 및 학습 목표 설계 선택이 잠재 공간 구조에 어떤 영향을 미치는지, 그리고 이러한 차이가 텍스트-수어 생성을 위한 잠재 확산 모델의 성능으로 어떻게 이어지는지 조사한다. Phoenix14T 데이터셋에 대한 실험에서, 역번역(back-translation) BLEU 점수로 측정한 생성 성능의 변동은 때로 VAE 재구성 정확도만으로는 설명하기 어렵고, 잠재 공간 특성의 차이로 더 잘 설명될 수 있음을 보여준다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.10130v2cs.CV공통 태그 Pose Estimation

TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.