arXiv:2312.07964

Three-Filters-to-Normal+: Revisiting Discontinuity Discrimination in Depth-to-Normal Translation

Jingwei Yang, Bohuan Xue, Yi Feng, Deming Wang, Rui Fan, Qijun Chen

제출 2023-12-13

원문 초록

This article introduces three-filters-to-normal+ (3F2N+), an extension of our previous work three-filters-to-normal (3F2N), with a specific focus on incorporating discontinuity discrimination capability into surface normal estimators (SNEs). 3F2N+ achieves this capability by utilizing a novel discontinuity discrimination module (DDM), which combines depth curvature minimization and correlation coefficient maximization through conditional random fields (CRFs). To evaluate the robustness of SNEs on noisy data, we create a large-scale synthetic surface normal (SSN) dataset containing 20 scenarios (ten indoor scenarios and ten outdoor scenarios with and without random Gaussian noise added to depth images). Extensive experiments demonstrate that 3F2N+ achieves greater performance than all other geometry-based surface normal estimators, with average angular errors of 7.85$^\circ$, 8.95$^\circ$, 9.25$^\circ$, and 11.98$^\circ$ on the clean-indoor, clean-outdoor, noisy-indoor, and noisy-outdoor datasets, respectively. We conduct three additional experiments to demonstrate the effectiveness of incorporating our proposed 3F2N+ into downstream robot perception tasks, including freespace detection, 6D object pose estimation, and point cloud completion. Our source code and datasets are publicly available at https://mias.group/3F2Nplus.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.18429v1cs.CV공통 태그 Pose Estimation, Point Cloud Completion

CAOA -- 완성 보조 객체-CAD 정렬

CAOA -- Completion-Assisted Object-CAD Alignment

실내 RGB-D 스캔에서 CAD 모델을 해당 객체에 정확하게 정렬하는 것은 3D 시맨틱 재구성의 핵심 과제입니다. 이 작업은 3개 축에 대한 위치, 회전, 스케일을 포함하는 9자유도(DoF) 포즈를 추정해야 하지만, 노이즈가 많고 불완전한 스캔과 기하학적 왜곡을 일으키는 세그멘테이션 오류로 인해 제약이 있습니다. 우리는 의미론적 및 문맥 인식 포인트 클라우드 완성 모듈과 대칭 인식 상대 포즈 추정 알고리즘을 통합하여 스캔된 객체에 CAD 모델을 정밀하게 정렬할 수 있게 하는 완성 보조 객체-CAD 정렬(CAOA) 방법을 제안합니다. 기존 완성 방법들은 일반적으로 합성 데이터셋에서 학습 및 평가되며, 이는 실제 스캔으로의 일반화에 종종 실패합니다. 이 격차를 해소하기 위해 우리는 실내 장면에 맞춰진 합성 데이터 생성 전략을 도입하여, 널리 사용되는 완성 데이터셋과의 정량적 비교를 통해 검증된 바와 같이 합성-실제(synthetic-to-real) 도메인 격차를 크게 줄입니다. 또한, 우리는 실제 실내 단일 객체 완성을 위해 제작되었으며 이 작업의 새로운 벤치마크로 의도된 Scan2CAD의 8,500개 이상의 객체-CAD 쌍으로 구성된 전문가 주석 데이터셋인 S2C-Completion을 공개합니다. 객체-CAD 정렬을 위해 우리는 대칭 인식 손실을 통해 대칭 정보를 통합하여 대칭 모호성에 대한 견고성을 향상시킵니다. Scan2CAD 벤치마크에서 CAOA는 최신 방법들 대비 17%의 정확도 향상을 달성했습니다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2607.10130v2cs.CV공통 태그 Pose Estimation

TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅

TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues

시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.

arXiv:2609.13504v3cs.CV공통 태그 Pose Estimation

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2606.27385v2cs.LG공통 태그 Pose Estimation

RANSAC 채점의 올바른 접근

RANSAC Scoring Done Right

가장 널리 사용되는 RANSAC 변형들은 임계값을 넘으면 0이 되는 점별 점수를 합산하여 후보 모델에 점수를 매긴다. 이 점수는 가우시안-균등 혼합의 음의 로그 가능도에서 유도된다. 임계값은 잡음 모델을 따르는 인라이어와 아웃라이어를 구분하며, 관측 잡음 수준, 즉 인라이어 스케일의 함수이다. 본 논문은 RANSAC 추론의 통상적인 순서를 뒤집어 이 임계값 의존성을 제거한다. 즉, 스케일을 추정한 뒤 이에 대해 점수를 매기는 대신, 고정된 인라이어 분할에 대해 스케일을 닫힌 형태로 주변화한 다음 분할에 대해 최적화한다. 그 결과 얻어지는 점수는 한 번의 정렬과 선형 스윕으로 최대화된다. 하나의 닫힌 형태 식이 정보적 사전분포와 비정보적 사전분포를 모두 포괄하므로, 동일한 점수가 정답 주석이 풍부하거나 제한적인 데이터셋에 적응한다. 제안한 점수는 균등 아웃라이어 분포의 반폭이라는 단일 하이퍼파라미터를 가진다. 이 반폭이 인라이어 임계값보다 오보정에 훨씬 덜 민감하며 교차 검증도 더 쉬움을 보인다. 제안한 점수는 인라이어 스케일이 식에 나타나지 않는 최초의 가능도 기반 RANSAC 점수이다. 프로젝트 페이지: https://ransacscoringdoneright.github.io

토론

이 논문과 연결된 포럼 글이 아직 없습니다.