arXiv:2304.04559

Event-based Camera Tracker by $\nabla$t NeRF

Mana Masuda, Yusuke Sekikawa, Hideo Saito

제출 2023-04-07

원문 초록

When a camera travels across a 3D world, only a fraction of pixel value changes; an event-based camera observes the change as sparse events. How can we utilize sparse events for efficient recovery of the camera pose? We show that we can recover the camera pose by minimizing the error between sparse events and the temporal gradient of the scene represented as a neural radiance field (NeRF). To enable the computation of the temporal gradient of the scene, we augment NeRF's camera pose as a time function. When the input pose to the NeRF coincides with the actual pose, the output of the temporal gradient of NeRF equals the observed intensity changes on the event's points. Using this principle, we propose an event-based camera pose tracking framework called TeGRA which realizes the pose update by using the sparse event's observation. To the best of our knowledge, this is the first camera pose estimation algorithm using the scene's implicit representation and the sparse intensity change from events.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02712v1cs.CV공통 태그 Pose Estimation, NeRF

정규화된 객체 좌표 공간에서 생성적 시점 합성을 위한 전역 포즈 제어

Global Pose Control for Generative View Synthesis in Normalized Object Coordinate Space

새로운 시점 합성(NVS, Novel View Synthesis)은 단일 또는 다수의 이미지로부터 장면의 보이지 않는 시점을 생성하여, 사용자가 임의의 시점에서 객체를 자유롭게 탐색할 수 있게 한다. 이 작업을 위한 생성 모델의 최근 인상적인 질적 향상에도 불구하고, 기존 방법들은 입력 상대적 카메라 포즈를 사용하거나 희소한 전역 시점 생성에 제한되어 있어 목표 시점의 전역적이고 직관적인 제어를 제공하는 데 어려움을 겪는다. 이러한 전역 포즈 제어의 부재는 NVS가 잠재적으로 가능하게 할 수 있는 다운스트림 작업의 수를 심각하게 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 또는 소수의 포즈 없는(unposed) 이미지를 입력으로 요구하는, 사용자 정의 가능한 정규화된 객체 좌표 공간(NOCS, Normalized Object Coordinate Space)에서의 정밀한 카메라 제어를 위한 새로운 접근 방식을 제안한다. 우리의 방법은 NOCS에서 목표 시점의 절대 카메라 포즈만을 사용하여 동작하며, 상대적 세계 프레임이나 입력 이미지의 카메라 포즈를 필요로 하지 않는다. NVS를 독립적인 생성 작업으로 처리하는 이전 방법들과 달리, 우리는 이를 이미지 편집 문제로 공식화하고 최첨단 편집 모델을 기반으로 구축하여 그 우수한 일반화 능력을 활용한다. 카메라 정보는 문맥 내 멀티모달 컨디셔닝(in-context multi-modal conditioning) 전략을 통해 전용 카메라 토큰으로 주입된다. NOCS의 고유한 모호성을 완화하기 위해, 객체의 정준 좌표 프레임(canonical coordinate frame)을 명시적으로 정의하는 텍스트 설명을 통합하며, 이는 보이지 않는 객체 카테고리로의 일반화도 향상시킨다. 또한, 우리는 일관되게 정렬된 방향과 해당 NOCS 텍스트 정의를 갖춘 고품질 데이터셋을 구축한다. 광범위한 실험을 통해 우리의 방법이 다양한 카테고리에 걸쳐 임의의 포즈 없는 이미지로부터 정확하고 일관된 방향으로 새로운 시점을 강건하게 생성하며, 최첨단 이미지 품질과 충실도를 달성함을 입증한다.

arXiv:2607.03209v1cs.CV공통 태그 Pose Estimation, NeRF

3D 기반 모델로 초기화한 고속 3D 가우시안 스플래팅

Fast 3D Foundation Model Initialized Gaussian Splatting

본 논문은 전통적인 Structure-from-Motion(SfM) 없이 고품질 3D 가우시안 스플래팅(3DGS) 재구성을 수행하는 고속 방법을 제안한다. 제안 방식은 카메라 포즈와 포인트 클라우드 초기화에 3D 기반 모델(3DFM)을 활용하고, 깊이 가이드 손실 함수를 사용하여 카메라 포즈와 가우시안 프리미티브를 공동 최적화한다. 이를 통해 50~60장의 입력 뷰만으로도 거친 초기화에서 빠른 수렴이 가능하다. 희소 뷰 시나리오에서 재구성 품질을 더욱 향상시키기 위해, 기반 모델의 깊이 가이드 감독과 함께 MLP 기반 포즈 정제 모듈을 도입한다. Mip-NeRF 360, Tanks and Temples, RobustNeRF에 대한 광범위한 실험을 통해 제안 방법이 장면당 약 3분의 학습 시간으로 경쟁력 있는 재구성 품질(PSNR 23.61 dB, LPIPS 0.19)을 달성함을 입증한다. 제안 방법은 기존 파이프라인에 비해 훨씬 짧은 시간 안에 바로 사용 가능한 3DGS 모델을 생성하여, 로보틱스, VR, 자율 주행과 같은 근실시간 응용에 적합하다.

arXiv:2607.01860v1cs.RO공통 태그 Pose Estimation, NeRF

DL-SLAM: 이중 수준 확률 기반 동적 환경에서의 고충실도 가우시안 스플래팅 SLAM 구현

DL-SLAM: Enabling High-Fidelity Gaussian Splatting SLAM in Dynamic Environments based on Dual-Level Probability

3D 가우시안 스플래팅(3DGS)의 최근 발전으로 밀집 동적 동시 위치 추정 및 지도 작성(SLAM)에서 상당한 진전이 이루어졌다. 기존 방법들은 일반적으로 사전 정의된 동적 객체를 제거하는 방식을 사용하며, 일시적으로 정적인 객체가 포즈 추정에 유용한 기하학적 제약을 제공할 수 있다는 점을 간과한다. 최근 한 연구는 픽셀별 불확실성 맵을 활용하여 움직임의 크기를 정량화함으로써 이러한 잠재력을 활용하려 시도한다. 이 접근법은 일시적으로 정적인 객체가 포즈 추정을 향상시킬 수 있게 하지만, 이러한 객체를 정적 지도에 잘못 통합하여 지속적인 아티팩트를 유발한다. 또한 순수한 기하학적 정보에만 의존하기 때문에 불확실성 맵에서 객체 경계가 모호해지는 문제가 발생한다. 이러한 한계를 극복하기 위해, 우리는 새로운 이중 수준 확률론적 프레임워크를 기반으로 구축된 단안 가우시안 스플래팅 SLAM 시스템인 DL-SLAM을 제안한다. 우리의 방법은 의미론적 정보와 기하학적 정보를 결합하여 동적 확률 맵을 계산한다. 이 픽셀 수준의 확률은 3D로 변환되고 집계되어 각 인스턴스에 대한 객체 수준의 동적 확률을 도출한다. 객체 수준의 확률은 동적 가우시안의 범주적 가지치기(pruning)를 가능하게 하여 아티팩트 없는 정적 지도를 생성한다. 정적 지도는 다시 픽셀별 확률을 정제하는 기하학적으로 일관된 지침을 제공하여 신뢰성을 향상시킨다. 실험 결과, DL-SLAM은 기존 접근법들을 능가하며 추적 정확도를 최대 13% 향상시키는 동시에 고충실도 의미론적 지도를 생성함을 보여준다.

arXiv:2606.22439v2cs.CV공통 태그 Pose Estimation

RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정

Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration

상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.