CLA-NeRF: Category-Level Articulated Neural Radiance Field
원문 초록
We propose CLA-NeRF -- a Category-Level Articulated Neural Radiance Field that can perform view synthesis, part segmentation, and articulated pose estimation. CLA-NeRF is trained at the object category level using no CAD models and no depth, but a set of RGB images with ground truth camera poses and part segments. During inference, it only takes a few RGB views (i.e., few-shot) of an unseen 3D object instance within the known category to infer the object part segmentation and the neural radiance field. Given an articulated pose as input, CLA-NeRF can perform articulation-aware volume rendering to generate the corresponding RGB image at any camera pose. Moreover, the articulated pose of an object can be estimated via inverse rendering. In our experiments, we evaluate the framework across five categories on both synthetic and real-world data. In all cases, our method shows realistic deformation results and accurate articulated pose estimation. We believe that both few-shot articulated object rendering and articulated pose estimation open doors for robots to perceive and interact with unseen articulated objects.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정규화된 객체 좌표 공간에서 생성적 시점 합성을 위한 전역 포즈 제어
Global Pose Control for Generative View Synthesis in Normalized Object Coordinate Space
새로운 시점 합성(NVS, Novel View Synthesis)은 단일 또는 다수의 이미지로부터 장면의 보이지 않는 시점을 생성하여, 사용자가 임의의 시점에서 객체를 자유롭게 탐색할 수 있게 한다. 이 작업을 위한 생성 모델의 최근 인상적인 질적 향상에도 불구하고, 기존 방법들은 입력 상대적 카메라 포즈를 사용하거나 희소한 전역 시점 생성에 제한되어 있어 목표 시점의 전역적이고 직관적인 제어를 제공하는 데 어려움을 겪는다. 이러한 전역 포즈 제어의 부재는 NVS가 잠재적으로 가능하게 할 수 있는 다운스트림 작업의 수를 심각하게 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 또는 소수의 포즈 없는(unposed) 이미지를 입력으로 요구하는, 사용자 정의 가능한 정규화된 객체 좌표 공간(NOCS, Normalized Object Coordinate Space)에서의 정밀한 카메라 제어를 위한 새로운 접근 방식을 제안한다. 우리의 방법은 NOCS에서 목표 시점의 절대 카메라 포즈만을 사용하여 동작하며, 상대적 세계 프레임이나 입력 이미지의 카메라 포즈를 필요로 하지 않는다. NVS를 독립적인 생성 작업으로 처리하는 이전 방법들과 달리, 우리는 이를 이미지 편집 문제로 공식화하고 최첨단 편집 모델을 기반으로 구축하여 그 우수한 일반화 능력을 활용한다. 카메라 정보는 문맥 내 멀티모달 컨디셔닝(in-context multi-modal conditioning) 전략을 통해 전용 카메라 토큰으로 주입된다. NOCS의 고유한 모호성을 완화하기 위해, 객체의 정준 좌표 프레임(canonical coordinate frame)을 명시적으로 정의하는 텍스트 설명을 통합하며, 이는 보이지 않는 객체 카테고리로의 일반화도 향상시킨다. 또한, 우리는 일관되게 정렬된 방향과 해당 NOCS 텍스트 정의를 갖춘 고품질 데이터셋을 구축한다. 광범위한 실험을 통해 우리의 방법이 다양한 카테고리에 걸쳐 임의의 포즈 없는 이미지로부터 정확하고 일관된 방향으로 새로운 시점을 강건하게 생성하며, 최첨단 이미지 품질과 충실도를 달성함을 입증한다.
3D 기반 모델로 초기화한 고속 3D 가우시안 스플래팅
Fast 3D Foundation Model Initialized Gaussian Splatting
본 논문은 전통적인 Structure-from-Motion(SfM) 없이 고품질 3D 가우시안 스플래팅(3DGS) 재구성을 수행하는 고속 방법을 제안한다. 제안 방식은 카메라 포즈와 포인트 클라우드 초기화에 3D 기반 모델(3DFM)을 활용하고, 깊이 가이드 손실 함수를 사용하여 카메라 포즈와 가우시안 프리미티브를 공동 최적화한다. 이를 통해 50~60장의 입력 뷰만으로도 거친 초기화에서 빠른 수렴이 가능하다. 희소 뷰 시나리오에서 재구성 품질을 더욱 향상시키기 위해, 기반 모델의 깊이 가이드 감독과 함께 MLP 기반 포즈 정제 모듈을 도입한다. Mip-NeRF 360, Tanks and Temples, RobustNeRF에 대한 광범위한 실험을 통해 제안 방법이 장면당 약 3분의 학습 시간으로 경쟁력 있는 재구성 품질(PSNR 23.61 dB, LPIPS 0.19)을 달성함을 입증한다. 제안 방법은 기존 파이프라인에 비해 훨씬 짧은 시간 안에 바로 사용 가능한 3DGS 모델을 생성하여, 로보틱스, VR, 자율 주행과 같은 근실시간 응용에 적합하다.
DL-SLAM: 이중 수준 확률 기반 동적 환경에서의 고충실도 가우시안 스플래팅 SLAM 구현
DL-SLAM: Enabling High-Fidelity Gaussian Splatting SLAM in Dynamic Environments based on Dual-Level Probability
3D 가우시안 스플래팅(3DGS)의 최근 발전으로 밀집 동적 동시 위치 추정 및 지도 작성(SLAM)에서 상당한 진전이 이루어졌다. 기존 방법들은 일반적으로 사전 정의된 동적 객체를 제거하는 방식을 사용하며, 일시적으로 정적인 객체가 포즈 추정에 유용한 기하학적 제약을 제공할 수 있다는 점을 간과한다. 최근 한 연구는 픽셀별 불확실성 맵을 활용하여 움직임의 크기를 정량화함으로써 이러한 잠재력을 활용하려 시도한다. 이 접근법은 일시적으로 정적인 객체가 포즈 추정을 향상시킬 수 있게 하지만, 이러한 객체를 정적 지도에 잘못 통합하여 지속적인 아티팩트를 유발한다. 또한 순수한 기하학적 정보에만 의존하기 때문에 불확실성 맵에서 객체 경계가 모호해지는 문제가 발생한다. 이러한 한계를 극복하기 위해, 우리는 새로운 이중 수준 확률론적 프레임워크를 기반으로 구축된 단안 가우시안 스플래팅 SLAM 시스템인 DL-SLAM을 제안한다. 우리의 방법은 의미론적 정보와 기하학적 정보를 결합하여 동적 확률 맵을 계산한다. 이 픽셀 수준의 확률은 3D로 변환되고 집계되어 각 인스턴스에 대한 객체 수준의 동적 확률을 도출한다. 객체 수준의 확률은 동적 가우시안의 범주적 가지치기(pruning)를 가능하게 하여 아티팩트 없는 정적 지도를 생성한다. 정적 지도는 다시 픽셀별 확률을 정제하는 기하학적으로 일관된 지침을 제공하여 신뢰성을 향상시킨다. 실험 결과, DL-SLAM은 기존 접근법들을 능가하며 추적 정확도를 최대 13% 향상시키는 동시에 고충실도 의미론적 지도를 생성함을 보여준다.
PPR-Net:Point-wise Pose Regression Network for Instance Segmentation and 6D Pose Estimation in Bin-picking Scenarios
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.