Articulate your NeRF: Unsupervised articulated object modeling via conditional view synthesis
원문 초록
We propose a novel unsupervised method to learn the pose and part-segmentation of articulated objects with rigid parts. Given two observations of an object in different articulation states, our method learns the geometry and appearance of object parts by using an implicit model from the first observation, distils the part segmentation and articulation from the second observation while rendering the latter observation. Additionally, to tackle the complexities in the joint optimization of part segmentation and articulation, we propose a voxel grid-based initialization strategy and a decoupled optimization procedure. Compared to the prior unsupervised work, our model obtains significantly better performance, and generalizes to objects with multiple parts while it can be efficiently from few views for the latter observation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상 드론 발사를 통한 온라인 3D 가우시안 세그먼테이션
Online Segment 3D Gaussians via Launching Virtual Drones
3D 가우시안 스플래팅(3DGS)의 실시간 렌더링 능력 덕분에, 3D 가우시안의 인터랙티브 세그먼테이션은 3D 장면을 실시간으로 조작할 수 있는 매력적인 기회를 제공한다. 그러나 기존 방법들은 원시 3DGS 장면에서 인터랙티브 세그먼테이션을 시작하기 전에 일반적으로 수십 초에서 수 분이 소요되는 장면별 사전 설정 과정을 필요로 한다. 이 설정 과정에는 다시점 마스크 준비, 마스크 리프팅, 특징(feature) 증류가 포함되어 있어 온라인 애플리케이션의 주요 병목이 되고 있다. 이러한 한계를 해결하기 위해, 우리는 세그먼테이션 시간을 실용적인 수준(1초 이내)으로 유지하면서 인터랙티브 3DGS 세그먼테이션의 설정 단계를 완전히 제거하는 것을 목표로 한다. 본 연구에서는 인터랙티브 3DGS 세그먼테이션을 위한 새로운 설정 불필요 프레임워크인 SAGO(Segment Any Gaussians Online)를 제안한다. 가상 드론을 도입함으로써, 우리의 방법은 3D 세그먼테이션 문제를 마르코프 과정 내에서 정식화된 온라인 최적 다음 시점(Next-Best-View, NBV) 계획 태스크로 재구성한다. 광범위한 실험을 통해 SAGO가 1초 미만의 지연 시간으로 3D 가우시안에서 직접 깔끔한 3D 에셋을 추출할 수 있음을 입증하며, 이를 통해 객체 조작 및 장면 편집과 같은 광범위한 다운스트림 애플리케이션을 가능하게 한다. 또한 우리의 방법은 기존 설정 불필요 3DGS 세그먼테이션 프레임워크 대비 50배 이상의 속도 향상을 달성한다.
장면 단서를 이용한 내재적 4D 가우시안 분할
Intrinsic 4D Gaussian Segmentation from Scene Cues
동적 4D 가우시안 스플래팅(Dynamic 4D Gaussian Splatting)은 변형하는 장면을 고충실도로 재구성하며, 동적 3D 장면의 표현으로 점차 채택되고 있습니다. 편집, 조작 또는 동작 분석과 같이 이러한 장면을 활용하려면 먼저 분할(segmentation)이 필요합니다. 즉, 가우시안 프리미티브를 응집된 객체로 그룹화하는 것입니다. 현재 파이프라인은 SAM과 같은 파운데이션 모델(foundation model)에서 2D 마스크를 가져와서 가우시안 표현으로 리프팅하거나 증류하여 이 그룹화를 수행합니다. 동적 장면에서는 이러한 마스크를 많은 프레임과 시점에 걸쳐 생성해야 하므로 비용이 많이 들며, 결과적인 분할은 외부 마스크의 품질과 일관성에 강하게 의존할 수 있습니다. 우리는 가우시안 자체에서 객체 수준의 구조를 얼마나 복원할 수 있는지 질문하고, Intrinsic-GS를 제안합니다. Intrinsic-GS는 학습(training)이나 마스크가 필요 없는 방법으로, 외관, 방향, 크기, 변형 궤적 및 학습되지 않은 렌더링 경계 단서로부터 가우시안 프리미티브에 대한 희소 유사도 그래프를 구축합니다. 이 그래프는 Leiden 커뮤니티 탐지를 통해 분할되며, 파운데이션 모델이나 학습된 특징(feature) 필드가 필요하지 않습니다. 표준 4D 가우시안 분할 벤치마크인 Neu3D 및 HyperNeRF에서 Intrinsic-GS는 마스크 감독 없이 상당한 객체 구조를 복원하여 Neu3D에서 0.746 mIoU, HyperNeRF에서 0.575를 달성했습니다. Neu3D에서는 기하학 전용 변형이 0.902 mIoU에 도달하여 SAM 지도 TRASE와 대등합니다. HyperNeRF에서 Intrinsic-GS는 마스크 지도 파이프라인에서 사용되는 마스크 생성 및 특징(feature) 렌더링 단계보다 12.5배 더 빠르게 실행됩니다. 이러한 결과는 분할 신호의 상당 부분이 이미 가우시안 자체에 인코딩되어 있음을 시사하며, 외부 마스크가 신뢰할 수 없거나 비용이 많이 드는 환경에서 더 일반화 가능하고 견고한 분할을 향한 방향을 시사할 수 있는 3D 및 4D 가우시안 분할을 위한 빠르고 마스크 없는 방향을 제공합니다.
GASE: 구현형 시뮬레이션 환경 재구성을 위한 가우시안 스플래팅 기반 자동화 시스템
GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments
현실 세계에서 구현형 에이전트를 학습(training)시키는 데는 숙련된 운영자와 비싼 하드웨어가 필요합니다. 시뮬레이션 환경은 대규모의 비용 효율적인 데이터 증강(data augmentation)을 가능하게 하여 매력적인 대안을 제공합니다. 결과적으로, 시뮬레이션-현실(sim-to-real) 간의 격차를 최소화하면서 고품질의 시뮬레이션 장면을 신속하게 구축하는 것이 로봇 학습의 중요한 목표가 되었습니다. 재구성 기반 방법은 우수한 시각적 품질을 제공하지만, 현재 워크플로우는 비효율적인 데이터 수집과 미흡한 전경 객체 추출로 인해 제약이 있습니다. 따라서 우리는 시뮬레이션 장면 구축을 위한 고도로 자동화된 시스템인 GASE를 제안합니다. GASE는 파노라마 카메라 배열에서의 다중 뷰 비디오 스트림을 활용하여 빠른 환경 스캔을 가능하게 합니다. 고품질 자산 생성을 보장하기 위해, 우리의 파이프라인은 2D 도메인에서 프레임 간 객체를 견고하게 추출하는 카메라 포즈 기반 전략을 도입하고, 이어 고품질 장면 인페인팅(inpainting)을 수행합니다. 전경 객체와 정적 배경은 그 후 독립적으로 재구성되어 정책 학습을 위해 물리 시뮬레이터에 매끄럽게 가져와집니다. 광범위한 실험을 통해 GASE는 최첨단 인페인팅 품질을 달성하면서 기존 3D 가우시안 기반 방법보다 분할 정확도에서 10% 이상 우수함을 입증했습니다. 또한, 조작(manipulation) 및 내비게이션(navigation) 작업에 걸친 실제 로봇 배포 결과, 순수하게 현실 세계 데이터로 학습된 정책과 비교하여 10% 미만의 성능 격차를 유지했습니다. 이러한 결과는 GASE가 시뮬레이션-현실(sim-to-real) 격차를 해소하기 위한 효율적이고 매우 효과적인 솔루션을 제공함을 확인시켜 줍니다. 코드는 공개될 예정입니다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별
Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning
Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes
토론
이 논문과 연결된 포럼 글이 아직 없습니다.