통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
현재 최첨단 세그멘테이션 모델들은 특정 객체에 집중하기 전에 이미지 전체를 인코딩한다. 이는 컴퓨팅 자원을 낭비한다. 우리는 생물학적으로 영감을 받은 하향식 어텐션을 통해 객체 세그멘테이션을 실현하는 매개변수 효율적 비전 모델인 FLIP(Fovea-Like Input Patching)을 소개한다. FLIP은 입력 이미지에서 관심 객체를 중심으로 다중 해상도 패치를 선택적으로 샘플링한다. 그 결과, 객체 중심 영역에는 고해상도 처리를 할당하면서 더 거친 주변 맥락 정보는 유지한다. 이 오프-그리드(off-grid) 스케일 불변 설계 덕분에 FLIP은 META의 Segment Anything 모델(SAM, SAM2 및 고속 변형)을 큰 차이로 능가한다. 매개변수 수가 440배 이상 적음에도 불구하고, FLIP-Tiny(0.51M 매개변수)는 평균 IoU 79.90%를 달성한 반면 SAM2-L은 75.87% IoU(224.45M 매개변수)에 그쳤다. FLIP-Large는 평균 IoU 83.26%(96.6M 매개변수)를 달성하면서도 SAM2-L보다 약 2배 빠르게 동작한다. 우리는 총 여섯 개의 벤치마크에서 평가를 수행했다. 다섯 개의 기존 벤치마크(Hypersim, KITTI-360, OpenImages, COCO, LVIS)에서 FLIP은 SAM 및 그 다양한 변형 모델들을 일관되게 능가한다. 이미지 면적의 0.0001%에서 25%까지 다양한 크기의 객체로 스케일 불변성을 집중적으로 테스트하는 우리의 새로운 ObjaScale 데이터셋에서, FLIP은 기존 모델들이 심각하게 실패하는 매우 작은 객체도 정확하게 세그멘테이션함을 보인다. FLIP은 실시간 객체 중심 비전에 새로운 가능성을 열고 훨씬 높은 에너지 효율을 제공한다. FLIP은 슬롯 기반 장면 세그멘테이션 아키텍처에 통합될 때처럼 시간에 걸쳐 객체를 추적하는 데 매우 적합하므로, 강력한 파운데이션 모델로서 기능할 수 있다고 우리는 믿는다.
RGB 이미지만을 입력으로 받아 중력 방향을 물리적 사전(prior)으로 활용하는 GARDEN 프레임워크를 제안하며, 씬을 Gravity-View 프레임에 정렬한 후 전경 강체 객체를 6-DoF 메시로 분리하고 배경에서 중복 형상을 제거하는 방식으로 시뮬레이션 즉시 활용 가능한 3D 환경을 재구성한다. CAD 검색 기반 기존 방법 대비 처리 시간을 대폭 단축(4330s → 560s)하면서 객체 배치 신뢰성, 분리 품질, 렌더링-시뮬레이션 효율성을 향상시킴을 실험으로 입증한다.
우리는 장면 수준(scene-level)의 RGB-D 또는 복셀(voxel) 관측값을 3D 잠재 입자(particle)들의 집합으로 분해하는 자기 지도(self-supervised) 객체 중심(object-centric) 표현 학습 모델인 3D-DLP를 소개합니다. Deep Latent Particles (DLP) 프레임워크를 기반으로 하여, 각 입자(particle)는 3D 키포인트(keypoint) 위치, 경계 상자(bounding box) 차원, 그리고 외형 특징(appearance features)을 포함하는 분리된(disentangled) 속성들을 인코딩하며 장면 내의 독립적인 개체(entity)를 나타냅니다. 이 모델은 엔드-투-엔드(end-to-end) 자기 지도(self-supervised) 재구성 목적함수(objective)를 통해 해석 가능한 입자(particle)별 분할 맵(segmentation maps)을 학습합니다. 우리는 시뮬레이션 및 실제 데이터셋(dataset)에서 학습된 잠재 공간(latent space)이 해석 가능하고 제어 가능함을 입증합니다: 입자(particle) 위치를 조작하고 디코딩(decoding)함으로써 새로운 장면 구성(configurations)을 생성할 수 있습니다. 또한, 이러한 압축된 3D 잠재 입자(particle)들을 다운스트림(downstream) 로봇 조작(robotic manipulation)에 활용하면, 명시적인 3D 정보가 없거나 객체 중심(object-centric) 구조가 없는 메모리 집약적인 밀집(dense) 3D 입력에 의존하는 기준선(baselines)보다 성능이 향상됨을 보여줍니다. 코드와 비디오는 https://eubooks3003.github.io/3d-dlp 에서 확인할 수 있습니다.