Dense RGB-D semantic mapping with Pixel-Voxel neural network
원문 초록
For intelligent robotics applications, extending 3D mapping to 3D semantic mapping enables robots to, not only localize themselves with respect to the scene's geometrical features but also simultaneously understand the higher level meaning of the scene contexts. Most previous methods focus on geometric 3D reconstruction and scene understanding independently notwithstanding the fact that joint estimation can boost the accuracy of the semantic mapping. In this paper, a dense RGB-D semantic mapping system with a Pixel-Voxel network is proposed, which can perform dense 3D mapping while simultaneously recognizing and semantically labelling each point in the 3D map. The proposed Pixel-Voxel network obtains global context information by using PixelNet to exploit the RGB image and meanwhile, preserves accurate local shape information by using VoxelNet to exploit the corresponding 3D point cloud. Unlike the existing architecture that fuses score maps from different models with equal weights, we proposed a Softmax weighted fusion stack that adaptively learns the varying contributions of PixelNet and VoxelNet, and fuses the score maps of the two models according to their respective confidence levels. The proposed Pixel-Voxel network achieves the state-of-the-art semantic segmentation performance on the SUN RGB-D benchmark dataset. The runtime of the proposed system can be boosted to 11-12Hz, enabling near to real-time performance using an i7 8-cores PC with Titan X GPU.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RelationVGGT: 3차원 공간 관계 분할을 위한 시각 기하 트랜스포머
RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation
최근 3차원 재구성(3D reconstruction) 분야는 장면별 최적화(per-scene optimization) 방식에서 피드포워드 추론(feed-forward inference) 방식으로 발전해 왔으며, 의미론적 장면 이해(semantic scene understanding) 또한 이러한 흐름을 따라왔다. 그러나 기존 방법들은 여전히 객체 중심 인식(object-centric perception)에 국한되어 있어 객체 간의 공간적 관계(spatial relation)를 간과하고 있다. 본 연구에서는 피드포워드 방식이면서 포즈 정보가 필요 없는(pose-free) 멀티뷰(multi-view) 환경에서 3차원 공간 관계 분할(3D spatial relation segmentation) 문제를 정식화한다: 시각적으로 지정된 주체(subject)와 관계를 나타내는 텍스트 질의(relational text query)가 주어졌을 때, 모델은 대상의 범주명(category name)을 입력받지 않고도 여러 뷰에 걸쳐 해당 대상을 분할한다. 이를 위해 우리는 RelationVGGT를 제안한다. 이는 시각 파운데이션 모델(visual foundation model)의 의미론적 특징(semantic feature)과 3차원 기하 파운데이션 모델(3D geometry foundation model)의 기하 인지 표현(geometry-aware representation)을 통합하고, 관계 트랜스포머(relation transformer)를 활용하여 주체 조건부(subject-conditioned) 교차 뷰(cross-view) 관계 예측을 수행하는 새로운 피드포워드 프레임워크이며, 장면별 최적화나 알려진 카메라 포즈(camera pose)를 필요로 하지 않는다. 또한 우리는 VLM과 LLM을 활용하여 ScanNet++ 기반의 완전 자동화된 주석(annotation) 파이프라인을 제공함으로써, 이 새로운 과제(task)에 대한 확장 가능한 학습 데이터 생성을 가능하게 한다.
ERFNet: Efficient Residual Factorized ConvNet for Real-time Semantic Segmentation
Efficient ConvNet for Real-time Semantic Segmentation
ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기
ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning
본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.
SlotAVS: 이중 모달 슬롯 어텐션을 통한 객체 중심 시청각 세분화
SlotAVS: Object-Centric Audio-Visual Segmentation via Bi-Modal Slot Attention
시청각 세분화(Audio-Visual Segmentation, AVS)는 음향 신호를 시각 공간에 그라운딩(grounding)하여 소리를 내는 객체의 픽셀 단위 마스크를 예측하는 작업이다. 다중 음원 환경에서는 표준적인 정렬 중심 트랜스포머(transformer) 구조를 사용할 경우 동시에 발생하는 음원들이 공유된 시각적 표현 내에 뒤엉켜 마스크가 뭉개지거나 불안정한 특화(specialization) 현상이 발생하곤 한다. 이를 해결하기 위해 우리는 경쟁적 이중 모달 슬롯 어텐션(bi-modal slot attention)을 기반으로 하는 객체 중심 프레임워크인 SlotAVS를 제안한다. 강건한 파운데이션 모델(foundation model)이 풍부한 의미론적 사전 정보를 제공하지만, SlotAVS는 전역적 교차 모달 융합에서 명시적인 경쟁적 결합(competitive binding)으로 패러다임을 전환한다. 시간적 오디오 시퀀스로부터 이산적인 객체 슬롯을 초기화하고 공간적 시각 토큰(token)에 대해 슬롯 간의 엄격한 경쟁을 유도함으로써, 본 방식은 서로 다른 음향 엔티티들이 뒤섞이는 현상을 구조적으로 완화한다. 나아가 인스턴스 수준 학습을 안정화하기 위해 공간 및 경계 중첩도를 활용하여 슬롯과 실제 정답(ground-truth) 객체를 최적으로 정렬하는 헝가리안 매칭(Hungarian matching) 전략을 도입한다. 수치적으로 안정적이고 신뢰도를 고려하는 마스크 융합 메커니즘과 결합되어, SlotAVS는 다중 음원 예측을 강건하게 통합한다. AVSBench 데이터셋(dataset)을 통한 광범위한 실험은 단일 음원(S4) 분할에서 88.6% mIoU, 다중 음원(MS3) 분할에서 71.7% mIoU를 달성하여 본 접근법의 유효성을 입증한다. 이러한 결과는 복잡한 시청각 장면 이해 및 파운데이션 모델의 용량에만 의존하지 않고 그 사전 정보를 효과적으로 활용하는 데 있어 명시적인 경쟁적 결합이 결정적임을 보여준다.
iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가
iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains
대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.