PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.28733v2cs.RO

자기회귀 확산 모델을 통한 3D 장면 그래프 내 고수준 개념 생성

Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.

arXiv:2609.22351v1cs.CV

3D 장면 그래프에서 의미적 불확실성의 계층적 집약

Hierarchical Aggregation of Semantic Uncertainty in 3D Scene Graphs

오픈 어휘(open-vocabulary) 3D 장면 그래프(3DSG)는 각 객체 노드를 비전-언어 임베딩에 그라운딩하지만, 모든 항목을 동등하게 확실한 것으로 기록하기 때문에, 지도를 조회하는 로봇은 어떤 항목이 신뢰할 수 없는지 구별할 수 없다. 의미적 불확실성 추정기가 그 구별을 제공할 수 있지만, 모델의 반복 샘pling, 학습, 또는 홀드아웃 레이블이 필요하며, 이는 모두 쿼리 시점에 배포된 시스템에서 사용할 수 없다. 우리는 검출기 신뢰도(detector confidence)와 3DSG가 이미 저장하고 있는 임베딩을 활용하여, 항목이 올바를 확률로 변환하고, 그 확률을 포함(containment) 계층을 통해 전파하여 어떤 방이 조회된 클래스를 포함한다는 믿음(belief)으로 만드는 프레임워크를 제시한다. 각각이 나타내는 객체 수준 오류와 짝을 이루는 네 가지 신호는 비전-언어 모델이 학습한 로짓 스케일에서 확률로 변환되며, 추가적인 지각(perception)이나 학습 없이 닫힌 형식(closed form)으로 결합된다. 동일한 검출기와 어휘를 공유하는 객체들은 함께 실패하므로, 프레임워크는 완전 상관(fully correlated) 극한에서 이들을 집약하며, 독립 가정 하의 집약은 하나의 반복된 오류를 반복된 증거로 취급할 것이다. HM3DSem에서 최신(state-of-the-art) 3DSG 시스템과 비교하여 평가한 결과, 프레임워크는 객체 검색을 개선하고 읽는 그래프의 방 수준 단언(room-level assertions)의 오류를 낮춘다.

arXiv:2606.19383v1cs.RO

3D 장면 그래프: 남은 과제와 향후 방향

3D Scene Graphs: Open Challenges and Future Directions

3D 장면 그래프(3DSGs)는 환경의 기하학적 그라운딩과 의미론적 및 관계형 추상화를 결합하여 공간 AI(spatial AI)를 위한 강력한 표현으로 등장했습니다. 이들의 표현력 덕분에 조작, 내비게이션, 작업 계획, 장면 이해 등 로봇공학 및 컴퓨터 비전의 광범위한 문제에 적용될 수 있게 되었습니다. 그러나 해당 분야는 여전히 파편화되어 있습니다. 서로 다른 커뮤니티가 상이한 정형화, 구축 파이프라인, 평가 프로토콜을 채택하고 있어, 방법 간 비교, 공통 가정 식별, 그리고 강건한 실제 환경 배치를 위한 남은 과제 파악이 어렵습니다. 본 조사는 3DSGs에 대한 통합적이고 비판적인 검토를 제공하며, 특히 남은 과제와 향후 방향에 중점을 둡니다. 먼저 공통 정의에 따라 3DSGs를 형식화하고, 노드 및 엣지 속성, 계층 구조, 동적 장면 표현, 어포던스 인식 확장 등 기존 정형화의 특징을 나타내는 주요 모델링 선택지를 분석합니다. 이어서 3DSGs가 원시 감각 데이터로부터 구축되는 방식을 검토하며, 가장 일반적인 용어, 규약, 기법에 대해 논의합니다. 마지막으로, 내재적 그래프 품질부터 작업 수준 성능에 이르기까지 다운스트림 응용 및 평가 전략을 살펴봅니다. 또한 커뮤니티를 지원하기 위해 조사된 내용을 정리하고 확장한 전용 웹사이트(https://3dscenegraphs.com/)를 제공합니다.