Modeling Dynamic Environments with Scene Graph Memory
원문 초록
Embodied AI agents that search for objects in large environments such as households often need to make efficient decisions by predicting object locations based on partial information. We pose this as a new type of link prediction problem: link prediction on partially observable dynamic graphs. Our graph is a representation of a scene in which rooms and objects are nodes, and their relationships are encoded in the edges; only parts of the changing graph are known to the agent at each timestep. This partial observability poses a challenge to existing link prediction approaches, which we address. We propose a novel state representation -- Scene Graph Memory (SGM) -- with captures the agent's accumulated set of observations, as well as a neural net architecture called a Node Edge Predictor (NEP) that extracts information from the SGM to search efficiently. We evaluate our method in the Dynamic House Simulator, a new benchmark that creates diverse dynamic graphs following the semantic patterns typically seen at homes, and show that NEP can be trained to predict the locations of objects in a variety of environments with diverse object movement dynamics, outperforming baselines both in terms of new scene adaptability and overall accuracy. The codebase and more can be found at https://www.scenegraphmemory.com.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하이퍼그래프 신경망을 활용한 하이퍼에지 이상 탐지
Hyperedge Anomaly Detection with Hypergraph Neural Network
하이퍼그래프(hypergraph)는 데이터 개체 간의 고차(higher-order) 관계를 모델링할 수 있게 해주는 데이터 구조입니다. 기존의 그래프 구조 데이터는 쌍별(pairwise) 관계만을 표현할 수 있는 반면, 하이퍼그래프는 여러 개체를 제한 없이 연결할 수 있어 다양한 실제 응용 분야에서 필수적입니다. 노드(node) 분류, 링크 예측 등 다양한 문제 설정에 대해 하이퍼그래프 학습 알고리즘이 활발히 연구되어 왔습니다. 그러나 하이퍼그래프에서의 이상 탐지(anomaly detection)에 대한 연구는 훨씬 덜 진행되었습니다. 이상 탐지는 일반적인 패턴에서 벗어나는 이벤트를 식별하며, 하이퍼그래프에 적용하여 비정상적인 고차 관계를 탐지할 수 있습니다. 본 연구에서는 하이퍼그래프 내 이상 관계를 식별하기 위한 엔드투엔드(end-to-end) 하이퍼그래프 신경망 기반 모델(model)을 제안합니다. 제안된 알고리즘은 레이블이 지정된 데이터 없이도 비지도 방식으로 작동합니다. 여러 실제 데이터셋에 대한 광범위한 실험을 통해 이상 하이퍼에지를 탐지하는 데 있어 우리 모델의 효과성을 입증합니다.
Graph Collaborative Attention Network for Link Prediction in Knowledge Graphs
Demystifying Distributed Training of Graph Neural Networks for Link Prediction
Learnable Spatial-Temporal Positional Encoding for Link Prediction
A Survey of Link Prediction in N-ary Knowledge Graphs
Invariant Link Selector for Spatial-Temporal Out-of-Distribution Problem
토론
이 논문과 연결된 포럼 글이 아직 없습니다.