arXiv:2311.06211

ASSIST: Interactive Scene Nodes for Scalable and Realistic Indoor Simulation

Zhide Zhong, Jiakai Cao, Songen Gu, Sirui Xie, Weibo Gao, Liyi Luo, Zike Yan, Hao Zhao, Guyue Zhou

제출 2023-11-10

원문 초록

We present ASSIST, an object-wise neural radiance field as a panoptic representation for compositional and realistic simulation. Central to our approach is a novel scene node data structure that stores the information of each object in a unified fashion, allowing online interaction in both intra- and cross-scene settings. By incorporating a differentiable neural network along with the associated bounding box and semantic features, the proposed structure guarantees user-friendly interaction on independent objects to scale up novel view simulation. Objects in the scene can be queried, added, duplicated, deleted, transformed, or swapped simply through mouse/keyboard controls or language instructions. Experiments demonstrate the efficacy of the proposed method, where scaled realistic simulation can be achieved through interactive editing and compositional rendering, with color images, depth images, and panoptic segmentation masks generated in a 3D consistent manner.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2409.12760v3cs.CV공통 태그 Panoptic Segmentation공식 코드 · Papers with Code

COCO-OLAC: 가려짐이 있는 파놉틱 세그멘테이션 및 이미지 이해를 위한 벤치마크

COCO-OLAC: A Benchmark for Occluded Panoptic Segmentation and Image Understanding

파놉틱 세그멘테이션(panoptic segmentation) 및 이미지 이해에서의 가려짐(occlusion) 문제를 해결하는 데 기여하고자, 본 논문에서는 이미지를 인지된 세 가지 가려짐 수준으로 수동 라벨링하여 COCO 데이터셋으로부터 도출한 대규모 신규 데이터셋인 COCO-OLAC(COCO Occlusion Labels for All Computer Vision Tasks)을 제안한다. COCO-OLAC을 활용하여, 서로 다른 가려짐 수준을 갖는 샘플에 대해 가려짐이 파놉틱 세그멘테이션에 미치는 영향을 체계적으로 평가하고 정량화한다. 최고 수준(SOTA)의 파놉틱 모델들과의 비교 실험을 통해 가려짐의 존재가 성능에 유의미한 영향을 미치며, 가려짐 수준이 높을수록 성능이 현저히 저하됨을 입증한다. 아울러, 대조 학습(contrastive learning)을 통해 가려짐 주석을 활용하여 다양한 심각도의 가려짐을 포착하는 보다 견고한 표현을 학습하는 모델을 구축하기 위한 초기 시도로서 단순하면서도 효과적인 방법을 제안한다. 실험 결과는 제안된 접근 방식이 기준선(baseline) 모델의 성능을 향상시키고, 제안된 COCO-OLAC 데이터셋에서 SOTA 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.