UniSG^GA: A 3D scenegraph powered by Geometric Algebra unifying geometry, behavior and GNNs towards generative AI
원문 초록
This work presents the introduction of UniSG^GA, a novel integrated scenegraph structure, that to incorporates behavior and geometry data on a 3D scene. It is specifically designed to seamlessly integrate Graph Neural Networks (GNNs) and address the challenges associated with transforming a 3D scenegraph (3D-SG) during generative tasks. To effectively capture and preserve the topological relationships between objects in a simplified way, within the graph representation, we propose UniSG^GA, that seamlessly integrates Geometric Algebra (GA) forms. This novel approach enhances the overall performance and capability of GNNs in handling generative and predictive tasks, opening up new possibilities and aiming to lay the foundation for further exploration and development of graph-based generative AI models that can effectively incorporate behavior data for enhanced scene generation and synthesis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 장면 생성: 종합 조사
3D Scene Generation: A Survey
3D 장면 생성은 몰입형 미디어, 로보틱스, 자율주행, 체화 AI(embodied AI) 등의 응용을 위해 공간적으로 구조화되고 의미론적으로 유의미하며 포토리얼리스틱(photorealistic)한 환경을 합성하는 것을 목표로 한다. 절차적 규칙(procedural rules)에 기반한 초기 방법은 확장성은 제공했으나 다양성은 제한적이었다. 딥 생성 모델(예: GAN, diffusion model)과 3D 표현(예: NeRF, 3D Gaussians)의 최근 발전은 실세계 장면 분포의 학습을 가능하게 하여 충실도, 다양성, 시점 일관성을 개선했다. diffusion model과 같은 최근 기법은 생성을 이미지 또는 영상 합성 문제로 재구성함으로써 3D 장면 합성과 포토리얼리즘(photorealism)을 연결한다. 본 조사는 최신(state-of-the-art) 접근법에 대한 체계적 개관을 제공하며, 이를 절차적 생성, 신경망 3D 기반 생성, 이미지 기반 생성, 영상 기반 생성의 네 가지 패러다임으로 구분한다. 각 방법의 기술적 기반, 트레이드오프, 대표적 결과를 분석하고, 널리 사용되는 데이터셋, 평가(evaluation) 프로토콜, 하류 응용을 검토한다. 마지막으로 생성 역량, 3D 표현, 데이터 및 주석, 평가의 핵심 과제를 논의하고, 더 높은 충실도, 물리 인식(physics-aware) 및 대화형(interactive) 생성, 통합 지각-생성 모델을 포함한 유망한 연구 방향을 개괄한다. 본 리뷰는 3D 장면 생성의 최근 진전을 정리하고 생성 AI, 3D 비전, 체화 지능의 교차점에서의 유망한 방향을 강조한다. 진행 중인 동향을 추적하기 위해 최신 프로젝트 페이지를 유지한다: https://github.com/hzxie/Awesome-3D-Scene-Generation.
$I^{2}$-World: Intra-Inter Tokenization for Efficient Dynamic 4D Scene Forecasting
XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation
Long-term Traffic Simulation with Interleaved Autoregressive Motion and Scenario Generation
Steerable Scene Generation with Post Training and Inference-Time Search
HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.