LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템
LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction
본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/