arXiv:2610.01863v1 cs.CV

LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템

LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

Zhening Huang, Yueyan Li, Johnathan Chiu, Xiaoyang Lyu, Matt Zhou, Yuxin Yao, Joan Lasenby, Shangzhe Wu

제출 2026-10-01

저자 비고

arXiv Comments

Code:https://github.com/LiteReality/LiteReality-Agent/ Webpage:https://litereality.github.io/agent/

한국어 초록

본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/

원문 초록

We present LiteReality-Agent, an agentic system for reconstructing real indoor environments as realistic, articulated, and simulation-ready 3D scenes from RGB-D scans. At its core, LiteReality-Agent formulates 3D reconstruction as a coding problem, in which a coding agent gathers evidence using specialised tools and iteratively edits a Python script, Room.py, which can be executed to produce a 3D digital twin of the room. With this formulation, we develop a robust observe-edit-verify harness that supports evidence gathering, measurement, verification, layout optimisation, simulation readiness, and quality control throughout the reconstruction process. LiteReality-Agent produces high-quality reconstructions suitable for simulation and downstream embodied AI tasks. Furthermore, as agent capabilities continue to improve rapidly, the system introduced by LiteReality-Agent remains a strong orchestration framework for future agents: it equips them with specialised tools, structured workflows, and robust verification mechanisms that substantially improve reconstruction quality and reliability. We demonstrate that LiteReality-Agent produces reconstructions that are more geometrically accurate, visually realistic, and simulation-compatible than those generated by recent frontier models, such as Astra and Fable. We therefore view LiteReality-Agent as a practical and important building block for robust real-to-sim systems. Both the source code and the data-capture application are publicly available. Code:https://github.com/LiteReality/LiteReality-Agent/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01863v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24850v2cs.CV공통 태그 3D Reconstruction, Scene Understanding

Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation

다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2610.15734v1cs.CV공통 태그 3D Reconstruction, Scene Understanding

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2609.33987v2cs.CL공통 태그 Code Generation, agentic coding

Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크

Opera: A Verbal Critic Framework for Long-horizon Coding Agents

장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.

arXiv:2610.10962v1cs.RO공통 태그 Scene Understanding, Code Generation

iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가

iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains

대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.

arXiv:2609.26793v2cs.CV공통 태그 3D Reconstruction, Scene Understanding

HARMONY: 단안 영상 기반 장면 합성을 위한 계층적 에이전트 추론

HARMONY: Hierarchical Agentic Reasoning for MONocular Image-to-Scene Synthesis

구성적 3D 장면 복원(compositional 3D scene reconstruction)은 최근 두 가지 방향에서 연구되어 왔습니다. 공간적 관계에 대한 의미론적 이해를 제공하지만 입력 이미지와의 정밀한 정렬이 부족한 에이전트 추론(agentic reasoning)과, 입력 이미지로부터 조밀한 포인트 맵을 예측하지만 복원 품질이 제한적인 시각 기하 파운데이션 모델(visual geometry foundation models)입니다. 따라서 단일 단안 이미지로부터 정확한 객체 간 관계와 고충실도 복원 품질을 갖춘 완전한 3D 장면을 복원하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 에이전트 추론과 시각 기하 파운데이션을 모두 활용하는 계층적 사고의 연쇄(Chain-of-Thought) 프레임워크인 HARMONY를 제안합니다. 실내 장면 이미지가 주어지면, 빈 3D 평면도에서 시작하여 HARMONY는 먼저 참조 이미지에 대해 카메라를 캘리브레이션하여 의미론적으로 그라운딩된 공간 프레임을 설정한 다음, 에이전트 VLM 추론을 사용하여 3D 방 레이아웃과 초기 배치 순서를 복원합니다. 이후 벽면 부착 요소부터 독립형 가구, 가구 위의 종속적인 장식품에 이르기까지 계층적 순서로 객체를 배치합니다. 또한 가구 배치 시에는 각 배치가 이전에 결정된 구조를 조건으로 하도록 깊이 우선 탐색(depth-first traversal)을 사용하고, 오차 누적을 방지하기 위해 반추적 피드백 루프(reflective feedback loop)를 적용합니다. VLM에 의한 각 객체 배치 후에는 포인트 클라우드 추정치를 사용하여 기하학 기반 개선을 수행함으로써 렌더링된 이미지가 입력과 더 잘 정렬되도록 합니다. HARMONY는 참조 이미지와 의미론적으로 일관되고 지각적으로 정렬된 3D 장면을 생성할 수 있어, 단일 이미지 구성적 복원을 복잡한 실내 장면 이미지로 확장합니다. 합성 및 실제 이미지에 대한 실험을 통해 HARMONY가 평가된 복원 베이스라인 모델들을 능가함을 입증하였으며, GPT-6 Astra와의 정성적 비교를 통해 더 충실한 객체 배치와 더 우수한 장면 세부 정보 보존 성능을 보여줍니다.

arXiv:2610.02563v1cs.LG공통 태그 Code Generation, agentic coding

OpenGameEval: 상태 유지형 게임 엔진에서의 에이전틱 프로그래밍 및 탐험 벤치마킹

OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine

우리는 Roblox Studio 내에서 에이전틱(agentic) 게임 개발을 위한 벤치마크 및 평가 프레임워크인 OpenGameEval을 제시한다. 이 프레임워크는 언어 모델을 재현 가능하고 상태를 유지하는 게임 엔진 세션 내에서 에이전트로 실행하며, 편집된 장면(scene)과 시뮬레이션된 플레이 세션 양쪽에 대해 실행 가능한 검사(executable checks)를 통해 각 실행을 평가한다. 대부분의 에이전틱 코딩 벤치마크는 탐험을 요구하지만 최종 과제 성공 여부만을 평가한다. OpenGameEval은 8개의 도구로 구성된 행동 공간(action space)에서 관찰 도구와 편집 도구를 분리하여, 탐험을 직접 측정할 수 있도록 한다. 우리는 16회의 시도로 구성된, 사람이 직접 선별한 84개의 핵심 과제에 대해 13개의 최신(frontier) 모델의 통과율과 탐험 행동을 측정한다. 이 과제들은 현재 모델들에게 어려운 것으로 나타난다. 최고 성능 모델은 한 번의 시도로 과제의 51.7%를 해결하고, 다섯 번 모두 성공하는 비율은 39.4%이며, 테스트된 모델 중 6개 과제를 해결한 모델은 없었다. 최신 모델들은 서로 다른 과제를 해결함으로써 비슷한 통과율에 도달한다. 과제를 요구되는 작업 종류별로 나누어 보면, 스크립트 작성(script-authoring) 과제에서는 상위 5개 모델 간 격차가 5.0퍼센트포인트(pp)로 벌어지고, 장면 변경(scene-change) 과제에서는 12.5퍼센트포인트로 벌어진다. 탐험 행동은 실행의 성공 여부를 예측한다. 과제와 모델을 고정했을 때, 참조 솔루션이 다루는 모든 객체를 행동에 앞서 검사하는 실행은, 장면 전용(scene-only) 과제에서는 그중 아무것도 검사하지 않은 실행보다 13.4퍼센트포인트 더 높은 비율로 성공하며, 스크립트 전용(script-only) 과제에서는 9.8퍼센트포인트 더 높은 비율로 성공한다. 우리는 과제 모음(task suite)과 해당 place 파일, 과제별 주석(annotation), Roblox Studio 내에서 과제를 실행하는 플러그인, 그리고 업데이트된 리더보드를 MIT 라이선스로 https://github.com/Roblox/open-game-eval 에 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.