PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01863v1cs.CV

LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템

LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/

arXiv:2609.23910v1cs.RO

ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.