arXiv:2609.36777v2 cs.AI

Code4Scene: 3D 장면 구성 및 편집을 위한 코딩 에이전트 벤치마크

Code4Scene: Benchmarking Coding Agents for Constructing and Editing 3D Scenes

Xiaokang Ye, Siddhant Hitesh Mantri, Zimeng Chen, Edward Zhang, Zhaoxu Zheng, Yuanheng Li, Yizhao Chen, Tianyang Huang, Lianhui Qin

제출 2026-11-18

한국어 초록

최첨단 코딩 에이전트는 이제 3D 환경을 구성하는 코드를 작성하고 실행할 수 있지만, 이들이 3D 구조를 신뢰성 있게 이해하고 장면 상태를 정밀하게 제어하는지는 여전히 불분명하다. 생성된 3D 장면은 지속적이고 실행 가능한 산출물이며, 그럴듯한 렌더링이 잘못된 공간 관계, 교차하는 객체, 의도하지 않은 수정을 숨길 수 있다. 우리는 사람이 조립한 장면을 바탕으로 구축한 170개의 Unreal Engine 사례로 이루어진 벤치마크 Code4Scene을 소개하며, 이는 공유된 실행 인터페이스 아래 상호 보완적인 두 가지 설정에서 코딩 에이전트를 평가한다. 구성(Construction)은 다양한 구현이 유효할 수 있는 개방형 언어 명세로부터 장면 수준의 공간 추론을 평가하고, 편집(Editing)은 에이전트가 참조 이미지로부터 목표 장면을 복원하면서 나머지 모든 것을 보존해야 하는 정밀한 장면 상태 제어를 평가한다. Code4Scene은 코드나 렌더링된 뷰를 채점하는 대신, 생성된 엔진 고유의 장면을 과제 충족도, 산출물 무결성, 정적 물리적 타당성 측면에서 평가하며, 편집은 비공개 정답과도 추가로 비교한다. 83개 사례의 공개 세트에서 14개 코딩 에이전트 시스템을 평가한 결과, 구성 성능과 편집 성능은 강한 상관관계를 보이지만 서로 대체될 수는 없다(Spearman $\rho = 0.67$). Claude Fable 5.1이 구성에서, Gemini 3.8 Flash가 편집에서 선두이다. 공간 구성(Spatial Composition)은 모든 에이전트에서 가장 취약한 구성 범주이며, 편집은 여전히 부정확하여 최고의 Repair F1은 0.562에 불과하고 목표를 완전히 복원한 편집의 34.2%가 장면의 다른 곳에 의도하지 않은 변경을 도입한다. 이러한 결과는 그럴듯한 3D 생성과 신뢰할 수 있는 공간 추론 및 상태 제어 사이의 격차를 드러낸다. 프로젝트 웹페이지는 https://simworld.org/code4scene 이다.

원문 초록

Frontier coding agents can now write and execute code that authors 3D environments, but whether they reliably understand 3D structure and precisely control scene state remains unclear. The generated 3D scene is a persistent, executable artifact: a convincing render can hide incorrect spatial relations, intersecting objects, or unintended modifications. We introduce Code4Scene, a benchmark of 170 Unreal Engine cases built from human-assembled scenes that evaluates coding agents on two complementary settings under a shared execution interface. Construction tests scene-level spatial reasoning from open-ended language specifications, where many realizations are valid; editing tests precise control of scene state, where the agent must recover the target scene from reference images while preserving everything else. Rather than scoring code or rendered views, Code4Scene evaluates the generated engine-native scene for task fulfillment, artifact integrity, and static physical validity, with edits additionally compared against withheld ground truth. Across 14 coding-agent systems on the 83-case public set, construction and editing performance are strongly correlated but not interchangeable (Spearman $\rho = 0.67$): Claude Fable 5.1 leads construction, Gemini 3.8 Flash leads editing. Spatial Composition is the weakest construction category for every agent, while editing remains imprecise: the best Repair F1 is only 0.562, and 34.2% of edits that fully recover the target still introduce unintended changes elsewhere in the scene. These results expose a gap between plausible 3D generation and reliable spatial reasoning and state control. The project webpage is at https://simworld.org/code4scene.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36777v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.