한국어 초록
코드 기반의 절차적 3D 모델링은 점점 더 다재다능한 패러다임으로 부상하고 있으며, 신경망 기반 3D 생성기가 본질적으로 제공하지 못하는 결정론적이고 엔진에 바로 적용 가능하며 정밀하게 편집 가능한 자산을 제공합니다. 그러나 이러한 절차적 콘텐츠를 작성하려면 3D 소프트웨어 API, 파라메트릭 설계, 그리고 코드 수준의 기하학적 추론에 대한 깊은 전문성이 필요합니다. 본 논문에서는 3D 모델링 소프트웨어에서 절차적 3D 생성을 위한 비전-언어 모델 (VLM) 에이전트를 평가하는 체계적인 벤치마크인 3DCodeBench를 제안합니다. 구체적으로, 3DCodeBench는 12개의 고급 VLM이 텍스트 및 이미지 참조를 3D 모델링 소프트웨어용 절차적 코드로 변환함으로써 절차적 3D 모델러로서 얼마나 효과적으로 기능할 수 있는지 평가합니다. 자동화된 지표가 3D 형상의 지각적 품질을 완전히 포착하지 못할 수 있음을 인식하여, 우리는 생성된 3D 출력에 대한 쌍대 비교 인간 선호도를 기반으로 한 순위화 플랫폼인 3DCodeArena를 구축합니다. 광범위한 평가와 결과를 통해 우리는 다음을 관찰했습니다. (1) 실패는 대부분 API 불일치에서 발생하며, 성공적으로 렌더링된 경우에도 분리되거나 떠 있는 3D 기하학적 구성 요소 문제가 여전히 남아 있습니다. (2) 더 큰 사고 예산과 다중 턴 정제와 같은 테스트 시 스케일링은 전반적인 성능을 향상시킵니다. 우리의 연구 결과는 상용 VLM을 발전시키기 위해 고품질 절차적 코딩 데이터가 절실히 필요함을 강조합니다. 또한 효과적인 절차적 3D 모델링을 위해서는 반복적 정제를 위한 고충실도 피드백을 제공하는 강건한 실행 환경이 필요합니다. 우리는 멀티모달(텍스트/이미지) 프롬프트, 절차적 코드, 3D 객체 트리플릿, 평가 프로토콜, 그리고 절차적 3D 모델러를 VLM 기반으로 탐구하기 위한 기초 도구키트로서 공개 3DCodeArena 플랫폼을 포함한 3DCodeBench를 공개합니다.
요약
절차적 3차원 모델링을 코드로 수행하는 방식은 신경망 기반 3차원 생성이 제공하기 어려운 결정론성, 엔진 즉시 사용 가능성, 정밀 편집 가능성을 함께 제공한다는 점에서 큰 잠재력을 지니지만, 실제 구현에는 3차원 소프트웨어 응용 프로그램 인터페이스(API) 이해와 파라메트릭 설계, 코드 수준의 기하 추론이 모두 요구되어 진입 장벽이 매우 높습니다. 이러한 문제의식을 바탕으로 3DCodeBench는 비전-언어 모델(vision-language model, VLM) 에이전트가 텍스트와 이미지 참조를 절차적 3차원 코드로 얼마나 정확하게 변환할 수 있는지를 체계적으로 평가하는 벤치마크로 제안됩니다. 이 벤치마크는 단순히 코드 실행 가능성만을 보지 않고, 생성된 3차원 결과물의 형상 품질과 지각적 적합성까지 함께 고려하도록 설계되었으며, 총 12개의 고급 VLM을 대상으로 실제 모델링 워크플로우에 가까운 조건에서 성능을 측정합니다. 특히 저자들은 Infinigen 기반의 절차적 자산 생성 흐름을 활용해 인간 검증이 포함된 에이전트형 큐레이션 파이프라인을 구축하고, 약 2만 6천 개 규모의 멀티모달 프롬프트와 절차적 코드, 3차원 객체 삼중항을 212개 범주에 걸쳐 정제하여 대규모 평가 자원을 마련했습니다. 이는 단순한 데이터셋 확장을 넘어, 복잡한 기하 구조와 긴 코드 길이를 요구하는 실제 제작 과제를 대표하도록 설계되었다는 점에서 의미가 큽니다. 평가 체계의 또 다른 핵심은 자동 지표의 한계를 보완하기 위해 3DCodeArena라는 인간 선호 기반 랭킹 플랫폼을 함께 구축했다는 점입니다. 3DCodeArena는 생성된 3차원 결과물 쌍에 대한 쌍대 비교(pairwise) 인간 선호를 통해 순위를 매기고, 이를 엘로(Elo) 랭킹으로 정리함으로써 단순 렌더 성공 여부나 기하 정합성 점수만으로 포착하기 어려운 지각적 품질을 반영합니다. 이와 함께 실행 가능성, 시점 유사도, 3차원 기하 정렬 등 여러 자동 평가를 병행하여, 코드가 돌아가는지뿐 아니라 실제로 어떤 형태의 객체가 만들어졌는지를 다층적으로 진단합니다. 실험 결과는 실패의 상당수가 복잡한 추론 부족보다 API 불일치에서 비롯되며, 실행에 성공한 경우에도 끊어진 기하 요소나 공중에 떠 있는 부품처럼 구조적으로 불안정한 결과가 자주 발생한다는 점을 보여줍니다. 반면 테스트 시점 확장(test-time scaling), 즉 더 큰 사고 예산과 다중 턴(multi-turn) 정제 전략은 전반적인 성능을 유의미하게 끌어올렸고, 이는 반복적 오류 수정과 고충실도 피드백이 절차적 3차원 모델링에서 특히 중요하다는 사실을 뒷받침합니다. 이 연구는 결국 코드 기반 3차원 생성이 단발성 생성 문제가 아니라, 실행, 오류 분석, 재작성, 시각적 검증이 연결된 에이전트형 문제라는 점을 분명하게 보여줍니다. 또한 상용 VLM의 잠재력을 실제로 끌어올리기 위해서는 고품질 절차적 코딩 데이터와 함께, 렌더링 결과에 대한 정확한 피드백을 제공하는 견고한 실행 환경이 필수적이라는 점도 강조합니다. 요약하면 3DCodeBench는 절차적 3차원 모델링을 코드 생성 중심의 새로운 평가 문제로 정식화하고, 3DCodeArena를 통해 인간이 체감하는 품질까지 반영하는 평가 기반을 제시함으로써, 향후 비전-언어 모델이 정교한 3차원 제작 에이전트로 발전하기 위한 실질적인 토대를 마련합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.