물리적으로 근거한 관절형 3D 에셋을 향하여: 멀티 에이전트 파이프라인과 벤치마크
Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark
본 논문에서는 물리적으로 근거한 관절형 3D 에셋 생성을 연구하며, 목표를 객체가 어떻게 보이는지를 재현하는 것에서 객체가 어떻게 움직이고 기능하는지를 포착하는 것으로 전환한다. 절차적(procedural) 생성 및 에이전트 기반(agentic) 생성에 관한 문헌에서 영감을 받아, 우리는 Artisan을 제시한다. Artisan은 최신 기법인 Articraft를 확장하여 물리 시뮬레이션 피드백을 포함하는 멀티 에이전트 파이프라인을 도입함으로써, 기하학(geometry), 외형(appearance), 그리고 물리적으로 타당한 관절 운동을 넘어서는 충돌 없는 움직임, 중력 하에서의 안정성, 정확한 질량 및 재질 속성과 같은 포괄적인 속성들을 가능하게 하는 시스템이다. 더 나아가, 우리는 공간적 충실도(spatial fidelity), 물리적 타당성(physical plausibility), 다운스트림 과업 성능, 전반적인 품질이라는 네 가지 핵심 측면을 포괄하는 통합 벤치마크를 구축한다. 이 벤치마크는 ArtVIP와 LightWheel에서 가져온 100개의 참조 에셋, 50개의 안정성 프롬프트, 그리고 참조 질량을 가진 50개의 ABO 객체를 포함하며, 다양한 지표를 평가하는 프로토콜을 갖추고 있다. 10개 이상의 대표적인 모델에 대한 광범위한 평가를 통해, Artisan은 경쟁력 있는 공간적 충실도를 달성하면서 평가된 방법들 중 가장 낮은 충돌률과 가장 높은 안정성 비율을 달성한다. 종합적으로, 우리의 시스템과 벤치마크는 3D 생성을 물리적으로 타당하고 기능적으로 사용 가능한 에셋을 향해 발전시키기 위한 통찰을 제시한다.