4DCodeBench: 동적 장면의 역 그래픽스에 대한 에이전트 벤치마킹
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
본 논문에서는 에이전트(agent)가 비디오로부터 동적 장면을 실행 가능한 그래픽스 프로그램으로 재구성하는 코드 생성 기반의 4D 역 그래픽스(inverse graphics) 벤치마크인 4DCodeBench를 소개합니다. 이를 달성하기 위해 에이전트는 시각적 관측을 장면 구조와 동역학에 대한 간결한 표현으로 변환해야 하며, 물리 시뮬레이션과 같은 추상화를 구현하여 복잡한 동작을 재현해야 합니다. 이러한 역량을 평가하기 위해 변형, 유체 흐름, 파괴를 포함한 다양한 물리적 현상을 아우르는 실제 비디오 세트를 큐레이션하고 합성 장면을 구축했습니다. 프론티어 모델을 대상으로 광범위한 벤치마킹을 수행한 결과, 뛰어난 정적 재구성 능력이 복잡한 동역학의 신뢰성 있는 재구성으로 아직 직결되지는 않는다는 점을 발견했습니다. 4DCodeBench는 코드를 통해 세상의 동역학을 해석할 수 있는 에이전트의 발전 과정을 추적하기 위한 테스트베드를 제공합니다. 벤치마크는 https://github.com/4DCodeBench/4DCodeBench 에서 확인할 수 있습니다.