DB-3DME: 인간 정렬 기반 자동 3D 메시 평가를 위한 데이터셋에서 벤치마크까지
DB-3DME: From Dataset to Benchmark for Human-aligned Automatic 3D Mesh Evaluation
최근 3D 생성 분야의 발전으로 사실성, 제어 가능성, 효율성이 크게 향상되었으나, 3D 에셋에 대한 평가는 여전히 충분히 탐구되지 않았습니다. 인간 평가, 학습된 메트릭, 심사자로서의 비전-언어 모델(VLM)을 포함한 기존 평가 패러다임은 비용, 확장성, 해상도 처리 또는 태스크별 정렬(alignment) 측면에서 한계를 지닙니다. 본 연구에서는 3D 메시 평가에 초점을 맞추어 3D 메시 평가를 위한 데이터셋 및 벤치마크인 DB-3DME를 소개합니다. DB-3DME는 기하학(Geometry) 및 프롬프트 준수(Prompt Adherence)에 대한 인간 평가 점수와 쌍을 이루는 2,619개의 합성 3D 메시를 포함합니다. 이 데이터셋을 활용하여 최신 VLM들을 체계적으로 벤치마크하고, 3D 표현의 시각적 인코딩이 인간 정렬 평가 성능의 핵심 요소임을 확인했습니다. 이러한 발견에 착안하여, 언어 모델을 동결(freezing)한 채 시각 인코더를 적응시키는 방식으로 가중치 공개(open-weight) VLM인 Qwen-2.5-VL-7B를 3D 메시 평가를 위해 파인튜닝(fine-tuning)했습니다. 파인튜닝된 모델은 여러 평가 차원에 걸쳐 기존의 사전학습(pre-trained) VLM들을 크게 능가하며, 자동 3D 메시 평가를 위한 새로운 기준을 확립했습니다. 향후 연구를 촉진하기 위해 벤치마크 데이터셋을 GitHub과 Hugging Face에 공개합니다.