단일 이미지 3D 메쉬 품질 평가를 위한 교차 모델 VLM-Judge 프로토콜 (그리고 저렴한 대리 지표가 부족한 이유)
A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)
한국어 초록
단일 이미지-3D 생성기(single-image-to-3D generator)는 빠르게 발전하고 있지만, 생성된 메쉬 하나가 다른 것보다 더 나은지 판단하는 데 합의된 인간 개입 없는 방법이 없습니다. 실무자들은 흔히 저렴한 자동 대리 지표(렌더 공간 CLIP 유사도 및 메쉬 기하학적 유효성 통계)에 의존하지만, 이것들이 인지된 품질을 얼마나 잘 반영하는지는 확립되지 않았습니다. 우리는 두 가지 기여를 합니다. 첫째, 재현 가능한 VLM 판단자(VLM-judge) 평가 프로토콜을 제안하고 검증합니다: 고정된 24뷰 헤드리스 렌더 장비, 두 개의 독립적인 비전-언어 판단자 계열, 그리고 두 가지 제시 순서를 모두 쿼리하고 순서에 일관적인 판결만 유지하는 필수 위치 바이어스(position-bias) 보정입니다. 두 판단자 계열은 서로 상당히 일치하며(Cohen's kappa = 0.66), 이는 우연 일치 기준선을 훨씬 상회합니다. 둘째, 이 프로토콜을 참조로 사용하여 저렴한 대리 지표가 이를 대체할 수 없음을 보여줍니다. 기하학적 유효성은 평균적으로 약한 신호일 뿐이며(우리가 보여주듯이 이것이 이봉적(bimodal)이기 때문입니다) 사전 등록된 목표 미만으로 머물며, 반면 렌더-CLIP은 우연 수준입니다. 학습된 Bradley-Terry 헤드는 단일 매니폴드성(manifoldness) 통계로 붕괴되며(렌더-CLIP에 음의 가중치를 부여), 기하학적 전용(only)과 정확히 일치하므로 특징(feature) 가중치를 학습하는 것은 아무런 효과가 없습니다. 대리 지표 또한 이봉적입니다: 가시적인 기하학적 결함이 있는 대비에서는 우연 수준보다 유의미하게 높지만 모호한 대비에서는 우연 수준이며, 이는 결함이 시각적으로 두드러질 때만 기하학적 유효성이 판단자를 추적한다는 것과 일치합니다. 따라서 우리는 테스트된 조건(Google Scanned Objects 데이터셋의 두 피드포워드 생성기, 면 드롭(face-drop) 열화 방식 포함)에서 VLM 판단자 프로토콜을 신뢰할 수 있고 재현 가능한 평가자로 추천하며, 최적화 목표로서 기하학/CLIP 대리 지표를 사용하지 않을 것을 권고합니다.
원문 초록
Single-image-to-3D generators are improving quickly, but there is no agreed, human-free way to tell whether one generated mesh is better than another. Practitioners commonly rely on cheap automatic proxies (render-space CLIP similarity and mesh geometry-validity statistics), yet how well these track perceived quality is unestablished. We make two contributions. First, we propose and validate a reproducible VLM-judge evaluation protocol: a fixed 24-view headless render rig, two independent vision-language judge families, and a mandatory position-bias correction that queries both presentation orders and keeps only order-consistent verdicts. The two judge families agree substantially with each other (Cohen's kappa = 0.66), well above the chance-agreement floor. Second, using this protocol as the reference, we show the cheap proxies do not substitute for it. Geometry validity is only a weak signal on average (because, as we show, it is bimodal) and stays below our pre-registered target, while render-CLIP is at chance. A learned Bradley-Terry head collapses onto a single manifoldness statistic (giving render-CLIP a negative weight) and matches geometry-only exactly, so learning the feature weights buys nothing. The proxy is also bimodal: it is significantly above chance on contrasts with visible geometric defects but at chance on ambiguous contrasts, consistent with geometry validity tracking the judge only when the defect is visually salient. We therefore recommend the VLM-judge protocol as a reliable, reproducible evaluator under the conditions tested (two feed-forward generators on Google Scanned Objects, with a face-drop degradation regime) and advise against geometry/CLIP proxies as optimization targets.
요약
단일 이미지 3D 메쉬 품질을 인간 개입 없이 비교할 합의된 방법이 없어, 24뷰 렌더링·두 독립 VLM 판단자·위치 바이어스 보정을 갖춘 재현 가능한 VLM-judge 평가 프로토콜을 제안·검증했으며 두 판단자는 Cohen's kappa 0.66으로 상당히 일치한다. 이를 기준으로 렌더-CLIP 유사도와 메쉬 기하학적 유효성 같은 저렴한 대리 지표는 판단자를 대체하지 못하고(기하학은 약한 신호·이봉적, CLIP은 우연 수준), 최적화 목표로 쓰지 말 것을 권고한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18451v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가
GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations
3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
3DGS를 위한 효율적인 신뢰도 인지 밀집화
Efficient Confidence-Aware Densification for 3DGS
3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기
Make It Flow: Animating Water in 3D Gaussian Splatting Scenes
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.