평가를 통한 개선: 단일 이미지 3D 생성을 위한 바이어스가 제거된 VLM-as-3D-Judge 프로토콜
Judging to Improve: A De-biased VLM-as-3D-Judge Protocol for Single-Image 3D Generation
한국어 초록
선행 연구에서는 저렴한 기하학적 지표와 CLIP 프록시가 부족한 영역에서 단일 이미지-3D 메쉬 품질을 신뢰할 수 있게 순위 매기는 바이어스가 제거된 교차 모델 VLM-as-3D-judge를 확립했습니다. 본 논문은 해당 판단자의 선호도를 통해 인간 라벨 없이 저렴하게 강력한 오픈 소스 생성 모델인 TRELLIS를 하나의 자산 클래스(가구)에 특화시킬 수 있는지 묻습니다. 판단자를 순위 매기기에서 최적화 단계로 가져오는 것이 본 연구의 핵심입니다. VLM 판단자를 학습 및 평가 루프에 투입하면 순위 매기기에서는 발생하지 않았던 실패 모드가 드러나므로, 우리의 기여는 판단자의 최적화 등급 강화입니다: 순환성을 끊기 위해 학습용 판단자(Qwen2.5-VL-7B)를 평가용 판단자(InternVL3-8B)와 분리하고, 위치 바이어스 보정, 그리고 세 가지 실패 모드(이미지 과부하, 기하학을 숨기는 스플랫 렌더링, 깔끔하지만 틀린 출력을 보상하는 참조 없는 판단)에 대한 수정을 포함하며, 이에 대한 보정 증거(명확한 격차 승률 0.83-1.0; 기본 대 기본 ~0.5)도 제공합니다. 이 프로토콜을 독립적인 평가자로 사용하고 공개 모델 및 데이터와 가벼운 파라미터 효율적 적응만을 사용하여 작업한 결과, 우리의 방법은 강력한 기본 모델을 능가하기보다는 이와 대등한 수준으로 일치시킨다는 것을 발견했습니다. 독립적인 기본 샘플은 본질적으로 학습 가능한 선호도를 거의 가지지 않으므로(0.94의 순서 뒤바뀜 비율), 신호는 품질 대비적 구성을 통해 엔지니어링해야 합니다. 6가지 적응 방법, 2가지 입력 체제, 심각도 스윕(severity sweep)에 걸쳐, 가장 타겟팅된 방법인 심각한 열화 하에서의 컨디셔너(conditioner) 복구는 기본 모델과 동등한 수준(0.50)에 도달했으나, 어떤 방법도 65% 이상의 승률 목표는 달성하지 못했습니다. 결과는 기작적입니다: 깨끗한 입력은 판단자를 포화시키고, Flow-DIT 미세조정은 샘플러를 통해 효과가 사라지며, 컨디셔닝 복구가 기하학을 변화시키는 핵심(locus)입니다. 승률은 n=8 개체에서 방향성을 가집니다. 저렴한 적응을 통해 강력한 공개 데이터 기반 모델과 대등하게 만드는 것은 그 자체로 정보 제공적입니다: 이를 능가하려면 공개 데이터에 대한 가벼운 PEFT 이상이 필요하며, 해당 판단자 프로토콜은 재사용 가능합니다.
원문 초록
A companion study established a de-biased, cross-model VLM-as-3D-judge that reliably ranks single-image-to-3D mesh quality where cheap geometry and CLIP proxies fall short. This paper asks: can that judge's preferences specialize a strong open generator, TRELLIS, on one asset class (furniture), cheaply and without human labels? Taking the judge from ranking to optimization is where the work lives. Pushing a VLM judge into the training and evaluation loop exposes failure modes ranking never triggered, so our contribution is an optimization-grade hardening of the judge: a training judge (Qwen2.5-VL-7B) held distinct from an evaluation judge (InternVL3-8B) to break circularity; position-bias correction; and fixes for three failure modes (image overload, geometry-hiding splat renders, and reference-free judging that rewards clean-but-wrong outputs), with calibration evidence (clear-gap win-rate 0.83-1.0; base-vs-base ~0.5). Using this protocol as an independent evaluator, and working only from public models and data with lightweight parameter-efficient adaptation, we find our methods match the strong base rather than exceed it. Independent base samples carry essentially no learnable preference (0.94 order-flip rate), so signal must be engineered by quality-contrastive construction. Across six adaptation methods, two input regimes, and a severity sweep, the most targeted - conditioner repair under severe degradation - reaches parity (0.50) with the base, while no method clears the >=65% win-rate target. The result is mechanistic: clean inputs saturate the judge, flow-DIT fine-tuning washes out through the sampler, and conditioning repair is the locus that moves geometry. Win-rates are directional at n=8 objects. Matching a strong public-data base with cheap adaptation is itself informative: exceeding it needs more than lightweight PEFT on public data, and the judge protocol is reusable.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20364v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성
Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows
클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.
DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성
DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.
ScaleBlind: 미지 스케일 하의 포인트 클라우드 보완
ScaleBlind: Point Cloud Completion under Unknown Scale
포인트 클라우드 보완은 부분 포인트 클라우드로부터 완전한 3D 형상을 추론하는 것을 목표로 하며, 재구성, 편집, 시뮬레이션과 같은 하위 작업의 기본 구성 요소이다. 최근 진전에도 불구하고, 기존 학습 기반 방법들은 학습 및 테스트 시 정규화 과정에서 종종 정답 형상 스케일(GT-scale)에 대한 접근을 암묵적으로 전제하며, 실제 추론에서는 이용할 수 없는 특권 정보를 가정한다. 이 숨겨진 가정은 실용적 배포를 제한하며, 오라클 GT-scale 단서가 제거되면 과도한 보완·미달 보완, 중첩 셸(shell) 같은 심각한 보완 아티팩트를 초래할 수 있다. 우리는 최근의 파운데이션 이미지 생성 모델이 객체와 기하를 이해하고 다시점(multi-view) 일관된 렌더링을 생성하는 강한 능력을 보여 GT-scale 없이 3D 보완에 유망한 사전(prior)이 될 수 있음을 관찰한다. 이 통찰에 영감을 받아, 우리는 파운데이션 모델 기반 이미지 보완을 활용해 부분 입력으로부터 전역 스케일을 직접 복원한 뒤 3D 보완을 충실히 생성하는 새로운 프레임워크 ScaleBlind를 제안한다. 구체적으로 ScaleBlind는 렌더링된 부분 뷰로부터 완전한 다시점 외관을 생성(dream out)하고, 추론된 결손 영역을 3D로 되올려(lift) 기하 인식(geometry-aware) 거친 보완을 얻은 다음, 원본 부분 포인트 클라우드와 강력한 교차 모달(cross-modal) 융합 네트워크로 이를 정제한다. 2D 파운데이션 사전을 활용함으로써, 본 방법은 추론 시 GT-scale 정보 접근이 필요 없다. 또한 2D 생성 사전과 3D 포인트 클라우드 보완 사이의 원칙적 연결고리를 제공한다. 광범위한 실험은 프레임워크의 우수성을 보여 주며, ScaleBlind를 포인트 클라우드 보완 과제의 새로운 최신(state-of-the-art) 방법으로 만든다.
GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.
Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃
Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene
단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.
GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.