스코어 증류(Score distillation)는 사전학습된 2D 확산 모델(diffusion model)을 3D 생성기로 변환하지만, 스텝별 그래디언트(gradient)가 단일 무작위 뷰로부터 추정됩니다. 이 단일 샘플 추정치는 높은 분산을 가지며(동일한 부분 장면의 서로 다른 뷰 간에 불일치가 발생함) 전역적인 형상 일관성을 파악하지 못합니다. 기존의 다중 뷰 접근법은 다중 뷰 데이터로 확산 사전을 재학습함으로써 이를 해결합니다. 이는 일관성을 향상시키지만 샘플링 기여도와 재학습된 사전의 품질을 혼동하게 만듭니다. 본 연구에서는 사전을 고정(freeze)한 상태로 유지하여 샘플링 축만을 분리합니다. 고정된 UNet 호출 예산 내에서 단일 뷰 스텝별 그래디언트를 K개 뷰에 대한 평균으로 대체하는 학습(training)이 필요 없는 샘플러인 다중 뷰 집합 스코어 증류(MV-SDI)를 소개합니다. K개의 뷰를 평균화하면 스텝별 그래디언트 분산이 단일 뷰 값의 1/K 수준으로 감소합니다. K개 뷰를 대척점의 대척쌍(antipodal pairs)으로 추출하는 방식은 추가적인 분산 감소를 제공하지는 않지만(측정된 대척 상관계수 rho 약 0), 각도 범위를 층화(stratify)하여(모든 스텝에서 양쪽 반구를 모두 포함) 독립적인 샘플링에서 발생하는 동일 반구 클러스터링을 제거합니다. 43개 프롬프트(prompt) SDI 벤치마크에서 고정된 10,000회 UNet 호출 예산 기준, K=2일 때 최적화 스텝을 절반으로 줄이면서 단일 뷰 SDI 기준선(baseline) 대비 CLIP R-정밀도(precision)를 74.8%에서 83.8%로, CLIP 점수를 0.297에서 0.312로 끌어올렸으며, HPSv2 및 ImageReward에서도 일관된 성능 향상과 0.0%의 발산율(divergence rate)을 달성했습니다. K=4는 4배의 스텝 감소와 함께 86.9%의 R-정밀도 및 0.307의 CLIP 점수를 달성합니다. 이러한 이점은 단일 뷰 증류가 붕괴되는 난이도 높은 프롬프트에 집중되며, 측정된 CLIP-IQA에서 약간의 비용이 발생합니다. MV-SDI는 역변환 기반 스코어 증류(Score Distillation via Inversion) 및 일반 SDS를 포함한 그래디언트 기반 스코어 증류 파이프라인에 즉시 적용(drop-in) 가능하며, 재학습이나 다중 뷰 데이터를 필요로 하지 않습니다. 코드는 https://github.com/marianlupascu/MV-SDI 에서 이용 가능합니다.
텍스트-to-3D(T23D) 생성을 위한 강화학습(RL)은 의미론적 정렬(semantic alignment) 및 텍스처 선명도와 같은 여러 품질 차원에 걸친 최적화(optimization)를 필요로 합니다. 기존 방식들은 차원 간 의존성을 명시적으로 모델링하지 않은 채, 다중 보상 집계를 통해 이러한 차원들을 동시에 최적화하는 것이 일반적입니다. 이는 불균형한 최적화와 상충하는 차원 간의 지속적인 간섭을 초래할 수 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 T23D RL을 위한 간섭 인식 순차적 보상 스케줄링 전략인 OuroReward를 제안합니다. OuroReward는 먼저 차원 간의 쌍별(pairwise) 의존성을 추정한 뒤, 누적 간섭을 최소화하는 순환 최적화 경로를 구축합니다. 꼬리에서 머리로 이어지는(tail-to-head) 의존성을 통합함으로써, 이 순환 경로는 전체 스케줄에 걸친 전역적 호환성을 포착합니다. 그런 다음 OuroReward는 해당 순환 경로를 1회 통과(one-pass) 시퀀스로 변환하고, 총 간섭이 가장 낮은 차원부터 최적화를 시작합니다. 각 차원별 보상에 고정된 최적화 예산을 할당하는 대신, 현재 보상의 남은 최적화 여력에 따라 다음 보상으로 진행할 시점을 적응적으로 결정하며 학습(training)을 진행합니다. 나아가 모델의 현재 역량에 부합하는 신뢰할 수 있고 유익한 프롬프트를 식별하는 적응형 프롬프트 선택 전략인 AdaSelect를 도입합니다. 정책(policy) 업데이트를 이러한 프롬프트에 집중시킴으로써, AdaSelect는 학습 안정성을 효과적으로 향상시킵니다. 다양한 T23D 모델과 RL 알고리즘에 걸친 광범위한 실험을 통해 제안한 프레임워크가 여러 차원에 걸쳐 생성 품질을 일관되게 향상시킴을 입증합니다.
생성된 모든 장면이 고정되어 있을 때도 텍스트-to-3D(Text-to-3D) 리더보드의 순위가 바뀔 수 있을까요? 본 논문에서는 카메라 설정과 캡션 문구가 측정 프로토콜의 일부가 되는 렌더링 이미지 평가를 대상으로 이 질문을 검증합니다. 6개의 생성기에서 얻은 300개의 고정된 장면에 대해 19개의 정렬(alignment) 평가기와 1개의 지각적 품질 대조군을 대상으로 8가지 렌더링 및 캡션 요인을 변화시킨 후, 4가지 목표 장면 저하를 테스트합니다. 17/19의 정렬 평가기에서 최대 구성 분산이 생성기 간 분산을 초과했으며, 11/19에서는 프롬프트 부트스트랩 하한이 1을 넘었습니다. 순위는 점수보다 안정적이지만, 18/19의 평가기에서 특정 구성에 따라 점수 추정치 기준 1위가 바뀌었습니다. 쌍별 프로토콜 마진 엔벨로프는 테스트된 설정 전반에서 어떤 비교가 방향성을 유지하는지 보여줍니다. 선택된 일부 쌍은 반대 방향의 점별 구간을 갖지만, 전체 탐색에 대한 동시 추론(simultaneous inference)에서 유의미하게 유지되는 역전은 없습니다. 따라서 관찰된 1위 변화는 기술적(descriptive)인 것일 뿐, 생성기 우수성의 확정된 변화는 아닙니다. 민감도는 별개의 문제로 남습니다. 프롬프트가 없는 대조군을 포함해 어떤 평가기도 레이아웃 뒤섞기에서 동점 조정 방향 판별력 67%를 넘지 못했으며, 이는 인간 검증 기준 진리값이라기보다는 진단적 성격에 가깝습니다. 본 검증은 점수 안정성, 결정 불확실성, 목표 민감도를 분리하여 분석하며, 프로토콜 의존적 비교 및 선택 편향을 고려한 불확실성과 함께 (생성기, 점수, 카드 ID)를 보고할 것을 권장합니다.
개념 삭제(concept erasure)는 관련 없는 입력에 대한 동작을 보존하면서 목표 개념을 억제합니다. 기존의 닫힌 형식(closed-form) 방법들은 2D 이미지 확산 모델을 위해 설계되었으며 단일 생성 경로를 가정하므로, 한 번의 편집으로 기하학적 형태(geometry)와 텍스처(texture)를 동시에 다뤄야 합니다. 2D 샘플을 리프팅하는 대신 구조화된 3D 표현을 직접 합성하는 네이티브 3D 생성기는 이러한 가정을 위배합니다. 본 논문에서는 형상 및 객체 개념은 파이프라인의 구조적 단계에서 삭제되어야 하고, 재질 개념은 외형 단계에서 삭제되어야 함을 보입니다. 이에 따라 네이티브 텍스트-3D 모델에서의 삭제를 단계 인식(stage-aware) 편집 문제로 정의하고, 학습(training)이 필요 없는 닫힌 형식 프레임워크인 STAGE를 도입합니다. STAGE는 각 편집을 삭제 임베딩과 앵커 임베딩 간의 차이로 생성되는 저차원 부분공간으로 제한하며, 기존 편집기들의 노름 보존(직교) 제약을 유지 프롬프트의 변위에 대한 페널티 조건 하에 타깃 활성화를 안전한 앵커에 매핑하는 최소제곱 아핀 보정으로 완화합니다. 이 보정은 구조적 단계, 외형 단계, 또는 두 단계 모두에 적용됩니다. 우리는 편집이 도달해야 하는 단계가 개념 유형에 따라 결정됨을 확인했습니다. 표준 오픈 네이티브 3D 생성기인 TRELLIS에서 15개의 형상, 재질, 객체 개념에 대해, CLIP 기반 시맨틱 및 물리적 지표를 종합하여 목표 개념의 망각과 그 외 모든 요소의 보존 간 균형을 맞춘 종합 점수에서 STAGE는 가장 강력한 조정 기준선(baseline)의 53.2점 대비 66.7점에 도달했습니다. 코드: https://github.com/gmum/STAGE/ 프로젝트 페이지: https://gmum.github.io/STAGE/