확산 모델은 기본 시각 능력을 일반화하는 법을 배우는가?
Do Diffusion Models Learn to Generalize Basic Visual Skills?
한국어 초록
확산 모델은 고품질 이미지를 생성하지만 얼마나 잘 일반화하는지 측정하기는 어렵다. 텍스트-이미지 모델은 사람의 선호와 프롬프트 준수 벤치마크로, 클래스 조건부 모델은 프레셰 인셉션 거리(FID)와 인셉션 점수(IS) 같은 분포 수준 평가지표로 주로 평가한다. 그러나 이 방법으로는 모델이 기본 시각 능력을 배웠는지, 주로 학습 패턴을 따라 하는지 구별할 수 없다. 확산 모델이 크기, 위치, 회전, 개수, 색, 모양 같은 기본 시각 능력과 그 조합을 어떻게 학습하고 일반화하는지 연구하기 위해 통제된 실험 프레임워크 Visual Generative Lab(VGL)을 소개한다. 명시적인 규칙으로 능력별 합성 학습 데이터를 생성해 과제에 맞는 규칙 기반 평가지표로 일반화를 정밀하게 측정한다. 이 데이터에서 모델을 처음부터 학습한 결과 세 가지 양상을 확인했다. (1) 기본 설계에서는 외삽에 한계가 있었다. 크기와 위치는 학습 범위에서 몇 픽셀만 벗어나도 성능이 떨어졌다. 범위를 벗어난 개수에서는 정확도가 약 50%였고, 회전 외삽의 정확도는 시드마다 크게 달랐다. (2) 조합적 일반화에서는 데이터셋 크기보다 서로 다른 기본 시각 능력 조합의 수가 더 중요했다. (3) 위치를 제외하면 각 능력은 대체로 서로 독립적으로 실패했다. 코드와 데이터 생성 스크립트는 https://github.com/AmishSethi/visual-generative-lab 에 공개되어 있다.
원문 초록
Diffusion models generate high-quality images, but how well they generalize is hard to measure. Current evaluations rely on human preference and prompt-following benchmarks for text-to-image models and on distribution-level metrics such as Fr\'echet Inception Distance (FID) and Inception Score (IS) for class-conditional models, but these cannot tell whether models learn basic visual skills or largely match training patterns. To address this gap, we introduce the Visual Generative Lab (VGL), a controlled experimental framework for studying how diffusion models learn and generalize basic visual skills, including size, position, rotation, count, color, shape, and their compositions. By generating synthetic training data for each skill from explicit rules, VGL allows precise measurement of generalization with task-specific, rule-based metrics. Training models from scratch on these data reveals three patterns in this controlled setting: (1) with our default design, extrapolation is limited: size and position degrade within a few pixels of the training range, count reaches only about 50% accuracy on out-of-range counts, and rotation extrapolation accuracy varies widely across seeds; (2) for compositional generalization, the number of distinct basic visual skill combinations matters more than dataset size; (3) skills mostly fail independently, except position. Code and data-generation scripts: https://github.com/AmishSethi/visual-generative-lab.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22427v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.