생성 모델이 전례 없는 시각적 품질을 달성함에 따라, 이미지 평가의 표준 지표(gold standard)로는 여전히 전통적인 특징 분포 지표(예: FID)가 널리 사용되고 있습니다. 그러나 이러한 지표들은 구식 특징의 폐쇄 어휘(closed-vocabulary) 병목 현상과 경직된 매개변수 기반 공식화의 가정적 바이어스(assumptive bias)로 인해 한계를 보입니다. 최근의 대안들은 현대적인 백본을 활용하여 특징 병목 현상을 해결하고자 하지만, 여전히 매개변수적 한계에서 벗어나지 못하고 있습니다. 이러한 격차를 해소하기 위해, 우리는 수학적으로 타당하며 가정이 필요 없는 유사도 측정 방식으로 슬라이스드 바서슈타인 거리(Sliced Wasserstein Distance)를 활용하는 새로운 평가 프레임워크인 APEX(Assumption-free Projection-based Embedding eXamination)를 소개합니다. 이론적 및 실증적 근거를 통해 증명하듯, APEX는 고차원 공간에 대한 효과적인 확장성을 지닙니다. 또한 APEX는 임베딩에 구애받지 않으며(embedding-agnostic), 두 가지 개방 어휘 파운데이션 모델인 CLIP과 DINOv2를 특징 추출기로 사용합니다. 기존 기준 모델들과 비교 벤치마킹한 결과, APEX는 시각적 품질 저하에 대해 우수한 강건성을 보여주었습니다. 나아가 우리는 APEX 지표가 데이터셋 내 및 데이터셋 간 안정성을 나타내어, 도메인 외(out-of-domain) 데이터셋에서도 매우 안정적인 평가를 보장함을 보여줍니다.
Fréchet Inception Distance(FID)는 이미지 생성의 사실상의 기준이지만, 대부분의 논문은 단일 학습 모델과 단일 샘플링 시드를 사용하여 단 하나의 숫자만 보고합니다. 모델을 재학습하거나 단순히 다시 샘플링할 경우 그 숫자의 재현성은 어느 정도일까요? 본 논문에서는 FID를 학습 및 생성 시드의 2축 패널에 대한 확률 변수로 간주하고, 클래스 조건부 ImageNet 256x256에서 학습된 수백 개의 SiT 네트워크에서 그 분산을 직접 측정합니다. 우리는 놀라운 발견을 보고합니다: (a) 동일한 레시피를 사용하여 다른 시드로 모델을 재학습하면 고정된 네트워크에서 샘플을 다시 그리는 것보다 FID가(Inception 특징 공간에서) 3.2배 더 많이 변동합니다. (b) 이러한 격차는 무작위 초기화, 데이터 순서, 그리고 플로우 매칭 손실(flow-matching loss)의 단계별 가우시안 노이즈라는 세 가지 요인에 의해 발생합니다. (c) 컴퓨팅 자원이나 모델 크기를 늘려도 분산은 거의 줄어들지 않으며, FID 변동 계수(CoV)는 1-2% 대역 내에 머무릅니다. (d) 셀별 분류기 없는 유도(classifier-free-guidance) 튜닝은 분산을 절반으로 줄이지만 어떤 시드가 가장 잘 작동하는지를 재배열하며, 운 좋은 학습 시드는 운 나쁜 시드보다 최대 2배 적은 컴퓨팅으로 동일한 FID에 도달합니다. 이러한 발견을 바탕으로 우리는 새로운 FID 평가 프로토콜을 제안합니다: 셀별 최적 유도 하에서 평가하고, 경험적으로 측정된 약 1.3% CoV 미만의 FID 격차는 결론적이지 않은 것으로 간주하며, 단일 FID 숫자 대신 여러 학습 시드에 대한 오차 막대(error bar)를 보고합니다.