멀티모달 대규모 언어 모델(MLLM)의 분류 성능은 평가 프로토콜과 정답(ground truth) 품질에 크게 의존한다. MLLM을 지도학습 모델 및 비전-언어 모델(VLM)과 비교한 연구들은 서로 상충하는 결론을 보고하는데, 우리는 이러한 상충이 성능을 과장하거나 과소평가하는 프로토콜에서 비롯됨을 보인다. 가장 흔히 사용되는 평가 프로토콜 전반에서, 우리는 핵심 문제들을 식별하고 수정한다: 제공된 클래스 목록 범위를 벗어나 폐기되는 모델 출력, 약한 객관식 오답지(distractor)로 인한 과장된 결과, 그리고 부실한 출력 매핑으로 인해서만 성능이 저하되는 개방형(open-world) 설정이 그것이다. 추가로 우리는 흔히 간과되는 설계 선택들 - 배치 크기, 이미지 순서, 텍스트 인코더 선택 - 의 영향을 정량화하여, 이들이 정확도에 상당한 영향을 미친다는 것을 보인다. ImageNet-1k의 625개 클래스에 대한 우리의 다중 레이블 재주석(multilabel reannotation)인 ReGT로 평가한 결과, MLLM은 수정된 레이블로부터 가장 큰 이득(최대 +10.8%)을 얻으며, 지도학습 모델과의 인지된 격차를 크게 좁히는 것으로 나타났다. 따라서 보고된 MLLM의 분류 성능 저하의 상당 부분은 모델 자체의 결함이 아니라 잡음이 많은 정답(ground truth)과 결함 있는 평가 프로토콜에서 비롯된 인공물(artifact)이다. 지도학습 신호에 덜 의존하는 모델일수록 주석(annotation) 품질에 더 민감한 것으로 나타났다. 마지막으로, 우리는 MLLM이 사람 주석자(annotator)를 보조할 수 있음을 보인다: 통제된 사례 연구에서, 주석자들은 어려운 사례의 약 50%에서 MLLM의 예측을 확인하거나 통합하였으며, 이는 대규모 데이터셋 구축(curation)에 대한 가능성을 보여준다. 본 연구는 Aiming for Perfect ImageNet-1k 프로젝트의 일부이며, 자세한 내용은 https://klarajanouskova.github.io/ImageNet/ 에서 확인할 수 있다.
Diffusion transformer (DiT) research on image generation has converged to a single evaluation setup: class-conditional generation on ImageNet. While methods improve the FID and related metrics, it is increasingly unclear whether they reflect real progress in generative modeling. The natural alternative, i.e., text-to-image (T2I) generation, is perceived as too costly or inconvenient to train and evaluate and is often skipped. We argue that this perception no longer holds. We introduce NanoGen, a unified DiT training and evaluation framework. NanoGen matches state-of-the-art DiT baselines on ImageNet and, with 12 lines of configuration change, also trains competitive text-to-image models. It currently supports RAE, VAE, pixel-space, and MeanFlow diffusion methods under both ImageNet and T2I setups. Under NanoGen, training T2I requires comparable compute to ImageNet. After training 21 latent diffusion models with NanoGen, we observe that method ranking shows no strong correlation between ImageNet and T2I generation: Pearson correlation is between -0.377 and -0.580 across three metrics. This suggests that a method which improves class-conditional ImageNet FID may show no corresponding improvement on T2I, clearly indicating the necessity of evaluating DiTs on both tasks. To this end, we summarize ImageNet and text-to-image results, which yields DiffusionBench, a holistic benchmark for DiT research. We recommend reporting DiffusionBench in place of ImageNet alone: methods that improve DiffusionBench are more likely to reflect broader progress.