TASTE: AI 생성 그래픽 디자인을 위한 디자이너 주석 기반 다차원 선호도 데이터셋
TASTE: A Designer-Annotated Multi-Dimensional Preference Dataset for AI-Generated Graphic Design
텍스트-이미지(Text-to-image) 모델은 이제 상용화 수준에서 그래픽 디자인을 생성하지만, 이에 대한 지도(supervision)는 여전히 비교당 단일 종합 판정만을 제공하는 사진 스타일의 선호도 데이터셋에 주로 의존하고 있습니다. 디자이너는 단일 선호도 레이블로는 축약되어 버리는 여러 고유한 축(예: 타이포그래피, 레이아웃, 색상 조화)을 기준으로 디자인을 평가합니다. 본 논문에서는 5명의 전문 디자이너로 구성된 상호 독립적인 두 코호트가 9가지 기준에 걸쳐 4개의 최신 텍스트-이미지 모델의 출력물을 각각 순위화하고 이미지별 환각(hallucination) 플래그를 함께 기록한 다차원 선호도 데이터셋인 TASTE(Typography, Aesthetics, Spatial, Tone, Etc.)를 공개합니다. 본 연구는 데이터셋과 함께 두 가지 기여를 제공합니다. 첫째, 정확한 iid-균등 귀무가설(exact iid-uniform nulls)에 대해 켄달 타우(Kendall's $\tau$), 다수결 투표 확률, 콩도르세 순환(Condorcet cycles)을 기반으로 하는 기준 불가지론적 신호 검증(signal-validation) 프레임워크를 제시합니다. 분석 결과 디자이너 간 일치도는 유의미하지만 중간 수준인 것으로 나타났으며, TASTE의 모든 기준은 무작위 평가자 귀무가설을 기각했습니다. 둘째, TASTE에서 선호도 모델의 벤치마크를 수행하여 기성 VLM 판정 모델과 전용 T2I 채점기가 디자이너 패널과의 다수결 일치에 도달하지 못하는 반면, TASTE에서 직접 학습된 소형 MLP 헤드는 단일 평가자 상한선(single-rater ceiling)과의 격차를 크게 좁혀 향후 TASTE 기반 학습 선호도 모델을 위한 기준선(baseline)을 마련함을 확인했습니다.