언어 모델(LM)은 종종 다양하고 인간과 유사한 창의적 콘텐츠를 생성하는 데 어려움을 겪으며, 이는 유사한 출력에 반복적으로 노출됨으로써 인간의 사고가 장기적으로 동질화될 수 있다는 우려를 불러일으킵니다. 그러나 난수나 이름 생성과 같은 좁은 범주의 태스크를 넘어서거나, 단일 모델로부터의 반복 샘플링을 넘어서 LM 출력의 다양성을 평가하는 확장 가능한 방법은 여전히 제한적입니다. 본 연구에서는 단일 정답(ground truth)이 없으며 타당한 답변의 범위가 넓은, 실제적이고 개방형(open-ended)인 다양한 사용자 쿼리 2만 6천 개로 구성된 대규모 데이터셋인 Infinity-Chat을 소개합니다. 또한 브레인스토밍 및 아이디어 도출 등 6개의 최상위 카테고리와 17개의 하위 카테고리로 구성되어 LM에 주어지는 개방형 프롬프트의 전체 스펙트럼을 특성화하는 최초의 종합적인 분류 체계(taxonomy)를 제시합니다. Infinity-Chat을 활용하여 LM의 모드 붕괴(mode collapse)에 대한 대규모 연구를 수행한 결과, LM의 개방형 생성에서 두드러진 '인공 집단지성(Artificial Hivemind)' 효과를 발견했습니다. 이는 (1) 단일 모델이 일관되게 유사한 응답을 생성하는 모델 내 반복(intra-model repetition), 그리고 이보다 더 심각한 (2) 서로 다른 모델들이 놀라울 정도로 유사한 출력을 생성하는 모델 간 동질성(inter-model homogeneity)으로 특징지어집니다. 아울러 Infinity-Chat에는 예제당 25개의 독립적인 인간 평가를 바탕으로 절대 평가 및 쌍별 선호도 전반에 걸친 31,250개의 인간 주석(annotation)이 포함되어 있습니다. 이를 통해 개방형 쿼리에 대한 집단적 및 개인별 인간 선호도를 연구할 수 있습니다. 실험 결과, 모델 생성 결과물이 평가자마다 서로 다른 특이적 선호도를 유발할 경우 전반적인 품질은 유사하게 유지됨에도 불구하고 LM, 보상 모델, LM 판정자(LM judge)가 인간의 평가 점수와 덜 보정(calibrated)되는 것으로 나타났습니다. 종합적으로 INFINITY-CHAT은 LM에 대한 실제 개방형 쿼리를 체계적으로 연구할 수 있는 최초의 대규모 자원을 제공하며, 인공 집단지성이 초래하는 장기적인 AI 안전성 위험을 완화하기 위한 향후 연구를 이끌 핵심적인 통찰을 제시합니다.
텍스트-이미지(Text-to-image) 모델은 이제 상용화 수준에서 그래픽 디자인을 생성하지만, 이에 대한 지도(supervision)는 여전히 비교당 단일 종합 판정만을 제공하는 사진 스타일의 선호도 데이터셋에 주로 의존하고 있습니다. 디자이너는 단일 선호도 레이블로는 축약되어 버리는 여러 고유한 축(예: 타이포그래피, 레이아웃, 색상 조화)을 기준으로 디자인을 평가합니다. 본 논문에서는 5명의 전문 디자이너로 구성된 상호 독립적인 두 코호트가 9가지 기준에 걸쳐 4개의 최신 텍스트-이미지 모델의 출력물을 각각 순위화하고 이미지별 환각(hallucination) 플래그를 함께 기록한 다차원 선호도 데이터셋인 TASTE(Typography, Aesthetics, Spatial, Tone, Etc.)를 공개합니다. 본 연구는 데이터셋과 함께 두 가지 기여를 제공합니다. 첫째, 정확한 iid-균등 귀무가설(exact iid-uniform nulls)에 대해 켄달 타우(Kendall's $\tau$), 다수결 투표 확률, 콩도르세 순환(Condorcet cycles)을 기반으로 하는 기준 불가지론적 신호 검증(signal-validation) 프레임워크를 제시합니다. 분석 결과 디자이너 간 일치도는 유의미하지만 중간 수준인 것으로 나타났으며, TASTE의 모든 기준은 무작위 평가자 귀무가설을 기각했습니다. 둘째, TASTE에서 선호도 모델의 벤치마크를 수행하여 기성 VLM 판정 모델과 전용 T2I 채점기가 디자이너 패널과의 다수결 일치에 도달하지 못하는 반면, TASTE에서 직접 학습된 소형 MLP 헤드는 단일 평가자 상한선(single-rater ceiling)과의 격차를 크게 좁혀 향후 TASTE 기반 학습 선호도 모델을 위한 기준선(baseline)을 마련함을 확인했습니다.
색 조화는 예술과 디자인에서 오래도록 연구되어 왔지만, 대부분의 모델이 정성적 통찰 또는 제한된 데이터셋에 기반하고 있어 명확한 합의는 여전히 이루어지지 못하고 있다. 본 연구에서는 HSL 색 공간에서 제어된 색조 기반 팔레트를 사용하여 색 조합 선호를 정량적이고 데이터 기반으로 연구한다. 참가자들이 13가지 서로 다른 색조의 조합을 평가하였고, 이를 통해 선호 행렬을 구성하고 각 색에 대한 결합 가능성 지수(combinability index)를 정의하였다. 결과는 선호가 색조에 크게 의존함을 보여주며, 이는 고전 색 조화 이론에 도전한다. 그러나 색조별로 평균하면 미적 선호의 통계적으로 유의미한 패턴이 나타나며, 특정 색조 간격이 더 조화롭게 인식된다. 주목할 점은 이러한 패턴이 자연 풍경에서 관찰되는 색조 분포와 일치한다는 것으로, 이는 인간의 색 선호와 자연 속 색의 구조 사이에 통계적 대응 관계가 있음을 시사한다. 마지막으로 색 조합 점수 행렬을 주성분 분석(PCA)으로 분석한 결과, 서로 보완적인 두 색조 그룹이 드러났으며, 이들의 상호작용이 색 조합 선호의 전역 구조를 이루고 있음을 밝혔다. 종합하면, 이러한 발견은 색 조화와 그 잠재적 지각적·생태적 기반을 연구하기 위한 정량적 틀을 제공한다.
현대 AI 평가 프레임워크는 평가자 간 불일치를 해소해야 할 잡음으로 취급한다. 창의적 도메인에서 전문가 간 불일치는 측정 오류가 아니라 취향의 진정한 차이를 반영한다. 우리는 창의적 AI 평가에 두 가지 별개의 신호를 보존해야 한다고 주장한다: 전문가들이 공유된 모범 사례에 동의하는 수렴(convergence)과, 개인 취향이 합법적으로 다양화되는 발산(divergence)이 그것이다. 우리는 도메인 전문가로부터 쌍별 선호도, 프롬프트 준수도·사용성·시각적 매력에 대한 스칼라 평점, 정성적 근거를 수집함으로써 이 분리를 구현하는 벤치마크인 인간 창의성 벤치마크(HCB)를 제시한다. 다섯 가지 창의적 도메인과 세 가지 워크플로우 단계(아이디에이션, 목업, 정제)에 걸친 15,000건의 전문가 판단을 분석한 결과, 수렴은 기술적 정확성 및 시각적 위계와 같은 검증 가능한 차원에 집중되는 반면, 발산은 미적 방향성 및 개념적 위험과 같은 취향 중심의 차원에 집중됨을 발견했다. 어떤 모델도 모든 단계에 걸쳐 균일하게 뛰어난 성능을 보이지 않는다. 이러한 신호들을 단일 품질 지표로 통합하면 가장 실행 가능한 정보—모델이 반드시 올바른 결과를 내야 하는 영역과 사용자 주도로 조종 가능하게 유지되어야 하는 영역에 대한 정보—가 사라진다.