제품이 아닌 홍보를 평가한다: LLM에 대한 사용자 평가는 성능보다 기대치를 반영한다
Rating the Pitch, Not the Product: User Evaluations of LLMs Reflect Expectations More Than Performance
두 명의 사용자가 동일한 LLM과 상호작용한다고 가정해보자. 한 사용자는 해당 모델이 최첨단 플래그십 모델이라는 정보를 받았고, 다른 사용자는 구형의 성능이 낮은 모델이라는 정보를 받았다. 두 사람은 동일한 모델을 사용했음에도 불구하고 모델의 유용성과 지능에 대해 현저히 다른 평가를 내렸다. 통제된 연구에서 162명의 참가자 각각이 두 모델 계열의 여섯 가지 LLM 중 하나를 사용하여 세 가지 협업 과제를 수행하였으며, 과제 시작 전에 해당 모델의 실제 성능과 일치하거나, 과장되거나, 혹은 과소평가된 소개 페이지를 열람하였다. 이러한 사전 상호작용 프레이밍은 사용자의 의견과 상호작용 행동에 영향을 미쳤으나, 과제 수행 성능에는 영향을 주지 않았다. 모델이 과장 소개된 사용자들은 모델을 더 호의적으로 평가하고 더 지시적인 프롬프트를 사용한 반면, 모델이 과소 소개된 사용자들은 더 길고 협력적인 프롬프트를 작성하였다. 사용자와 모델이 함께 생성한 결과물의 품질은 오직 모델의 실제 성능에만 의존하였으며, 사용자에게 제공된 정보와는 무관하였다. 두 가지 인상 측정 지표로 측정된 사용 후 모델 인상 변화는 과제 수행 성능($β= -0.01$ 및 $0.11$, 모두 n.s.)에 의해 예측되지 않았으며, 모델이 사용자의 기대를 충족했는지 여부($β= 0.47$ 및 $0.50$, 모두 $p < .001$)와 모델과의 협업에서 느낀 자신감($β= 0.47$ 및 $0.36$, 모두 $p < .001$)에 의해 예측되었다. 상호작용 후에도 사용자들은 여전히 제품이 아닌 홍보를 평가하고 있었다: 공개 리더보드를 주도하는 선호도 데이터를 포함한 사용자 기반 LLM 평가는 모델 자체만큼이나 기대치 관리를 측정한다.