MLLM은 인간처럼 비평할 수 있는가? 멀티모달 대규모 언어 모델의 개방형 미적 추론 평가
Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models
개방형 미적 비평은 멀티모달 대규모 언어 모델(MLLM)에 있어 도전적인 과제다: 객관식 미적 벤치마크와 달리 단일한 정답이 존재하지 않으며, 대부분의 미적 평가는 사람들이 실제로 작성하는 비평문이 아닌 수치 점수를 기준으로 모델을 측정해 왔다. 우리는 MLLM의 비평을 순위가 매겨진 인간 참조 비평과 비교 평가하며, 이것이 인간의 비평에 얼마나 근접한지를 묻는다. Reddit Photo Critique Dataset을 사용하여, 페르소나 프레이밍, 측면 힌팅, 길이 제어, 단일 대 다중 패스 생성을 분리하는 여섯 가지 프롬프트 조건 하에서 사진당 여러 개의 순위가 매겨진 인간 비평을 기준으로 참조 기반 유사도 지표를 통해 다섯 개의 오픈 가중치 MLLM을 평가하고, 각 모델에 잘못된 사진을 제공하는 이미지 그라운딩(grounding) 제어를 추가한다. 우리는 참조 기반 유사도가 오해를 불러일으키는 결과를 제공한다는 것을 발견한다. 더 엄격한 어휘적(lexical) 및 학습된(learned) 지표는 인간 비평과의 약한 정렬(alignment)만을 보이는 반면, 거친 임베딩 코사인은 광범위한 주제적 중복을 보고하는데, 이는 그라운딩 제어를 통해 이미지 특정 관찰이 아닌 안정적인 고유 문체(house style)에서 비롯된 것임이 밝혀진다. 행동적으로, 모델들은 점수가 드러내지 못하는 일관된 방식으로 인간과 괴리된다: 길이 제한 하에서도 인간보다 두세 배 더 많이 작성하고, 인간이 선택적으로 다루는 거의 모든 미적 측면을 망라하며, 각 측면을 더 균일하게 그리고 더 깊은 수준으로 다루고, 인간이 다양하게 변화시키는 동일 사진의 비평에서 반복적인 내용을 보인다. 우리는 참조 기반 유사도가 인간 비평의 선택성과 구체성보다는 유창하고 포괄적인 비평 스타일에 보상을 준다고 주장하며, 개방형 멀티모달 생성의 평가 및 학습에 대한 시사점을 논의한다.