비전-언어 모델은 시각적 개념 조건부 발산을 나타낼 수 있다. 인구통계학적 특징, 기업 로고, 이념적 상징이 포함된 이미지가 주어졌을 때, 일부 모델은 동일한 입력에 대해 다른 피어 모델과 상이한 비정상적으로 균일한 응답을 생성한다. 이러한 행동은 시각적 개념을 텍스트 토큰처럼 격리하거나 대체할 수 없기 때문에 텍스트 전용 감사를 회피한다. 우리는 의미적 엔트로피(semantic entropy)와 분포 기반 발산을 결합하여 모델별 이상을 탐지하는 블랙박스 교차 모델 감사 기법인 VISTA(Visual Inconsistency Screening Through Analysis)를 제안한다. 통제된 연구에서 소규모 편향 데이터셋에 대한 미세조정을 통해 세 개의 비전-언어 모델에 개념 조건부 편향을 주입하고, VISTA가 이를 탐지함을 확인하였다. 19개 주제에 걸쳐 여섯 개의 비전-언어 모델을 감사한 결과, VISTA는 142건의 고의심 사례(1.2%)를 발견하였으며, 모델이 인구통계학적 쿼리를 집단별로 0%에서 65%까지 상이한 비율로 거부하는 선택적 거부(selective refusal)를 기존에 보고되지 않은 발산 패턴으로 식별하였다.
대규모 언어 모델(LLM)은 언어 이해, 추론, 생성 분야에서 괄목할 만한 진보를 이루었으며, 이로 인해 창의적 잠재력에 대한 관심이 고조되고 있습니다. 이러한 잠재력을 실현하기 위해서는 다양한 과제에 걸쳐 창의성을 평가할 수 있는 체계적이고 확장 가능한 방법이 필요합니다. 그러나 대부분의 기존 창의성 지표는 특정 과제에 강하게 결합되어 있어 평가 과정에 도메인 가정을 내재하고 있으며, 이는 확장성과 일반성을 제한합니다. 이러한 격차를 해결하기 위해 우리는 개방형 과제에 걸쳐 LLM의 창의성을 정량화하는 자동화되고 도메인 무관의 프레임워크를 소개합니다. 우리의 접근 방식은 측정 도구를 창의적 과제 자체와 분리하여, 확장 가능하고 과제 무관의 평가를 가능하게 합니다. 발산적 창의성은 의미론적 엔트로피(semantic entropy)를 사용하여 측정되며, 이는 참신성과 다양성을 위한 참조 없고 견고한 지표로서 인간 주석, LLM 기반 참신성 판단 및 기준선 다양성 측정치를 통해 검증되었습니다. 수렴적 창의성은 과제 달성에 대한 문맥 민감형 평가를 제공하며 효율성을 60% 이상 향상시킨 새로운 검색 기반 다중 에이전트 판단 프레임워크를 통해 평가됩니다. 우리는 다양한 LLM 제품군을 사용하여 문제 해결(MacGyver), 연구 아이디어 도출(HypoGen), 창작 글쓰기(BookMIA)라는 세 가지 질적으로 구별되는 도메인에서 프레임워크를 검증했습니다. 실험 결과는 우리의 프레임워크가 참신성, 다양성, 과제 달성을 포함한 창의성의 주요 측면을 신뢰할 수 있게 포착함을 보여주며, 크기, 온도, 최신성, 추론과 같은 모델 속성이 창의적 성능에 미치는 영향을 밝혀냅니다. 우리의 연구는 자동화된 LLM 창의성 평가를 위한 재현 가능하고 일반화 가능한 표준을 확립하여, 확장 가능한 벤치마킹의 길을 열고 창의적 AI의 진전을 가속화합니다.