능력(Capabilities)만이 전부는 아니다: AI의 성향 측정
Capabilities Ain't All You Need: Measuring Propensities in AI
AI 평가는 주로 능력을 측정하는 데 집중되어 왔으며, 문항반응이론(IRT)에서 영감을 얻은 정형화된 접근법이 점차 널리 적용되고 있습니다. 그러나 모델이 특정 행동을 보이는 경향성인 성향(propensity)은 성능과 안전성(safety) 결과를 결정하는 데 핵심적인 역할을 합니다. 전통적인 IRT는 과제에서의 모델 성공을 모델 능력과 과제 요구 수준의 단조 함수(monotonic function)로 설명하지만, 이는 과도함과 부족함 모두 문제가 될 수 있는 성향을 다루기에는 적합하지 않습니다. 본 논문에서는 모델 성공에 대한 이중 로지스틱(bilogistic) 정식화를 활용하여 AI 성향을 측정하는 최초의 정형 프레임워크를 소개합니다. 이 정식화는 모델의 성향이 "이상적 구간(ideal band)" 내에 있을 때 높은 성공 확률을 부여합니다. 나아가 새롭게 개발된 과제 무관(task-agnostic) 루브릭을 갖춘 대규모 언어 모델(LLM)을 사용하여 이상적 구간의 한계를 추정합니다. 양방향으로 성향이 유도된 6개 계열의 LLM 모델에 본 프레임워크를 적용한 결과, 성향이 얼마나 이동했는지와 이것이 과제에 어떤 영향을 미치는지 측정할 수 있음을 확인했습니다. 결정적으로, 한 벤치마크를 통해 추정된 성향은 보류된(held-out) 과제에서의 행동을 성공적으로 예측합니다. 또한 성향과 능력을 결합했을 때 각각을 단독으로 사용할 때보다 더 강력한 예측력을 얻을 수 있습니다. 더 넓은 관점에서 본 프레임워크는 엄밀한 성향 측정이 어떻게 수행될 수 있는지, 그리고 AI 행동을 예측할 때 능력 평가만을 사용하는 것에 비해 어떻게 이점을 제공하는지를 보여줍니다.