리더보드에서의 미세한 격차는 종종 한 언어 모델(language model)이 다른 모델보다 우수하다는 증거로 해석되지만, 그 우열의 부호(방향)는 어떤 벤치마크 문항이 포함되는지에 따라 달라질 수 있습니다. 본 연구에서는 5개 벤치마크의 문항 수준 응답과 패밀리 라벨이 필요 없는 다차원 문항 반응 이론(MIRT)의 스펙트럼 근사를 활용하여 이를 검증합니다. 소유자 기준 서로소 분할(owner-disjoint fold)에서, 소유자 절반은 모델 패밀리 전반에 걸쳐 잔차 차별 문항 기능(DIF)이 낮은 문항(low-DIF)을 식별합니다. 이렇게 선별된 문항은 메타데이터 정의 문항 그룹 및 난이도 계층에 걸쳐 벤치마크 구성을 보존하는 고정 가중치를 통해 나머지 절반의 모델을 평가하는 데 사용됩니다. 동일하게 짧은 매칭 무작위 하위 테스트는 문항 하위 표본 추출로 인한 변동에 대한 기준선(baseline)을 제공합니다. 전체 벤치마크 순위와 low-DIF 순위는 강한 상관관계($τ_b=.900$--$.948$)를 유지합니다. 그러나 5개 벤치마크 중 4개에서 초기에 1%포인트 이내 격차였던 교차 패밀리 쌍의 30.9--47.1%가 순위 역전을 보였으며, 이는 매칭 무작위 중앙값을 16.9--28.6%포인트 초과했습니다(모두 $p=.001$). 5번째 벤치마크는 유의미한 초과를 보이지 않았습니다($-0.9$포인트, $p=.689$). 이러한 패턴은 사전 지정된 모든 모집단 섭동에서도 유지되었으며, 잔차 문항-패밀리 시그니처는 소유자 절반 간에 복제되었습니다. 그러나 어떤 패밀리도 벤치마크 전반에 걸쳐 일관된 우위를 보이지는 않았습니다. 따라서 전역적으로 안정적인 순위일지라도 개별적인 근소한 순위는 여전히 벤치마크 구성에 민감할 수 있으며, 1%포인트 미만의 리더보드 격차는 내포된 순위가 구성에 견고하다는 증거와 함께 제시되어야 합니다.
AI 평가는 주로 능력을 측정하는 데 집중되어 왔으며, 문항반응이론(IRT)에서 영감을 얻은 정형화된 접근법이 점차 널리 적용되고 있습니다. 그러나 모델이 특정 행동을 보이는 경향성인 성향(propensity)은 성능과 안전성(safety) 결과를 결정하는 데 핵심적인 역할을 합니다. 전통적인 IRT는 과제에서의 모델 성공을 모델 능력과 과제 요구 수준의 단조 함수(monotonic function)로 설명하지만, 이는 과도함과 부족함 모두 문제가 될 수 있는 성향을 다루기에는 적합하지 않습니다. 본 논문에서는 모델 성공에 대한 이중 로지스틱(bilogistic) 정식화를 활용하여 AI 성향을 측정하는 최초의 정형 프레임워크를 소개합니다. 이 정식화는 모델의 성향이 "이상적 구간(ideal band)" 내에 있을 때 높은 성공 확률을 부여합니다. 나아가 새롭게 개발된 과제 무관(task-agnostic) 루브릭을 갖춘 대규모 언어 모델(LLM)을 사용하여 이상적 구간의 한계를 추정합니다. 양방향으로 성향이 유도된 6개 계열의 LLM 모델에 본 프레임워크를 적용한 결과, 성향이 얼마나 이동했는지와 이것이 과제에 어떤 영향을 미치는지 측정할 수 있음을 확인했습니다. 결정적으로, 한 벤치마크를 통해 추정된 성향은 보류된(held-out) 과제에서의 행동을 성공적으로 예측합니다. 또한 성향과 능력을 결합했을 때 각각을 단독으로 사용할 때보다 더 강력한 예측력을 얻을 수 있습니다. 더 넓은 관점에서 본 프레임워크는 엄밀한 성향 측정이 어떻게 수행될 수 있는지, 그리고 AI 행동을 예측할 때 능력 평가만을 사용하는 것에 비해 어떻게 이점을 제공하는지를 보여줍니다.
전통적인 평가 문항 매개변수(예: 난이도, 변별도) 결정 방법은 문항 반응 이론(IRT) 보정을 위해 학생 수행 데이터를 수집하는 값비싼 현장 시험에 크게 의존한다. 본 연구는 잠재 능력 스펙트럼 전반에 걸친 학생 응답을 시뮬레이션하도록 대규모 언어 모델(LLM)을 미세조정하여 이러한 심리측정학적 특성을 암묵적으로 모델링하는 새로운 접근법을 제안한다. Qwen-3 dense 모델 시리즈와 저랭크 적응(Low-Rank Adaptation, LoRA)을 활용하여, 이산적 능력 서술자에 조건화된 객관식 문항 응답을 생성하도록 모델을 학습한다. 학생 능력의 함수로서 정답 응답 확률을 재구성하여, 사실상 합성 문항 특성 곡선(ICC)을 생성하고 IRT 매개변수를 추정한다. 6학년 영어 언어 예술(ELA) 문항 데이터셋과 BEA 2024 Shared Task 데이터셋에 대한 평가에서, 이 방법은 기준선 접근법과 경쟁하거나 이를 능가함을 보여준다. 이 시뮬레이션 기반 기법은 문항 변별도 모델링에 특히 효과적인 것으로 보인다.
대규모 언어 모델(LLM) 평가는 일반적으로 수천 개의 벤치마크 문항이 필요하며, 이로 인해 과정이 비용이 많이 들고 느리며 규모가 커질수록 점점 비현실적이 됩니다. 기존 평가 프로토콜은 고정된 문항 집합에 대한 평균 정확도에 의존하며, 난이도와 변별력에서 상당한 차이가 있음에도 불구하고 모든 문항을 동등하게 유익한 것으로 취급합니다. 우리는 Fisher 정보 기반 문항 선택을 사용하여 모델 능력을 추정하는 문항반응이론(IRT) 기반 적응형 검사 프레임워크인 ATLAS를 소개합니다. ATLAS는 측정 정밀도를 유지하면서 필요한 문항 수를 최대 90%까지 줄입니다. 예를 들어 HellaSwag(5,600개 문항)에서 41개 문항(MAE 0.157)만으로 전체 문항 은행의 능력 추정치와 일치합니다. 또한 ATLAS의 능력 추정치로부터 정확도를 재구성한 결과, 다섯 벤치마크 전체에서 재구성된 정확도가 원시 정확도와 밀접하게 일치함을 확인했으며, 이는 능력 θ가 전역적 성능 구조를 보존함을 시사합니다. 동시에 θ는 정확도가 동등한 모델들 내에서 더 세밀한 변별력을 제공합니다. 3,000개 이상 평가된 모델 중 23-31%가 10순위 이상 이동하며, 동일한 정확도를 가진 모델들도 의미 있게 다른 능력 추정치를 받습니다. 코드와 보정된 문항 은행은 https://github.com/Peiyu-Georgia-Li/ATLAS.git 에서 이용할 수 있습니다.
대규모 언어 모델(LLM)이 계획 과제에서 고르지 않은 성능을 보일 때, 이러한 격차는 흔히 과제 난이도에 귀인된다. 우리는 이 설명이 불완전하다고 주장한다. 과제 수준의 변동성은 단일 능력 스펙트럼의 차이가 아닌, 잠재적 계획 역량의 차이를 반영할 수 있기 때문이다. 우리는 ACPBench-Hard에서 이 문제를 연구하기 위해 다양한 테스트 시간 추론 예산 조건 하에 여러 LLM 패밀리를 평가하고, 다차원 문항반응이론(item response theory) 모델을 적용하여 LLM 계획 능력의 기저에 있는 잠재적 역량 구조를 분석하였다. 분석 결과, 계획 성능을 결정하는 두 가지 주요 차원이 드러났다: 국소적 행동 적용 가능성과 즉각적 상태 전이를 평가하는 능력인 조작적 추론(operational reasoning)과, 목표 도달 가능성 및 랜드마크 구조에 대해 추론하는 능력인 구조적 열거(structural enumeration)이다. 조작적 추론은 모델 스케일링과 더 긴 추론 경로에 따라 개선되는 반면, 구조적 열거는 이에 비교적 민감하지 않다. 우리의 연구 결과는 LLM 계획 능력의 역량 수준 평가를 촉구하며, 모델이 전반적으로 개선되는지 여부에서 어떤 계획 역량이, 어떤 조건에서, 왜 개선되는지로 평가의 초점을 전환할 것을 제안한다.
크라우드소싱 레이블링에서 Dawid-Skene 모델이 평가 데이터의 분포적 특성을 포착하지 못해 학습 편향이 발생하는 문제를 해결하기 위해, 항목 응답 이론(IRT)의 난이도·변별도·추측 가능성 효과를 통합한 계층적 베이지안 측정 오차 모델을 제안한다. 적대적 평가자를 배제하는 사후 분포 제약 방식을 도입하고, 치과 X선 충치 분류와 자연어 함의 추론 데이터셋에서 사후 예측 검사 및 리브-원-아웃 교차 검증으로 모델의 우수한 적합도와 예측 정확도를 입증하였다.
모델 성능 데이터로부터 잠재 과제 난이도를 추정하는 심리측정 프레임워크 BRIDGE를 제안하며, 2PL 문항반응이론(IRT) 모델을 활용해 이 잠재 난이도가 인간 과제 완료 시간의 로그값과 선형 관계를 가짐을 보인다. 이를 통해 별도의 인간 연구 없이 새로운 벤치마크의 인간 소요 시간을 예측할 수 있으며, 프론티어 모델의 50% 해결 가능 과제 시간 지평선이 약 6개월마다 두 배로 증가한다는 METR의 지수적 스케일링 결과를 독립적으로 재현하였다.
효과적인 자동 에세이 채점(AES)은 신뢰할 수 있는 평가와 실행 가능한 교육적 피드백을 모두 지원할 것으로 기대됩니다. 그러나 기존 접근 방식은 종종 채점과 피드백을 별개의 구성 요소로 취급합니다. 신경망 채점 모델은 제한된 해석 가능성을 제공하는 반면, 대규모 언어 모델(LLM) 기반 피드백은 일반적으로 학습자의 숙련도 수준을 반영하지 못합니다. 이러한 단절을 해결하기 위해, 본 연구는 공유된 잠재 능력 표현을 통해 진단적 평가와 교수적 비계 설정을 통합하는 심리측정학적 인지 프레임워크인 PsyScore를 제안합니다. PsyScore는 세 가지 핵심 모듈로 구성됩니다: 등간 부분 점수 모델(GPCM)을 신경망 아키텍처에 통합하여 심리측정학적 해석 가능성을 유지하면서 학생 능력을 정밀하게 추정할 수 있는 특성 적응형 신경망 IRT 채점기, 진단된 능력 매개변수에 따라 멀티 에이전트 피드백 전략을 조정하여 다양한 숙련도 수준에서 교육적 초점을 적응시키는 ZPD 기반 비계 설정 피드백 생성기, 그리고 쌍대 선호 판단과 학생 수정 시뮬레이션을 통해 피드백 품질을 평가하는 다중 관점 피드백 평가 전략입니다. ASAP++ 데이터셋에 대한 실험 결과, PsyScore는 경쟁력 있는 채점 성능을 달성하면서 더 교육학적으로 정렬된 피드백을 제공함을 입증합니다.