생성형 AI 평가는 출판 이전에 이미 구식이 될 수 있지만, 경과 일수가 모든 결론에 동일하게 영향을 미치지는 않는다. 본 논문에는 두 가지 연결된 목적이 있다. 첫째, 2025년 7월 18일부터 2026년 7월 17일 사이에 등장한 40건의 실증 기록으로 구성된 최대 변이 목적 표집 코퍼스를 감사한다. 감사에서는 출판 경로, 실행 시점, 모델 식별, 최신 명명 세대 또는 불변 스냅샷의 연령, 동일 계열 내 대체 및 갱신 행위를 코딩했다. 등장 시점에서 최신 명명 모델의 중앙값 연령은 281일이었다(중간 50%: 75-478; 범위: 11-939). 중앙값 연령은 저널 논문 25편에서 395일, 프리프린트 14편에서 56일, 실험실 보고서 1건에서 49일이었다. 35건에는 대체된 계열이 포함되어 있었고, 7건은 정확한 날짜 식별자를 제공했으며, 3건은 모델 증거를 명확히 갱신했고, 1건은 후기 민감도 검사를 추가했다. 40건 모두 OpenAI 시스템을 포함했는데, 이는 보급률 추정치가 아니라 이 코퍼스의 특징이다. 논문은 모델 연령과 주장 통용성(claim currency)을 구분하고 여섯 가지 보고 관행을 제안한다. 둘째, 논문은 자체 2일간의 작성 과정을 프론티어 모델 지원 연구 창작의 반성적 사례로 다룬다. ChatGPT의 GPT-5.6 Sol Pro는 후보 발견, 출처 대조, 계산, 초안 작성 및 비평을 지원했으며, 저자는 출처를 확인하고 모든 실질적 결정을 내렸으며 책임을 진다. 이는 실천 증명(proof-of-practice)이며, 생산성이나 품질에 대한 통제된 추정치가 아니다. 자체 Model Facts 및 모델 통용성(model-currency) 진술을 적용함으로써, 논문은 모델 출력을 독립적 검증으로 취급하지 않으면서도 신속한 AI 지원 연구를 어떻게 점검 가능하게 만들 수 있는지 보여준다. 제목은 반감기를 은유적으로 사용하며, 보편적 감쇠율은 추정하지 않는다.
디지털 컬렉션의 구축은 콘텐츠의 디지털화뿐만 아니라 해당 콘텐츠에 대한 카탈로그 레코드 생성을 수반한다. 흔히 간과되는 이 작업은 전문가의 수작업을 필요로 하며, 느리고 비용이 많이 든다. 본 프로젝트에서는 이 작업에 대한 AI 모델의 적용을 평가하고, 다양한 구현 방식과 모델을 비교하였다. 본 연구에는 수행된 실험에 대한 정성적·정량적 평가와 함께, 특정 사용 사례를 넘어 AI 모델 활용에 관한 권고 사항이 포함되어 있다.
모델 간 비교는 가치 성향의 발산을 언어 모델이 개별화된 가치를 보유한다는 증거로 해석한다. 단일 측정 방식 하에서 이는 두 가지 양을 혼동한다: 중심 경향의 차이(진정한 가치 차이)와 응답 결정론의 차이(모델이 강제 선택에 얼마나 확고하게 응답하는지). 우리는 분리 프로토콜—규칙 없는 가치 딜레마와 역균형화된 반복 강제 선택 측정 및 결정론 지수—과, 명백한 모델 간 거리를 방향 반전 성분(진정한 불일치)과 동측 극단화 성분(우리가 결정론이라 명명)으로 분리하는 결정론 보정 분해를 제안한다. 아홉 개 모델에 걸쳐 결정론은 상당히 다양하게 나타났으며(참여 모델 기준 0.66–0.95), 이것이 모델별 특성인지 아니면 공급자 및 규모를 추적하는지는 우리 방법으로 측정 가능해졌으나 표본의 한계로 미결 상태다. 결정론을 보정하면 명백한 개별화가 축소되는 반면, 일부 계열 간 불일치는 엄격한 검증을 통과한다. 이어서 두 번째 교란 요인인 각 모델을 서비스하는 접근 하네스를 분리한다. 동일 모델들을 원시 공급자 API를 통해 재수집한 결과, 배포 클라이언트가 모델의 가치 프로필을 실질적이고 클라이언트별로 다르게 변화시킴을 발견했다: 한 구독형 CLI는 프로필을 0.31만큼 이동시키고 18개 항목 중 4개를 반전시키며 플래그십 모델의 명백한 유연성을 부풀렸으나(CLI 경유 0.34 vs. 원시 API 경유 0.66), 반면 다른 공급자의 클라이언트는 깨끗하여 공급자 계열이 접근 클라이언트와 혼동된다. 하네스는 가치 형성 층이다: 열 번의 강제 선택 중 하나를 거부하는 기본 모델이 에이전트 시스템 프롬프트에 의해 순응적으로 바뀌며, 이는 화이트박스 제어에서 인과적으로 확립된다. 단일 측정 가치 거리로 모델을 순위 매기는 감사는 결정론이 부풀린 양에 순위를 매기며, 사용된 클라이언트에 의해 추가로 교란된다. 우리는 이 분해를 기여하고 배포 하네스를 별개의 가치 교란 요인으로 식별한다.
고정된 크기의 벤치마크가 모델 평가에서 효율성과 신뢰성 간 불균형을 초래한다는 문제를 해결하기 위해, 순차적 검정(sequential testing)을 기반으로 한 적응형 평가 프레임워크를 제안한다. 이 프레임워크는 한계 수익 감소 탐지 및 최소 탐지 가능 효과 크기 등 사용자 정의 중단 기준을 결합하여, Open VLM Leaderboard에서 통계적 유의성을 유지하면서 고정 크기 평가 대비 계산 비용을 최대 80%까지 절감함을 입증한다.
언어 모델 평가에서 지배적인 관행은 모델별로 단일 정확도 수치를 보고하고 높은 쪽을 더 낫다고 선언하는 것인데, 이때 그 격차가 샘플링 노이즈일 가능성을 검정하지 않는다. 수천 개 항목 규모의 벤치마크에서, 그리고 모델이 실행마다 보고된 모델 간 격차보다 더 크게 달라질 수 있는 온도 샘플링 조건에서, 이 관행은 헤드라인 주장에 대한 신뢰도를 일상적으로 과장한다. 이를 바로잡을 통계적 도구들—신뢰 구간, 대응 유의성 검정, 검정력 분석, 군집 표준오차, 다중 비교 보정—은 잘 확립되어 있지만, 평가가 실제로 취하는 형태인 항목별 결과 테이블에 맞게 패키징된 표준적이고 pip 설치 가능한 도구는 존재하지 않는다. 우리는 항목별 결과 테이블을 단 하나의 함수 호출로 출판 가능한 주장—예: "모델 A가 모델 B를 이김, Δ=3.1점, 95% CI [1.2, 5.0], 대응 순열 p=0.002, n=1,319"—으로 변환하는 순수 파이썬 라이브러리(numpy/scipy/pandas만 사용) evalci를 제시한다. 이 라이브러리는 lm-evaluation-harness 및 HELM 출력을 위한 어댑터를 포함하며, 모든 루틴은 자기 자신에 대해서만 검증하는 것이 아니라 독립적인 참조 구현(statsmodels 또는 브루트포스 정확 열거)에 대해 검증된다. 사례 연구로서, 우리는 아홉 언어 모델의 MMLU 정확도에 대한 공개 비교를 재분석하여, 해당 순위가 내포하는 36개의 쌍별 비교를 보정한 후 인접한 리더보드 순위 격차 8개 중 3개가 통계적으로 유의하지 않음을 발견한다. evalci는 https://pypi.org/project/evalci/ 에서 이용 가능하다(소스: https://github.com/Shreyaskc/evalci, DOI: https://doi.org/10.5281/zenodo.21201815).
모델 성능 데이터로부터 잠재 과제 난이도를 추정하는 심리측정 프레임워크 BRIDGE를 제안하며, 2PL 문항반응이론(IRT) 모델을 활용해 이 잠재 난이도가 인간 과제 완료 시간의 로그값과 선형 관계를 가짐을 보인다. 이를 통해 별도의 인간 연구 없이 새로운 벤치마크의 인간 소요 시간을 예측할 수 있으며, 프론티어 모델의 50% 해결 가능 과제 시간 지평선이 약 6개월마다 두 배로 증가한다는 METR의 지수적 스케일링 결과를 독립적으로 재현하였다.
캘리브레이션(calibration)은 모델의 신뢰도가 실증적 정확도와 일치하는지를 평가한다. 기존 연구들은 기대 캘리브레이션 오류(Expected Calibration Error)와 브라이어 점수(Brier Score) 같은 전역 캘리브레이션 지표를 사용하여 서로 다른 대규모 언어 모델(LLM)의 캘리브레이션을 비교하는 경우가 많다. 우리는 먼저 이러한 비교가 모델 정확도의 차이로 인해 혼동될 수 있음을 이론적·실증적으로 보인다. 보다 공정한 교차 모델 비교를 위해, 우리는 인스턴스 정렬(Instance-Aligned), 분포 정렬(Distribution-Aligned), 후보 정렬(Candidate-Aligned) 캘리브레이션이라는 세 가지 보완적 관점을 갖춘 정확도-제어 평가 프레임워크인 ACE를 제안한다. 다수의 벤치마크, 모델 패밀리, 신뢰도 유도(confidence elicitation) 방법에 걸쳐 ACE를 활용하여 실용적으로 중요한 두 가지 비교 축인 소규모 모델 대 대규모 모델, 그리고 추론(thinking) 모델 대 비추론(non-thinking) 모델을 연구한다. 우리는 원시 전역 지표에서 보고된 많은 캘리브레이션 우위가 정확도 제어 후 크게 약화됨을 발견한다. 또한 순위 역전이 빈번하게 발생함을 확인하는데, 원시 지표에서 유리하게 평가된 모델이 정확도를 제어하면 더 이상 유리하지 않은 경우가 많다. 우리의 결과는 원시 전역 캘리브레이션 지표가 교차 모델 비교에 견고하지 않으며, 공정한 캘리브레이션 비교를 위해서는 정확도를 인식하는 평가가 필요함을 보여준다.
최첨단 AI 모델의 안전을 보장하려는 많은 노력은 모델의 사고의 연쇄(CoT) 추론을 모니터링하는 데 의존한다. 모델이 명시적인 사고 토큰 없이 내부적으로 충분히 복잡한 추론을 수행할 수 있게 되면, 이러한 감시 체계가 약화될 것이다. 우리는 수학, 코딩, 퍼즐, 인과성, 마음 이론(theory-of-mind), 전략적 추론을 포함한 분야에 걸친 43개 벤치마크, 30,000개가 넘는 질문 모음을 통해 CoT 없이 최첨단 모델이 얼마나 잘 추론하는지 측정한다. 모델을 인간과 비교하기 위해, 모델이 50% 성공률로 완료하는 과제에 필요한 인간 시간인 50% 과제 완료 시간 지평(TH)을 추정한다. 이에 더해, 모델이 50% 성공률로 풀 수 있는 과제에 필요한 o3-mini 추론 토큰의 최소 개수인 50% 추론 토큰 지평을 함께 산출한다. 최첨단 모델의 No-CoT 50% TH는 지난 6년간 대략 매년 두 배로 증가했으며, GPT-5.5의 TH는 3분을 넘고 추론 토큰 지평은 1,500 토큰을 초과한다. 중앙값 추정치는 2028년까지 최첨단 No-CoT TH가 7분을 넘고, 2030년까지 25분에 이를 수 있음을 예측하지만, 이러한 전망에는 상당한 불확실성이 따른다. 우리는 최첨단 모델 개발자들이 이를 명시적으로 추적할 것을 권고한다.
정답(ground-truth) 레이블이 없는 개방형 과제에서 대규모 언어 모델(LLM)을 평가하는 것은 점차 LLM-as-a-judge 패러다임을 통해 수행되고 있습니다. 중요하지만 충분히 모델링되지 않은 문제는 판단 모델(judge LLM)의 신뢰도가 상당히 다르다는 점입니다. 모든 판단 모델을 동등하게 취급하면 편향된 리더보드와 오해의 소지가 있는 불확실성 추정치가 도출될 수 있습니다. 잘못 명시된 집계(misspecified aggregation) 하에서는 더 많은 데이터가 평가 결과를 더욱 확신 있게 틀리게 만들 수 있습니다. 본 연구는 판단 모델별 판별력 매개변수(judge-specific discrimination parameters)를 도입하여 Bradley-Terry-Luce 모델을 확장한 판단 모델 인식 랭킹 프레임워크를 제안합니다. 이 프레임워크는 참조 레이블 없이 쌍대 비교(pairwise comparisons)로부터 잠재적인 모델 품질과 판단 모델의 신뢰도를 공동으로 추정합니다. 자연스러운 정규화(natural normalizations)까지 식별 가능성(identifiability)을 확립하고 최대 가능도 추정기(maximum likelihood estimator)의 일관성(consistency) 및 점근적 정규성(asymptotic normality)을 증명하여, 점수 차이와 순위 비교에 대한 신뢰 구간(confidence intervals)을 가능하게 합니다. 여러 공개 벤치마크와 새로 수집된 데이터셋(dataset)에서 본 방법은 인간 선호도와의 일치도를 개선하고, 가중치가 없는 기준선(unweighted baselines)보다 높은 데이터 효율성을 달성하며, LLM 랭킹에 대해 보정된 불확실성 정량화(uncertainty quantification)를 생성합니다.
벤치마크 점수는 종종 대규모 언어 모델(LLM)의 지식을 정확히 반영하지 못하는데, 그 이유는 예를 들어 특정 형식 요구사항을 준수하는 모델의 능력에 점수가 의존하기 때문입니다. 이는 특히 올바른 답을 알고 있더라도 지시된 대로 답변을 구조화하는 능력이 부족한 베이스 모델(base model)에 불리하게 작용하는데, 이러한 능력은 일반적으로 사후 학습(post-training) 과정에서 도입되기 때문입니다. 이를 극복하기 위해 우리는 효율적이고 공정하며 아키텍처에 독립적인 모델 평가 방법인 소프트 프롬프트 튜닝(soft-prompt tuning)을 제안합니다. 짧은 튜닝 기간 동안 단 10개의 소프트 프롬프트 벡터(7B 모델의 경우 약 0.0006% 파라미터에 해당)만 최적화하여 모델을 특정 벤치마크 형식에 적응시키고, 형식 준수(format-following) 격차를 해소함으로써 내재된 지식이 벤치마크 점수에 정확히 반영되도록 보장합니다. 이를 통해 완전한 사후 학습 과정 없이도 다양한 사전학습(pre-training) 방법론으로 훈련된 서로 다른 베이스 모델들을 벤치마크에서 공정하게 비교할 수 있습니다. 우리는 7개의 모델과 7개의 데이터셋(dataset)에 걸쳐 소프트 프롬프트 튜닝을 평가했습니다. 결과는 다음을 보여줍니다. (a) 소프트 프롬프트 튜닝은 80 스텝(약 640개 샘플) 이내에 형식 준수가 포화 상태에 도달하여 매우 효율적입니다. (b) 소프트 프롬프트 튜닝은 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅을 상당히 능가하며, 표준 프롬프팅에서는 놓치는 베이스 모델의 지식을 드러냅니다. (c) 사후 학습된 모델조차도 형식 준수를 극대화하기 위해 소프트 프롬프트를 통해 이점을 얻을 수 있습니다. (d) 소프트 프롬프트가 적용된 베이스 모델의 성능은 제로샷 및 퓨샷 기준선(baseline)보다 사후 학습된 모델의 순위를 더 신뢰할 수 있게 예측하며, 다운스트림 모델 품질에 대한 저비용 대리 지표(proxy)를 제공합니다. 우리의 기여는 (1) 형식 준수와 지식 정확도를 분리하는 지표(metrics), (2) LLM 지식에 대한 더 공정한 벤치마킹 프로토콜, (3) LLM 개발 초기에 최적의 사전학습 전략을 식별하기 위한 비용 및 메모리 효율적인 방법론(recipe)을 포함합니다.