MixEval: Deriving Wisdom of the Crowd from LLM Benchmark Mixtures
원문 초록
Evaluating large language models (LLMs) is challenging. Traditional ground-truth-based benchmarks fail to capture the comprehensiveness and nuance of real-world queries, while LLM-as-judge benchmarks suffer from grading biases and limited query quantity. Both of them may also become contaminated over time. User-facing evaluation, such as Chatbot Arena, provides reliable signals but is costly and slow. In this work, we propose MixEval, a new paradigm for establishing efficient, gold-standard LLM evaluation by strategically mixing off-the-shelf benchmarks. It bridges (1) comprehensive and well-distributed real-world user queries and (2) efficient and fairly-graded ground-truth-based benchmarks, by matching queries mined from the web with similar queries from existing benchmarks. Based on MixEval, we further build MixEval-Hard, which offers more room for model improvement. Our benchmarks' advantages lie in (1) a 0.96 model ranking correlation with Chatbot Arena arising from the highly impartial query distribution and grading mechanism, (2) fast, cheap, and reproducible execution (6% of the time and cost of MMLU), and (3) dynamic evaluation enabled by the rapid and stable data update pipeline. We provide extensive meta-evaluation and analysis for our and existing LLM benchmarks to deepen the community's understanding of LLM evaluation and guide future research directions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Decentralized Arena: Towards Democratic and Scalable Automatic Evaluation of Language Models
Evaluation of Large Language Models via Coupled Token Generation
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains
언어 모델의 성능 향상은 종종 학습에 사용하는 데이터의 품질 개선에 의해 이루어지며, 강력한 감독 신호가 부족할 때에는 한계가 있을 수 있습니다. 본 연구에서는 개별적으로는 약한 데이터 포인트로 구성된 쌍으로 된 선호도 데이터가 각 데이터 포인트의 강도를 넘어서는 성능 향상을 가능하게 함을 보여줍니다. 우리는 이 현상을 설명하기 위해 델타 학습 가설(delta learning hypothesis)을 제시하는데, 이는 약한 데이터에 대한 감독 미세조정이 오히려 성능을 저해할 때에도, 데이터 포인트 간 상대적 품질 차이(delta)가 선호도 튜닝을 통한 학습을 촉진하기에 충분하다는 가정입니다. 본 가설은 통제된 실험과 대규모 실험에서 검증되었으며, 여기서 우리는 8B 모델을 소규모 3B 모델의 응답과 더 작은 1.5B 모델의 출력을 쌍으로 하여 의미 있는 델타를 생성한 선호도 데이터로 후학습(post-training)하였습니다. 특히, 표준 11개 벤치마크 평가 세트(MATH, MMLU 등)에서 본 간단한 방법은 동일한 기반 모델에서 튜닝된 최첨단 공개 모델인 Tulu 3의 성능과 맞먹으며, Tulu 3는 훨씬 강력한 감독자(e.g., GPT-4o)를 활용합니다. 따라서 델타 학습은 최첨단 후학습을 위한 더 간단하고 저렴한 공개 레시피를 가능하게 합니다. 델타 학습을 더 잘 이해하기 위해, 우리는 로지스틱 회귀(logistic regression)에서 두 약한 교사 모델 간의 성능 격차가 더 강한 학생 모델 개선에 유용한 신호임을 증명하였습니다. 종합적으로, 본 연구는 일반적으로 약하다고 여겨질 수 있는 쌍으로 된 데이터로부터도 모델이 놀라울 정도로 잘 학습할 수 있음을 보여줍니다.
Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate
any4: Learned 4-bit Numeric Representation for LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.