PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02898v5cs.AI

쌍별 선호도를 활용한 언어 모델 벤치마크 정렬

Aligning Language Model Benchmarks with Pairwise Preferences

언어 모델 벤치마크는 실제 다운스트림(downstream) 성능을 평가하기 위해 널리 사용되는 계산 효율적인 대리 지표입니다. 그러나 최근 많은 연구에 따르면 이러한 벤치마크가 실제 다운스트림 유용성을 제대로 예측하지 못하는 경우가 많은 것으로 나타났습니다. 일부 연구에서 이러한 불일치의 원인을 진단하기 시작했으나, 벤치마크 점수를 실제 다운스트림 활용과 일치하도록 체계적으로 업데이트하는 방법은 아직 부재한 상황입니다. 이러한 간극을 좁히기 위해, 본 연구에서는 다운스트림 모델 성능 정보를 활용하여 벤치마크를 자동으로 업데이트하는 \textit{벤치마크 정렬(benchmark alignment)}을 제안하고 연구합니다. 특히 정적 벤치마크를 업데이트하여 새로운 쌍별 선호도(pairwise preferences)에 따라 모델들의 순위를 일반화 가능하게 매길 수 있도록 하는 것을 목표로 합니다. 4,576개의 언어 모델과 6개의 벤치마크를 활용한 실험 결과, 벤치마크 항목의 가중치를 재조정(reweighting)함으로써 평가에 포함되지 않았던 새로운 모델의 순위를 성공적으로 매길 수 있었으며, 대부분의 경우 모델 규모 전반에 걸쳐 일반화됨을 확인했습니다. 또한 단순한 정렬 방식은 예상대로 방대한 수의 모델과 벤치마크 질문을 필요로 하지만, 오라클(oracle) 실험 결과 잘 선택된 20개 정도의 모델만으로도 이를 줄일 수 있음을 시사합니다. 전반적으로 본 연구는 벤치마크 개발을 다운스트림 태스크에 효율적으로 정렬하는 방향으로 나아가는 한 걸음을 제시합니다.\footnote{모든 코드, 모델, 데이터는 공개되어 있습니다.