PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06213v3cs.AI

고정 벤치마크와 최악의 경우 공격을 넘어서: 언어 모델을 위한 동적 경계 평가

Beyond Fixed Benchmarks and Worst-Case Attacks: Dynamic Boundary Evaluation for Language Models

오늘날 대규모 언어 모델(LLM) 평가는 모든 모델에 동일한 문항 집합을 적용하는 고정 벤치마크에 기반하며, 이는 천장 효과와 바닥 효과를 발생시켜 능력 차이를 가린다. 우리는 가장 유익한 평가 신호가 경계, 즉 무작위 샘플링 디코딩 전략 하에서 프롬프트별 통과 확률이 $0.5$에 가까운 지점에 존재한다고 주장하며, 각 모델의 경계를 능동적으로 찾아내어 전역적으로 비교 가능한 난이도 척도 위에 배치하는 동적 경계 평가(Dynamic Boundary Evaluation, DBE)를 제안한다. DBE는 세 가지 결과물을 제공한다: (i) 안전성, 능력, 진실성을 포괄하며 $9$개의 참조 LLM에 걸쳐 검증된 문항별 난이도 레이블을 갖춘 보정된 문항 은행; (ii) API 수준의 질의 접근만을 사용하여 주어진 대상 LLM의 경계 문항을 찾는 탐색 알고리즘인 스킬 가이드 경계 탐색(Skill-Guided Boundary Search, SGBS); 그리고 (iii) 새로운 LLM을 통합된 능력 척도 위에 배치하고, 대상이 문항 은행의 커버리지를 벗어날 경우 평가 집합을 적응적으로 확장하는 평가 프로토콜이다. 우리는 안전성(유해 요청 거부, 과도한 거부), 능력(제약된 지시 따르기), 진실성(다중 턴 아첨 저항성)에 걸친 네 가지 범주에 DBE를 구체적으로 적용한다. 그 결과로 얻어진 평가는 기존 데이터셋과의 호환성을 유지하면서도 포화 없이 더 넓은 모델 스펙트럼을 포괄한다.