PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17609v1cs.CL

벤치마크 환상: 가지치기된 LLM은 객관식은 통과하지만 답변에는 실패한다

The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer

대규모 언어 모델(LLM)을 압축하면 메모리 사용량과 추론 비용이 줄어들지만, 표준 벤치마크가 놓치는 실패도 발생할 수 있다. 가지치기된 모델은 객관식 평가에서는 여전히 좋은 성능을 낼 수 있지만, 동일한 질문에 대해 개방형 생성에서는 답변에 실패할 수 있다. 우리는 가지치기가 무엇을 바꾸는지 묻는다: 정답을 지워버리는 것인가, 아니면 정답을 최상위 출력으로 생성하기 어렵게 만드는 것인가? 우리는 가지치기 전후에 동일한 질문을 추적하며, 다국어 질의응답을 통해 이 질문을 연구한다. 우리는 벤치마크 환상(benchmark illusion)을 발견한다. 높은 희소성 가지치기, 특히 Wanda에서, 모델은 객관식 채점에서는 정답을 선택하면서도 탐욕적(greedy) 개방형 생성에서는 종종 실패한다. 이러한 인식 전용(recognition-only) 오류에서 정답은 보통 사라진 것이 아니라 순위가 낮아진 것이다: 빔 탐색(beam search), 샘플링(sampling), 또는 하나의 문맥 내 예제(in-context example)로 종종 다시 나타난다. 전반적으로 객관식 벤치마크는 압축된 LLM의 실용성을 과대평가할 수 있으며, 평가의 사각지대를 만든다. 압축된 모델은 인식할 수 있는 것뿐만 아니라 생성할 수 있는 것에 대해 테스트되어야 한다.