arXiv:2611.16843v2 cs.CL

지름길인가 암기인가? 대규모 언어 모델로 자연어 이해에서의 데이터 손상 다시 보기

Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models

Aarne Talman, Stergios Chatzikyriakidis

제출 2026-11-12

한국어 초록

자연어 추론(NLI) 및 기타 언어 이해 과제로 미세조정된 사전학습 인코더는 입력이 교란되어도, 예를 들어 모든 명사를 제거하거나 단어를 섞어도 정확도의 상당 부분을 유지한다. 대규모 언어 모델(LLM)에서도 같은 현상이 나타나는가, 그렇다면 이는 사전학습 중에 벤치마크를 접했기 때문인가? 본 논문에서는 GLUE와 ANLI의 세 라운드에 대해 미세조정된 인코더와 함께 여덟 개의 LLM으로 이러한 교란 실험을 다시 수행한다. 모델 크기와 무관하게, 직접 답하는 모든 시스템은 MNLI에서 명사 없이도 우연 수준 초과 성능의 36-72%를 유지하는 반면 ANLI에서는 14-29%만 유지한다. 답하기 전에 추론하는 모델만이 이 패턴에서 벗어난다. 또한 오염 지표(두 모델의 공개 사전학습 데이터에서의 정확한 $n$-그램 횟수 포함)를 확인하였으며, 노출과 강건성 사이에 연관성을 발견하지 못하였다. 가장 강력한 증거는 어떤 모델도 본 적이 없을 368개의 새로운 사람 검증 항목에서 나온다. 여덟 개 LLM 모두 MNLI 스타일로 작성된 항목에서 그러한 단서 없이 작성된 항목보다 명사 없이도 더 많은 성능을 유지한다. 교란이 대신 그러한 단서를 담고 있는 기능어를 제거하면 이 이점은 역전된다. 이러한 결과에 비추어, 우리는 익숙한 NLI 벤치마크에서의 교란에 대한 강건성이 암기가 아니라 데이터셋 지름길을 반영하며, 모델보다는 벤치마크에 대해 더 많은 것을 알려 준다고 주장한다.

원문 초록

Pre-trained encoders fine-tuned on natural language inference (NLI) and other language understanding tasks keep much of their accuracy after the input is perturbed, e.g. by removing all nouns or shuffling the words. Does the same hold for large language models (LLMs), and if so, is it because they have seen the benchmarks during pre-training? In this paper we revisit these perturbation experiments with eight LLMs alongside fine-tuned encoders on GLUE and the three rounds of ANLI. Regardless of model size, every system that answers directly retains 36-72% of its above-chance performance without nouns on MNLI compared to only 14-29% on ANLI. Only a model that reasons before answering departs from this pattern. We also check contamination indicators (including exact $n$-gram counts in the public pre-training data of two of the models) and find no link between exposure and robustness. Our strongest evidence comes from 368 new, human-validated items that none of the models can have seen. All eight LLMs keep more of their performance without nouns on items written in MNLI's style than on items written without its cues. When the perturbation instead removes the function words carrying such cues, this advantage reverses. In light of these results, we argue that robustness to perturbation on familiar NLI benchmarks reflects dataset shortcuts rather than memorisation, and tells us more about the benchmark than about the model.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.16843v2제출 시각 미확인
  2. arXiv:2611.16843v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.