지역 정의가 없을 때: 언어 모델의 안정적 오류
When Local Definitions Are Missing: Stable Errors in Language Models
한국어 초록
계약서, 기술 매뉴얼, 온라인 커뮤니티에서는 흔히 익숙한 단어에 특별한 의미를 부여하고 이를 한 곳에서 정의한다. 해당 정의 없이 글을 읽는 언어 모델은 통상적인 의미를 사용하여 그럴듯하게 들리지만 틀린 답을 내놓을 수 있다. 본 논문은 정답이 지역 정의에 좌우되는 객관식 문항으로 이 문제를 연구한다. 문항은 합성 어휘, 상업 계약서, Reddit 커뮤니티 용어집, 탈중앙화 거래소 문서에서 가져왔다. 세 언어 모델에 각 문항을 정의가 있는 경우와 없는 경우로 묻는다. 이후 정답 키를 사용하지 않고, 모델의 반복된 답변과 진술된 확신도가 모델 자신의 오류를 드러내는지 검증한다. 별도로, 작은 오픈 모델에 정답 키를 제공하고 더 큰 모델이 어떤 문항을 틀릴지 예측할 수 있는지 검증한다. 세 가지 결과를 보고한다. (1) 출처가 재정의한 익숙한 단어가 가장 많은 오류를 일으킨다. 모델은 같은 오답을 반복하는 경우가 많으며, 반복된 답변이나 진술된 확신도 모두 이를 안정적으로 알려 주지 못한다. (2) 출처의 정의는 합성 문항의 대부분의 오류를 바로잡지만, 모델 자체의 사전 지식에서 가져온 정의는 그렇지 못하다. 실제 계약서에서는 출처의 정의가 오류의 약 절반만 바로잡는다. (3) 정답 키가 주어지면 작은 모델은 더 큰 모델이 틀릴 가능성에 따라 문항의 순위를 매길 수 있다. 이러한 결과는 지역 정의를 포함한 전체 출처에 대조하여 답을 검증하는 테스트가 필요함을 시사한다.
원문 초록
Contracts, technical manuals, and online communities often give familiar words special meanings and define them in one place. A language model that reads a passage without that definition may use the usual meaning and give an answer that sounds right but is wrong. We study this with multiple-choice questions whose correct answers depend on a local definition. The questions come from a synthetic vocabulary, commercial contracts, Reddit community glossaries, and the documentation of a decentralized exchange. We ask three language models each question with and without the definition. Without using the answer key, we then test whether their repeated answers and stated confidence reveal their own errors. Separately, we give a small open model the answer key and test whether it can predict which questions larger models get wrong. We report three findings. (1) Familiar words that a source redefines cause the most errors. Models often repeat the same wrong answer, and neither repeated answers nor stated confidence reliably flag it. (2) The source definition fixes most errors on synthetic questions, but a definition drawn from the model's own prior knowledge does not. In real contracts, the source definition fixes only about half of the errors. (3) Given an answer key, a small model can rank questions by how likely larger models are to get them wrong. These results call for tests that check answers against the full source, including its local definitions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.15597v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.