PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25009v1cs.CL

같은 수량, 다른 답: 언어 모델의 수치 표현 불변성

Same Quantity, Different Answer: Numerical Representation Invariance in Language Models

수치적으로 동등한 문장제 문제는 수량이 소수, 분수, 백분율, 숫자 단어, 과학적 표기법, 또는 정확히 변환된 단위 중 어떤 형태로 쓰이든 동일한 정규(canonical) 답을 내야 합니다. 우리는 3,600개의 정확한 유리수 문제와, 정체성을 보존하는 다섯 가지 변환 계열에 걸친 8,600개의 프롬프트를 생성하고, 다섯 개의 오픈 가중치(open-weight) 시스템을 평가했습니다. LLM 판정자 없이 일반적인 답변 형식을 정규화하는 고정된 구문 감사(syntax audit)를 거친 후, 정규 정확도(canonical accuracy)는 0.969~0.996이지만, 오빗 정확도(orbit correctness)는 0.848~0.981로, 오빗 불변성(orbit invariance)은 0.851~0.981로 떨어집니다. 불변이지만 틀린 오빗은 최대 0.003을 차지합니다. 엄격한 파서(strict parser)에서 나타나는 광범위한 성능 붕괴의 대부분은 곱셈 형태의 과학적 표기법이 구현된 숫자 문법 범위를 벗어나기 때문에 발생하며, 이는 평가기 인터페이스가 추론 실패로 오인될 수 있음을 보여줍니다. 별개의 의미론적 병리 현상도 남아 있습니다. Mistral Small 4는 단위 변환된 입력에서 0.699를 기록했으며, 정답 레이블과 정확히 10의 거듭제곱만큼 차이 나는 오류를 265건 생성했습니다. 비교 대상 조건에 동일한 호출 횟수를 할당한 별도의 9,000회 호출 실험에서, 표현 합의(representation consensus)는 오류가 낮은 부분집합에서 패러프레이즈 합의(paraphrase consensus)보다 나은 성능을 보이지 않았으며, 훨씬 더 많은 오경보(false alarm)를 발생시켰습니다. 함께 제공되는 보조 아카이브에는 고정된(frozen) 벤치마크, 평가 및 감사 기록, 합의 방식의 원시 응답, 매니페스트, 분석 코드, 그리고 한 번의 명령으로 논문을 빌드하는 스크립트가 포함되어 있습니다.