Graded strength of comparative illusions is explained by Bayesian inference
원문 초록
Like visual processing, language processing is susceptible to illusions in which people systematically misperceive stimuli. In one such case--the comparative illusion (CI), e.g., More students have been to Russia than I have--comprehenders tend to judge the sentence as acceptable despite its underlying nonsensical comparison. Prior research has argued that this phenomenon can be explained as Bayesian inference over a noisy channel: the posterior probability of an interpretation of a sentence is proportional to both the prior probability of that interpretation and the likelihood of corruption into the observed (CI) sentence. Initial behavioral work has supported this claim by evaluating a narrow set of alternative interpretations of CI sentences and showing that comprehenders favor interpretations that are more likely to have been corrupted into the illusory sentence. In this study, we replicate and go substantially beyond this earlier work by directly predicting the strength of illusion with a quantitative model of the posterior probability of plausible interpretations, which we derive through a novel synthesis of statistical language models with human behavioral data. Our model explains not only the fine gradations in the strength of CI effects, but also a previously unexplained effect caused by pronominal vs. full noun phrase than-clause subjects. These findings support a noisy-channel theory of sentence comprehension by demonstrating that the theory makes novel predictions about the comparative illusion that bear out empirically. This outcome joins related evidence of noisy channel processing in both illusory and non-illusory contexts to support noisy channel inference as a unified computational-level theory of diverse language processing phenomena.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2511.14642v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
문장 이해 중 문맥과 상호참조의 효과를 모델링하기 위한 언어 모델 활용
Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
언어 모델(LM)은 인간의 언어 처리를 모델링하는 도구로 자주 활용됩니다. 최근 연구들은 언어 모델의 컨텍스트 윈도우(context window)를 엄격하게 제한하는 것이 인간의 작업 기억 제약을 시뮬레이션함으로써 인간 심리언어학 데이터에 대한 적합도를 향상시킨다고 제안합니다. 그러나 이러한 엄격한 기억 감쇠 접근 방식은 담화 구조(discourse structure)와 같은 장거리 구조적 표상에 대한 인간의 의존성을 간과할 가능성이 있습니다. 본 연구에서는 4개의 대규모 자연주의적 영어 읽기 시간 데이터셋 전반에 걸쳐 GPT-2의 컨텍스트 윈도우 크기를 체계적으로 변경하며 U자형 관계를 관찰했습니다. 제한된 문맥(< 20개 토큰)이 국소적 기억 한계를 성공적으로 포착하지만, 확장된 문맥(500~1,000개 토큰)이 궁극적으로 가장 높은 전반적 심리언어학 적합도를 산출합니다. 이러한 이점을 유도하는 메커니즘을 조사하기 위해, 반복되는 담화 개체를 대명사화하여 문장 간 개체 연쇄를 교란하는 반사실적 추론(inference) 시점 실험을 수행합니다. 이러한 구조적 연결성을 모호하게 만들면 더 큰 컨텍스트 윈도우의 예측력이 20%에서 40%까지 크게 저하됩니다. 본 실험은 장거리 상호참조(coreference) 관계를 추적하는 것이 언어 모델의 놀람도(surprisal)와 인간의 읽기 행동 간 정렬(alignment)을 위한 중요한 요인임을 입증하며, 언어 처리 과정에서 인간 이해자가 전역적 담화 관계를 활용하는 정도를 근사합니다.
서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)
Surprisal Theory is Tautological (without Rational Grounding)
서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.
문장이 아닌 증거를 세어라: 장문 텍스트 가치관 측정을 위한 LLM 판단의 템퍼드 증거 융합(Tempered Evidence Fusion)
Count Evidence, Not Sentences: Tempered Evidence Fusion of LLM Judgments for Long-Text Value Measurement
대규모 언어 모델(LLM)은 긴 소셜 미디어 게시물로부터 대중의 가치 지향을 측정하는 데 점점 더 많이 사용되고 있으나, 이러한 게시물에는 배경 설명, 인용, 양보 표현이 섞여 있고 입장을 드러내는 문장은 소수에 불과한 경우가 많다. 기존 접근법은 모델이 문서 수준 레이블을 직접 예측하도록 하여 과신(overconfident)에 빠질 수 있거나, 문장 수준 예측을 다수결(majority voting) 또는 소프트 보팅(soft voting)으로 집계하여 불확실한 문장과 결정적인 문장을 동등하게 유용한 정보로 취급한다. 본 논문은 장문 텍스트 가치관 측정을 의사결정 융합(decision-fusion) 문제로 정식화하고, 일반화 베이지안 사후분포(generalized Bayesian posterior)로부터 도출된 정규화된 정보 이득(information gain)으로 각 문장의 로그 오즈(log-odds)에 가중치를 부여하는 학습이 필요 없는(training-free) 규칙인 템퍼드 증거 융합(Tempered Evidence Fusion, TEF)을 제안한다. 이를 통해 불확실한 문장에 대해서는 융합 점수가 거의 0에 가까워지면서도, 결정적인 증거에 대해서는 베이즈 최적 가중치가 유지된다. 또한 5년에 걸친 공공 사건과 여섯 가지 가치 차원을 아우르는 중국어 및 영어 게시물 8,358건으로 구성된 벤치마크인 Multi-event Insight Network Dimensions(MIND)를 새롭게 소개한다. MIND에서 TEF는 다섯 개의 LLM과 두 언어에 걸쳐, Direct, Majority Vote, Soft Vote 중 가장 강력한 기준선(baseline)보다 평균 4.5 정확도 포인트, 4.6 macro-F1 포인트 높은 성능을 보였다. MIND 데이터셋과 코드는 https://github.com/Kzczc/ICASSP2027-TEF 에서 확인할 수 있다.
무한-매개변수 LLM: 실시간 데이터로부터 가중치 생성 및 적응
Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data
스케일링 법칙에 따르면 언어 모델은 매개변수와 학습 데이터가 늘수록 더 유능해진다. 전문가 혼합(MoE) 아키텍처는 이러한 법칙의 두드러진 사례로, 거대한 매개변수 뱅크 중 각 토큰마다 일부만 활성화한다. 그러나 이 성공은 정적인 사전학습 데이터에 기반한다 — 배포된 모델이 실시간 상호작용 중 사용자가 제공하는 사실과 수정은 잠재적 개선의 중요한 미개발 원천이지만, 학습 후 가중치가 고정되는 기존 아키텍처로는 활용할 수 없다. 대신 이러한 새 지식은 문맥(지시 또는 검색)에 넣어 매 요청마다 다시 읽어야 하며, 이후에는 버려진다. 우리는 대신 실시간 상호작용으로부터 학습하기 위해 모델 가중치를 동적으로 갱신하고자 한다. MoE에서 영감을 받아 \textbf{Infinite-Parameter LLM}을 제안한다. 소형 하이퍼네트워크가 온라인 데이터를 공유 기반 네트워크에 대한 저랭크 변조로 바꾸므로, 피드포워드 가중치는 정적 메모리에서 읽는 것이 아니라 실시간 데이터로부터 생성된다. 기존 가중치 생성기는 문맥을 한 번 읽은 뒤 고정되는 반면, 우리는 생성기의 잠재 상태에 대한 베이지안 신념을 형성하고 이를 온라인으로 갱신하여, 세션 동안 신념이 진화함에 따라 유효 가중치가 다시 도출되도록 한다. 모델의 메모리 사용량은 일정하지만, 생성 가능한 가중치의 실현 공간은 사실상 무한하다. 실시간 데이터를 프롬프트가 아닌 가중치에 담으면 연산을 상각(amortise)하고, 컨텍스트 윈도우를 비우며, 턴 간 갱신을 유지하고, 문맥 내 사용보다 더 잘 일반화할 수 있다. 우리의 평가 프로토콜은 이 방법론을 문맥 내 학습(ICL)과 검색에 적용한다.
HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩
HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings
심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.
베이지안 반복 패널티: 자기회귀 언어 모델에서 어텐션 붕괴를 역전하기 위한 원칙적 인접-조건부 프레임워크
Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models
자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.