arXiv:2405.08223

An information-theoretic model of shallow and deep language comprehension

Jiaxuan Li, Richard Futrell

제출 2024-05-13

원문 초록

A large body of work in psycholinguistics has focused on the idea that online language comprehension can be shallow or `good enough': given constraints on time or available computation, comprehenders may form interpretations of their input that are plausible but inaccurate. However, this idea has not yet been linked with formal theories of computation under resource constraints. Here we use information theory to formulate a model of language comprehension as an optimal trade-off between accuracy and processing depth, formalized as bits of information extracted from the input, which increases with processing time. The model provides a measure of processing effort as the change in processing depth, which we link to EEG signals and reading times. We validate our theory against a large-scale dataset of garden path sentence reading times, and EEG experiments featuring N400, P600 and biphasic ERP effects. By quantifying the timecourse of language processing as it proceeds from shallow to deep, our model provides a unified framework to explain behavioral and neural signatures of language comprehension.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24095v1cs.CV공통 태그 Sentence, EEG

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2510.17168v2cs.CL공통 태그 EEG, ERP

AI 귀속 아이러니의 신경 역학이 부분적인 의도적 입장을 드러낸다

Neural Dynamics of AI-attributed Irony Reveal a Partial Intentional Stance

대규모 언어 모델(LLM)이 점점 더 사회적 에이전트로 배치되고 유머와 아이러니를 생성하도록 학습됨에 따라, 한 가지 질문이 떠오른다: 재치 있는 AI 발언을 접할 때, 사람들은 이를 의도적인 의사소통 행위로 해석하는가? 본 연구는 AI 귀속 아이러니를 이해할 때 사람들이 의도적 입장—행동을 설명하기 위해 정신 상태를 부여하는 것—을 채택하는지 조사했다. 아이러니는 이해에 있어 화용론적 재분석을 통해 의도적인 모순과 의도하지 않은 오류를 구별해야 하므로 좋은 실험 환경을 제공한다. 뇌전도(EEG)를 사용하여 사건 관련 전위(ERP)를 측정함으로써, AI 동반자 또는 인간 중 어느 한쪽에 귀속된 동일한 아이러니적 발화에 대한 행동 및 신경 반응을 비교했다. 우리는 사람들이 AI 의사소통에 대해 의도적 입장을 완전히 채택하지 않는다는 것을 발견했다. 참가자들은 맥락적으로 부조화적인 발화를 AI에 귀속했을 때 인간에 귀속했을 때보다 아이러니로 해석하는 빈도가 유의미하게 낮았다. 이에 상응하여, 초기 의미 처리(P200)와 화용론적 재분석(P600) 모두에서 인간 귀속 아이러니에 비해 AI 귀속 아이러니에 대한 신경 반응이 약화된 것을 관찰했다. 또한, 이러한 신경 반응은 AI의 진정성과 신뢰성에 대한 개인적 인식에 의해 조절되었으며, 긍정적 인식은 인지적 노력을 줄임으로써 화용론적 이해를 촉진했다. 이는 AI에 대한 의도적 입장의 채택이 인공 에이전트에 대한 사람들의 정신 모델에 의해 동적으로 형성되는 유연하고 적응적인 과정임을 시사한다. 이러한 발견은 의사소통 능력의 발전에도 불구하고 AI 시스템이 사회적 주체성에 직면한 장벽을 마주하고 있음을 보여준다: 인간은 인공 대화 상대로부터의 입력을 의도성 부여가 감소된 상태로 처리한다. 이는 인간의 사회적 인지를 이해하고 사회적 상호작용을 목적으로 하는 AI 시스템을 설계하는 데 중요한 함의를 갖는다.

arXiv:2505.23277v4cs.CL공통 태그 Sentence공식 코드 · Papers with Code

Sentinel: 효율적인 LLM 컨텍스트 압축을 위한 어텐션 프로빙 기반 컨텍스트 활용 해독

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression

검색된 컨텍스트는 길고 잡음이 많으며 중복되는 경우가 많아, 답변 생성에 앞서 질의 인식 압축이 필요하다. 네이티브 어텐션은 컨텍스트 선택을 위한 신호를 제공하지만, 헤드마다 동작이 이질적이어서 이를 문장 유용도 점수로 직접 집계하기가 복잡하다. 본 논문은 층과 헤드에 걸친 부호 있는 선형 리드아웃을 통해 이러한 신호를 결합하도록 학습하는 문장 수준 압축기 Sentinel을 제안한다. 기존 QA 근거 주석을 사용하여 리드아웃만 학습하며, 백본은 고정된 상태로 유지되고 문장 점수 산정에는 자기회귀 생성이 필요하지 않다. 12개의 LongBench 과제 전반에서, 0.5B 백본을 사용하는 Sentinel은 2,000 토큰 예산 조건에서 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, DeepSeek V4.1 Flash의 세 리더 각각에 대해 여러 과제에서 전체 컨텍스트(Full Context)보다 우수한 성능을 보인다. 영어 전용 QA 지도만 사용했음에도 동일한 리드아웃이 과제별 재학습 없이 중국어 과제로 전이된다. 길이별 계층화 프로파일링에서도 LLMLingua-2 및 CPC보다 압축 지연 시간과 GPU 메모리 사용량이 더 낮음을 확인했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.