arXiv:2606.07066v1 cs.CL

언어 모델 임베딩을 활용한 자율적 읽기에서의 의미 연합 모델링

Modeling semantic association in self-paced reading with language model embeddings

Sara Møller Østergaard, Kenneth Enevoldsen, Afra Alishahi, Bruno Nicenboim

제출 2026-06-05

한국어 초록

단어와 그 문맥 간의 의미 연합은 단어 예측 가능성을 고려하더라도 독해의 중요한 구성 요소로 식별되었습니다. 최근 연구에서는 의미 연합을 정량화하는 데 있어 언어 모델(LM) 임베딩의 잠재력을 강조했습니다. 그러나 임베딩 기반 의미 연합은 다양한 방식으로 조작화되었습니다. 본 연구에서는 자연스러운 네덜란드어 텍스트에 대한 뇌전도(EEG)와 자율적 읽기가 결합된 코퍼스에서 의미 연합을 추정하기 위해 LM의 임베딩을 사용합니다. 의미 연합은 임베딩 모델과 문맥 길이를 달리하는 10가지의 다른 구현 방식으로 계산됩니다. 다양한 구현 방식에 걸친 의미 연합의 효과가 N400과 자율적 읽기 시간에 미치는 영향을 베이지안 계층 모델과 베이즈 인자를 사용하여 조사합니다. 결과에 따르면 임베딩 모델의 선택은 N400과 자율적 읽기 시간 모두에 대한 의미 연합의 추정 효과를 변화시킬 수 있습니다. 또한, 결과는 의미 연합을 포착하는 데 있어 문장 임베딩의 유망한 잠재력을 보여줍니다. 문장 임베딩에 의존하는 구현 방식만이 신경 및 행동적 측정 모두에서 단어 예측 가능성을 넘어선 의미 연합의 신뢰할 수 있는 결과를 나타내기 때문입니다. 종합적으로, 이러한 발견들은 의미 연합을 정량화하는 데 있어 방법론적 선택의 중요성을 강조합니다.

원문 초록

Semantic association between a word and its context has been identified as an important component of reading comprehension, even when word predictability is accounted for. Recent research has highlighted the potential of language model ( LM) embeddings to quantify semantic association. Yet, embedding-based semantic association have been operationalized in a myriad of ways. In this study, we use embeddings from LMs to estimate semantic association on a corpus of joint electroencephalography (EEG) and self-paced reading of natural, Dutch texts. Semantic association is calculated in ten different implementations that vary the embedding model and context lengths. The effects of semantic association across the different implementations on the N400 and self-paced reading times are examined using Bayesian hierarchical models and Bayes factor. The results show that the choice of embedding model can alter the estimated effect of semantic association on both the N400 and self-paced reading times. Furthermore, the results demonstrate a promising potential of sentence embeddings for capturing semantic association, as only implementations relying on sentence embeddings indicate reliable results of semantic association beyond word predictability on both neural and behavioral measures. Together, these findings highlight the importance of methodological choices in quantifying semantic association.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07066v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22980v3cs.LG공통 태그 Bayesian Inference, EEG

운동 상상 전기뇌파의 피험자 간 분류를 위한 베이지안 완전 풀링

Bayesian Complete-Pooling in Cross-Subject Classification for Motor Imagery Electroencephalogram

뇌-컴퓨터 인터페이스(BCI)는 오랫동안 보정이 필요 없는 작동을 추구해 왔으나, 분류기는 통상 판별 성능만으로 평가된다. 판별 성능은 보정(calibration)을 반영하지 못하는데, 뇌전도(EEG) 신호가 비정상성(nonstationary)을 띠고 점추정 분류기가 분포 이동 하에서 과신할 수 있다는 점에서 이는 의미 있는 간극이다. 우리는 20개 데이터셋에 걸친 피험자 간 좌·우손 운동 상상 EEG 분류에서 베이지안 완전 풀링 모델과 빈도주의 기준 모델을 대조하는 대규모 연구를 수행하였다. 여섯 가지 빈도주의 파이프라인 각각을 동일하고 결정론적인 특징 추출을 공유하는 대응 베이지안 파이프라인과 짝지어, 분류기만 베이지안이 되도록 하였다. 베이지안 분류기는 마르코프 연쇄 몬테카를로로 적합하였다. 주요 지표는 신뢰도(reliability)와 분해능(resolution)으로 분해한 브라이어 점수였으며, 판별에는 ROC 곡선 아래 면적을, 선명도(sharpness)에는 섀넌 엔트로피를 함께 사용하였다. 각 지표에 대해 Knapp-Hartung 보정을 적용한 랜덤효과 메타분석을 수행하고 leave-one-out 영향 분석으로 검증하였다. 베이지안 완전 풀링은 신뢰도의 통계적으로 유의한 개선과 예측 불확실성의 증가(선명도 저하)를 보였으며, 95% 신뢰구간은 신뢰도에서 [-0.0029, -0.0001], 엔트로피에서 [0.0022, 0.0220] 비트였다. 그러나 사후분포 샘플링에 문제가 있다고 표시된 데이터셋을 제외하면 두 효과 모두 통계적 유의성을 유지하지 못했다. 브라이어 점수, 분해능, 판별 성능에서는 유의한 차이가 없었다. 연구 간 이질성은 모든 지표에서 낮았다. 베이지안 파이프라인은 빈도주의 파이프라인보다 약 13배 많은 에너지를 소비하였으나, 이는 일반 가전제품에 비해 여전히 적은 수준이다. 이처럼 비용이 크지 않으므로, 완전 풀링이 배제한 구조인 피험자 및 세션 간 부분 풀링이 실현 가능한 다음 단계가 된다.

arXiv:2609.28080v1cs.CL공통 태그 Language Modeling, Semantic Similarity

개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석

Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation

개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.

arXiv:2609.18842v2cs.AI공통 태그 Language Modeling, Bayesian Inference

무한-매개변수 LLM: 실시간 데이터로부터 가중치 생성 및 적응

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data

스케일링 법칙에 따르면 언어 모델은 매개변수와 학습 데이터가 늘수록 더 유능해진다. 전문가 혼합(MoE) 아키텍처는 이러한 법칙의 두드러진 사례로, 거대한 매개변수 뱅크 중 각 토큰마다 일부만 활성화한다. 그러나 이 성공은 정적인 사전학습 데이터에 기반한다 — 배포된 모델이 실시간 상호작용 중 사용자가 제공하는 사실과 수정은 잠재적 개선의 중요한 미개발 원천이지만, 학습 후 가중치가 고정되는 기존 아키텍처로는 활용할 수 없다. 대신 이러한 새 지식은 문맥(지시 또는 검색)에 넣어 매 요청마다 다시 읽어야 하며, 이후에는 버려진다. 우리는 대신 실시간 상호작용으로부터 학습하기 위해 모델 가중치를 동적으로 갱신하고자 한다. MoE에서 영감을 받아 \textbf{Infinite-Parameter LLM}을 제안한다. 소형 하이퍼네트워크가 온라인 데이터를 공유 기반 네트워크에 대한 저랭크 변조로 바꾸므로, 피드포워드 가중치는 정적 메모리에서 읽는 것이 아니라 실시간 데이터로부터 생성된다. 기존 가중치 생성기는 문맥을 한 번 읽은 뒤 고정되는 반면, 우리는 생성기의 잠재 상태에 대한 베이지안 신념을 형성하고 이를 온라인으로 갱신하여, 세션 동안 신념이 진화함에 따라 유효 가중치가 다시 도출되도록 한다. 모델의 메모리 사용량은 일정하지만, 생성 가능한 가중치의 실현 공간은 사실상 무한하다. 실시간 데이터를 프롬프트가 아닌 가중치에 담으면 연산을 상각(amortise)하고, 컨텍스트 윈도우를 비우며, 턴 간 갱신을 유지하고, 문맥 내 사용보다 더 잘 일반화할 수 있다. 우리의 평가 프로토콜은 이 방법론을 문맥 내 학습(ICL)과 검색에 적용한다.

arXiv:2609.24095v1cs.CV공통 태그 Language Modeling, EEG

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2607.22694v1cs.AI공통 태그 Language Modeling, Bayesian Inference

베이지안 반복 패널티: 자기회귀 언어 모델에서 어텐션 붕괴를 역전하기 위한 원칙적 인접-조건부 프레임워크

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

자기회귀 언어 모델에서의 어텐션 붕괴(attention collapse) — 모델이 자기 강화적 attractor에 갇히는 반복적 토큰 루프로 나타나는 — 는 기존 디코딩 시점 휴리스틱이 근본 원인을 해결하지 못하는 지속적인 병리 현상이다. 우리는 인접 조건부 확률 구성을 통해 토큰의 관측 빈도와 코퍼스 사전 분포를 비교함으로써, 붕괴된 생성 패턴에서 발생하는 비정상적 신뢰도를 패널티하거나 보상하는 원칙적 프레임워크를 제시한다. 결과적으로 얻어지는 자기 정규화(self-normalising) 패널티 비율 $R=f(m,n,p)/f(np,n,p)$는 임의의 표준화가 필요 없으며, 근사 오차가 없는 폐형식(closed-form) 로짓 오프셋을 허용한다. 이 보정은 손실 그래디언트와 분리되며, 지수 이동 평균(exponential moving average)을 통해 고정된 출력층 바이어스에 누적되어, 표준 학습 파이프라인에 침습적인 수정 없이 이미 붕괴된 모델에 대한 수리 메커니즘으로 배포할 수 있게 한다. 1.5B 매개변수 모델에 대한 실험적 검증은 고정 바이어스 메커니즘이 이미 붕괴된 attractor에 갇힌 모델을 구출할 수 있음을 보여주며, 생성 품질을 유지하면서 2-gram 반복을 0.073에서 거의 0으로 줄인다.

arXiv:2607.22397v1cs.HC공통 태그 Bayesian Inference, EEG

범용 BCI 개인화: 동결 EEG 트렁크와 파운데이션 모델을 위한 단일 API

Universal BCI Personalization: One API for Frozen EEG Trunks and Foundation Models

동결 EEG 인코더가 확산하고 있으나, 모델별 파인튜닝 기본 설정은 확장되지 않는다. 우리는 Nimbus Personalizer를 제안한다. 이는 아키텍처마다 새로운 개인화 스택 없이 이종 동결 트렁크 위에 올라가는 encode → Bayesian head → BrainState(선택적 affine mid-tier)의 단일 계약(contract)이다. 논제(시스템): 기여는 임베딩 위 LDA를 ML 신규성으로 내세우는 것이 아니라 트렁크에 무관한(trunk-agnostic) API이며, OEM이 한 번 통합하고 트렁크를 교체할 수 있다는 점이다. 근거: 동일한 인터페이스가 다섯 가지 고전 트렁크 EEGNet, Shallow, Deep, Conformer, ATCNet × 네 개의 MI 데이터셋(18 cells)과, 동일한 Personalizer 하에서 파운데이션 인코더(REVE) 위에서도 동작한다. 임베딩 용량이 존재하는 경우, 헤드는 warm-start 파인튜닝 또는 PEFT 대비 저렴한 기본 중간 지점으로, 적응 wall time을 수 orders of magnitude 적게 소비하면서 파인튜닝 정확도 향상의 상당 부분을 회복한다. calibration-only-when-clean은 18 cells 중 12개에서 성립한다. 헤드 성능 향상은 용량이 존재하는 곳에서 API가 유 useful하다는 뒷받침 근거다. 피험자 수준 신뢰구간은 가장 명확한 데이터셋을 식별하고, 다른 곳에서는 0을 포함한다. 모든 결과는 탐색적(subject-level bootstrap, 확인적 검정 없음)이며, 적응을 언제 확대할지에 대한 의사결정 로직은 제어 층(control layer)에 관한 동반 연구에서 다룬다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.