arXiv:1902.10296

A Framework for Decoding Event-Related Potentials from Text

Shaorong Yan, Aaron Steven White

제출 2019-02-27

원문 초록

We propose a novel framework for modeling event-related potentials (ERPs) collected during reading that couples pre-trained convolutional decoders with a language model. Using this framework, we compare the abilities of a variety of existing and novel sentence processing models to reconstruct ERPs. We find that modern contextual word embeddings underperform surprisal-based models but that, combined, the two outperform either on its own.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.11870v2cs.CL공통 태그 Language Modeling, Word Embeddings

Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것

Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model

언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.

arXiv:2609.25797v1cs.CL공통 태그 Language Modeling, Word Embeddings

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.

arXiv:2609.24095v1cs.CV공통 태그 Language Modeling, Sentence

HDND: 비침습 뇌 기록으로부터 다국어 단어/문자 검색을 위한 계층적 동적 신경 디코딩

HDND: Hierarchical Dynamic Neural Decoding for Multilingual Word/Character Retrieval from Non-Invasive Brain Recordings

심층 학습은 두개내 뇌 기록으로부터의 언어 디코딩을 가능하게 했지만, 이 능력을 비침습 기록으로 확장하는 것은 여전히 해결되지 않은 과제이다. 비침습 뇌 기록으로부터 개별 단어를 디코딩하는 것은 특히 어려운데, 단어 수준의 신경 증거가 약하고 시간적으로 분산되어 있으며 음향·어휘·의미 구조와 얽혀 있기 때문이다. 기존 검색 파이프라인은 이러한 요인을 종종 단일 표현으로 축약하여 중간 시간 척도에서 이용 가능한 정보를 버릴 수 있다. 본 연구에서는 단어 디코딩을 평면적인 레이블 검색이 아니라 구조화된 정제(refinement)로 다루는 계층적 동적 디코딩 프레임워크인 Hierarchical Dynamic Neural Decoding(HDND)을 제안한다. HDND는 중간 신경 표현, 문맥적 의미 예측, 그리고 선택된 읽기 조건에서는 보조 문자 형태 목표를 결합한다. 영어, 네덜란드어, 중국어 표준어, 광둥어의 청취·읽기·소리 내어 읽기 조건을 아우르는 일곱 개의 뇌전도(EEG) 및 뇌자기(MEG) 데이터셋에서 HDND를 평가한다. 아홉 조건 단어 검색 벤치마크 전반에서 제안 HDND는 모든 조건에서 매칭된 문맥 단어 디코딩 기준선보다 참가자 평균 균형 Top-10 점 추정치가 더 높았으며, 아홉 조건 중 여덟에서 비교한 모든 방법 중 최고 평균을 달성했다. 동일한 아홉 매칭 조건에서 HDND는 또한 모든 설정에서 더 높은 토큰-마이크로 및 풀링된 단어-매크로 Top-10 점 추정치를 보였다. 문장 검색은 아홉 조건 중 여덟에서 HDND에 유리했고, 청각 음성 구간 검색은 여섯 청취 조건에서 결과가 엇갈렸다. 이러한 결과는 계층적 잔차 정제가 이질적인 비침습 뇌 기록으로부터의 다국어 단어 검색을 개선할 수 있음을 보여 준다.

arXiv:2607.21231v1cs.CL공통 태그 Language Modeling, Word Embeddings

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.