Feature-rich multiplex lexical networks reveal mental strategies of early language learning
원문 초록
Knowledge in the human mind exhibits a dualistic vector/network nature. Modelling words as vectors is key to natural language processing, whereas networks of word associations can map the nature of semantic memory. We reconcile these paradigms - fragmented across linguistics, psychology and computer science - by introducing FEature-Rich MUltiplex LEXical (FERMULEX) networks. This novel framework merges structural similarities in networks and vector features of words, which can be combined or explored independently. Similarities model heterogenous word associations across semantic/syntactic/phonological aspects of knowledge. Words are enriched with multi-dimensional feature embeddings including frequency, age of acquisition, length and polysemy. These aspects enable unprecedented explorations of cognitive knowledge. Through CHILDES data, we use FERMULEX networks to model normative language acquisition by 1000 toddlers between 18 and 30 months. Similarities and embeddings capture word homophily via conformity, which measures assortative mixing via distance and features. Conformity unearths a language kernel of frequent/polysemous/short nouns and verbs key for basic sentence production, supporting recent evidence of children's syntactic constructs emerging at 30 months. This kernel is invisible to network core-detection and feature-only clustering: It emerges from the dual vector/network nature of words. Our quantitative analysis reveals two key strategies in early word learning. Modelling word acquisition as random walks on FERMULEX topology, we highlight non-uniform filling of communicative developmental inventories (CDIs). Conformity-based walkers lead to accurate (75%), precise (55%) and partially well-recalled (34%) predictions of early word learning in CDIs, providing quantitative support to previous empirical findings and developmental theories.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CAIT: 아동-성인 상호작용을 위한 구문 분석 툴킷
CAIT: A Syntactic Parsing Toolkit for Child-Adult InTeractions
CHILDES는 언어 습득 연구에서 핵심적인 자료원이지만, 그 구문 구조를 분석하는 계산 도구는 여전히 부족하다. 최근 공개된 금표준 Universal Dependencies(UD) 주석이 포함된 UD-English-CHILDES 트리뱅크를 활용하여, 우리는 CHILDES에 특화된 최신 의존 구문 분석기를 학습시켰다. 이 분석기는 아동-성인 상호작용의 구문 패턴을 더 정확하게 포착하며, SpaCy와 Stanza를 포함한 널리 사용되는 기성 영어 분석기들을 능가한다. 분석기와 함께, 품사 태거(Part-of-Speech tagger)와 발화 수준 구문 구조 태거(utterance-level construction tagger)도 함께 공개하며, 이들이 결합되어 아동-성인 상호작용을 위한 오픈소스 구문 분석 툴킷인 CAIT를 구성한다. 상세한 오류 분석과 CHILDES의 발달 시기별 구문 구조 분포를 추적하는 사례 연구를 통해, 언어 습득에 관한 대규모의 재현 가능한 연구에 대한 이 툴킷의 실용적 유용성을 입증한다.
Sentinel: 효율적인 LLM 컨텍스트 압축을 위한 어텐션 프로빙 기반 컨텍스트 활용 해독
Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
검색된 컨텍스트는 길고 잡음이 많으며 중복되는 경우가 많아, 답변 생성에 앞서 질의 인식 압축이 필요하다. 네이티브 어텐션은 컨텍스트 선택을 위한 신호를 제공하지만, 헤드마다 동작이 이질적이어서 이를 문장 유용도 점수로 직접 집계하기가 복잡하다. 본 논문은 층과 헤드에 걸친 부호 있는 선형 리드아웃을 통해 이러한 신호를 결합하도록 학습하는 문장 수준 압축기 Sentinel을 제안한다. 기존 QA 근거 주석을 사용하여 리드아웃만 학습하며, 백본은 고정된 상태로 유지되고 문장 점수 산정에는 자기회귀 생성이 필요하지 않다. 12개의 LongBench 과제 전반에서, 0.5B 백본을 사용하는 Sentinel은 2,000 토큰 예산 조건에서 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, DeepSeek V4.1 Flash의 세 리더 각각에 대해 여러 과제에서 전체 컨텍스트(Full Context)보다 우수한 성능을 보인다. 영어 전용 QA 지도만 사용했음에도 동일한 리드아웃이 과제별 재학습 없이 중국어 과제로 전이된다. 길이별 계층화 프로파일링에서도 LLMLingua-2 및 CPC보다 압축 지연 시간과 GPU 메모리 사용량이 더 낮음을 확인했다.
Mitigating Object Hallucinations via Sentence-Level Early Intervention
AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles
Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
FinAI-BERT: A Transformer-Based Model for Sentence-Level Detection of AI Disclosures in Financial Reports
토론
이 논문과 연결된 포럼 글이 아직 없습니다.