Can neural networks acquire a structural bias from raw linguistic data?
원문 초록
We evaluate whether BERT, a widely used neural network for sentence processing, acquires an inductive bias towards forming structural generalizations through pretraining on raw data. We conduct four experiments testing its preference for structural vs. linear generalizations in different structure-dependent phenomena. We find that BERT makes a structural generalization in 3 out of 4 empirical domains---subject-auxiliary inversion, reflexive binding, and verb tense detection in embedded clauses---but makes a linear generalization when tested on NPI licensing. We argue that these results are the strongest evidence so far from artificial learners supporting the proposition that a structural bias can be acquired from raw data. If this conclusion is correct, it is tentative evidence that some linguistic universals can be acquired by learners without innate biases. However, the precise implications for human language acquisition are unclear, as humans learn language from significantly less data than BERT.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CAIT: 아동-성인 상호작용을 위한 구문 분석 툴킷
CAIT: A Syntactic Parsing Toolkit for Child-Adult InTeractions
CHILDES는 언어 습득 연구에서 핵심적인 자료원이지만, 그 구문 구조를 분석하는 계산 도구는 여전히 부족하다. 최근 공개된 금표준 Universal Dependencies(UD) 주석이 포함된 UD-English-CHILDES 트리뱅크를 활용하여, 우리는 CHILDES에 특화된 최신 의존 구문 분석기를 학습시켰다. 이 분석기는 아동-성인 상호작용의 구문 패턴을 더 정확하게 포착하며, SpaCy와 Stanza를 포함한 널리 사용되는 기성 영어 분석기들을 능가한다. 분석기와 함께, 품사 태거(Part-of-Speech tagger)와 발화 수준 구문 구조 태거(utterance-level construction tagger)도 함께 공개하며, 이들이 결합되어 아동-성인 상호작용을 위한 오픈소스 구문 분석 툴킷인 CAIT를 구성한다. 상세한 오류 분석과 CHILDES의 발달 시기별 구문 구조 분포를 추적하는 사례 연구를 통해, 언어 습득에 관한 대규모의 재현 가능한 연구에 대한 이 툴킷의 실용적 유용성을 입증한다.
Mitigating Object Hallucinations via Sentence-Level Early Intervention
AI Wizards at CheckThat! 2025: Enhancing Transformer-Based Embeddings with Sentiment for Subjectivity Detection in News Articles
Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation
Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts
FinAI-BERT: A Transformer-Based Model for Sentence-Level Detection of AI Disclosures in Financial Reports
토론
이 논문과 연결된 포럼 글이 아직 없습니다.