A Comparative Study of Word Embeddings for Reading Comprehension
원문 초록
The focus of past machine learning research for Reading Comprehension tasks has been primarily on the design of novel deep learning architectures. Here we show that seemingly minor choices made on (1) the use of pre-trained word embeddings, and (2) the representation of out-of-vocabulary tokens at test time, can turn out to have a larger impact than architectural choices on the final performance. We systematically explore several options for these choices, and provide recommendations to researchers working in this area.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델 임베딩을 활용한 자율적 읽기에서의 의미 연합 모델링
Modeling semantic association in self-paced reading with language model embeddings
단어와 그 문맥 간의 의미 연합은 단어 예측 가능성을 고려하더라도 독해의 중요한 구성 요소로 식별되었습니다. 최근 연구에서는 의미 연합을 정량화하는 데 있어 언어 모델(LM) 임베딩의 잠재력을 강조했습니다. 그러나 임베딩 기반 의미 연합은 다양한 방식으로 조작화되었습니다. 본 연구에서는 자연스러운 네덜란드어 텍스트에 대한 뇌전도(EEG)와 자율적 읽기가 결합된 코퍼스에서 의미 연합을 추정하기 위해 LM의 임베딩을 사용합니다. 의미 연합은 임베딩 모델과 문맥 길이를 달리하는 10가지의 다른 구현 방식으로 계산됩니다. 다양한 구현 방식에 걸친 의미 연합의 효과가 N400과 자율적 읽기 시간에 미치는 영향을 베이지안 계층 모델과 베이즈 인자를 사용하여 조사합니다. 결과에 따르면 임베딩 모델의 선택은 N400과 자율적 읽기 시간 모두에 대한 의미 연합의 추정 효과를 변화시킬 수 있습니다. 또한, 결과는 의미 연합을 포착하는 데 있어 문장 임베딩의 유망한 잠재력을 보여줍니다. 문장 임베딩에 의존하는 구현 방식만이 신경 및 행동적 측정 모두에서 단어 예측 가능성을 넘어선 의미 연합의 신뢰할 수 있는 결과를 나타내기 때문입니다. 종합적으로, 이러한 발견들은 의미 연합을 정량화하는 데 있어 방법론적 선택의 중요성을 강조합니다.
경쟁 모델 하에서의 학습 해석: 동적 인지 진단을 위한 공동 및 단계적 접근법
Interpreting Learning Under Competing Models: Joint and Stepwise Approaches for Dynamic Cognitive Diagnosis
디지털 학습 환경은 학습자의 개별 문항에 대한 응답을 기록하여, 종합 점수 대신 특정 기술의 발달을 연구할 수 있게 합니다. 이러한 데이터에서 학습에 대한 결론을 도출하려면 응답을 잠재 기술과 연결하고 숙련도의 시간에 따른 변화를 추적하는 모델이 필요합니다. 각 문항이 측정하는 기술을 알 수 없는 경우, 분석가는 이 구조인 Q-행렬(Q-matrix)을 학습 과정과 공동으로 추정할지, 아니면 먼저 설정한 후 학습을 연구할지 결정해야 합니다. 우리는 이러한 결정이 학습자의 발달 방식에 대한 실질적인 결론을 바꿀 수 있음을 보여줍니다. 동적 인지 진단 모델(dynamic cognitive diagnostic models)을 사용하여 2학년에서 3학년까지 어휘와 이해력을 측정하는 두 개의 독해 게임 데이터를 분석하였으며, 문항 텍스트 임베딩(item-text embeddings)을 통해 알려지지 않은 Q-행렬에 대한 사전 정보를 제공하였습니다. 공동 분석과 바이어스(bias)가 보정된 단계적 분석은 대부분의 학습자가 두 기술을 모두 숙련해 나가고 있다는 점에서 일치하지만, 3학년 때 부분적으로만 능숙한 학습자의 수에 대해서는 의견이 달라 독해 발달 상황 보고 방식이 바뀝니다. 시뮬레이션 연구를 통해 두 분석이 언제 차이를 보이는지 식별하였으며, 문항-기술 구조가 불확실하고 학년 간 문항 풀이 변경되는 경우 공동 분석이 더 신뢰할 수 있음을 확인하였습니다. 두 분석 모두에 대한 R 코드를 제공합니다.
NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom
DeRIS: Decoupling Perception and Cognition for Enhanced Referring Image Segmentation through Loopback Synergy
Chaining Event Spans for Temporal Relation Grounding
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.