Delta Embedding Learning
원문 초록
Unsupervised word embeddings have become a popular approach of word representation in NLP tasks. However there are limitations to the semantics represented by unsupervised embeddings, and inadequate fine-tuning of embeddings can lead to suboptimal performance. We propose a novel learning technique called Delta Embedding Learning, which can be applied to general NLP tasks to improve performance by optimized tuning of the word embeddings. A structured regularization is applied to the embeddings to ensure they are tuned in an incremental way. As a result, the tuned word embeddings become better word representations by absorbing semantic information from supervision without "forgetting." We apply the method to various NLP tasks and see a consistent improvement in performance. Evaluation also confirms the tuned word embeddings have better semantic properties.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델 임베딩을 활용한 자율적 읽기에서의 의미 연합 모델링
Modeling semantic association in self-paced reading with language model embeddings
단어와 그 문맥 간의 의미 연합은 단어 예측 가능성을 고려하더라도 독해의 중요한 구성 요소로 식별되었습니다. 최근 연구에서는 의미 연합을 정량화하는 데 있어 언어 모델(LM) 임베딩의 잠재력을 강조했습니다. 그러나 임베딩 기반 의미 연합은 다양한 방식으로 조작화되었습니다. 본 연구에서는 자연스러운 네덜란드어 텍스트에 대한 뇌전도(EEG)와 자율적 읽기가 결합된 코퍼스에서 의미 연합을 추정하기 위해 LM의 임베딩을 사용합니다. 의미 연합은 임베딩 모델과 문맥 길이를 달리하는 10가지의 다른 구현 방식으로 계산됩니다. 다양한 구현 방식에 걸친 의미 연합의 효과가 N400과 자율적 읽기 시간에 미치는 영향을 베이지안 계층 모델과 베이즈 인자를 사용하여 조사합니다. 결과에 따르면 임베딩 모델의 선택은 N400과 자율적 읽기 시간 모두에 대한 의미 연합의 추정 효과를 변화시킬 수 있습니다. 또한, 결과는 의미 연합을 포착하는 데 있어 문장 임베딩의 유망한 잠재력을 보여줍니다. 문장 임베딩에 의존하는 구현 방식만이 신경 및 행동적 측정 모두에서 단어 예측 가능성을 넘어선 의미 연합의 신뢰할 수 있는 결과를 나타내기 때문입니다. 종합적으로, 이러한 발견들은 의미 연합을 정량화하는 데 있어 방법론적 선택의 중요성을 강조합니다.
경쟁 모델 하에서의 학습 해석: 동적 인지 진단을 위한 공동 및 단계적 접근법
Interpreting Learning Under Competing Models: Joint and Stepwise Approaches for Dynamic Cognitive Diagnosis
디지털 학습 환경은 학습자의 개별 문항에 대한 응답을 기록하여, 종합 점수 대신 특정 기술의 발달을 연구할 수 있게 합니다. 이러한 데이터에서 학습에 대한 결론을 도출하려면 응답을 잠재 기술과 연결하고 숙련도의 시간에 따른 변화를 추적하는 모델이 필요합니다. 각 문항이 측정하는 기술을 알 수 없는 경우, 분석가는 이 구조인 Q-행렬(Q-matrix)을 학습 과정과 공동으로 추정할지, 아니면 먼저 설정한 후 학습을 연구할지 결정해야 합니다. 우리는 이러한 결정이 학습자의 발달 방식에 대한 실질적인 결론을 바꿀 수 있음을 보여줍니다. 동적 인지 진단 모델(dynamic cognitive diagnostic models)을 사용하여 2학년에서 3학년까지 어휘와 이해력을 측정하는 두 개의 독해 게임 데이터를 분석하였으며, 문항 텍스트 임베딩(item-text embeddings)을 통해 알려지지 않은 Q-행렬에 대한 사전 정보를 제공하였습니다. 공동 분석과 바이어스(bias)가 보정된 단계적 분석은 대부분의 학습자가 두 기술을 모두 숙련해 나가고 있다는 점에서 일치하지만, 3학년 때 부분적으로만 능숙한 학습자의 수에 대해서는 의견이 달라 독해 발달 상황 보고 방식이 바뀝니다. 시뮬레이션 연구를 통해 두 분석이 언제 차이를 보이는지 식별하였으며, 문항-기술 구조가 불확실하고 학년 간 문항 풀이 변경되는 경우 공동 분석이 더 신뢰할 수 있음을 확인하였습니다. 두 분석 모두에 대한 R 코드를 제공합니다.
NLP and Education: using semantic similarity to evaluate filled gaps in a large-scale Cloze test in the classroom
LLM 기반 추천 모델에서 고차 상호작용 인식 향상
Enhancing High-order Interaction Awareness in LLM-based Recommender Model
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
DeRIS: Decoupling Perception and Cognition for Enhanced Referring Image Segmentation through Loopback Synergy
Chaining Event Spans for Temporal Relation Grounding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.