Syntax Helps ELMo Understand Semantics: Is Syntax Still Relevant in a Deep Neural Architecture for SRL?
원문 초록
Do unsupervised methods for learning rich, contextualized token representations obviate the need for explicit modeling of linguistic structure in neural network models for semantic role labeling (SRL)? We address this question by incorporating the massively successful ELMo embeddings (Peters et al., 2018) into LISA (Strubell et al., 2018), a strong, linguistically-informed neural network architecture for SRL. In experiments on the CoNLL-2005 shared task we find that though ELMo out-performs typical word embeddings, beginning to close the gap in F1 between LISA with predicted and gold syntactic parses, syntactically-informed models still out-perform syntax-free models when both use ELMo, especially on out-of-domain data. Our results suggest that linguistic structures are indeed still relevant in this golden age of deep learning for NLP.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 기반 추천 모델에서 고차 상호작용 인식 향상
Enhancing High-order Interaction Awareness in LLM-based Recommender Model
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
사전학습 언어 모델 시대의 의미역 할당 체계적 서베이
A Systematic Survey of Semantic Role Labeling in the Era of Pretrained Language Models
의미역 할당(SRL)은 텍스트 내 술어-인수(predicate-argument) 구조를 이해하고 하위 응용을 가능하게 하는 자연어 처리(NLP)의 핵심 과제이다. 광범위한 연구에도 불구하고, 통합적 관점에서 해당 분야를 비판적으로 종합하는 포괄적 서베이는 여전히 부족하다. 본 서베이는 기존 연구를 정리하는 것을 넘어 여러 기여를 한다. 우리는 모델 아키텍처, 구문 특징 모델링, 응용 시나리오, 멀티모달 확장을 축으로 SRL 연구를 분류하는 통합 4차원 분류체계를 제안한다. 구문 특징이 언제, 왜 도움이 되는지에 대한 비판적 분석을 제공하며, 구문 보조 접근법이 구문 비사용 대안 대비 일관된 이득을 제공하는 조건을 밝힌다. 대규모 언어 모델(LLM) 시대의 SRL에 대한 최초의 체계적 논의를 제공하며, LLM과 전문 SRL 시스템의 상보적 역할을 검토하고 하이브리드 접근의 방향을 제시한다. SRL 서베이의 범위를 시각, 비디오, 음성 모달리티를 포함한 멀티모달 설정까지 확장하고, 이러한 모달리티 간 평가의 구조적 차이를 분석한다. 문헌은 ACL Anthology, IEEE Xplore, ACM Digital Library, Google Scholar에 대한 체계적 검색을 통해 수집하였으며, 2000년부터 2025년까지의 출판물을 대상으로 명시적 포함·제외 기준을 적용하여 약 200편의 핵심 참고문헌을 도출하였다. SRL 벤치마크, 평가 지표, 패러다임 모델링 접근법을 도메인 전반의 실용적 응용과 함께 논의한다. 대규모 언어 모델과 더 넓은 NLP 영향력 속에서 변화하는 SRL의 역할을 다루며, 향후 연구 방향을 분석한다.
E2Vec: 전자책 시스템에서의 학생 행동 분석을 위한 시간 정보 기반 특징 임베딩
E2Vec: Feature Embedding with Temporal Information for Analyzing Student Actions in E-Book Systems
디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
A Comparative Analysis of Static Word Embeddings for Hungarian
Geological Inference from Textual Data using Word Embeddings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.