arXiv:1506.01070

Do Multi-Sense Embeddings Improve Natural Language Understanding?

Jiwei Li, Dan Jurafsky

제출 2015-06-02

원문 초록

Learning a distinct representation for each sense of an ambiguous word could lead to more powerful and fine-grained models of vector-space representations. Yet while `multi-sense' methods have been proposed and tested on artificial word-similarity tasks, we don't know if they improve real natural language understanding tasks. In this paper we introduce a multi-sense embedding model based on Chinese Restaurant Processes that achieves state of the art performance on matching human word similarity judgments, and propose a pipelined architecture for incorporating multi-sense embeddings into language understanding. We then test the performance of our model on part-of-speech tagging, named entity recognition, sentiment analysis, semantic relation identification and semantic relatedness, controlling for embedding dimensionality. We find that multi-sense embeddings do improve performance on some tasks (part-of-speech tagging, semantic relation identification, semantic relatedness) but not on others (named entity recognition, various forms of sentiment analysis). We discuss how these differences may be caused by the different role of word sense information in each of the tasks. The results highlight the importance of testing embedding models in real applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.24337v2cs.CL공통 태그 Relation, Natural Language Understanding

UD_Czech-PDTC 소개: Universal Dependencies의 대규모 장르 풍부 트리뱅크

Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies

체코어는 2015년 첫 릴리스부터 Universal Dependencies의 일부였다. 또한 프라하 의존 트리뱅크가 대부분의 다른 UD 트리뱅크보다 한 자릿수 이상 큰 규모로, 가장 잘 대표되는 언어 중 하나였다. 최근에는 프라하 계열의 다른 데이터셋 세 개가 추가되고 주석이 전면적으로 재검토되어 "프라하 의존 트리뱅크 통합판"(PDT-C)이 구성되었다. 원래의 PDT와 비교하여 PDT-C는 두 배 이상 크며, 장르와 도메인 면에서도 훨씬 다양하다. 본 논문은 이 새로운 자원을 Universal Dependencies로 변환한 과정을 기술한다. 두 주석 체계는 언뜻 비슷해 보이지만, 의존 구조의 위상과 품사 및 관계 유형 목록의 세분화 정도에는 수많은 사소한 차이가 있다. 이러한 차이 중 일부를 예시로 보이고, 서로 다른 동기를 논의하며, 변환 중 차이를 극복하는 방법을 다룬다. PDT는 덜 "보편적"이고 하나의 언어에 더 밀접하게 묶여 있지만, 다층 주석이 풍부하여 기본 UD 트리에 필요한 모든 정보와 그 이상을 제공한다고 주장한다.

arXiv:2609.26780v2cs.CL공통 태그 Relation, Natural Language Understanding

SpeakerMem-R1: 다자간 대화를 위한 화자 중심 이중 트랙 메모리

SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue

다자간 환경에서의 장기 대화 메모리는 긴 대화에서 관련 내용을 검색하는 것 이상을 요구한다. 즉, 누가 무엇을 말했는지, 각 발화가 누구에 관한 것인지, 개인들이 서로를 어떻게 인식하는지, 그룹이 공유하는 정보가 무엇인지, 그리고 상태가 시간에 따라 어떻게 변하는지를 구분해야 한다. 다자간 대화 벤치마크에 대한 최근 연구들은 기존의 범용 LLM 메모리 시스템이 개인 및 그룹 관계를 잃어버리거나, 구성원·그룹·시간에 걸쳐 분산된 단서를 통합하는 데 어려움을 겪는 경향이 있음을 보여준다. 이러한 문제들은 두 가지 핵심 병목, 즉 다자간 대화에서의 메시지 귀속(attribution) 및 관계 이해와, 뒤섞인 이력으로부터의 상태 재구성을 드러낸다. 이 둘을 해결하기 위해 우리는 $\textbf{SpeakerMem-R1}$을 제안한다. 이 시스템의 이중 트랙 메모리는 화자가 표시된 원문(verbatim) 메시지와, 개인 수준 및 그룹 수준 뷰로 구성된 파생 상태를 저장하며, 질의 시점에 엔티티, 이벤트, 시간을 기준으로 두 트랙의 증거를 결합한다. 구조화된 메모리를 구축하는 동안 발생하는 귀속 및 갱신 오류를 줄이고 로컬 배포를 가능하게 하기 위해, 우리는 SpeakerLevenshtein과 화자 조건부 GRPO로 Writer-R1을 학습한다. GroupMemBench, SocialMemBench, EverMemBench에서 SpeakerMem-R1은 이진 정확도(binary accuracy) 각각 47.9%, 69.2%, 61.9%를 달성한다. EverMind-AI가 공개 보고한 EverMemBench 리더보드에서는 62.33%를 달성하였으며, 이는 최신 최첨단 프레임워크 중 보고된 최고 결과이다. 또한 두 사람 간 장기 대화 경계 테스트로 사용한 LoCoMo의 전체 1,986개 질문에서 70.85%를 달성한다. 305개 질문에 대한 통제된 평가에서, RL은 SFT Writer의 평균 정확도를 57.38%에서 68.20%로 끌어올린다. 우리는 이진 정확도와 토큰(token) F1을 모두 보고하며, 절제 실험(ablation)을 통해 표준화된 평가 인터페이스 하에서 원문 트랙과 구조화 트랙, 그리고 개인 수준 뷰와 그룹 수준 뷰가 서로 상호 보완적임을 보인다.

arXiv:2606.22722v1cs.CL공통 태그 Natural Language Understanding, Named Entity Recognition

moBERTo: ModernBERT 지속 사전학습 기반 포르투갈어 현대 인코더

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

인코더 전용 트랜스포머 모델은 프로덕션 자연어 처리(NLP) 파이프라인에서 여전히 필수적이다. 본 논문은 ModernBERT-base 체크포인트를 600억 토큰(120억 토큰 말뭉치에 대해 5 에포크, FineWeb2에서 큐레이션하고 교육·STEM 분류기로 필터링)에 걸쳐 지속 사전학습하여 얻은 ModernBERT의 포르투갈어 적응 모델인 moBERTo를 소개한다. 로터리 위치 임베딩, 교대 로컬-글로벌 어텐션, Flash Attention, 언패딩을 포함한 원래 아키텍처를 유지한다. moBERTo를 정보 검색(최대 8,192 토큰의 장문맥 검색 포함), 문서 분류, 개체명 인식, 자연어 이해에 걸쳐 평가한다. 포르투갈어 토크나이저, 서브워드 매칭 임베딩 전이, 장문맥 사후 학습을 결합한 최상의 변형은 세 가지 포르투갈어 검색 벤치마크에서 평균 리랭킹 nDCG@10 최고치를 달성하고 PLUE-PT에서 최고 성능을 기록한다. 어블레이션 연구를 통해 (i) 지속 사전학습은 처음부터 학습하는 것보다 훨씬 유리하며, 특히 장문맥 능력 보존에 그렇고, (ii) 토크나이저 적응은 토큰 수준 작업을 향상시키지만 장문맥 검색을 저하시키며, (iii) 8,192 토큰에서의 전용 장문맥 사후 학습 단계는 리랭킹과 개체명 인식을 추가로 향상시키고, (iv) 인코더 전용 아키텍처는 판별 작업에서 더 큰 디코더 전용 대안과 경쟁력을 유지함을 보인다. 모델 가중치(https://huggingface.co/Tropic-AI/moBERTo)와 학습 데이터(https://huggingface.co/datasets/Tropic-AI/moberto-pretraining-dataset-c4-compatible)를 Hugging Face에 공개한다.

arXiv:2606.12708v1cs.CL공통 태그 Part-Of-Speech Tagging, Natural Language Understanding

AfriSUD: 아프리카 언어 모델 평가를 위한 의존 구문 트리뱅크 컬렉션

AfriSUD: A Dependency Treebank Collection for Evaluating Models on African Languages

언어적 다양성과 전 세계적 중요성에도 불구하고, 아프리카 언어는 자연어 처리(NLP)를 지원하는 연구와 자원에서 여전히 과소대표되어 있습니다. 우리는 사하라 이남 아프리카 전역의 주요 어족과 지역을 포괄하는 9개의 다양한 아프리카 언어에 대한 최초의 대규모 구문 주석 트리뱅크 컬렉션인 AfriSUD를 소개하여 이 격차를 해소하는 것을 목표로 합니다. 표면 구문 보편 의존 관계(SUD) 프레임워크를 사용하여, 본 커뮤니티 주도의 연구는 교착과 성조와 같은 유형론적 핵심 특징을 포착하는 고품질의 원어민 검증 데이터를 제공합니다. 우리는 비트랜스포머 기준 모델, 다국어 사전학습 인코더, 대규모 언어 모델(LLM)을 포함하여 AfriSUD에서 품사 태깅과 의존 구문 분석을 위해 다양한 모델을 평가했습니다. 결과는 상당한 구문 격차를 보여줍니다. 모델이 9개 언어 전반에서 여전히 명확한 한계를 보이는 것으로 나타났으며, 이는 기존 아키텍처가 아프리카 언어 구문의 구조적 다양성을 완전히 포착하지 못하고 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.