arXiv:2107.00316

Leveraging Domain Agnostic and Specific Knowledge for Acronym Disambiguation

Qiwei Zhong, Guanxiong Zeng, Danqing Zhu, Yang Zhang, Wangli Lin, Ben Chen, Jiayu Tang

제출 2021-07-01

원문 초록

An obstacle to scientific document understanding is the extensive use of acronyms which are shortened forms of long technical phrases. Acronym disambiguation aims to find the correct meaning of an ambiguous acronym in a given text. Recent efforts attempted to incorporate word embeddings and deep learning architectures, and achieved significant effects in this task. In general domains, kinds of fine-grained pretrained language models have sprung up, thanks to the largescale corpora which can usually be obtained through crowdsourcing. However, these models based on domain agnostic knowledge might achieve insufficient performance when directly applied to the scientific domain. Moreover, obtaining large-scale high-quality annotated data and representing high-level semantics in the scientific domain is challenging and expensive. In this paper, we consider both the domain agnostic and specific knowledge, and propose a Hierarchical Dual-path BERT method coined hdBERT to capture the general fine-grained and high-level specific representations for acronym disambiguation. First, the context-based pretrained models, RoBERTa and SciBERT, are elaborately involved in encoding these two kinds of knowledge respectively. Second, multiple layer perceptron is devised to integrate the dualpath representations simultaneously and outputs the prediction. With a widely adopted SciAD dataset contained 62,441 sentences, we investigate the effectiveness of hdBERT. The experimental results exhibit that the proposed approach outperforms state-of-the-art methods among various evaluation metrics. Specifically, its macro F1 achieves 93.73%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2409.19979v4cs.IR공통 태그 Word Embeddings공식 코드 · Papers with Code

LLM 기반 추천 모델에서 고차 상호작용 인식 향상

Enhancing High-order Interaction Awareness in LLM-based Recommender Model

대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.

arXiv:2507.01006cs.CV공통 태그 document understanding공식 코드 · Papers with Code

GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning

저희는 범용 멀티모달 이해 및 추론 능력 향상을 목표로 설계된 비전-언어 모델(VLM)인 GLM-4.1V-Thinking을 소개합니다. 본 보고서에서는 추론 중심 학습 프레임워크 개발 과정에서 도출한 주요 성과를 공유합니다. 먼저, 대규모 사전학습을 통해 뛰어난 잠재력을 지닌 강력한 비전 기초 모델을 개발하였으며, 이는 최종 성능의 상한선을 설정하는 역할을 합니다. 이후, 강화학습과 커리큘럼 샘플링(Reinforcement Learning with Curriculum Sampling, RLCS)을 제안하여 모델의 잠재력을 극대화하였고, 이를 통해 STEM 문제 해결, 비디오 이해, 콘텐츠 인식, 코딩, 그라운딩, GUI 기반 에이전트, 장문 이해 등 다양한 과제에서 전반적인 역량 향상을 달성하였습니다. 동급 모델 중 최첨단 성능을 기록하는 GLM-4.1V-9B-Thinking을 오픈소스로 공개합니다. 28개의 공개 벤치마크에 걸친 종합 평가에서, 본 모델은 거의 모든 과제에서 Qwen2.5-VL-7B를 능가하며, 훨씬 큰 규모의 Qwen2.5-VL-72B와 비교해도 18개 벤치마크에서 동등하거나 우수한 성능을 보였습니다. 특히, GLM-4.1V-9B-Thinking은 장문 이해 및 STEM 추론과 같은 난이도 높은 과제에서 GPT-4o와 같은 폐쇄형 모델과 비교해도 경쟁력 있거나 우수한 성능을 입증하여 강력한 역량을 재차 확인시켰습니다. 코드, 모델 및 추가 정보는 https://github.com/THUDM/GLM-4.1V-Thinking 에서 확인하실 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.