Explainable Topic-Enhanced Argument Mining from Heterogeneous Sources
원문 초록
Given a controversial target such as ``nuclear energy'', argument mining aims to identify the argumentative text from heterogeneous sources. Current approaches focus on exploring better ways of integrating the target-associated semantic information with the argumentative text. Despite their empirical successes, two issues remain unsolved: (i) a target is represented by a word or a phrase, which is insufficient to cover a diverse set of target-related subtopics; (ii) the sentence-level topic information within an argument, which we believe is crucial for argument mining, is ignored. To tackle the above issues, we propose a novel explainable topic-enhanced argument mining approach. Specifically, with the use of the neural topic model and the language model, the target information is augmented by explainable topic representations. Moreover, the sentence-level topic information within the argument is captured by minimizing the distance between its latent topic distribution and its semantic representation through mutual learning. Experiments have been conducted on the benchmark dataset in both the in-target setting and the cross-target setting. Results demonstrate the superiority of the proposed model against the state-of-the-art baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
읽기 난이도 예측 변수로서의 에너지 기반 트랜스포머
Energy-Based Transformers as Predictors of Reading Difficulty
트랜스포머 언어 모델은 인간의 문장 처리를 모델링하는 데 정착된 도구가 되었으며, 놀람(surprisal)과 어텐션 엔트로피(attention entropy)와 같은 측정치는 읽기 난이도의 효과적인 예측 변수로 작용하여 함께 처리 부하의 상보적 측면을 포착한다. 본 연구에서는 관련된 한 클래스의 트랜스포머 모델, 즉 에너지 기반 트랜스포머(energy-based transformers)를 탐험한다. 이들은 연상 기억(associative memory) 모델과 원칙적인 형식적 연결을 제공하며, 처리(processing) 연구를 Hopfield 네트워크와 dense associative memory에 관한 더 넓은 문헌과 직접 접촉시킨다. 우리가 아는 한, 이는 계산 심리언어학(computational psycholinguistics)에서 에너지 기반 트랜스포머 측정치를 탐험한 최초의 시도이다. 읽기 시간(reading-time) 코퍼스(Natural Stories, UCL eye-tracking, UCL self-paced reading) 전반에 걸쳐, 에너지 측정치는 읽기 시간의 견고한 예측 변수이며, 세 코퍼스 모두에서 놀람(surprisal)을 넘어서는 유의미한 적합도를 제공한다. 관계절 처리에 대한 통제 실험에서, 단일 층에서의 에너지는 잘 알려진 목적어/주어 비대칭성(object/subject asymmetry)을 포착한다. 우리는 이것이 어텐션 엔트로피와 놀람(surprisal) 모두에 기인하는 효과를 포괄한다는 증거를 발견하며, 이는 이전에 여러 상보적 측정치가 필요했던 경우에 에너지가 단일 통합 예측 변수로 작용할 수 있음을 시사한다.
RooseBERT: 정치 언어 모델링을 위한 새로운 협정
RooseBERT: A New Deal For Political Language Modelling
정치 토론 및 정치 관련 논의가 증가함에 따라, 시민들에게 정치적 숙의를 더 명확히 전달한다는 최종 목표를 위해 이러한 콘텐츠를 자동으로 분석할 수 있는 새로운 계산 방법을 정의해야 할 필요성이 제기되고 있습니다. 그러나 정치 언어의 특수성과 이러한 토론의 논증적 형식(숨겨진 커뮤니케이션 전략을 사용하고 함축적 논증을 활용하는 방식)은 현재의 범용 사전학습 언어 모델(LM)에게도 이 작업을 매우 어렵게 만듭니다. 이를 해결하기 위해, 우리는 정치 담론 언어를 위한 새로운 사전학습 언어 모델(LM)인 RooseBERT를 소개합니다. 특화된 도메인에서 언어 모델(LM)을 사전학습하는 것은 막대한 계산 자원과 대규모 데이터를 필요로 하는 다양한 기술적 및 언어적 도전 과제를 야기합니다. RooseBERT는 영어로 된 대규모 정치 토론 및 연설 말뭉치(11GB)에서 학습되었습니다. 성능을 평가하기 위해, 우리는 정치 토론 분석과 관련된 여러 다운스트림(downstream) 태스크, 즉 입장 탐지, 감성 분석, 논증 구성 요소 탐지 및 분류, 논증 관계 예측 및 분류, 정책 분류, 개체명 인식(NER)에 대해 모델을 파인튜닝(fine-tuning)했습니다. 우리의 결과는 이러한 태스크의 대다수에서 범용 언어 모델(LM) 대비 개선된 성과를 보여주며, 도메인 특화 사전학습이 정치 토론 분석의 성능을 어떻게 향상시키는지 강조합니다. 우리는 연구 커뮤니티를 위해 RooseBERT를 공개합니다.
DIBERT: Dependency Injected Bidirectional Encoder Representations from Transformers
A Bit of Progress in Language Modeling
Specification-based Security Evaluation of Real-World Agents Tool-Calling under Long-Horizon Context Tasks
Leveraging Context for Multimodal Fallacy Classification in Political Debates
토론
이 논문과 연결된 포럼 글이 아직 없습니다.