arXiv:2304.13875

MasonNLP+ at SemEval-2023 Task 8: Extracting Medical Questions, Experiences and Claims from Social Media using Knowledge-Augmented Pre-trained Language Models

Giridhar Kaushik Ramachandran, Haritha Gangavarapu, Kevin Lybarger, Ozlem Uzuner

제출 2023-04-26

원문 초록

In online forums like Reddit, users share their experiences with medical conditions and treatments, including making claims, asking questions, and discussing the effects of treatments on their health. Building systems to understand this information can effectively monitor the spread of misinformation and verify user claims. The Task-8 of the 2023 International Workshop on Semantic Evaluation focused on medical applications, specifically extracting patient experience- and medical condition-related entities from user posts on social media. The Reddit Health Online Talk (RedHot) corpus contains posts from medical condition-related subreddits with annotations characterizing the patient experience and medical conditions. In Subtask-1, patient experience is characterized by personal experience, questions, and claims. In Subtask-2, medical conditions are characterized by population, intervention, and outcome. For the automatic extraction of patient experiences and medical condition information, as a part of the challenge, we proposed language-model-based extraction systems that ranked $3^{rd}$ on both subtasks' leaderboards. In this work, we describe our approach and, in addition, explore the automatic extraction of this information using domain-specific language models and the inclusion of external knowledge.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.15267v1cs.AI공통 태그 Language Modeling, Misinformation

사전학습 데이터는 계산적 선전(computational propaganda)을 통해 오염될 수 있다

Pretraining Data Can Be Poisoned through Computational Propaganda

사전학습 데이터를 오염시키면 언어 모델(LM)에 탐지·완화하기 어려운 유해 행동을 유발할 수 있다. 기존 사전학습 데이터 오염(poisoning) 연구는 대부분 Wikipedia와 같은 정립된 데이터 소스를 활용해 왔는데, 이는 사전학습 코퍼스(pretraining corpus)에 흔한 대규모·이질성을 반영하지 못하며, 오염된 데이터와 데이터 큐레이션(data curation) 파이프라인 간 상호작용은 간과해 왔다. 우리는 공개 토론 인터페이스(public discussion interface)라는 기존의 웹 규모 콘텐츠 주입 메커니즘을 통해, 이러한 제한된 설정을 넘어서도 사전학습 데이터에 대한 오염 공격이 실현 가능함을 보인다. 또한 웹 크롤링(web crawling)과 데이터 큐레이션 이후 악성 콘텐츠가 포함되는지 측정하기 위해, 웹 크롤 기반 LM 학습 데이터에서 적대적(adversarial) 콘텐츠 포함 여부를 추정하는 새로운 분석 방법인 HalfLife를 제안한다. HalfLife를 사용해 공개 토론 인터페이스를 통해 웹 규모로 사전학습 코퍼스를 오염시키는 것의 실현 가능성을 탐구한다. 분석 결과, 오염 주입이 사전학습 데이터에 포함되는지 추정하는 일의 중요성을 보여 주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전학습을 공격할 수 있는 가능한 경로(vector)임을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.