Reddit 바이오윤리적 논쟁에서의 입장 탐지를 위한 문맥 인식 데이터셋
A Context-Aware Dataset for Stance Detection in Bioethical Controversies on Reddit
한국어 초록
바이오윤리적 논쟁은 점차 소셜 미디어에서 전개되고 있으나, 입장 탐지(stance detection) 연구는 이러한 문맥 의존적 담론을 모델링할 수 있는 대규모의 도메인 특화 자원이 부족합니다. 본 논문에서는 Reddit 바이오윤리적 토론에서 수집한 39,600개의 주석이 달린 게시물-댓글 쌍으로 구성된 문맥 인식 데이터셋인 BioStance를 소개합니다. BioStance는 바이오윤리적 논쟁의 세 가지 차원, 즉 근본적 가치 충돌, 개인의 자유 대 집단적 책임, 기술적 불확실성에 걸쳐 6개의 논쟁 대상을 포괄합니다. 각 인스턴스는 계층적 대화 문맥을 보존하며, 3명의 독립적인 주석자에 의해 찬성(Favor), 반대(Against), 없음(None)의 3개 클래스 입장 체계로 라벨링되었습니다. 주석은 평균 Krippendorff's $α$ 0.82를 달성하여 상당한 신뢰도를 나타냅니다. 주제적 다양성, 대화 구조, 고품질 인간 주석을 결합함으로써 BioStance는 문맥 인식 입장 탐지, 논증 마이닝(argument mining), 그리고 바이오윤리적 담론의 계산적 분석 연구를 지원합니다.
원문 초록
Bioethical debates increasingly unfold on social media, yet stance detection research lacks large-scale, domain-specific resources for modeling such context-dependent discourse. We present BioStance, a context-aware dataset of 39,600 annotated Post-Comment pairs from Reddit bioethical discussions. BioStance covers six controversial targets across three dimensions of bioethical controversy: fundamental value conflicts, individual liberty versus collective responsibility, and technological uncertainty. Each instance preserves hierarchical conversational context and is labeled by three independent annotators using a three-class stance scheme: Favor, Against, and None. The annotations achieve a mean Krippendorff's $α$ of 0.82, indicating substantial reliability. By combining thematic diversity, conversational structure, and high-quality human annotation, BioStance supports research on context-aware stance detection, argument mining, and computational analysis of bioethical discourse.
요약
바이오윤리적 논쟁에서 입장 탐지(stance detection)를 위한 대규모 자원 부족 문제를 해결하기 위해, Reddit에서 수집한 39,600개의 Post-Comment 쌍으로 구성된 문맥 인식 데이터셋인 BioStance를 제안한다. 이 데이터셋은 높은 신뢰도의 인간 주석을 포함하여 문맥 인식 입장 탐지 및 논증 마이닝 연구를 지원한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13187v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TikStance: TikTok 정치 대화에서 다중 대상 입장 분석을 위한 멀티모달·계층적 데이터셋
TikStance: A Multimodal and Hierarchical Dataset for Multi-target Stance Analysis in TikTok Political Conversations
정치 담론은 점점 더 숏폼 플랫폼으로 이동하고 있지만, 그러한 콘텐츠에 대한 계산적 분석은 시청각 정보와 계층적 대화를 함께 보존하는 데이터셋의 부족으로 여전히 제약을 받고 있다. 본 연구에서는 TikTok에서 수집한 161개의 영상과 13,876개의 댓글로 구성된 멀티모달·문맥 인식 데이터셋 TikStance를 제시하며, 이는 정치 토론에서의 입장 탐지(stance detection)를 위해 설계되었다. 이 데이터셋은 2024년 미국 선거 주기의 세 주요 정치 인물—Donald Trump, Joe Biden, Kamala Harris—를 다루며, 2023년 9월부터 2025년 1월 사이에 콘텐츠를 수집했다. 각 토론 단위는 호스트 영상과 그 메타데이터를 부모 연결형 댓글 트리에 연결하여, 시청각 및 대화적 문맥 모두 내에서 입장 분석을 가능하게 한다. 각 항목은 세 명의 주석자가 독립적으로 세 가지 분류 체계(찬성(Favor), 반대(Against), 없음(None))를 사용하여 영상-대상 및 댓글-대상 입장에 대해 라벨링했으며, 불일치 항목은 재주석 처리되었고, 최종 Krippendorff's α는 Trump, Biden, Harris 부분집합에서 각각 0.743, 0.723, 0.722에 달했다. 기술 통계 분석은 추가로 입장 분포와 대화 깊이에서 대상에 따른 차이를 드러내며, 중첩 답글은 전체 댓글의 23.3%를 차지한다. 다중 대상 커버리지, 계층적 대화, 신뢰할 수 있는 다수준 인간 주석을 결합함으로써 TikStance는 멀티모달 입장 탐지, 정치 커뮤니케이션, 계산 사회과학, 문맥 인식 자연어 처리(NLP) 연구를 지원한다.
RooseBERT: 정치 언어 모델링을 위한 새로운 협정
RooseBERT: A New Deal For Political Language Modelling
정치 토론 및 정치 관련 논의가 증가함에 따라, 시민들에게 정치적 숙의를 더 명확히 전달한다는 최종 목표를 위해 이러한 콘텐츠를 자동으로 분석할 수 있는 새로운 계산 방법을 정의해야 할 필요성이 제기되고 있습니다. 그러나 정치 언어의 특수성과 이러한 토론의 논증적 형식(숨겨진 커뮤니케이션 전략을 사용하고 함축적 논증을 활용하는 방식)은 현재의 범용 사전학습 언어 모델(LM)에게도 이 작업을 매우 어렵게 만듭니다. 이를 해결하기 위해, 우리는 정치 담론 언어를 위한 새로운 사전학습 언어 모델(LM)인 RooseBERT를 소개합니다. 특화된 도메인에서 언어 모델(LM)을 사전학습하는 것은 막대한 계산 자원과 대규모 데이터를 필요로 하는 다양한 기술적 및 언어적 도전 과제를 야기합니다. RooseBERT는 영어로 된 대규모 정치 토론 및 연설 말뭉치(11GB)에서 학습되었습니다. 성능을 평가하기 위해, 우리는 정치 토론 분석과 관련된 여러 다운스트림(downstream) 태스크, 즉 입장 탐지, 감성 분석, 논증 구성 요소 탐지 및 분류, 논증 관계 예측 및 분류, 정책 분류, 개체명 인식(NER)에 대해 모델을 파인튜닝(fine-tuning)했습니다. 우리의 결과는 이러한 태스크의 대다수에서 범용 언어 모델(LM) 대비 개선된 성과를 보여주며, 도메인 특화 사전학습이 정치 토론 분석의 성능을 어떻게 향상시키는지 강조합니다. 우리는 연구 커뮤니티를 위해 RooseBERT를 공개합니다.
Perspectives in Play: A Multi-Perspective Approach for More Inclusive NLP Systems
Natural Language Processing for the Legal Domain: A Survey of Tasks, Datasets, Models, and Challenges
개인 수준 자연어 이해에서의 레이블 오류 이해와 해결
Understanding and Tackling Label Errors in Individual-Level Nature Language Understanding
자연어 이해(NLU)는 기계가 인간의 언어를 이해하도록 하는 과제이다. 입장 탐지와 감성 분석 같은 일부 과제는 개인의 주관적 관점과 밀접하게 관련되어 있어 개인 수준 NLU라고 불린다. 기존에는 이러한 과제가 개인적 요인을 무시한 채 텍스트 수준 NLU 과제로 단순화되는 경우가 많았다. 이는 추론을 어렵고 설명 불가능하게 만들 뿐 아니라, 데이터셋을 구축할 때 다수의 레이블 오류를 초래하는 경우가 많다. 위의 한계를 해결하기 위해 본 논문은 개인 수준 요인에 기반한 새로운 NLU 주석 지침을 제안한다. 구체적으로, 동일한 개인의 다른 게시물을 함께 반영하고, 해당 개인의 모든 게시물을 고려한 후 개인의 주관적 관점을 주석한다. 이 지침을 사용하여 입장 탐지 및 주제 기반 감성 분석 데이터셋을 확장하고 재주석하였다. 그 결과 표본의 오류율이 각각 $31.7\%$와 $23.3\%$에 달하는 것을 확인하였다. 나아가 재주석된 데이터셋에서 대규모 언어 모델로 실험을 수행한 결과, 개인적 요인을 추가한 후 두 데이터셋 모두에서 대규모 언어 모델이 우수한 성능을 보였다. GPT-4o와 Llama3-70B는 재주석 데이터셋에서 모두 87\%를 넘는 정확도를 달성할 수 있다. 또한 절제 연구를 통해 개인적 요인의 효과를 검증하였다. 향후 연구자들이 이러한 데이터셋을 구축할 때 개인적 요인을 추가할 것을 촉구한다. 재주석 데이터셋은 https://github.com/24yearsoldstudent/Individual-NLU 에서 확인할 수 있다.
Leveraging Context for Multimodal Fallacy Classification in Political Debates
토론
이 논문과 연결된 포럼 글이 아직 없습니다.