CATCH-ME if you RAG: 혐오 및 오정보 교환에 대한 문맥 주석이 달린 멀티턴 반박 연설 데이터셋
CATCH-ME if you RAG: a dataset of Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges
한국어 초록
온라인 혐오 표현과 오정보는 빈번하게 중복되지만, 자연어 처리(NLP) 연구는 주로 이들을 독립적으로 다루어 왔습니다. 대규모 언어 모델(LLM)은 이러한 두 가지 위협에 대한 반박 연설 생성에서 인간을 보조하는 확장 가능한 솔루션을 나타내지만, 제로샷 모델은 종종 반복적이고 모호한 응답을 생성하여 모델 생성을 유도하기 위한 고품질 예시의 필요성을 강조합니다. 그러나 혐오와 오정보의 중복에 대응하는 기존 반박 연설 데이터셋은 희소하며 단일 회차 영어 대화로 제한되어 있는 반면, 실제 상호작용은 여러 회차와 언어에 걸쳐 있습니다. 이러한 격차를 해소하기 위해, 우리는 혐오와 오정보의 결합을 다루는 대화에 대한 첫 번째 대규모 전문가 선별 다국어 데이터셋을 소개합니다. 사실적 그라운딩을 보장하기 위해, 대화는 검증된 외부 지식(즉, 팩트 체킹 기사 및 NGO 보고서)에 고정되어 있으며 문서 및 청크 수준의 구간(span) 주석을 포함하여 검색-증강 생성(RAG) 시스템에 직접 적용할 수 있도록 합니다. 5개 언어를 포괄하고 7개의 소수자 집단을 향한 혐오를 대상으로 하는 이 새로운 자원은 더욱 설득력 있고 사실에 기반한 반박 연설 모델의 학습 및 평가를 가능하게 합니다.
원문 초록
Online hate speech and misinformation frequently overlap, yet NLP research has mainly treated them in isolation. While LLMs represent a scalable solution for assisting humans in the generation of counterspeech for both threats, zero-shot models frequently generate repetitive and vague responses, underscoring the need for high-quality examples to steer model generation. However, existing counterspeech datasets against the overlap of hate and misinformation are scarce and limited to single-turn English dialogues, while real-life interactions span across multiple turns and languages. To bridge this gap, we introduce the first large-scale, expert-curated, multilingual dataset of dialogues tackling the intersection of hate and misinformation. To ensure factual grounding, the dialogues are also anchored in verified external knowledge (i.e., fact-checking articles and NGO reports) and include document- and chunk-level span annotations, making it directly applicable for RAG systems. Covering five languages and targeting hate directed at seven marginalized groups, this novel resource enables the training and evaluation of more persuasive, factually grounded counterspeech models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20369v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증
Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축
EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability
기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.
CAGE: 장문 질의응답에서 충실한 인라인 인용 생성을 위한 인지적 귀속 그래프
CAGE: Cognitive Attribution Graphs for Faithful Inline Citation Generation in Long-Form Question Answering
장문 질의응답은 대규모 언어 모델(LLM) 출력을 검증 가능하게 만들기 위해 검색된 근거에 점점 더 의존하고 있으며, 인라인 인용이 주장을 원본 문서에 연결한다. 그러나 기존 시스템은 주제적으로는 관련 있지만 주장을 뒷받침하기에 불충분한 인용을 붙이는 경우가 많다. 우리는 귀속 모호성(attribution ambiguity)을 구조적 과제로 식별한다. 종단 간(end-to-end) 생성은 조합론적 주장-문서 할당을 암묵적으로 해결해야 하며, 이는 증거적 경계를 모호하게 하고 주장이 인용된 근거를 초과하는 증거-경계 초과(evidence-boundary overrun) 위험을 높인다. 이 과제를 해결하기 위해, 우리는 CAGE(Cognitive Attribution Graphs for Citation Generation)를 제안한다. 이는 답변 생성 전에 명시적인 인지적 귀속 맵을 도입하는 2단계 프레임워크이다. CAGE는 먼저 플러그 앤 플레이(plug-and-play) 인지 맵 유도 모델(Cognitive Map Induction Model)을 학습하여 답변 중심 지원 서브그래프를 구성하고, 명시적 관계를 통해 각 의미적 답변 단위를 지원 문서와 정렬한다. 그다음 구조화된 인용 추론 모델(Structured Citation Reasoning Model)이 이러한 단위를 맵에 정렬된 인용과 함께 문장 수준 주장으로 구현한다. ASQA, ELI5, ExpertQA에서의 실험은 CAGE가 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 귀속 공간 수축(attribution-space contraction)과 맵 기반 인용 생성(map-guided citation generation)의 효과를 입증한다.
TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크
TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation
검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.
검색-증강 생성을 위한 출처 인식 재순위화: 신뢰도 사전 접근법
Source-Aware Reranking for Retrieval-Augmented Generation: A Reliability Prior Approach
표준 검색-증강 생성(RAG) 파이프라인은 정보 출처나 신뢰성을 고려하지 않고 검색된 문서를 의미적 유사도만으로 순위를 매긴다. 본 연구는 도메인 정보에 기반한 출처 신뢰도 사전(prior)을 통합하는, RAG 검색 순위 매김에 대한 단순하고 해석 가능한 수정을 평가한다. 각 문서에는 출처 유형에 따라 사전 lambda(s)가 부여되며, 검색 점수는 score(q, d) = sim(q, d) * lambda(s)로 재가중된다. 해당 프레임워크는 120개 문서로 구성된 건강 도메인 코퍼스에서 유사도만 사용하는 기준선과 비교하여 평가되었다. 이 통제된 설정에서 출처 인식 재순위화는 Precision@5를 0.48에서 0.72로 향상시키고, 메타데이터를 통해 신뢰도가 낮은 출처를 식별할 수 있는 평가된 위협 모델 하에서 평균 적대적 문서 검색을 감소시킨다. 모든 실험은 Milwaukee School of Engineering의 고성능 컴퓨팅 클러스터인 Rosie에서 수행되었으며, 이는 전체 실험 파이프라인을 안정적이고 재현 가능하게 실행하는 데 필요한 GPU 가속 인프라를 제공했다. 이 결과는 기술된 실험 설정의 한계 내에서, RAG 파이프라인에서 출처 품질 저하에 대한 잠재적 완화 전략을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.