허위정보 위협 완화를 위한 오픈소스 LLM 기반 멀티 에이전트 시스템
Multi-Agentic System Leveraging Open-Source LLMs to Mitigate Disinformation Threats
현대 사회에서 허위정보(disinformation)의 위협은 전자 통신, 소셜 미디어의 확산 및 인공지능의 발전으로 인해 심각한 수준에 이르렀다. 이에 따라 이 위협을 완화할 효과적인 대응책 개발이 시급하다. 그러나 문제의 규모가 방대하여 수작업 팩트체킹(fact-checking) 및 인간 기반 검증은 역부족이며, 허위정보를 탐지하고 반박하는 자동화된 방법의 필요성이 강조된다. 본 논문은 허위정보 탐지 작업에 참여하는 인간 어노테이터(annotator)의 의사결정 과정을 모방하는 멀티 에이전트 시스템에 기반한 새로운 접근법을 제안한다. 인간 어노테이터의 행동에서 영감을 받아 합의 메커니즘, 인지적 다양성 및 지식의 다양성, 그리고 계층적 구조를 통합함으로써, 제안된 방법은 GPT-4 및 GPT-3.5를 포함한 개별 대규모 언어 모델(LLM)과 비교하여 우수한 결과를 달성한다. 이 시스템은 더 높은 투명성을 보장하기 위해 오픈 모델(예: LLaMA, Kimi, Qwen, Deepseek, LLaMA-Nemotron)을 활용한다. 제안된 방법의 평가는 영어(고자원), 폴란드어(중자원), 슬로바키아어(저자원), 불가리아어(저자원) 등 자원 가용성이 다양한 언어의 데이터셋을 포함한다. 실험은 직접적인 허위정보 탐지, 검증이 필요한 텍스트 식별, 검증 가능한 사실적 주장을 포함하는 텍스트 탐지 등의 과제에 대해 수행되었다.