에이전트 기반 AI 자연어 프레임워크를 활용한 환각 완화
Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks
환각은 생성형 AI의 중대한 과제로 남아 있으며, AI 시스템에 대한 신뢰와 신뢰성을 훼손한다. 본 연구는 여러 전문 AI 에이전트를 조율하는 방식이 환각을 어떻게 완화할 수 있는지를 조사하며, 에이전트 간 상호작용에 자연어 처리(NLP)를 사용하는 시스템에 초점을 둔다. 우리는 환각을 유도하도록 의도적으로 설계된 310개의 프롬프트를 프런트엔드 에이전트에 입력하고, 그 출력을 검증되지 않은 주장을 탐지하고 명시적 면책 문구를 추가하며 추측성 내용을 명확히 하는 2단계 및 3단계 에이전트가 검토하고 개선하는 파이프라인을 설계한다. 우리는 사실 주장 밀도, 사실 근거 참조, 허구 면책 문구 빈도, 명시적 맥락화 점수라는 네 가지 새로운 핵심 성과 지표(KPI)를 도입하며, 이를 종합하여 총 환각 점수(THS)로 산출하고 전담 4단계 평가자 에이전트가 평가한다. 에이전트 간 맥락은 Open Floor Protocol(OFP, 구 OVON, Open Voice Network)이 전달하며, 그 구조화된 JSON 메시지를 통해 각 검토자는 환각 가능성에 대한 평가와 그 근거를 다음 단계로 전달한다. 310개 프롬프트 전체에서 THS는 프런트엔드 에이전트에서 최종 검토자까지 프롬프트당 평균 -0.131 개선되었으며(Cohen's d = 2.38), 310개 중 302개의 프롬프트에서 점수가 낮아졌다. 이러한 개선은 주로 명시적 면책 문구와 맥락화에서 비롯되며, 추측성 내용을 더 투명하게 하고 사실 주장과 명확히 구분되게 한다. 결과는 구조화된 NLP 기반 메타 정보 교환을 활용한 다중 에이전트 조율이 AI 생성 응답의 인식론적 틀을 크게 강화하고 설명 가능성을 향상시킬 수 있음을 보여준다.