LLM에서 환각 탐지: 손상된 컨텍스트 공유의 위상학적 특성 추적
Detecting Hallucination in LLMs: Tracing the Topological Signatures of Impaired Context Sharing
한국어 초록
본 연구에서는 어텐션 그래프 내 정보 흐름 패턴의 위상을 조사하여 환각이 있는 응답과 없는 응답을 효과적으로 구분한다. Forman-Ricci 곡률을 분석해 어텐션 그래프에서 정보 병목을 나타내는 구조적 패턴을 식별한다. 이어서 환각 응답과 연관된 어텐션 헤드의 반국지(semi-local) 및 전역 정보 흐름 특성을 모두 포착하는 방법을 제안한다. 여러 대규모 언어 모델(LLM)과 기존 벤치마크에 걸쳐 제안 방법을 광범위하게 평가한다. 실험 결과, 제안한 단일 패스(single-pass) 접근법은 두 환각 탐지 벤치마크에서 기존 어텐션 기반 및 다중 응답(multi-response) 베이스라인 대비 일관된 개선을 제공하며, 다양한 LLM 아키텍처에서 경쟁력 있는 성능을 달성함을 보여준다. 추가 분석 결과, 인과적 생성 과정에서 토큰 간 손상된 컨텍스트 공유가 LLM에서의 환각 발생과 강하게 연관됨을 드러낸다. 특히 환각 응답은 마지막 트랜스포머 층에서 두드러지게, 셀프 어텐션(self-attention)에 대한 과의존, 이전 토큰으로부터의 분산된 컨텍스트 검색, 또는 정보 과압축(information over-squashing)으로 일관되게 특징지어진다.
원문 초록
In this work, we examine the topology of information flow patterns within attention graphs to effectively distinguish hallucinated from non-hallucinated responses. We analyze the Forman-Ricci curvature to identify structural patterns indicating information bottlenecks in attention graphs. We then introduce a method that captures both semi-local and global information-flow characteristics of attention heads associated with hallucinated responses. We evaluate our approach extensively across several LLMs and established benchmarks. Empirical results demonstrate that our proposed single-pass approach provides consistent improvements over existing attention-based and multi-response baselines across two hallucination-detection benchmarks, while achieving competitive performance across diverse LLM architectures. Further analysis reveals that impaired context sharing among tokens during causal generation is strongly associated with hallucination occurrences in LLMs. In particular, hallucinated responses are consistently characterized by an over-reliance on self-attention, diffused context retrieval from earlier tokens, or information over-squashing, especially in the final transformer layer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21096v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.