arXiv:2607.00895v1 cs.CL

Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents

Ádám Kovács, Bowei He, Xue Liu, István Boros, Szilveszter Tóth, Gábor Recski

제출 2026-07-01

원문 초록

Hallucination detection for retrieval-augmented generation (RAG) is usually evaluated on natural-language document evidence. However, grounded generation systems increasingly rely on structured inputs: source code, developer-tool output, markdown documents, tables, and repository metadata. We introduce a unified benchmark for span-level hallucination detection over code, tool output, structured documents, and existing natural-language RAG datasets. The benchmark is built by starting from grounded correct answers, injecting localized hallucinations with exact character labels, and validating the code test split with evidence-based review. Our fine-tuned Qwen3.5-2B detector reaches 0.689 span-F1 on the unified test set and 0.60 on the code-agent source, where it substantially outperforms LettuceDetect-large (0.17) and the strongest zero-shot LLM judges we evaluated (at most 0.22). The same model remains competitive on established natural-language benchmarks, with 81.8 RAGTruth example-F1 and 0.724 English PsiloQA IoU.

요약

검색-증강 생성(RAG) 환경에서 자연어 문서뿐 아니라 소스 코드, 개발자 도구 출력, 마크다운 등 구조화된 입력에 대한 스팬(span) 단위 환각(hallucination) 탐지 벤치마크를 새롭게 구축하고, 파인튜닝된 Qwen3.5-2B 기반 탐지기(LettuceDetect-Qwen-2B)가 코드-에이전트 소스에서 span-F1 0.60을 달성하며 제로샷 LLM 판별기(최대 0.22) 및 LettuceDetect-large(0.17)를 크게 앞서는 성능을 보임을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.00895v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.