arXiv:2609.05025v1 cs.CL

환각 탐지에서 비지도 그라운딩을 위한 저수준 기호적 역량 활용

Leveraging Low-Level Symbolic Competences for Unsupervised Grounding in Hallucination Detection

Renato Vukovic, Hsien-chin Lin, Carel van Niekerk, Benjamin Ruppik, Michael Heck, Shutong Feng, Nurul Lubis, Milica Gasic

제출 2026-09-04

한국어 초록

환각—언어 모델이 사실과 맞지 않거나 출처에 의해 뒷받침되지 않는 출력을 생성하는 현상—은 프롬프트 기반 및 미세조정된 언어 모델 모두에게 중요한 과제이다. 환각을 탐지하기는 대규모 언어 모델(LLM)의 불투명한 추론 과정 때문에 어렵다. 이는 모델의 출력이 왜 부정확할 수 있는지에 대한 통찰을 거의 제공하지 않는 경우가 많다. 본 연구에서는 LLM이 SQL과 같은 대안적인 저수준 기호적 역량을 일부 고수준 과제에서 비지도 환각 탐지에 활용할 수 있는지 조사한다. 이를 위해 LLM이 참조 문서로부터 SQL 데이터베이스를 구축하게 한다. 이 SQL 데이터베이스는 데이터베이스에 기반을 둔 환각 탐지 파이프라인에서 참조와 샘pling된 응답에 대한 추론에 사용되며, 이를 통해 신경-기호(neurosymbolic) 검증을 제공한다. RAGTruth 및 DiaHalu 환각 탐지 데이터셋에서 우리 접근법은 직접 예측보다 개선되며, 최첨단 환각 탐지 방법과 경쟁 가능함을 보이면서 도메인별 미세조정을 필요로 하지 않는다. 대신 LLM에 이미 존재하는 저수준의 일반 역량에 의존한다. 이는 신경-기호 접근법에서 저수준 LLM 역량에 대한 추가 연구가 필요함을 시사한다.

원문 초록

Hallucination-where a language model generates outputs that are factually incorrect or unsupported by the source-is a major challenge for both prompted and fine-tuned language models. Detecting hallucinations is difficult due to the opaque reasoning processes of LLMs, which often provide little insight into why a model's output may be inaccurate. In this work, we investigate whether an LLM can use an alternative, low level, symbolic competence such as SQL for unsupervised hallucination detection in some high level task. For this, we make an LLM build an SQL database from reference documents. This SQL database is then used for reasoning over the reference and the sampled response in a hallucination detection pipeline that is grounded in the database, thereby providing a neurosymbolic checkup. On RAGTruth and DiaHalu hallucination detection datasets, we find that our approach improves on direct prediction and competes with state-of-the-art hallucination detection methods, while not requiring domain-specific fine-tuning. Instead it relies on a low-level general competence already present in LLMs. This warrants further investigation of low-level LLM competences in neurosymbolic approaches.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.05025v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.