환각 탐지에서 비지도 그라운딩을 위한 저수준 기호적 역량 활용
Leveraging Low-Level Symbolic Competences for Unsupervised Grounding in Hallucination Detection
환각—언어 모델이 사실과 맞지 않거나 출처에 의해 뒷받침되지 않는 출력을 생성하는 현상—은 프롬프트 기반 및 미세조정된 언어 모델 모두에게 중요한 과제이다. 환각을 탐지하기는 대규모 언어 모델(LLM)의 불투명한 추론 과정 때문에 어렵다. 이는 모델의 출력이 왜 부정확할 수 있는지에 대한 통찰을 거의 제공하지 않는 경우가 많다. 본 연구에서는 LLM이 SQL과 같은 대안적인 저수준 기호적 역량을 일부 고수준 과제에서 비지도 환각 탐지에 활용할 수 있는지 조사한다. 이를 위해 LLM이 참조 문서로부터 SQL 데이터베이스를 구축하게 한다. 이 SQL 데이터베이스는 데이터베이스에 기반을 둔 환각 탐지 파이프라인에서 참조와 샘pling된 응답에 대한 추론에 사용되며, 이를 통해 신경-기호(neurosymbolic) 검증을 제공한다. RAGTruth 및 DiaHalu 환각 탐지 데이터셋에서 우리 접근법은 직접 예측보다 개선되며, 최첨단 환각 탐지 방법과 경쟁 가능함을 보이면서 도메인별 미세조정을 필요로 하지 않는다. 대신 LLM에 이미 존재하는 저수준의 일반 역량에 의존한다. 이는 신경-기호 접근법에서 저수준 LLM 역량에 대한 추가 연구가 필요함을 시사한다.