고품질 주석 데이터의 부족으로 인해 대규모 언어 모델(LLM)이 생성한 출력물에서 충실성 환각(faithfulness hallucination)을 식별하는 것은 여전히 어려운 과제입니다. 최근 연구들은 근거, 레이블, 환각 주장 등을 포함한 학습 데이터를 합성하기 위해 고도화된 LLM에 의존하고 있습니다. 그러나 이러한 방식들은 생성기를 정적 구성 요소로 취급하므로 탐지기의 반복적 개선을 제한합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 진화하는 생성기와 함께 탐지기가 부트스트래핑할 수 있도록 하는 새로운 프레임워크인 환각 셀프 플레이(Hallucination Self-Play, HSP)를 제안합니다. HSP는 동일한 기반 모델에서 초기화된 두 가지 역할을 포함하며, 하나는 모델 출력의 충실성을 평가하는 탐지기이고, 다른 하나는 점진적으로 탐지하기 어려운 환각 반응을 생성하는 생성기입니다. 구체적으로, 탐지기는 먼저 인간이 레이블링한 데이터로 파인튜닝된 후 AI 피드백 강화학습(RLAIF)을 통해 생성기를 학습시키는 보상 모델로 활용됩니다. 이어서 진화한 생성기는 규칙 기반 강화학습을 통해 탐지기를 추가로 최적화할 수 있도록 환각 데이터를 합성합니다. 세 가지 모델 계열에 대해 RAGTruth 및 LLM-AggreFact에서 수행한 실험 결과는, 제안된 프레임워크가 외부 지도 없이도 소형 LLM을 점진적으로 강화하여 고도화된 LLM과 대등하거나 능가하는 수준에 도달할 수 있음을 입증합니다. 본 연구의 코드는 https://github.com/maybenotime/Hallucination_Self-Play 에서 제공됩니다.
대규모 언어 모델(LLM)은 자연스러운 인간과의 상호작용을 통해 지식을 검색하는 강력한 도구로 부상했습니다. 뛰어난 텍스트 생성 능력에도 불구하고, LLM은 사실과 다른 진술을 생성하고 지식을 조작하는 환각(hallucination) 경향을 보이며, 이는 신뢰성과 신뢰도를 저해합니다. 여러 연구에서 LLM의 불확실성을 평가하고 환각을 탐지하는 방법을 탐구해 왔습니다. 그러나 기존 접근법은 대개 확률론적이고 계산 비용이 높아 실용적인 적용에 한계가 있습니다. 본 논문에서는 디코딩 단계에서 모델이 생성한 응답에 능동적으로 이의를 제기함으로써 LLM 불확실성 휴리스틱을 개발하는 새로운 방법인 다이버전 디코딩(diversion decoding)을 소개합니다. 다이버전 디코딩을 통해 LLM이 대안적 답변을 생성하려는 저항성을 포착하는 특징을 추출하고, 이 특징들을 활용하여 머신러닝 모델을 학습시킴으로써 LLM 불확실성에 대한 휴리스틱 측도를 개발합니다. 실험 결과, 다이버전 디코딩은 계산 복잡도가 현저히 낮으면서도 기존 방법을 능가하여 환각 탐지 평가를 위한 효율적이고 견고한 솔루션임을 입증합니다.
대규모 언어 모델(LLM)에서의 최근 환각 탐지 기법들은 모델의 내부 표현에서 직접 특징을 추출하고 이 특징으로 분류기를 학습시켜 환각을 탐지하는 방식에 집중하며 유망한 결과를 보여주고 있다. 이러한 발전에도 불구하고, 내부 상태 기반 환각 탐지 기법의 대부분은 영어를 중심으로 탐구되어 왔으며, 이러한 내부 신호가 서로 다른 언어와 도메인에 걸쳐 일반화될 수 있는지에 대한 의문이 제기된다. 이 공백을 해소하기 위해 우리는 CrossHallu를 제시한다. 이는 생성적 질의응답 태스크에서 여섯 개의 LLM의 내부 표현을 활용한 환각 탐지의 교차 언어 및 교차 도메인 일반화를 평가하는 최초의 연구이다. 우리는 TruthfulQA, 아랍어로 번역된 TruthfulQA, 그리고 HalluScore를 사용하여 아랍어와 영어 간 체계적인 양방향 평가를 수행한다. 이 평가는 단일 언어 학습 및 테스트, 교차 언어 전이, 교차 도메인 전이, 그리고 교차 언어와 교차 도메인을 결합한 전이를 포함한다. 결과에 따르면, LLM 내부 상태의 환각 신호는 대부분의 모델에서 언어와 도메인에 걸쳐 전이되며, 교차 언어 성능은 특징 공간에서의 클래스 분리 가능성과 언어 정렬 모두에 크게 의존하는 반면, 아랍어 내 교차 도메인 전이는 환각 탐지기에 사용된 학습 및 테스트 데이터셋에 따라 달라진다. 코드는 https://github.com/aishaalansari57/CrossHal 에서 공개적으로 이용 가능하다.
금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.
블랙박스 환경에서 대규모 언어 모델(LLM)의 환각(hallucination) 탐지를 위해 자기일관성(self-consistency) 기반 방법의 성능 한계를 분석하고, 불확실한 경우에만 검증자 모델과의 교차일관성(cross-consistency) 검사를 수행하는 2단계 예산 친화적 탐지 알고리즘을 제안한다. 3개 데이터셋과 20개의 모델 조합 실험에서 이 방법이 높은 탐지 성능을 유지하면서 계산 비용을 크게 절감함을 입증했다.
대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 놀라운 성능을 보여주었다. 그러나 사실과 다르거나 불충실한 출력, 즉 환각(hallucination)을 생성하는 경향은 고위험 응용 분야에서의 배포에 심각한 장애물이 된다. 최근 환각 탐지 방법들이 고무적인 진전을 이루었음에도 불구하고, 이들 방법은 대체로 비용이 많이 드는 출력 수준의 일관성 검사나 데이터셋별 얕은 패턴만을 포착하는 정적 은닉 상태 프로브에 의존하여, 교차 데이터셋 평가에서 성능이 크게 저하된다. 본 연구에서는 정적 표현 대신 LLM의 가중치-그래디언트 동역학에 초점을 맞춘 새로운 환각 탐지 프레임워크 AURORA를 제안한다. 핵심 통찰은 환각된 답변과 충실한 답변이 모델 파라미터에 질적으로 상이한 그래디언트 업데이트 패턴을 유발한다는 것이다. 구체적으로, 환각 샘플은 비대칭적이고 구조적으로 정렬되지 않은 그래디언트를 유발하며, 이는 두 가지 상보적 특징을 통해 포착할 수 있다: (1) 가중치 행렬과 그래디언트 업데이트 방향 간의 코사인 유사도 분포의 왜도(skewness), 그리고 (2) SVD를 통해 그래디언트 업데이트가 가중치 행렬의 특이벡터 기저를 얼마나 재정향시키는지를 정량화하는 회전 비율(rotation ratio)이다. AURORA는 네 가지 모델 패밀리와 네 가지 벤치마크 데이터셋에서 우수한 환각 탐지 성능을 달성한다. 추가 분석을 통해 본 방법이 모델 크기에 따라 효과적으로 스케일링되며, 수학적 추론 및 비전-언어(vision-language) 시나리오를 포함한 도메인 외 과제로도 전이됨을 확인한다.