arXiv:2312.17249

Do Androids Know They're Only Dreaming of Electric Sheep?

Sky CH-Wang, Benjamin Van Durme, Jason Eisner, Chris Kedzie

제출 2023-12-28

원문 초록

We design probes trained on the internal representations of a transformer language model to predict its hallucinatory behavior on three grounded generation tasks. To train the probes, we annotate for span-level hallucination on both sampled (organic) and manually edited (synthetic) reference outputs. Our probes are narrowly trained and we find that they are sensitive to their training domain: they generalize poorly from one task to another or from synthetic to organic hallucinations. However, on in-domain data, they can reliably detect hallucinations at many transformer layers, achieving 95% of their peak performance as early as layer 4. Here, probing proves accurate for evaluating hallucination, outperforming several contemporary baselines and even surpassing an expert human annotator in response-level detection F1. Similarly, on span-level labeling, probes are on par or better than the expert annotator on two out of three generation tasks. Overall, we find that probing is a feasible and efficient alternative to language model hallucination evaluation when model states are available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23361v1cs.DS공통 태그 Language Modeling, Hallucination

언어 생성에서의 환각률

Hallucination Rates in Language Generation

극한에서의 언어 생성(language generation in the limit)은 Kleinberg와 Mullainathan [KM24]이 예시 문자열만을 바탕으로 학습하는 알고리즘에 의한 언어 생성을 형식적으로 연구하기 위해 도입한 우아한 모델이다. 이 모델에서 알고리즘이 어떤 언어로부터 올바르게 생성한다고 하려면, 유한한 시간 이후에는 결코 오류를 범하지 않아야 한다. 반면, 실제로는 정교한 언어 모델조차도 정기적으로 환각(hallucination)하는 것으로 알려져 있다. 본 논문에서는 (무한) 환각을 수반하는 극한에서의 언어 생성 연구를 개시한다. 즉, 알고리즘이 부정확한 문자열을 무한히 자주 생성할 수 있지만, 오류는 제한된 비율(0-측도(0-measure)에서도 가능)로 발생한다. 먼저, 비율 0에서조차 환각은 극한에서의 생성을 엄밀히 더 강력하게 만든다는 것을 보인다. 유한 오류로는 생성할 수 없지만 무한 오류로는 생성할 수 있는 언어 집합들이 존재하며, 이는 오류가 0-측도의 시간 단계 집합에서 발생하는 경우에도 마찬가지이다. 또한, 모든 가산(countable) 집합은 유한 오류로 생성 가능한 반면, 환각률(hallucination rate)로 특징지어지는 (비가산(uncountable)) 언어 집합들의 엄격한 계층을 보인다. 이 계층은 목표 언어의 생성 비율인 폭(breadth)까지 확장된다. 모든 가산 집합은 최적 폭 1/2 [KW26b]를 달성할 수 있는 반면, 모든 폭과 환각률에서 엄격한 분리를 보인다. 마지막으로, 알고리즘이 문자열을 반복할 수 없는 반복 없는(no repetition) 극한에서의 생성을 연구한다. 이를 통해 올바른 시간 단계와 부정확한 시간 단계의 비율이 아니라, 생성된 올바른 문자열 집합과 부정확한 문자열 집합을 비교할 수 있다. 다시, 모든 환각률과 폭에서 엄격한 계층을 입증한다. 종합하면, 이러한 결과들은 환각을 수반하여 극한에서 생성 가능한 언어 집합들의 풍부한 구조를 드러내고, 환각률을 언어 생성의 이론적 연구에서 중요한 매개변수(parameter)로 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.