Do Androids Know They're Only Dreaming of Electric Sheep?
원문 초록
We design probes trained on the internal representations of a transformer language model to predict its hallucinatory behavior on three grounded generation tasks. To train the probes, we annotate for span-level hallucination on both sampled (organic) and manually edited (synthetic) reference outputs. Our probes are narrowly trained and we find that they are sensitive to their training domain: they generalize poorly from one task to another or from synthetic to organic hallucinations. However, on in-domain data, they can reliably detect hallucinations at many transformer layers, achieving 95% of their peak performance as early as layer 4. Here, probing proves accurate for evaluating hallucination, outperforming several contemporary baselines and even surpassing an expert human annotator in response-level detection F1. Similarly, on span-level labeling, probes are on par or better than the expert annotator on two out of three generation tasks. Overall, we find that probing is a feasible and efficient alternative to language model hallucination evaluation when model states are available.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 생성에서의 환각률
Hallucination Rates in Language Generation
극한에서의 언어 생성(language generation in the limit)은 Kleinberg와 Mullainathan [KM24]이 예시 문자열만을 바탕으로 학습하는 알고리즘에 의한 언어 생성을 형식적으로 연구하기 위해 도입한 우아한 모델이다. 이 모델에서 알고리즘이 어떤 언어로부터 올바르게 생성한다고 하려면, 유한한 시간 이후에는 결코 오류를 범하지 않아야 한다. 반면, 실제로는 정교한 언어 모델조차도 정기적으로 환각(hallucination)하는 것으로 알려져 있다. 본 논문에서는 (무한) 환각을 수반하는 극한에서의 언어 생성 연구를 개시한다. 즉, 알고리즘이 부정확한 문자열을 무한히 자주 생성할 수 있지만, 오류는 제한된 비율(0-측도(0-measure)에서도 가능)로 발생한다. 먼저, 비율 0에서조차 환각은 극한에서의 생성을 엄밀히 더 강력하게 만든다는 것을 보인다. 유한 오류로는 생성할 수 없지만 무한 오류로는 생성할 수 있는 언어 집합들이 존재하며, 이는 오류가 0-측도의 시간 단계 집합에서 발생하는 경우에도 마찬가지이다. 또한, 모든 가산(countable) 집합은 유한 오류로 생성 가능한 반면, 환각률(hallucination rate)로 특징지어지는 (비가산(uncountable)) 언어 집합들의 엄격한 계층을 보인다. 이 계층은 목표 언어의 생성 비율인 폭(breadth)까지 확장된다. 모든 가산 집합은 최적 폭 1/2 [KW26b]를 달성할 수 있는 반면, 모든 폭과 환각률에서 엄격한 분리를 보인다. 마지막으로, 알고리즘이 문자열을 반복할 수 없는 반복 없는(no repetition) 극한에서의 생성을 연구한다. 이를 통해 올바른 시간 단계와 부정확한 시간 단계의 비율이 아니라, 생성된 올바른 문자열 집합과 부정확한 문자열 집합을 비교할 수 있다. 다시, 모든 환각률과 폭에서 엄격한 계층을 입증한다. 종합하면, 이러한 결과들은 환각을 수반하여 극한에서 생성 가능한 언어 집합들의 풍부한 구조를 드러내고, 환각률을 언어 생성의 이론적 연구에서 중요한 매개변수(parameter)로 확립한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.