Augmenting LLMs with Knowledge: A survey on hallucination prevention
원문 초록
Large pre-trained language models have demonstrated their proficiency in storing factual knowledge within their parameters and achieving remarkable results when fine-tuned for downstream natural language processing tasks. Nonetheless, their capacity to access and manipulate knowledge with precision remains constrained, resulting in performance disparities on knowledge-intensive tasks when compared to task-specific architectures. Additionally, the challenges of providing provenance for model decisions and maintaining up-to-date world knowledge persist as open research frontiers. To address these limitations, the integration of pre-trained models with differentiable access mechanisms to explicit non-parametric memory emerges as a promising solution. This survey delves into the realm of language models (LMs) augmented with the ability to tap into external knowledge sources, including external knowledge bases and search engines. While adhering to the standard objective of predicting missing tokens, these augmented LMs leverage diverse, possibly non-parametric external modules to augment their contextual processing capabilities, departing from the conventional language modeling paradigm. Through an exploration of current advancements in augmenting large language models with knowledge, this work concludes that this emerging research direction holds the potential to address prevalent issues in traditional LMs, such as hallucinations, un-grounded responses, and scalability challenges.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Safety Nudges: 실시간 AI 위험 인식을 위한 사용자 대면 개입
Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness
대화형 AI 시스템은 환각(hallucination), 아부(sycophancy), 과잉 자신감(overconfidence), 의인화(anthropomorphism) 등 사용자에게 안전성(safety) 위험을 초래할 수 있으나, 이러한 위험은 일상 사용 중 사용자가 감지하기 어렵다. 우리는 챗봇 대화에서 우려할 만한 행동이 감지될 때 경량의 in situ 플래그를 제공하는 브라우저 기반 도구인 Safety Nudges를 제안한다. 챗봇을 자주 사용하는 45명을 대상으로 2주간 현장 연구(field study)를 수행하여 Safety Nudges를 평가했으며, 상호작용 로그, 설문, 개별 넛지에 대한 피드백을 수집했다. 참가자들은 도구가 유용하고 명확하며 방해가 최소라고 평가했고, 거의 모든 사용자가 잠재적 AI 위해(harm)에 대한 인식이 높아졌다고 보고했으나, 이러한 인식 향상만으로는 반드시 뚜렷한 행동 변화로 이어지지는 않았다. 결과는 사용자 대면 안전 넛지가 맥락 속에서 AI 응답을 비판적으로 평가하도록 돕음으로써 모델 수준 보호 장치를 보완할 수 있음을 시사하며, 대화형 AI 안전을 위한 넛지 설계에서 관련성(relevance), 보정(calibration), 사용자 통제(user control)의 중요성을 부각한다.
영아의 구문 학습 연구를 위한 대규모 언어 모델(LLM) 활용에 대한 회고적 분석
A retrospective analysis on the use of LLMs to study infant syntax learning
대규모 언어 모델(LLM)은 아동이 초기 발달 단계에서 구문(syntax)을 어떻게 습득하는지 조사하는 데 점점 더 많이 사용되고 있습니다. 이는 발달상 현실적인 말뭉치(developmentally realistic corpora)로 학습(training)되면서 인간 수준의 구문적 성능을 달성하는 모델을 개발하려는 커뮤니티 전반의 노력인 BabyLM 챌린지의 핵심 과학적 목표이기도 합니다. 본 논문에서는 이러한 연구 프로그램의 여러 연구에 대한 인식론적 평가를 제공함으로써, 영아의 구문 학습 연구에서 LLM을 활용하는 방식에 대해 고찰합니다. 데이터셋(dataset)이 어떻게 구축되는지, 어떤 모델이 구현되는지, 그리고 이들이 어떻게 학습되고 구문론적으로 평가(evaluation)되는지를 논의합니다. 그 결과 BabyLM 및 관련 연구의 방법론에서 중대한 가정이 존재함을 확인하였으며, 이는 이들 연구의 이론적 적용 범위를 제한합니다. 아울러 발달상 현실적인 말뭉치를 사용하는 것이 널리 사용되는 벤치마크(benchmark)에서 모델 성능에 미치는 영향이 제한적임을 관찰하였는데, 이는 LLM과 영아 구문 학습자 간에 중요한 계산적 차이가 존재함을 시사합니다.
언어 생성에서의 환각률
Hallucination Rates in Language Generation
극한에서의 언어 생성(language generation in the limit)은 Kleinberg와 Mullainathan [KM24]이 예시 문자열만을 바탕으로 학습하는 알고리즘에 의한 언어 생성을 형식적으로 연구하기 위해 도입한 우아한 모델이다. 이 모델에서 알고리즘이 어떤 언어로부터 올바르게 생성한다고 하려면, 유한한 시간 이후에는 결코 오류를 범하지 않아야 한다. 반면, 실제로는 정교한 언어 모델조차도 정기적으로 환각(hallucination)하는 것으로 알려져 있다. 본 논문에서는 (무한) 환각을 수반하는 극한에서의 언어 생성 연구를 개시한다. 즉, 알고리즘이 부정확한 문자열을 무한히 자주 생성할 수 있지만, 오류는 제한된 비율(0-측도(0-measure)에서도 가능)로 발생한다. 먼저, 비율 0에서조차 환각은 극한에서의 생성을 엄밀히 더 강력하게 만든다는 것을 보인다. 유한 오류로는 생성할 수 없지만 무한 오류로는 생성할 수 있는 언어 집합들이 존재하며, 이는 오류가 0-측도의 시간 단계 집합에서 발생하는 경우에도 마찬가지이다. 또한, 모든 가산(countable) 집합은 유한 오류로 생성 가능한 반면, 환각률(hallucination rate)로 특징지어지는 (비가산(uncountable)) 언어 집합들의 엄격한 계층을 보인다. 이 계층은 목표 언어의 생성 비율인 폭(breadth)까지 확장된다. 모든 가산 집합은 최적 폭 1/2 [KW26b]를 달성할 수 있는 반면, 모든 폭과 환각률에서 엄격한 분리를 보인다. 마지막으로, 알고리즘이 문자열을 반복할 수 없는 반복 없는(no repetition) 극한에서의 생성을 연구한다. 이를 통해 올바른 시간 단계와 부정확한 시간 단계의 비율이 아니라, 생성된 올바른 문자열 집합과 부정확한 문자열 집합을 비교할 수 있다. 다시, 모든 환각률과 폭에서 엄격한 계층을 입증한다. 종합하면, 이러한 결과들은 환각을 수반하여 극한에서 생성 가능한 언어 집합들의 풍부한 구조를 드러내고, 환각률을 언어 생성의 이론적 연구에서 중요한 매개변수(parameter)로 확립한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
토론
이 논문과 연결된 포럼 글이 아직 없습니다.