arXiv:2401.11817 cs.CL

Hallucination is Inevitable: An Innate Limitation of Large Language Models

Ziwei Xu, Sanjay Jain, Mohan Kankanhalli

제출 2024-01-22

한국어 초록

환각은 대규모 언어 모델(LLMs)의 중대한 단점으로 널리 인식되어 왔습니다. 환각의 정도를 줄이려는 많은 연구가 있었지만, 이러한 노력은 지금까지 대부분 경험적 접근에 머물러 있어 환각을 완전히 제거할 수 있는지라는 근본적인 질문에는 답하지 못합니다. 본 논문에서는 이 문제를 형식화하고, LLM에서 환각을 제거하는 것은 불가능함을 보입니다. 구체적으로, 우리는 환각을 계산 가능한 LLM과 계산 가능한 정답 함수 간의 불일치로 정의하는 형식적 세계를 설정합니다. 학습 이론의 결과를 활용하여, LLM은 모든 계산 가능한 함수를 학습할 수 없으며, 따라서 일반적인 문제 해결기로 사용될 경우 필연적으로 환각을 일으키게 됨을 보입니다. 형식적 세계는 훨씬 더 복잡한 실제 세계의 일부이므로, 실제 세계의 LLM에서도 환각은 또한 불가피합니다. 더 나아가, 증명 가능한 시간 복잡도 제약을 받는 실제 세계의 LLM에 대해, 우리는 환각이 발생하기 쉬운 작업을 설명하고 우리의 주장을 실증적으로 검증합니다. 마지막으로, 형식적 세계 프레임워크를 사용하여 기존 환각 완화 기법들의 가능한 메커니즘과 효능, 그리고 LLM의 안전한 배포에 대한 실질적 함의를 논의합니다.

원문 초록

Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all of the computable functions and will therefore always hallucinate. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.

요약

대규모 언어 모델(LLM)에서 환각은 단순한 성능 저하가 아니라, 근본적으로 어떤 수준까지 줄일 수 있는지를 따져야 하는 핵심 문제로 다뤄져 왔습니다. 기존의 검색-증강 생성(Retrieval-Augmented Generation, RAG), 정렬(alignment), 검증기 도입 같은 완화 기법들은 실제 오류율을 낮추는 데는 기여하지만, 환각을 완전히 제거할 수 있는지에 대해서는 명확한 답을 주지 못합니다. 이 연구는 바로 그 한계를 정면으로 묻고, 환각을 계산 가능한 LLM과 계산 가능한 정답 함수(ground truth function) 사이의 불일치로 엄밀하게 정의한 뒤, 학습 이론과 대각선화(diagonalization) 논법을 통해 완전 제거의 불가능성을 보입니다. 이를 위해 현실 세계보다 단순하지만 충분히 강한 형식적 세계(formal world)를 먼저 구성하고, 그 안에서조차 모든 계산 가능한 함수를 하나의 모델이 학습할 수 없다는 사실을 증명함으로써 환각이 구조적으로 피할 수 없는 현상임을 입증합니다. 특히 각 가설 모델에 대응하는 테스트 샘플을 배치해 반드시 실패하는 지점을 구성하는 방식은, 어떤 모델도 모든 입력에서 항상 정답을 보장할 수 없다는 결론을 직관적으로 강화합니다. 이 논문의 방법론적 강점은 환각을 추상적인 경험적 현상이 아니라, 함수 공간의 성질과 계산 가능성의 제약으로 환원해 다룬다는 점에 있습니다. 즉, LLM이 범용 문제 해결기(general problem solver)로 사용되는 순간, 모델이 아무리 커지더라도 모든 계산 가능한 함수를 포괄할 수 없기 때문에 어떤 형태의 불일치는 필연적으로 남게 됩니다. 이러한 논리는 형식적 세계에서의 불가능성이 현실 세계에서도 더 강하게 적용된다는 주장으로 이어지며, 실제 환경이 훨씬 더 복잡하고 비정형적이라는 점을 고려할 때 환각 제거의 난도가 오히려 더 높아진다는 함의를 제공합니다. 또한 저자들은 증명 가능한 시간 복잡도(provable time complexity) 제약을 가진 실세계 LLM에 대해서도 환각 취약 과제를 제시하고, 이러한 과제에서 오류가 더 쉽게 드러나는 경향을 경험적으로 검증합니다. 이는 환각이 단순히 데이터 부족이나 프롬프트 설계의 실패가 아니라, 제한된 계산 자원 아래에서 나타나는 구조적 취약성일 수 있음을 보여줍니다. 나아가 논문은 기존 환각 완화 기법들이 특정 상황에서는 효과적일 수 있으나, 이론적으로는 불일치 가능성을 제거하지 못한다는 점을 설명하며, 이들 기법의 역할을 ‘소거’가 아닌 ‘완화’로 재정의합니다. 결국 이 연구는 LLM의 환각을 피할 수 있는 임시 결함으로 보는 관점을 넘어, 안전한 배포를 위해서는 검증 가능한 활용 범위 설정, 외부 도구와의 결합, 인간 감독과 같은 설계 원칙이 필수적이라는 실천적 방향을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.31399v3cs.AI공통 태그 Hallucination

위상 전이로서의 세계 모델 붕괴

World-Model Collapse as a Phase Transition

물은 따뜻해져도 변하지 않는 듯 보이다가 임계점에서 끓는다. 우리는 장기 지평 언어 에이전트가 변화하는 세계 상태의 정확한 표상을 유지하는 능력에서 이와 유사한 전이를 보이는지 묻는다. 일부 매개변수 설정에서는 과제 매개변수의 작은 변화나 과제에 단계 하나를 추가하는 것이 행동을 거의 바꾸지 않지만, 임계 경계 근처에서는 같은 작은 변화가 갑작스러운 붕괴를 일으킨다. 우리는 매 단계에서 참 세계 상태가 알려진 결정론적 과제군에서 이 효과를 연구한다. 상태 크기, 상태 의존성, 지평, 가능한 행동 수, 관측 방식, 상태 변화 빈도에 대한 대규모 격자 탐색은 위상 도표를 드러낸다. 에이전트가 일관되게 성공하는 저스트레스 영역, 성공이 급격히 떨어지는 좁은 영역, 에이전트가 일관되게 실패하는 고스트레스 영역이 그것이다. 단계별 추적은 그 메커니즘을 보여 준다. 에이전트는 행동이 유효하지 않게 되기 전에 참 세계를 놓치므로, 에이전트는 단지 나쁜 행동을 선택하는 것이 아니라 오염된 세계에 근거해 행동한다. 더 강력한 모델은 임계 경계에 더 늦게 도달하지만 급격한 전이를 없애지는 못한다. 이러한 결과는 세계 모델 붕괴를 장기 지평 에이전트의 측정 가능한 병목으로 만든다. 코드는 곧 공개될 예정이다.

arXiv:2607.05479v2cs.CR공통 태그 Hallucination

생성형 AI 워크플로우에서의 특권과 기밀성

Privilege and confidentiality in generative AI workflows

생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.

arXiv:2607.10796v2cs.CV공통 태그 Hallucination

대규모 비전-언어 모델에서의 인지 전문가 혼합

Mixture of Cognitive Experts in Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.

arXiv:2607.09489v3cs.AI공통 태그 Hallucination

Ceci n'est pas une pipe: AI 시스템을 위한 정당화된 신뢰의 의미론

Ceci n'est pas une pipe: A semantics of justified reliance for AI systems

AI 에이전트는 편집으로 인해 근거가 무효화된 후에도 성공한 검사를 컨텍스트에 유지할 수 있다. 우리는 시스템이 메시지에 의존하고 그에 따라 행동해도 되는 때를 명세하기 위한 의미론을 제시한다. 신뢰성(reliability)은 주장된 명제를 선택된 컨텍스트의 승인된 도메인 지식, 출처, 메시지와 대조하여 검사한다. 정당화된 신뢰(justified reliance)는 여기에 더해 현재의 증거, 권한, 제안된 세계 변경을 검사한다. 관계적 구성요소 의미론과 이벤트 트레이스는 비결정적 출력, 반복, 외부 변경을 표현한다. 우리는 주장들을 병합해도 도출 가능한 결론 클래스가 보존되는 조건을 규명한 뒤, 규칙이 지정된 구체적 주장들의 정확한 상태를 보존하는 가장 거친 허용 몫(quotient)을 구성한다. 구성은 단항 규칙에 대해서는 다항 시간이며, 비순환 이항 규칙에서는 허용되는 병합 하나를 판정하는 것조차 coNP-완전이다. 이는 완전성 및 강한 보존 방법을 몫 규칙의 실행에 적용한 것이다. 또한 전이 안전장치를 런타임 강제와 연관 짓는다. 주어진 가능 세계 집합에 대해, 건전한 가드는 일치하는 모든 세계가 검사를 통과할 때에만 관측을 수락한다. 정확한 수락에는 반대 결정을 내리는 세계들을 구별하는 관측이 필요하며, 충분한 서비스를 선택하는 문제는 명시적 유한 표에서 NP-완전이다. 완전한 유한 여권 갱신 사례, Lean 정리 인코딩, Z3 인스턴스 검사, OCaml 하네스가 이 의미론을 검증한다. 도메인 지식, 해석, 출처 라이선스, 정책은 응용에서 제공해야 하는 입력으로 남는다.

arXiv:2607.14499v2cs.AI공통 태그 Hallucination

동적 다회차 상호작용을 통한 비전-언어 모델의 맥락화된 평가

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

멀티모달 대규모 언어 모델(MLLM)은 벤치마크에서 상당한 진전을 이루었으나, 실제 환경에서의 효과는 여전히 불확실하다. 이러한 격차는 통제된 정적 환경의 벤치마크와 실제 응용의 동적이고 상호작용적이며 맥락화된 특성 사이의 근본적인 불일치에서 비롯된다. 이 격차를 해소하기 위해 본 논문은 평가를 평가 대상 모델, 자동화된 출제자, 채점자 간의 3자 상호작용으로 재구성하는 프레임워크 CEDI(Contextualized Evaluation of MLLMs through Dynamic, multi-round Interactions)를 제안한다. 출제자는 과제의 그래프 기반 표현에 따라 다중 턴의 반구조화된 대화를 진행한다. 상태 공간 전이를 탐색함으로써 CEDI는 명확화 요청에서 적대적 탐침에 이르기까지 다양한 전략을 사용하여 성능 증거를 이끌어낸다. 본 논문은 CEDI를 시각적 환각에 적용한다. 여러 모델, 다양한 설정, 데이터셋, 도메인에 걸친 실험 결과, 맥락화된 상호작용 평가는 기존의 정적 평가보다 훨씬 많은 환각을 드러낼 뿐 아니라 실제 사용 사례에서 발생하는 환각과 더 유사한 환각도 드러낸다. 또한 환각이 긴 맥락에서 자기 강화적인 대화 이력을 통해 누적되는 경우가 많으며, 모델은 전제 거부나 응답 거부를 요구하는 질문에 특히 취약함을 보인다. 이러한 발견은 CEDI가 MLLM의 능력에 대한 현실적이고 체계적이며 생태학적으로 타당한 평가를 향한 한 걸음임을 보여 준다. 코드는 github.com/williamium3000/cedi 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.