Delusions of Large Language Models
원문 초록
Large Language Models often generate factually incorrect but plausible outputs, known as hallucinations. We identify a more insidious phenomenon, LLM delusion, defined as high belief hallucinations, incorrect outputs with abnormally high confidence, making them harder to detect and mitigate. Unlike ordinary hallucinations, delusions persist with low uncertainty, posing significant challenges to model reliability. Through empirical analysis across different model families and sizes on several Question Answering tasks, we show that delusions are prevalent and distinct from hallucinations. LLMs exhibit lower honesty with delusions, which are harder to override via finetuning or self reflection. We link delusion formation with training dynamics and dataset noise and explore mitigation strategies such as retrieval augmented generation and multi agent debating to mitigate delusions. By systematically investigating the nature, prevalence, and mitigation of LLM delusions, our study provides insights into the underlying causes of this phenomenon and outlines future directions for improving model reliability.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선
Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.
홉 감쇠 영향력: LLM 기반 GraphRAG 파이프라인에서 구조적 보조 색인의 새로운 취약점
Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM
GraphRAG 파이프라인은 오프라인 색인(indexing) 과정에서 쿼리 시점의 검색 우선순위를 결정하는 의미론적 요약, 계층적 에지, 사전 계산된 점수와 같은 보조 구조를 구축합니다. 기존 공격들은 인스턴스 수준의 구성 요소(노드, 에지, 트리플)만을 대상으로 삼았으며, 이러한 스키마 수준의 구조는 간과했습니다. 본 연구에서는 보조 스키마 수준 엔티티(Auxiliary Schema-Level Entity)를 새로운 공격 표면으로 공식화하고, 이를 체계적으로 활용(exploitation)하기 위한 3S 프레임워크(Semantics, Structure, Scoring)를 제안합니다. 본 논문의 홉 감쇠 영향력(Hop-Decayed Influence, HDI) 공격은 쿼리 인지 영향력 전파를 통해 영향력이 큰 대상을 식별하고, 색인 후 이들의 보조 구조를 오염시킵니다. 2개의 벤치마크(HotpotQA, 2WikiMultiHopQA)와 2개의 아키텍처(Microsoft GraphRAG, HippoRAG2)에 걸쳐, HDI는 보조 구조의 0.016%만을 수정하면서도 88-94%의 공격 성공률을 달성합니다. 각 수정은 최대 6.00개의 쿼리에 영향을 미쳐(스키마 활용 비율, Schema Leverage Ratio), 인스턴스 수준 공격에서는 불가능했던 1:N 증폭 효과를 입증합니다. 조작된 구조는 언어적으로 일관된 시스템 생성 아티팩트로 유지되므로, 99% 이상의 회피율로 퍼플렉서티(perplexity) 및 패러프레이즈 방어를 회피합니다. 이러한 결과는 보조 스키마 수준 엔티티가 런타임 검증(validation) 없이 암묵적인 신뢰를 받고 있으며, 현재 GraphRAG 방어 체계에서 구조적 사각지대를 형성하고 있음을 보여줍니다. https://github.com/Jisung-Pacific/HDI-GraphRAG-Attack.
LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지
LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning
대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO
Meet, Compare, or Abstain: 지식 격자 위의 결정론적 멀티홉 질의응답을 위한 LatWeave
Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices
확률적 질의응답 시스템은 대규모 언어 모델(LLM) 자체이든, 검색-증강 생성(RAG)이든, 학습된 멀티홉 검색기이든 관계없이 "무엇이 알려져 있는가"와 "어떻게 추론하는가"를 하나의 확률적 계산으로 뒤섞는다. 그 결과 환각(hallucination)을 근절할 수 없고, 증거 사슬을 감사할 수 없으며, 시스템이 모르는 경우에도 답을 내놓는다. 본 논문은 지식을 다차원 지식 격자(knowledge lattice)로 조직하고 멀티홉 QA를 세 가지 결정론적 연산자, 즉 meet(제약 교집합), compare(격자 순서 비교), abstain(구조적 기권)으로 컴파일하는 LatWeave를 제안한다. LLM은 구축 단계(일회성 추출)와 질의 계획 단계에서만 사용되며, 답변 생성 경로는 LLM을 전혀 사용하지 않고, 태스크 학습도 필요 없으며, 처음부터 끝까지 감사가 가능하다. 이를 통해 웹에 게시된 지식에 대한 질의응답을 항목별로 재현할 수 있게 된다. 본 논문은 전면적인 SOTA를 주장하는 대신, 여섯 개의 공개 벤치마크에서 이 패러다임의 작동 범위(operating envelope)를 규명한다. 지식이 완전한 경우(MetaQA, 39,093개 질문) meet 연쇄는 3홉까지 거의 손실이 없으며(any-hit 0.9975, 완전 지도학습 KBQA와 대등), 템플릿 기반 멀티홉의 본거지(2WikiMultihopQA held-out, n=1,258)에서는 EM 0.865로 기존에 발표된 구조 증강 RAG 재현 결과를 크게 상회한다. 오픈 텍스트의 깊은 조합(MuSiQue)과 추출 커버리지 공백(HotpotQA)에서는 성능 저하를 있는 그대로 보고하며, 그 원인을 격자 대수 층 바깥에 있는 요인으로 귀속한다. 정보가 불완전한 경우(IIRC)에는 기권 정확도(abstain accuracy) 0.971, 누출률(leak rate) 0.029로 구조적 기권을 달성한다. 이 작동 범위 안에서 결정론적 실행은 성능 저하를 초래하지 않으며, 답변 경로의 모든 단계를 다시 계산할 수 있다. 이것이 바로 종단 간 감사 가능성의 원천이다.
MORSE: 증거 보존 압축을 위한 역방향 스코어링 기반 다중 컨텍스트 순서 결정
MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression
가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.