Look Within, Why LLMs Hallucinate: A Causal Perspective
원문 초록
The emergence of large language models (LLMs) is a milestone in generative artificial intelligence, achieving significant success in text comprehension and generation tasks. Despite the tremendous success of LLMs in many downstream tasks, they suffer from severe hallucination problems, posing significant challenges to the practical applications of LLMs. Most of the works about LLMs' hallucinations focus on data quality. Self-attention is a core module in transformer-based LLMs, while its potential relationship with LLMs' hallucination has been hardly investigated. To fill this gap, we study this problem from a causal perspective. We propose a method to intervene in LLMs' self-attention layers and maintain their structures and sizes intact. Specifically, we disable different self-attention layers in several popular open-source LLMs and then compare their degrees of hallucination with the original ones. We evaluate the intervened LLMs on hallucination assessment benchmarks and conclude that disabling some specific self-attention layers in the front or tail of the LLMs can alleviate hallucination issues. The study paves a new way for understanding and mitigating LLMs' hallucinations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ResearchQA: 과학 논문에서의 인용 근거 기반 질의응답 벤치마킹
ResearchQA: Benchmarking Citation-Grounded Question-Answering on Scientific Papers
대규모 언어 모델(LLM)은 과학적 읽기를 지원하는 데 점점 더 많이 활용되고 있지만, 기존 평가 방법은 답변이 검증 가능한 인용으로 뒷받침되는지를 탐지하는 데 흔히 실패한다. 우리는 8개 도메인과 4가지 질문 유형—조회(lookup), 이해(comprehension), 다단계 추론(multi-hop), 적대적(adversarial)—에 걸친 494편의 오픈 액세스 논문에서 6,211개의 단일 논문 질의응답 쌍으로 구성된 벤치마크 ResearchQA를 소개한다. ResearchQA는 인용 근거 기반 평가를 위해 설계되었으며, 하나의 주장에 대해 여러 유효한 근거 구절을 허용하고, 출처 논문이 답변을 뒷받침하지 않을 경우 근거 있는 거절(grounded refusal)에 보상을 부여한다. 우리는 결정론적 인용 매처와 LLM 기반 루브릭 평가기를 사용하여 인용 근거 기반 논문 대화 설정에서 8개의 주요 클로즈드 및 오픈 가중치 모델을 평가한다. 인용 기반 지표는 LLM 평가기 점수보다 시스템 간 차이를 더 명확하게 구분한다: 섹션 커버리지와 인용 정확도는 모델 간 상당한 차이를 보이는 반면, 평가기 점수는 좁은 범위로 집중되어 있다. 또한 오픈 가중치 모델이 최고 성능의 클로즈드 모델 인용 정확도에 근접하면서도 예제당 지연 시간을 3~6배 낮출 수 있음을 발견한다. 우리는 벤치마크, 평가 하네스, 평가기 프롬프트를 공개한다.
World-Model Collapse as a Phase Transition
생성형 AI 워크플로우에서의 특권과 기밀성
Privilege and confidentiality in generative AI workflows
생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
Ceci n'est pas une pipe: A semantics of justified reliance for AI systems
동적 다회차 상호작용을 통한 비전-언어 모델의 맥락화된 평가
Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.