arXiv:2608.04286v1 cs.CL

의미론적으로 동등한 적대적 공격을 통한 LLM의 내재적 환각 유발

Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

Atri Vivek Sharma, Brian Formento, Alessio Lomuscio

제출 2026-08-04

한국어 초록

대규모 언어 모델(LLM)은 검색-증강 생성(RAG)과 같은 방법을 통해 사실적 정확성을 개선하고 환각(hallucination)을 줄이기 위해 외부 지식 소스와 결합하여 자주 사용됩니다. 그러나 이러한 시스템은 모델이 검색된 근거에 의해 뒷받침되지 않는 충실하지 않거나 조작된 정보를 생성하는 내재적 환각에 여전히 취약합니다. 본 논문에서는 적대적 최적화 방법을 통해 발견한 사용자 질의의 자연스럽고 의미론적으로 동등한 변형을 사용하여 스트레스 테스트를 수행함으로써 이 현상에 대한 모델 견고성을 평가하는 새로운 프레임워크를 제안합니다. 엄격한 의미론적 동등성 제약과 내재적 환각 목표를 적용하는 본 프레임워크를 화이트박스, 그레이박스, 블랙박스 적대적 설정에 걸친 다양한 적대적 공격 기법에 적용합니다. 3개 데이터셋에 대해 5개의 오픈소스 및 5개의 폐쇄형 소스 생성기 모델에서 이러한 공격을 평가한 결과, 최첨단 모델조차도 의미를 보존하는 섭동(perturbation)에 매우 취약하여 문맥적 충실도를 크게 저하시키는 것(GPT-5-mini의 경우 최대 50%)을 입증합니다. 본 연구 결과는 문맥 내 근거의 충실한 활용이 최첨단 LLM에서도 여전히 취약함을 보여주며, 표면적인 질의 형태와 무관하게 견고한 그라운딩(grounding)을 강화하는 아키텍처 및 학습 목표의 필요성을 시사합니다. 코드는 https://github.com/atriviveksharma/intrinsic_hall 에서 이용할 수 있습니다.

원문 초록

Large language models (LLMs) are often used in conjunction with external knowledge sources to improve their factual accuracy and decrease hallucinations, through methods such as Retrieval-Augmented Generation (RAG). However, these systems remain susceptible to intrinsic hallucinations, where the model generates unfaithful or fabricated information that is not supported by the retrieved evidence. We propose a novel framework to assess model robustness against this phenomenon by stress-testing using natural, semantically equivalent variations of a user query found via adversarial optimization methods. We apply our framework, which enforces strict semantic equivalence constraints and an intrinsic hallucination objective, to a range of adversarial attack techniques across white-box, gray-box, and black-box adversarial settings. Evaluating these attacks on 5 open-source and 5 closed-source generator models across 3 datasets, we demonstrate that even state-of-the-art models are highly susceptible to meaning-preserving perturbations, which significantly degrade contextual faithfulness (by up to 50% for GPT-5-mini). Our findings indicate that faithful use of in-context evidence remains fragile even in state-of-the-art LLMs, motivating architectures and training objectives that enforce robust grounding independent of surface query form. Code is available at: https://github.com/atriviveksharma/intrinsic_hall

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04286v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.