arXiv:2609.35308v2 cs.CL

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

Fahrell Giovanny, Geby Bayuningtyas, Sahrul Mukharom, Hafiz Budi Firmansyah

제출 2026-09-28

저자 비고

arXiv Comments

9 figures, 19 tables. Benchmark, code, and protocol definitions: https://github.com/fahrellgiovanny/epistemic-policy-divergence

한국어 초록

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

원문 초록

Large language models treat conversation history as unverified context, so false premises injected into prior turns can be adopted as fact, a failure mode we term session-level contamination. We introduce five contamination protocols arranged along a source-authority gradient, holding the false premise constant while varying its epistemic framing, and evaluate GPT-5.4 Mini, Gemini-3.1 Flash-Lite, and GLM-4.5-Air across ten knowledge domains at temperature zero (22,500 turns), judged by a dual-track automated evaluator validated against a human gold standard (Cohen's kappa = 1.000 for binary adoption; 0.92 linear-weighted for collapse severity). GPT-5.4 Mini recorded zero adoptions across all 500 sessions; a base-model logit probe shows its decision margin is perturbed but large and finite. Gemini-3.1 Flash-Lite followed a steep authority gradient: 0.1% adoption for self-attributed falsehoods, 23.5% for user-cited sources, 68.2% for system-injected authority, and 94.0% under instruction override. GLM-4.5-Air showed a shallower gradient (15.8% vs 84.2%), a 68-point dissociation consistent with authority deference and instruction compliance engaging distinct mechanisms within one architecture. Recovery diverged: GLM recovered in 94.5% of affected sessions, whereas 26.1% of affected Gemini sessions never did, rising to 40.0% under instruction override. Conversation history is an untrusted attack surface requiring provenance-aware system design; the complete evaluation framework is released as an open-source artifact.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.35308v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27603v1cs.CL공통 태그 Hallucination, Misinformation, In-Context Learning

컨텍스트가 오도할 때: 대규모 언어 모델의 관할권을 갖춘 문맥 내 학습

When Context Misleads: In-context Learning with Jurisdiction in Large Language Models

문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.

arXiv:2608.24707v3cs.CL공통 태그 Hallucination, Misinformation

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

arXiv:2610.01045v2cs.AI공통 태그 Hallucination, Instruction Following

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2609.32701v2cs.AI공통 태그 Instruction Following, In-Context Learning

지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다

Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time

보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.

arXiv:2608.08477v4cs.CL공통 태그 Hallucination, Instruction Following

VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델

VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.

arXiv:2609.27333v1cs.AI공통 태그 Instruction Following, Misinformation

정렬 관성: 정책 오버라이드 저항을 통한 학습 데이터 영향의 지속성 감사

Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance

플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.