어텐션이 닫힐 때: 다중 턴 상호작용에서 LLM이 맥락의 실마리를 놓치는 방식
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
한국어 초록
대규모 언어 모델(LLM)은 단일 턴에서는 복잡한 지시사항을 따를 수 있지만, 긴 다중 턴(multi-turn) 상호작용에서는 지시사항, 페르소나, 규칙의 실마리를 놓치는 경우가 많습니다. 이러한 성능 저하는 행동적으로는 측정되었으나 메커니즘적으로는 설명되지 않았습니다. 본 연구에서는 채널 전환(channel-transition) 설명을 제안합니다. 즉, 어텐션을 통한 목표 정의 토큰으로의 접근성은 낮아지는 반면, 목표 관련 정보는 잔여 표현(residual representations)에 지속될 수 있다는 것입니다. 본 논문에서는 생성된 토큰에서 과업 정의 목표 토큰으로 향하는 어텐션을 측정하는 목표 접근성 비율(GAR)을 도입하고, 이를 슬라이딩 윈도우 절제(ablation) 및 잔여 스트림 프로브와 결합합니다. 지시사항에 대한 어텐션이 닫힐 때 잔존하는 정보는 아키텍처의 특성을 드러냅니다. 여러 아키텍처에 걸쳐 이러한 전환은 질적으로 상이한 실패 모드를 초래합니다. 일부 모델은 어텐션이 사라지는 상황에서도 목표 조건화된 행동을 유지하는 반면, 다른 모델들은 잔여 목표 정보가 디코딩 가능함에도 실패하며, 이러한 인코딩이 나타나는 층(layer)은 2층에서 27층까지 다양합니다. Mistral에서 어텐션 채널을 강제로 닫는 모델 내 인과적 절제 실험을 수행한 결과, 20개 사실 기억 과업에서 재현율(recall)이 거의 완벽한 수준에서 11%로 급감했으며, 사용자 압박이 없는 상태에서도 페르소나 제약 위반이 적대적 압박 기준선(baseline)을 초과하여 증가했고, 두 효과 모두 예측 가능한 교차 턴에서 나타났습니다. 선형 프로브는 4개의 주요 아키텍처 전체에서 입력 임베딩이 무작위 수준에 머무는 동안 잔여 표현으로부터 에피소드별 재현율 결과를 최대 0.99의 AUC로 복원합니다. 아키텍처와 모델 규모 전반에 걸쳐, 어텐션 손실과 잔여 디코딩 가능성 사이의 격차는 채널 폐쇄 시 목표 조건화된 행동이 생존할지를 예측합니다. 본 연구는 진단 도구로서의 GAR, 통제된 메커니즘적 설명으로서의 채널 전환 프레임워크, 그리고 윈도우 기반 어텐션 폐쇄 환경에서 실패 시점에 대한 파라메트릭 예측을 기여점으로 제시합니다.
원문 초록
Large language models can follow complex instructions in a single turn, yet over long multi-turn interactions they often lose the thread of instructions, persona, and rules. This degradation has been measured behaviorally but not mechanistically explained. We propose a channel-transition account: goal-defining tokens become less accessible through attention, while goal-related information may persist in residual representations. We introduce the Goal Accessibility Ratio (GAR), measuring attention from generated tokens to task-defining goal tokens, and combine it with sliding-window ablations and residual-stream probes. When attention to instructions closes, what survives reveals architecture. Across architectures, the transition yields qualitatively distinct failure modes: some models preserve goal-conditioned behavior at vanishing attention, others fail despite decodable residual goal information, and the layer at which this encoding emerges varies from 2 to 27. A within-model causal ablation that force-closes the attention channel in Mistral collapses recall from near-perfect to 11% on a 20-fact retention task and raises persona-constraint violations above an adversarial-pressure baseline without user pressure, with both effects emerging at the predictable crossover turn. Linear probes recover per-episode recall outcomes from residual representations with AUC up to 0.99 across all four primary architectures, while input embeddings remain at chance. Across architectures and model scales, the gap between attention loss and residual decodability predicts whether goal-conditioned behavior survives channel closure. We contribute GAR as a diagnostic, the channel-transition framework as a controlled mechanistic account, and a parametric prediction of failure timing under windowed attention closure.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.
단순한 평가를 넘어서: 언어 모델의 담화 표지 민감도에 관한 사례 연구
Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models
담화 표지(discourse particle)는 대화 문맥과 화자의 태도를 반영하여 담화의 흐름을 미묘하게 형성하며, 진리 조건적 의미(truth-conditional meaning)는 그대로 두는 경우가 많습니다. 또한 담화 표지는 서로 다른 의미가 다른 표지와 부분적으로 겹치는 다기능성(polyfunctional)을 띠는 경우가 흔하며, 예를 들어 영어의 "just"와 "only"의 배타적 용법("John only/just drinks water")이 이에 해당합니다. 자연어에서 이러한 단어들의 빈번한 사용에도 불구하고, 그 효과의 미묘한 특성으로 인해 대체로 연구되지 않았습니다. 본 연구에서는 행동 분석 및 기제 분석(mechanistic analysis)을 통해 자연스러운 대화에서 "just"와 "only"에 대한 대규모 언어 모델(LLM)의 민감도를 조사합니다. 첫째, LLM과 인간 모두 문맥 내에서 이러한 표지가 존재하는 것을 비슷하게 선호하며, 둘 다 "only"에 비해 "just"에 더 민감하다는 점을 발견했습니다. 둘째, 이러한 표지가 있거나 없는 상태에서 LLM으로부터 샘플링할 때, LLM은 원본 문맥이 주어졌을 때의 생성 결과를 일관되게 더 높은 확률로 평가하여 표지 민감도를 입증했습니다. 두 실험 모두에서 지시 미세조정(instruction tuning)은 민감도를 증가시킵니다. 마지막으로, LLM 내에서 표지 민감 유닛(unit)을 국소화한 결과 "just"와 "only" 사이의 중첩이 비대칭적임을 확인했습니다. 즉, "only" 유닛은 배타적 "just"에 선택적으로 전이되는 반면, 모든 "just" 유닛은 의미에 관계없이 동일하게 "only"로 잘 전이되어 LLM의 어휘 수준 표지 표현이 부분적으로 의미별로 구조화되어 있음을 시사합니다. 저희는 코드, 의미 라벨이 부착된 대화 자극 자료, 인간 선호도 주석을 https://github.com/JiahuiKChen/Not_Just_an_Evaluation 에 공개합니다.
지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다
Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time
보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.
역정렬 퓨샷 대화 노출을 통한 대규모 추론 모델(LRM)의 정렬
Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure
대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.
SyRuP: 보상 유도 예측을 통한 LLM 디코딩에서의 시스템 프롬프트 준수 향상
SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding
대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.
FlowEvo: 워크플로우와 실행 가능한 스킬의 공진화를 통한 자기 진화 에이전트
FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills
대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용, 코드 실행을 결합하는 추론 시점 워크플로우를 구성함으로써 점점 더 복잡한 과제를 해결하고 있다. 이러한 워크플로우는 유연한 문제 해결을 가능하게 하지만, 실행 중 발견되는 유용한 절차는 종종 일시적이다. 즉, 현재 과제를 해결하는 데는 도움이 되지만 미래 과제에 체계적으로 이익이 될 수 있는 형태로 보존되지 않는다. 본 논문은 성공적인 트레이스를 재사용 가능한 스킬 레코드로 컴파일하는 학습 없는(training-free) 프레임워크인 FlowEvo를 제시한다. 각 레코드는 호출 가능한 아티팩트와 보조 구조화된 가이던스를 쌍으로 묶으며, 승인(admission) 시 가능한 경우 인터페이스, 재현(replay), 안전성 검사를 적용한다. 이러한 스킬 레코드는 추론 시점에 스킬 뱅크에 지속적으로 저장된다. FlowEvo는 세 가지 결합된 메커니즘을 중심으로 구성된다: (1) 워크플로우-투-스킬 컴파일레이션으로, 성공적인 트레이스에서 재사용 가능한 실행 가능 아티팩트를 추출한다; (2) 스킬-투-워크플로우 피드백으로, 축적된 스킬을 검색하여 직접 실행 또는 구조화된 컨텍스트 주입을 통해 미래 문제 해결을 지원한다; (3) 스킬 큐레이션으로, 하류(downstream) 유틸리티를 모니터링하고 부정적 전이(negative transfer)를 유발하는 스킬을 억제한다. 이러한 워크플로우-스킬-워크플로우 피드백 루프를 통해 FlowEvo는 모델 파라미터를 업데이트하지 않고도 에이전트가 시간에 따라 과제 해결 능력을 축적하고 정제할 수 있게 한다. 대화형 환경(ALFWorld)과 코드/수학 생성(HumanEval, GSM8K)에 걸친 벤치마크에서의 실험은 FlowEvo가 우리의 구현 설정 하에서 평가된 기준선 중 최상의 정확도-비용 트레이드오프를 달성함을 보여준다. ALFWorld에서 FlowEvo는 82.8%의 성공률을 달성하여 가장 강력한 기준선보다 23.6퍼센트포인트 높으며, 에피소드당 평균 토큰 사용량은 가장 효율적인 기준선의 절반 미만이다. 통제된 ablation은 각 메커니즘이 전체 결과에 기여함을 확인한다. 코드는 https://github.com/DEFENSE-SEU/FlowEvo 에서 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.