대규모 언어 모델(LLM)이 기반 추론 엔진으로 점점 더 많이 활용됨에 따라, 모델의 환각(hallucination) 경향은 여전히 치명적인 취약점으로 남아 있다. 최근의 내부 상태 프로브는 속도가 느린 외부 검색 시스템의 유망한 대안을 제시하지만, 환각 탐지를 토큰별 이진 분류(classification) 태스크로 축소하여 의미적 표류(semantic drift)의 구조화된 순차적 경계를 포착하지 못하는 경우가 많다. 본 연구에서는 세분화된 스팬(span) 수준의 환각 탐지를 위한 내부 은닉 상태 프레임워크를 소개한다. 층(layer)별 활성화 패턴을 조사하여 LLM 생성물에서 정확한 환각 시작 토큰과 지속 토큰을 탐지하고자 한다. 실험 결과, 본 접근 방식은 극단적인 클래스 불균형에도 불구하고 환각 시작 지점을 성공적으로 분리해 내며, 무작위 베이스라인 대비 정밀도(precision)-재현율(recall) AUC에서 상당한 향상을 달성함을 보여준다. 최종적으로, 한 모델이 다른 모델의 생성으로 인해 유도된 내부 표현을 관찰하는 새로운 교차 모델(cross-model) 탐지 프레임워크를 제안한다. 외부 관찰자 모델은 관찰자가 더 작은 모델인 경우를 포함하여, 생성기 모델이 스스로 자신의 환각 시작 지점을 자체 탐지하는 성능과 일치하거나 이를 능가할 수 있음을 발견했으며, 이는 자체 탐지가 시작 지점 위치 특정의 상한선이 아님을 시사한다.
장기 지평(long-horizon) 에이전트는 컨텍스트 관리에 의존한다: 시스템은 오래된 토큰을 압축·요약·제거하여 유한한 윈도우를 넘어 작업을 계속할 수 있도록 한다. 이는 삭제된 정보가 더 이상 필요하지 않거나 이미 내재화되었을 때에만 안전하다. 계획(plan)은 극단적 사례(stress case)이다: 계획은 초기에 작성되고, 여러 단계에 걸쳐 사용되며, 가장 먼저 제거된다. 우리는 리플레이 페어링(replay pairing)을 도입한다. 이는 히스토리에 계획이 포함된 경우와 그렇지 않은 경우에 동일한 궤적(trajectory)을 실행하고 은닉 상태(hidden-state) 코사인 거리를 측정하는 진단 도구이다. Llama-3.1-70B에서 계획 신호는 계획 직후 한 단계에서 0.453으로 급상승한 뒤, 단일 행동-관찰 단계에서 4.1배 하락한다; HotpotQA에서는 12.4배 하락한다. 이는 표준 대규모 언어 모델(LLM) 에이전트가 계획을 지속적 상태로 유지하지 않으며, 대신 계획이 컨텍스트에 남아 있는 것에 의존한다는 증거이다. L32 층 프로브(probe)는 이 감쇠를 진단 도구로서 탐지하지만, 이것이 계획 내용 자체를 읽는다는 증명은 아니다. 추론 모델(reasoning model)은 측정 교란 요인(confound)을 추가한다: 해당 모델의 `<think>` 추적이 계획 내용을 재도출하기 때문에, 표준 스트리핑(stripping)은 스트리핑된 조건에 계획 증거를 남긴다. 우리는 이를 추론-추적 교란(reasoning-trace confound)이라 명명하고, 엄격한 스트리핑(strict stripping)으로 수정한다. 엄격한 스트리핑은 스트리핑된 실행에서만 이전 `<think>` 블록을 제거한다. 이 방법은 인샘플(in-sample)에서 단계+1 신호의 +163%를, 홀드아웃에서 +153%를 회복하며, 비추론 Llama에는 의미 있는 변화를 주지 않는다(+4.8%). DeepSeek-R1-Distill-Llama-70B에서 Llama로 학습된 프로브는 AUROC 0.748(p=6e-4)로 전이되는 반면, R1 특화 프로브는 1.000에 도달하며, 이는 R1이 계획 신호를 다른 은닉 상태 방향으로 인코딩함을 시사한다. 마지막으로, 압축 스트레스 테스트는 실질적 비용을 보여준다: 단순 계획 제거는 ALFWorld 성공률을 34.7pp 감소시키는 반면, 프로브 기반 재표면화(probe-gated re-surfacing)는 이를 회복하지 못한다. 본 연구의 기여는 에이전트에 중요한 정보가 지속적 상태가 아닌 컨텍스트 상주(context-resident) 상태일 수 있음을 보여주는 측정 및 스트레스 테스트 프레임워크이다. 컨텍스트 관리는 핵심적이지만, 계획 보호만으로는 충분하지 않다.