배포된 언어 모델을 모니터링하는 활성화 프로브(activation probe)는 합성 대화로 학습(training)되지만, 프로브에 얼마나 많은 데이터가 필요한지는 아직 명확하지 않습니다. 본 연구는 생성자 LLM과 프롬프트의 구체성을 변경해가며, 14개의 홀드아웃 평가(evaluation) 분포와 4개의 프로브 모델에서 세 가지 모니터링 개념(중대한 위험 상황, 사람에게 유해한 답변, 사용자의 지시를 따르지 않는 답변)에 대해 10~590개의 합성 샘플에 걸친 학습 곡선을 추적합니다. 필요한 데이터양은 모니터링 대상에 따라 결정됩니다. 중대한 위험 및 유해성에 대한 프로브는 Gemma-3-27B-IT에서 80개 샘플부터 정체기(plateau)의 수백 분의 1 이내에 도달하는 반면, 지시 프로브는 몇 배 더 많은 샘플을 필요로 하며, 이러한 순서는 세 개의 더 작은 프로브 모델과 (개발 세트의) 실제 샘플에서도 유지됩니다. 선행 연구에서는 생성 예산을 깊이(각 유형의 데이터 수 증대)보다 너비(더 다양한 유형의 데이터 확보)에 투자할 것을 권장합니다. 본 연구에서는 개념에 필요한 깊이를 적합 곡선의 절반-이득 크기(half-gain size, 즉 이득의 절반을 달성하는 샘플 수)로 해석합니다. 개념과 분포가 해당 분산의 42~45%를 설명하며, 생성자, 프로브 모델, 프롬프트 구체성은 10% 미만을 차지합니다. 절반-이득 크기의 값을 결정하는 것은 유형별 난이도(분포가 포화되는 데 필요한 자체 유형 샘플 수)가 아니라 커버리지(coverage)입니다. 평가 분포당 하나씩 할당된 모든 유형은 세 가지 개념 모두에서 동일하게 자체 유형 합성 샘플 기준 7~11개의 중앙값 절반-이득 크기를 보입니다. 차이를 만드는 것은 한 유형의 샘플이 해당 개념의 다른 유형으로 얼마나 잘 전이되는지 여부로, 중대한 위험에서는 거의 완전히 전이되고, 유해성에서는 덜 전이되며, 지시에서는 가장 적게 전이됩니다. 이는 생성된 샘플과 실제 샘플 전반에서 개념 간 격차의 대부분을 설명합니다. 따라서 너비에 투자하는 효과는 개념에 따라 다릅니다. 어떤 유형도 다른 유형을 포괄하지 못하는 지시에서는 여러 유형이 필수적이지만, 한 유형이 나머지를 포괄하는 중대한 위험에서는 거의 불필요합니다. 본 연구는 평가 스위트, 개발 세트 및 생성된 세트를 공개합니다.
대규모 언어 모델(LLM) 에이전트는 프롬프트 주입(prompt injection), 탈옥(jailbreak), 안전하지 않은 요청에 대응하는 런타임 모니터로서 활성화 프로브(activation probe)에 점점 더 많이 의존하고 있으며, 에이전트가 행동을 취하기 전에 유해한 입력을 감지하기 위해 모델 자체의 은닉 상태를 읽어냅니다. LLM-as-a-judge 프롬프팅에서 착안하여 점점 더 널리 쓰이는 저비용 접근법은 사용자 턴 뒤에 짧은 분류(classification) 지시문을 덧붙이고 해당 지점에서 프로브를 읽어 판별력을 높이는 방식입니다. 즉, 이 지시문은 모델이 들어오는 요청을 하나의 클래스로 표현하도록 요구하여 프로브가 분리해야 할 신호를 집중시키며, 이때 추가 서빙 비용은 거의 들지 않습니다. 그러나 이러한 접미사(suffix)의 문구가 실제로 중요한지, 그리고 배포된 모니터가 직면하게 되는 상황인 학습(training) 중 한 번도 보지 못한 공격 유형에 대해서도 실제 환경에서 그 이점이 유지되는지는 명확하지 않습니다. 본 연구에서는 13개 안전성(safety) 벤치마크(탈옥, 주입, 일반 대화)와 세 가지 오픈 가중치(open-weight) 모델 제품군(Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B)을 대상으로 엄격한 LODO(leave-one-dataset-out) 평가를 수행하여 사용자 뒤에 붙는 접미사들을 체계적으로 통제하며 테스트했습니다. 단일 위치 프로브에서 분류 접미사는 접미사가 없을 때보다 분포 외(out-of-distribution) 탐지 성능을 일관되게 향상시켰습니다(최대 약 4 AUC 포인트). 그러나 어떤 접미사를 사용하는지가 중요합니다. 내용이 없는 라벨로라도 입력을 분류하도록 모델에 프롬프트를 제공하는 방식이 확실한 우위를 보인 반면, 주제를 벗어나거나 단순히 주의만 환기하는 접미사는 거의 도움이 되지 않았습니다. 이러한 이득은 명시된 기준이 아니라 분류 형식 자체에서 비롯됩니다. 내용이 없는 무의미한 접미사도 실제 악성/정상 분류 접미사와 대등한 성능을 보였으며, 명시적 기준은 엄격한 임계값에서만 정밀도(precision)를 더할 뿐이었습니다. 이는 단일 위치 읽기의 특이 결과가 아닙니다. 이 이점은 프로덕션 환경에서 사용되는 다중 위치 풀링(pooling) 프로브(어텐션, multi-max, MLP)로도 이어졌으나, 여기서 가장 우수한 성능을 내는 접미사는 판독(readout) 방식에 따라 달라졌습니다. KV-캐시 포크를 통해 서빙할 경우 이는 모든 활성화 프로브 모니터에 손쉽게 대체 적용할 수 있는 저비용 방식이지만 무조건적인 해결책은 아닙니다. 어떤 접미사가 얼마만큼 도움이 되는지는 모델과 판독 방식에 따라 달라집니다.
대규모 언어 모델(LLM) 에이전트가 다중 에이전트 시스템에 점점 더 많이 배포됨에 따라, 표준적인 형태의 인간 감독을 회피할 수 있는 은밀한 공모 위험이 대두되고 있습니다. 모델 활성화에 대한 선형 프로브(linear probe)는 단일 에이전트 환경에서 기만을 탐지하는 데 유망함을 보여주었으나, 담합은 본질적으로 다중 에이전트 현상이며 에이전트 간의 담합을 탐지하기 위해 내부 표현을 사용하는 방안은 아직 연구되지 않았습니다. 본 연구에서는 환경 분포 변화(distribution shift) 하에서 담합 탐지를 평가하기 위한 벤치마크인 NARCBench를 소개하고, 에이전트별 기만 점수를 집계하여 그룹 수준에서 시나리오를 분류하는 다섯 가지 프로빙 기법을 제안합니다. 이는 네 가지 오픈 가중치 모델(Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B, GPT-OSS-20B)과 여섯 가지 프로브 아키텍처 전반에서 평가되었습니다. 우리는 이를 분산 이상치 탐지(distributed anomaly detection) 문제로 구성하여, 서로 다른 이상 유형 및 탐지 패러다임과 대응되는 세 가지 담합 시그니처를 식별합니다. 모든 모델은 분포 내(in-distribution)에서 1.00 AUROC에 도달하며, 가장 강력한 모델(Llama-3.1-70B)의 경우 우리의 다섯 가지 프로빙 기법은 구조적으로 다른 다중 에이전트 시나리오로 제로샷 전이되었을 때 0.73~0.93 AUROC를 달성하고, 스테가노그래피 블랙잭 카드 카운팅 태스크에서는 0.99~1.00 AUROC를 달성하며 모델 성능에 따라 탐지 성능이 스케일링됨을 확인했습니다. 우리는 서로 다른 이상 유형에는 서로 다른 탐지 패러다임이 필요하다는 프레임워크의 예측과 일치하게, 모든 담합 유형에 걸쳐 독점적으로 우수한 단일 프로빙 기법은 없음을 발견했습니다. 본 연구는 탐지를 위해 에이전트 전반의 신호를 집계해야 하는 다중 에이전트 맥락으로 화이트박스 검사를 단일 모델에서 확장함으로써 다중 에이전트 해석 가능성을 향한 한 걸음을 내딛습니다. 이러한 결과는 다중 에이전트 담합을 탐지하는 데 있어 모델 내부가 텍스트 수준 모니터링에 대한 상호보완적인 신호를 제공함을 시사합니다. 코드 및 데이터는 https://github.com/aaronrose227/narcbench 에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 문맥 내 학습(ICL)을 통해 Hidden Markov Model(HMM)로부터 다음 관측값을 예측하는 놀라운 능력을 보여주지만, 이러한 능력의 기반이 되는 알고리즘은 아직 확정되지 않았다. 선행 연구에서는 여러 후보를 제안했으나 합의에 이르지 못했고, 어느 것도 모델의 내부 활성화에 근거하지 않았다. 우리는 3단계 파이프라인으로 이 공백을 메운다. 먼저, LLM의 행동을 후보 알고리즘 모음과 실증적으로 비교하여 후보 공간을 세 클래스로 좁혔다. 다만 단일 클래스가 모든 HMM 설정과 시퀀스 길이에 걸친 LLM 행동을 설명하지는 못한다. 둘째, 세 클래스 간의 이론적 연관성을 도출하고 각각이 트랜스포머에 의해 문맥 내에서 어떻게 구현될 수 있는지 보여주며, 소규모 학습된 트랜스포머에서 해당 구성을 검증한다. 셋째, 사전학습 LLM으로 돌아가 Principal Activations Probe(PAP)를 제안한다. PAP는 모델 활성화에서 알고리즘적 신호를 분리하는 층별 프로빙 및 개입 방법이다. PAP는 모델 예측을 인과적으로 유도하는 저차원 선형 표현을 밝히며, 실증적 ICL 성능을 추적한다. PAP는 또한 이러한 표현이 기저 HMM 체제의 속성에 따라 어떻게 변화하는지를 밝히며, 서로 다른 계산 단계가 서로 다른 층에 국한됨을 보여준다. 종합하면, 우리 결과는 사전학습 LLM의 문맥 내 행동을 기저 내부 메커니즘과 연결하고, LLM이 HMM에서 ICL을 수행하는 방식에 대한 이해를 발전시킨다.
언어 모델이 답을 생성하기 전에 특정 엔티티에 대한 자신의 친숙도를 추정할 수 있는가? 우리는 Bielik, PLLuM, Gemma-4, Qwen3 계열의 12개 인스트럭션 튜닝 모델에서 최종 프롬프트 토큰의 활성화를 연구한다. 네 개 도메인과 Wikipedia pageview 10분위에 걸친 1,440개의 폴란드어 엔티티로 구성된 새 데이터셋과 인위적 대조군을 사용한다. 친숙도 프로브 점수는 모든 계열에서 실제 엔티티와 인위적 엔티티를 구분한다. 폴란드어 적응 Bielik 및 PLLuM 계열에서는 추가로 엔티티 인기도와도 상관한다(모델 평균 Spearman $ρ$ 0.28–0.57, Gemma-4와 Qwen3에서는 최대 0.11). 이 패턴은 이 모델 표본에서 매개변수 수보다 폴란드어 적응과 더 강하게 연관된다. 두 계열에 대한 쌍 실험에서, 변경되지 않은 엔티티명 주위의 폴란드어 질문 줄기를 영어로 바꾸면 프로브는 동일 언어 내 AUROC의 96–101%를 유지하며, 이 설정에서 프롬프트 언어에 대한 견고성을 보여준다. 기본적으로 거절을 수행하는 유일한 모델인 Gemma-4-12B에서, 단일 층에서 1차원 친숙도 방향을 추가하면 거절률이 양방향으로 단조롭게 변화한다(잘 알려진 엔티티에서 0.24–1.00, 알려지지 않은 엔티티에서 0.73–0.00). 마지막으로, 보정된 친숙도 프로브는 생성 전 기권 게이트 가운데 경쟁력 있는 수준이지만, 생성 후 탐지기가 평균적으로 행동 오류를 더 잘 예측한다. 이 결과는 등급화된 생성 전 엔티티 친숙도 판독, 그리고 이를 기권으로 전환하는 정책과 표상 친숙도 사이의 분리를 뒷받침한다.
문맥은 주제나 표면 형태를 바꾸지 않으면서도 요청이 해로운지 여부를 바꿀 수 있다. 우리는 잔차 스트림(residual-stream) 프로브가 유용한 운영 지점에서 해로운 요청을 표면적으로 일치하는 양성(benign) 대조군과 구별할 수 있는지 조사한다. 세 가지 7-8B 모델 계열 전반에서, 활성화 센서는 분류체계로 선정된 집합에서 판정기(judge)가 분류한 준수(compliant) 공격의 95.5-97.7%를 차단한다. 또한 XSTest 프롬프트의 59.6-68.4%를 차단한다. 완전히 분리된 감사(audit)는 거의 상한에 가까운 소스 대비(source-contrast) AUROC(0.996-0.999)를 재현하지만, 고정 전이(transfer)를 일치 쌍(matched pairs)에 적용하면 성능이 더 약하다: guard가 선정한 Twin-n70 부분집합에서 0.656-0.819, 전체 Twin-n163 코호트에서 0.590-0.690이다. 우리는 기준(reference) 계열에서 10개 축, 모든 계열 전반에서 7개 축을 누출(leakage), 홀드아웃(hold-out), 순열(permutation) 통제와 함께 테스트한다. Twin-n163에서, 직접적인 쌍 경계(pair-boundary) 적합(fitting) 없이 평가된 어떤 축도 지정된 수치 임계값에 도달하지 못한다. 해당 전체 코호트에 대한 지속성(persistence) 요구 조건은 분석 시점에 추가되었다. 별도로 명시된 24B/32B 확장 실험에서도 동일한 결과를 얻는다. 쌍으로 학습된 분류기는 범주(category) 및 생성 배치 홀드아웃 하에서 성능이 약화되며, 코퍼스 내 TPR 95%에서 XSTest의 79.6-100%를 오차 차단(false-block)한다. 테스트된 판독(read) 지점에서, 이 활성화 점수들은 독립적인 문맥 판정기라기보다 광범위 위험 탐지기로 동작한다.
에이전트형 대규모 언어 모델(LLM)의 추론 시점 프라이버시 침해 문제를 해결하기 위해, NeuroFilter는 보조 LLM 기반 모니터 대신 모델 내부 활성화(activation)를 직접 탐침(probing)하는 프라이버시 필터를 제안한다. 단일 턴 및 다중 턴 대화 전반에 걸쳐 활성화 속도(activation velocity)를 추적함으로써 모자이크 공격과 대화 조작 공격에 강인하면서도 낮은 지연 시간으로 맥락적 프라이버시 위반 의도를 탐지할 수 있음을 실험적으로 입증한다.
대규모 언어 모델(LLM)은 사실과 맞지 않는 내용을 생성하기 쉬워, 모델 내부 신호로부터 진실성을 평가하는 방법의 필요성이 커지고 있다. 지도 프로bing 접근은 효과적일 수 있지만, 라벨 데이터와 분류기 학습이 필요하다. 최근의 학습 없는 방법은 매개변수 최적화는 피하지만, 모델 내부에서 진실성 관련 신호가 어떻게 발생하는지에 대한 통찰을 제한적으로만 제공하는 거친 활성화 통계에 의존한다. 우리는 개별 다층 퍼셉트론(MLP) value vector 수준에서 동작하는 학습 없는 접근을 제시한다. 체계적 분석을 통해, 대부분의 value vector는 의미 있는 신호를 보이지 않지만, 희소한 부분집합이 내용의 진실성과 안정적이고 방향적으로 일관된 상관을 보인다는 것을 발견했다. 이 관찰을 활용하여, 이러한 value vector가 표현하는 선호를 집계하는 단순한 추론 방법 TruthV를 제안한다. TruthV는 관련 vector를 식별하는 데 작은 support set만 필요하며, 추가 모델 매개변수나 분류기 가중치를 도입하지 않는다. 우리는 2B부터 13B까지의 모델 규모와 질의응답, 자연어 이해(NLP), 환각 평가를 포함한 여러 벤치마크에서 TruthV를 평가한다. TruthV는 기존 학습 없는 baseline을 일관되게 능가하며, LLM에서 진실성 관련 변이가 MLP value vector 수준에서 희소하고 구조적인 방식으로 포착됨을 보여준다.