언어 모델(language model)의 활성화(activation)로부터 진실을 디코딩하는 선형 프로브(linear probe)는 기만 탐지 모니터로 제안되어 왔으며, 기만하도록 학습(training)된 모델에서 진실 프로브의 점수가 무작위 확률(chance) 이하로 나오는 것은 모델이 진실을 숨겼거나 표현하는 것을 멈췄다는 증거로 자연스럽게 해석됩니다. 우리는 적합 레이블(fitting-label)의 모호성이 동일한 판독 결과를 만들어낼 수 있음을 보여줍니다. 통제된 게임에서 모델은 아군에게는 비밀 비트를 보고하고, 라이벌에게는 그 보수(complement)를 보고해야 합니다. 순응적(아군) 문맥에서는 실제 비트와 과제가 규정한 답변이 동일한 레이블이 되므로, 그곳에 적합된 프로브는 둘 중 어느 것을 측정하는지 구별할 수 없습니다. 우리는 이러한 완전한 일치를 완전한 앨리어싱(perfect aliasing)이라고 부릅니다. 이 레이블들은 라이벌 문맥에서는 서로 보수 관계이므로, 각각에 대해 평가된 하나의 아군 적합 프로브는 합이 1이 되는 라이벌 AUROC를 갖습니다. 아군 및 라이벌 문맥을 함께 사용하는 혼합 적합(mixed fitting)은 두 레이블을 다르게 만듭니다. 또한 무작위화된 출력 코드북은 규정된 답변을 출력 글자로부터 분리합니다. 평가된 모든 라이벌 시행에서 거짓으로 답하는 보상(reward) 학습된 Gemma-2-9B 정책의 경우, 아군 적합 프로브는 마지막 층(layer)에서 $0.006 \pm 0.005$ AUROC(3개의 강화학습 시드에 대한 평균 $\pm$ 표본 표준편차)를 기록하는 반면, 혼합 적합 프로브는 동일한 홀드아웃(held-out) 활성화에서 1.000을 기록합니다. 혼합 적합은 또한 더 많은 예제와 레이블이 지정된 라이벌 데이터를 사용하므로, 이는 실제 비트가 선형적으로 복구 가능한 상태로 남아 있음을 보여줄 뿐, 레이블을 분리한 것만으로 성능 향상이 완전히 설명된다는 것을 의미하지는 않습니다. 지시(instructed) 모델인 Llama-3.1-8B에서는 한 프롬프트(prompt) 변형에서 재적합된 프로브와 참조 변형에서 고정된 프로브 모두 홀드아웃 아군 정확도가 1.000이지만, 동일한 시행에 대해 라이벌 진실 AUROC는 각각 0.080과 0.986을 보입니다. 우리의 주요 실험은 프롬프트에 비트를 명시하는 단일 토큰(token) 게임을 사용하므로, 복구된 방향은 유지된 비트의 복사본을 읽는 것일 수 있습니다. 모델이 비트를 추론해야 하는 경우, 테스트된 어떤 조건에서도 안정적으로 기만하지 못했습니다. 우리는 모델이 해당 정보를 사용하는지가 아니라, 프로브가 무엇을 측정하는지를 연구합니다.
대규모 언어 모델(LLM)은 도덕적 지식을 어떻게 조직할까요? 모델은 도덕적 내용을 폭넓게 탐지하지만, 단순 탐지는 낮은 기준에 불과합니다. 본 연구는 모델이 여기서 더 나아가 서로 다른 도덕적 기반을 구별하고 그들 간의 관계를 기하학적으로 조직하는지 묻습니다. 도덕 기반 이론(Moral Foundations Theory, MFT)의 각 범주(돌봄/피해, 공정/기만, 자유/억압, 충성/배신, 권위/전복, 고결/퇴폐)에 대해 하나씩, 오픈 가중치(open-weight) 언어 모델에서 6개의 독립적인 선형 프로브(linear probe)를 학습시키고, 그 결과 도출된 방향들이 표현 공간에서 서로 어떻게 연관되는지 조사합니다. 그 결과, 이 방향들은 단일한 도덕 탐지기로 붕괴되지도 않고 서로 완전히 고립되지도 않음을 발견했습니다. 대신 양(positive)의 공통 성분을 공유하면서 거의 최대에 가까운 수의 독립적인 차원에 걸쳐 분포합니다. 이 공유된 성분은 통합(integration)의 특징적인 징후이며, 동일하게 구축된 대응 비도덕적 개념군과 비교할 때 도덕에 특화되어 있습니다(평균 쌍별 코사인 유사도 0.26 대 0.013). 이러한 기하학적 구조는 아키텍처와 규모 전반에 걸쳐 일관되며, 프로브 정확도가 포화되기 훨씬 전인 사전학습(pre-training) 초기에 통합 상태에 도달합니다. 모델이 발견한 구조는 도덕 기반 이론이 예측한 개별화/결속(individualizing/binding) 구분의 증거를 보이지 않으며(검정력이 낮은 테스트: 단 10개의 고유한 분할만 존재하여 0.05 수준에서 기각할 수 없음), 오히려 말뭉치 통계를 반영합니다. 도덕적 딜레마로 확장했을 때, 각 딜레마 방향은 불일치 쌍 기준선(baseline) 대비 2.7배 수준으로 구성 기반들로부터 부분적으로 합성되는 동시에 분산의 대부분은 갈등 특화 구조를 인코딩합니다. 즉, 모델은 사전에 해결된 판단이 아니라 도덕적 긴장 자체를 표현합니다.
이미지 공간에서의 변환이 모델의 내부 표현(representation)에서 어떻게 나타나는지 이해하는 것은 표현 분석의 오랜 목표였습니다. 이전 연구들은 특징 맵(feature map) 간에 학습된 선형 연산자를 통해 기하학적 변환을 포착할 수 있음을 보여주었으나, 이것이 측광(photometric), 국소적(local) 및 의미론적으로 정의된 편집으로까지 확장될 수 있는지는 여전히 불분명합니다. 본 연구에서는 공간적으로 공유된 선형 사상(shared linear map)부터 비선형 벡터별, 수용영역(receptive-field), 글로벌 트랜스포머 모델에 이르기까지 용량(capacity)을 늘려가며 프로브(probe)를 학습시켜, 기하학적 변환, 측광 편집, 폐색(occlusion), 그리고 디퓨전 기반 의미론적 편집으로 인해 유도된 특징 공간의 변화를 예측합니다. ConvNeXt, SwinV2, DINOv3 전반에 걸쳐, 단일 공유 선형 사상은 지도학습(supervised) 백본에서 훨씬 더 표현력이 뛰어난 프로브만큼 보류된 조작 결과를 거의 잘 예측하는 경우가 많았으며, 이러한 충족성은 일반적으로 깊이가 깊어질수록 증가했습니다. 다만 DINOv3에서는 이러한 양상이 덜 일관되게 나타났습니다. 이러한 결과는 단순한 공간 공유 선형 연산자만으로도 다양한 이미지 조작을 표현하기에 충분한 경우가 많음을 시사하며, 이때 주요 특이 성분(leading singular components)은 의미론적 내용을 포착하고 고차원 랭크 성분은 주로 이미지 세부사항을 정제합니다. 우리는 이러한 발견을 내재적인 선형 특징 공간 기하학의 증거라기보다는 예측적 표현 충족성(predictive representational sufficiency) 관점으로 규정합니다.
대규모 언어 모델(LLM)은 훨씬 더 어려운 추론 작업에서는 잘 수행하지만, 목록에서 단어가 몇 번 반복되는지 세는 데는 실패한다. 이러한 실패는 흔히 내부 개수 추적의 한계 때문이라고 여겨진다. 우리는 이 귀인이 틀렸음을 보인다. 잔차 스트림(residual stream)에 대한 선형 프로브(linear probe)는 모든 임베딩 이후 층에서 거의 완벽한 정확도로 올바른 개수를 디코딩하며, 출력에서 잘못된 답이 굳어지는 바로 그 층에서도 마찬가지이다. 어텐션 패턴은 반복 토큰에 대한 붕괴의 증거를 보여주지 않으며, 토큰화 인공물은 실패의 원인을 전혀 설명하지 못한다. 대신, 네트워크 깊이의 대략 85–93% 지점에 있는 다층 퍼셉트론(MLP) 블록이 올바르게 인코딩된 개수를 고정된 잘못된 답으로 덮어쓴다. 이 블록을 제거(ablation)하면 잘못된 출력이 바뀌며, 이것이 실패에 인과적으로 책임이 있음을 입증한다. 이 블록은 공백으로 구분된 반복 단어 형식에서 작동하며, 반복된 숫자 토큰에는 나타나지 않는다. 이 패턴은 Llama-3.2(1B 및 3B)와 Qwen2.5(1.5B, 3B 및 7B)에서 일관된 상대적 깊이에서 유지된다. 개수는 올바르게 표현되지만 특정 연산이 그것이 출력에 도달하는 것을 막으므로, 표현 실패와 라우팅 실패는 서로 다른 개입을 요구한다.
자해 콘텐츠는 자연어 처리(NLP) 기법으로 탐지하기 특히 어려우며, 시의적절한 개입이나 위험에 처한 사용자 표시를 위해 최고 수준의 정확도가 필요한 고위험(high-stakes) 과제이기도 합니다. 따라서 우리는 대규모 언어 모델(LLM)이 이러한 자해 콘텐츠를 어떻게 표현하는지에 대한 분석을 제시하며, 이는 자해 탐지, LLM 개입, 거버넌스 및 단속에 하위 응용이 있습니다. 본 논문에서는 두 데이터셋과 네 모델에 초점을 맞추고 두 가지 주요 실험을 수행합니다: (1) X-Sensitive와 SH-Detection이라는 두 자해 데이터셋에 대해 각 모델의 모든 레이어에서 선형 프로브(linear probe)를 학습하고 평가합니다. 두 말뭉치 모두에서 자해 정보는 네트워크 레이어의 마지막 3-7%(깊이 93-97%)에서 뚜렷하게 형성됩니다. (2) 대조적 자해 방향(contrastive self-harm direction)을 추출하고, 정규화(normalization) 단계를 수행한 후, 가장 정확한 프로브가 반드시 가장 선형적으로 분리 가능한 것은 아님을 발견합니다. 특히 Gemma-3-4B는 다른 LLM들과 비교해 이 대조적 자해 방향을 약간 다르고 더 복잡한 방식으로 표현하는 것으로 나타났습니다.
대규모 언어 모델(LLM)은 틀렸을 때에도 사용자의 진술에 동의하는 아첨(sycophancy)을 자주 보인다. 아첨은 종종 하나의 균일한 행동으로 연구되지만, 맥락에 따라 실질적으로 뚜렷이 다른 방식으로 나타날 수 있으며, 이러한 이질성이 내부 메커니즘에 반영되는지에 대한 질문을 제기한다. 이 공백을 메우기 위해, LLM에서 이질적인 진실 표현에 대한 선행 연구를 바탕으로 아첨의 표현을 사실(factual) 및 의견(opinion) 하위 유형으로 분리한다. 한 하위 유형의 활성화(activation)에 대해 선형 프로브(linear probe)를 학습하고 스티어링 벡터(steering vector)를 구성한 뒤, 다른 유형으로의 전이(transfer)를 평가하여 표현이 얼마나 공유되는지 측정하고 선형 판별 분석(Linear Discriminant Analysis)을 통해 시각화한다. 다양한 LLM이 이러한 하위 유형을 서로 다르게 표현하며, 더 유사하거나 더 뚜렷히 구분된 표현을 보인다는 것을 발견하고, 이 통찰을 아첨 감소를 위한 표현적 개입(representational intervention) 개선에 적용한다. 우리의 분리 방법은 복잡한 모델 행동의 표현 구조를 연구하기 위한 일반적인 프레임워크를 제공한다.
DeepSeek-R1-Distill-Qwen-7B와 같은 사고의 연쇄(Chain-of-Thought) 추론 모델은 이분형 수렴 패턴을 보인다: 생성은 토큰 예산 내에서 종료되거나(수렴), 결론에 도달하지 못한 채 예산을 소진한다(비수렴). 우리는 이 현상을 실증적으로 특성화하며, 수렴한 생성은 AIME 1983-2024에서 90.3% 정확도를 달성하는 반면 비수렴된 생성은 6.6%에 그치며, 전체 수렴률은 62.0%임을 보인다. 그다음 우리는 내부 모델 표현을 사용하여 사고 사슬 초기에 이 결과가 탐지 가능한지 묻는다. 토큰 위치 50-300에서 은닉 상태 활성화에 선형 프로브를 학습(training)한 결과, 토큰 150에서의 20층(layer) 활성화가 AUC 0.608(±0.080, 5-fold CV)을 달성하며, 토큰 50에서조차도 우연보다 확실히 높다. 활성화 프로브는 토큰 엔트로피 및 반복 통계에서 파생된 행동 기준선을 일관되게 능가한다. 스윕 수준 순열 검정은 p=0.063(100,000회 순열)을 산출하며, 이는 표본 크기로는 통상적 임계값에서 확인할 수 없는 완만한 신호와 일치한다. 이러한 발견은 수렴(convergence) 운명이 생성이 끝나기 훨씬 전부터 중간 표현에 부분적으로 인코딩되어 있음을 시사하며, 조기 종료 추론(inference) 및 적응형 연산 할당으로의 길을 연다.
대규모 언어 모델(LLM)은 은닉 상태에 풍부한 정보를 인코딩한다. 본 연구는 LiveCodeBench의 444개 과제 집합에서 평가하여, Qwen3-4B-Instruct-2507이 아직 생성하지 않은 코드의 정확성이 이미 그 은닉 상태에서 읽을 수 있는지를 묻는다. 모델의 첫 번째 시도 코드 정확성은 어떤 출력 토큰도 생성되기 전에 포착된 최종 프롬프트 토큰에서의 은닉 상태로부터 선형적으로 디코딩 가능하며, 50개의 외부 분할(outer splits)에 걸쳐 누수 없는(leakage-free) 홀드아웃 AUC는 0.881 +/- 0.008이다. 이 신호가 프롬프트 길이로 설명되는지 평가하기 위해, 각 은닉 상태 차원은 그 선형 효과에 대해 잔차화(residualized)된다. 프로브는 여전히 AUC 0.842 +/- 0.010을 달성하여, 로지스틱 프롬프트 길이 기준선 0.657 +/- 0.014보다 상당히 높으며, 테스트한 비선형 모델 중 어느 것도 이를 개선하지 못한다. 실패한 첫 시도 이후 성공적인 자가 수정(self-repair)이 모델의 은닉 상태에 기하학적 서명을 남기는지에 대한 동반 질문은, 이 설정에서 분석을 뒷받침하기에 그러한 성공적 수정이 너무 드물어 답할 수 없었다. 이 기여는 경험적·방법론적이며, 생성 이전 은닉 상태에 최종 코드 정확성의 견고한 신호가 담겨 있음을 보여주는 증거와, 프롬프트 길이에 대한 조정 후에도 그 신호의 어느 정도가 남아 있는지를 정량화하는 교란(confound) 통제 진단을 함께 제공한다.
대규모 파운데이션 모델의 부상과 함께, 이를 하위 작업(downstream task)에 효율적으로 적응시키는 것은 여전히 핵심 과제로 남아 있다. 백본을 고정하고 경량 헤드를 학습하는 선형 프로빙(linear probing)은 계산 효율적이지만, 종종 마지막 층 표현에만 국한된다. 우리는 과제 관련 정보가 네트워크 계층 전체에 분포되어 있으며 마지막 층에만 인코딩되는 것이 아님을 보인다. 이 정보 분포를 활용하기 위해, Vision Transformer의 모든 층 표현을 동적으로 융합하는 어텐션 기반 프로빙(attentive probing) 메커니즘을 적용한다. 이 어텐션 층 융합(attentive layer fusion, ALF)은 대상 과제에 가장 관련 있는 층을 식별하도록 학습하며, 저수준 구조적 단서와 고수준 의미적 추상화를 결합한다. 20개의 다양한 데이터셋과 여러 사전학습 파운데이션 모델에 걸쳐 ALF는 표준 선형 프로브 대비 일관되고 상당한 성능 향상을 달성한다. 어텐션 히트맵은 또한 사전학습 도메인과 다른 과제가 중간 층 표현으로부터 가장 큰 이득을 얻음을 보여준다. 전반적으로, 우리의 발견은 중간 층의 가치를 강조하며, 프로빙 기반 적응을 위해 그 잠재력을 활용하는 원칙적이고 과제 인지(task-aware)적인 접근법을 제시한다.
금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.
대규모 언어 모델(LLM)은 한 번에 하나의 토큰을 생성하지만, 그 응답은 놀랍도록 일관된 길이 구조를 보인다: 단계별 풀이는 예측 가능한 토큰 수로 수렴하고, 검색 결과는 몇 문장 후 멈추며, 철회(retraction)는 측정 가능한 양만큼 응답을 늘린다. 우리는 모델이 남은 응답량에 대한 내부 추정치를 보유하는지 묻는다. 7개의 완성(completion) 스타일 데이터셋에 걸쳐 3개의 오픈 가중치 7–8B 모델의 고정된 은닉 상태에 최소 용량 선형 프로브(linear probe)를 학습시킨 결과, 세 가지 수렴하는 증거를 발견했다. 첫째, 전체 응답 길이는 어떤 출력도 생성되기 전에 프롬프트의 마지막 은닉 상태만으로 선형적으로 디코딩 가능하다. 둘째, 자연어 데이터셋으로 학습된 프로브 방향은 학습 중 본 적 없는 통제된 합성 완성을 포함하여 폭넓게 전이(transfer)되며 통계적 기준선을 능가한다; 반대 방향은 일반적으로 실패하며, 이 비대칭성 자체가 정보를 제공한다. 셋째, 선별된 고손실 완성에서 프로브의 위치별 추정치는 모델이 부분 풀이를 철회하고 재시작하는 순간 상향 이동하는데, 이는 위치 정보만을 이용하는 예측기로는 재현할 수 없는 방향성 행동이다(집계 수준이 아닌 정성적 관찰). 우리는 이를 트랜스포머에 대한 정확한 카운팅 불가능성 결과와 구별되는 남은 생성 길이의 근사 추정으로 정의하며, LLM이 출력 길이에 대한 계획 유사 내부 표현을 유지한다는 증거로 해석한다(디코딩 가능하지만 반드시 인과적으로 사용되는 것은 아님).
동결된 비전-언어-액션 모델(VLA)은 매 의사결정 단계마다 최근 관찰을 입력받지만, 기존 연구들은 기억을 추가하는 데 초점을 맞췄을 뿐 기존의 과거 정보가 어떻게 표현되고 활용되는지는 묻지 않았다. 본 연구는 두 아키텍처 계열의 세 가지 VLA에 걸쳐 층별(layer-resolved) 선형 프로빙과 인과적 교환 개입(causal interchange intervention)을 통해 이 시간적 축을 분석한다. 우리는 세 가지 해리(dissociation) 현상을 발견했다. 첫째, 과거 프레임의 내용은 네트워크 전반에 걸쳐 선형적으로 디코딩 가능한 상태로 유지된다. 둘째, 현재 프레임을 넘어서는 과거 고유의 정보는 거의 존재하지 않으며, 이는 저장된 과거 정보가 현재의 중복적 복사본에 불과함을 나타낸다. 셋째, 과거 정보는 현재 프레임이 심각하게 손상된 경우에만 인과적으로 활용되며, 액션 출력은 네트워크를 거치면서 과거 정보에 대한 의존성을 점진적으로 잃는다. 모든 모델이 과거 정보를 유사하게 인코딩함에도 불구하고, 배포 전략은 서로 다르다. 동일한 가림(occlusion) 조건 하에서 한 아키텍처는 폴백(fallback)으로 과거 정보에 대한 의존도를 높이는 반면, 다른 아키텍처는 의존도를 낮춘다. 우리는 이 두 체제를 구별하는 학습 없는 시간적 배포 감사 방법도 추가로 제안한다. 폴백 체제에서는 과거 정보를 재주입해도 가림 현상을 복구하거나 액션을 명확하게 구분하지 못하며, 이는 저장된 표현의 중복성을 확인시켜 준다. 반대 체제에서는 동일한 개입이 예측된 액션을 제공된 과거 정보 방향으로 안정적으로 조종한다. 이러한 결과는 조종 가능성이 과거 정보의 인코딩 여부가 아닌 배포 방식에 달려 있음을 보여준다. VLA는 과거를 잊지 않는다. 다만 과거를 현재와 구별되는 정보로 표현하는 데 대체로 실패한다. 본 연구의 결과는 향후 메모리 증강이 단순히 더 많은 과거 정보를 주입하는 것이 아니라 과거 고유의 정보를 주입하는 방향으로 이루어져야 함을 시사한다.
Llama-3.1-8B, Qwen2.5-7B, Mistral-7B를 대상으로 기후변화·백신·진화론에 대한 사용자 회의론에 LLM이 어떻게 반응하는지를 행동 측정과 선형 프로빙(linear probing), 활성화 패칭(activation patching)으로 분석한 결과, 예상과 달리 어떤 모델도 거짓 균형(false balance) 쪽으로 후퇴하지 않았으며 Llama의 반응적 주장 강화, Qwen의 표면적 어조 완화, Mistral의 무반응이라는 세 가지 이질적 정책이 관찰되었다. 이 행동 차이는 정렬 태도가 아닌 표현 기하학(representational geometry)—즉 모델이 회의론 신호를 내부적으로 선형 표현하는지 여부—에서 비롯되며, 견고성이 도메인 간에 전이되지 않고 백신 도메인에서는 오히려 역전될 수 있어 행동 평가만으로는 능동적 견고성과 우연적 견고성을 구별할 수 없다고 주장한다.
자기지도 비전 트랜스포머(ViT)가 기하학적 정보를 어떻게 인코딩하는지 분석하기 위해, 선형 프로브 가중치에 SVD를 적용하여 저랭크 부분공간을 분리하는 제어된 개입 프레임워크를 제안한다. DINOv2는 기하학적 특징을 선형 추출에 적합한 저차원 부분공간으로 압축하는 반면 MAE는 분산시키며, 기하학적 정밀도는 중간 레이어에서 최고조에 달한 후 최종 레이어에서 의미론적 표현에 자리를 내어준다는 사실을 밝혔다.
Large language models exhibit a growing range of misaligned behaviors such as strategic deception, sandbagging, and self-preservation. As they are increasingly deployed in high-stakes settings, it is critical to reliably detect such behaviors to ensure safe and responsible use. In this work, we propose to monitor misalignment by decomposing it into fine-grained cognitive processes -- misalignment indicators -- and detecting their presence in a model's internal activations via linear probes. We develop a taxonomy of 18 indicators spanning different misaligned behaviors, paired with an automated, meta-plan-guided pipeline that generates multi-turn training conversations. To rigorously evaluate generalization, we construct an out-of-distribution suite combining automated behavioral elicitation, established misalignment benchmarks, and natural benign conversations. Across 5 misaligned behaviors, our probes match a strong LLM judge with 0.935 AUROC on out-of-distribution benchmarks while keeping a low false positive rate on benign traffic. We further perform in-depth analysis to understand the probes and the model's internal representations of misalignment indicators.
최근 대규모 언어 모델(LLM)의 발전은 자동 에세이 채점(AES)을 획기적으로 변화시켰으나, LLM 기반 채점의 내부 메커니즘은 여전히 명확히 이해되지 않고 있습니다. 본 연구에서는 두 개의 영어 에세이 데이터셋(ASAP++, CSEE)과 하나의 포르투갈어 데이터셋(ENEM)에 걸쳐 8개의 LLM의 은닉 표현을 체계적으로 분석합니다. 선형 탐색(linear probing), 교차 프롬프트 일반화, 차원 축소, 뉴런 수준 분석을 사용하여, 에세이 품질 정보가 LLM 표현 내에서 선형적으로 접근 가능한 형태로 인코딩되어 있다는 일관된 증거를 발견했습니다. 이러한 표현은 층을 따라 점진적으로 나타나며, 프롬프트 전략 전반에 걸쳐 견고하고, 채점 기준의 차이에도 불구하고 에세이 프롬프트 간에 부분적으로 전이됩니다. 또한, 비선형 프로브는 선형 프로브에 비해 미미하고 불일치한 개선만을 제공하며, 이는 대부분의 에세이 품질 정보가 이미 선형적으로 디코딩 가능함을 시사합니다. 우리는 또한 활성화가 에세이 점수와 강하게 상관되고 그 행동이 특정 개입에 민감한 개별적인 '에세이 채점 뉴런'을 식별했습니다. 더욱이, 이러한 뉴런의 층별 분포는 에세이 길이에 따라 체계적으로 변화하며, 더 긴 에세이는 더 깊은 층에 더 크게 의존합니다. 전반적으로, 우리의 발견은 LLM이 에세이 품질과 관련된 구조화된 표현을 인코딩한다는 증거를 제공하며, LLM 기반 AES 시스템의 해석 가능성에 대한 새로운 통찰을 제공합니다.
표준 정확도 메트릭만으로는 대규모 언어 모델(LLM)이 변수 추적은 수행하면서 의미적으로 동등한 루프에서는 실패하는 이유를 설명할 수 없습니다. 우리는 코드 추론의 내부 수명 주기를 연구합니다. 이 과정에서 모델은 먼저 답변을 생성(Brewing)하여, 답변이 자체적으로 디코딩 가능해지기 훨씬 전 여러 층(layer)에서 선형적으로 복원 가능하게 만듭니다. 그 후 모델은 해결됨(Resolved), 과도하게 처리됨(Overprocessed), 잘못 해결됨(Misresolved), 미해결(Unresolved)의 네 가지 해결 결과 중 하나로 분기합니다. 이 수명 주기를 이해하는 것은 중요합니다. 왜냐하면 유사한 작업 정확도가 표면적 평가로는 감지할 수 없는 근본적으로 다른 실패 모드를 은폐할 수 있기 때문입니다. 우리는 층별 선형 탐지(linear probing)와 문맥 제거 디코딩(Context-Stripped Decoding, CSD)을 결합한 이중 진단 프레임워크를 소개하고, 이를 Qwen, Llama, DeepSeek 아키텍처에 걸친 16개 모델의 6개 코드 추론 작업군에 적용합니다. 네 가지 결과 모두 모든 작업군에서 상당한 비중을 차지합니다. 전체적으로 해결됨(Resolved) 비율은 41.5%에 불과하며, 여러 작업은 30% 미만입니다. 구조, 깊이, 연산자에 대한 제어된 탐색을 통해 작업별 실패 병목이 드러납니다. 예를 들어, 호출 깊이가 1에서 3으로 증가함에 따라 함수 호출 해결(Resolved) 비율은 61.1%에서 2.5%로 급락합니다. 아키텍처와 규모에 걸쳐 생성(Brewing) 스캐폴드는 안정적으로 유지되며, 16개 모델 모두에서 정규화된 생성 지속 시간은 24-42%를 차지하는 반면, 해결 성공률은 능력에 따라 달라집니다. 이는 스캐폴드가 테스트된 디코더 전용 트랜스포머 계열 전반에 걸쳐 안정적인 경험적 규칙성임을 나타내는 반면, 해결 성공률은 능력, 규모, 학습(training)과 함께 변화함을 시사합니다. 코드: https://github.com/euyis1019/llm-brewing