Safety evaluations often assume that behavior observed during testing reflects behavior in ordinary use, but fine-tuning can break this assumption. A checkpoint can appear fixed under evaluation-style prompts while the same behavior persists under ordinary-use prompts. Output scores reveal this mismatch but do not locate it. We investigate whether the distinction is encoded in a stable internal site and introduce an audit that fits a paired activation contrast at a path-patching-informed mid-depth window, then modifies the resulting coordinate on held-out prompts. The intervention reduces the evaluation-to-deployment gap by more than $0.12$ in ten of twelve model--behavior settings and closes it (post-intervention gap below $0.06$) in four, across four full-matrix instruction-tuned model instances; among the eight settings with $n{\geq}120$ paired questions, six reduce and one closes. A fifth model supports localization and edit-provenance checks, and in the twelve settings deployment-framed rates change by at most $6.1$pp. On retrained checkpoints, random directions at the same dose do not reproduce the effect, and off-window controls do so only in part. The strongest literal evidence for an evaluation-versus-deployment distinction comes from sandbagging, whose prompt framing is explicitly evaluative; sycophancy and refusal test framing-contingent task distinctions. The two weak cells, both sycophancy, show where a single-coordinate audit at a fixed window is not sufficient. The audit is a non-adaptive, white-box diagnostic for controlled fine-tuned checkpoints, not a training-time defense, a guarantee of deployment safety, or evidence about naturally arising failures.
오정보(misinformation)를 평가하려면 독자가 콘텐츠를 믿는지와 이를 공유할 것인지를 구별해야 합니다. 대규모 언어 모델(LLM)에 두 질문을 모두 던지면 두 개의 점수가 나오지만, 공유에 대한 답변이 신뢰도 답변을 넘어선 추가적인 정보를 제공할까요? 본 연구에서는 317명의 참여자 식별자가 포함된 1,256개의 쌍체 설문 응답을 외적 타당도 기준으로 삼아, 290개의 합성 오정보 기사를 대상으로 8개 모델 버전을 감사(audit)합니다. 초기 역전 현상이 감사의 동기가 됩니다. 즉, 모든 모델의 원시 공유 점수가 신뢰도 점수보다 인간의 평균 공유를 덜 정확하게 예측합니다. 이러한 순서는 오프셋 보정 후 변경되므로 그 자체만으로는 누락된 정보를 진단하지 못합니다. 대신 본 연구에서는 점수 재구성 가능성, 도출 형식 전반에서의 지속성, 점진적 인간 타당도를 구분합니다. 신뢰도는 홀드아웃(held-out) 상수 기준선 대비 모델 공유 변량의 30.8~72.5%를 예측하며, 나머지 공유 차이는 질문 순서 및 개별 질문 조건 전반에서 0.61~0.75의 상관관계를 보입니다. 그러나 인간 및 모델 신뢰도에 모델 공유를 추가해도 고정 회귀에서 -0.25%에서 +0.69%의 오차 감소만 발생하며, 모든 탐색적 구간이 0을 포함합니다. 유연한 예측 및 형식 변경 역시 개선을 입증하지 못합니다. 따라서 공유 답변은 관찰된 신뢰도 점수를 넘어서는 구조화된 변량을 포함하고 있지만, 본 데이터에서는 인간 공유에 대한 점진적 타당도가 입증되지 않았습니다. 이러한 결과는 프롬프트 간 점수 차이나 일치도를 살펴보는 것을 넘어, 도출된 각 결과의 기여도를 검증해야 할 필요성을 시사합니다.
기호 그라운딩(symbol grounding) 문제는 '고양이(cat)'와 같은 토큰(token)이 어떻게 실제 고양이에 관한 것일 수 있는지를 묻는다. 본 논문에서는 명시된 의미론적 표준에 비추어 그라운딩 주장을 감사(audit)하기 위한 프레임워크를 제안한다. 감사는 측정값과 증거를 보고하며, 전반적인 판정은 명시적인 수용 기준에 따라 조건부로 이루어진다. 감사의 프로파일은 시스템이 메커니즘을 어떻게 획득했는지, 그 메커니즘이 성능에 어떻게 기여하는지, 왜 유지되었는지에 대한 증거와 함께 정확도, 강건성(robustness), 구성을 평가한다. 간단한 그리드월드(toy gridworld) 실험에서 에이전트(agent)는 개별 기호는 정확하게 해석하지만, 배제되었던 조합에는 실패한다. 명시된 규칙에 따라 해석을 구성한다면 성공할 수 있다. 이러한 비교는 관찰된 실패 내에서 구성 규칙으로부터의 이탈을 식별한다. 본 감사와 사전학습된 단어 벡터에 대한 파일럿 연구 모두 지정된 메커니즘이 현재 성능에 기여한다는 증거를 제시한다. 다만 그러한 기여가 해당 메커니즘의 유지를 설명하는지는 여전히 검증되지 않은 상태로 남는다. 이 프레임워크는 그라운딩 주장에 대한 증거를 평가할 뿐이며, 의미가 어떻게 창발하는지를 설명하는 것은 여전히 후보 설명 모델의 몫으로 남는다.
AI 가상 세포는 지정된 개입에 대한 세포 반응 예측을 목표로 하지만, 홀드아웃(held-out) 예측 성능만으로는 제공된 섭동(perturbation) 정보의 활용 여부를 입증하지 못합니다. 이러한 예측-주장 간의 격차는 언어 모델 에이전트(agent)가 점수 기반 피드백을 사용하여 예측 모델을 생성하고 수정하는 에이전트 기반 모델(model) 발견에서 중요합니다. 본 논문에서는 입력이 언급된 계산에 들어갈 수 있는지, 적합된 예측이 해당 입력에 의존하는지, 그리고 그 의존성이 관찰된 반응의 예측을 개선하는지를 검증하여 입력 사용 주장을 감사하는 CELLAUDIT을 소개합니다. 쌍을 이룬 형태학-전사체학 섭동 벤치마크(BBBC047)에서, 에이전트가 선택한 예측 모델은 평균 홀드아웃 전체 피어슨 상관계수(Global Pearson correlation coefficient, PCC) 0.3153을 달성하지만 화합물 치환에 불변(invariant)인 상태를 유지하며, 대조군 프로파일 전용 예측 모델은 0.3142에 도달합니다. 소스 검사를 통해 싱글톤(singleton) 키-값 어텐션(attention)에 의해 차단된 화합물-쿼리 경로가 확인되며, 분리된 대조군 웰을 사용해 재적합한 후에도 불변성이 지속됩니다. 연결된 두 작업에 걸친 48개 후보에 대한 계층화 감사에서 47개는 두 홀드아웃 폴드 모두에서 화합물 치환 시 예측을 변경하지만, 두 폴드 모두에서 0을 상회하는 구간을 가지며 목표 손실(loss) 이득을 보이는 것은 20개에 불과합니다. BBBC047에서 반증 기반 수정은 대조군 프로파일 전용 기준선(baseline) 대비 이득을 유지하면서 양의 평균 화합물 기여도를 회복합니다. 매칭된 sci-Plex 탐색에서, 감사로 강화된 피드백은 쌍을 이룬 신뢰 구간이 0을 포함함에도 불구하고 5개 궤적에 걸쳐 더 높은 홀드아웃 성능과 더 큰 평균 화합물 및 투여량 기여도를 가져옵니다. 독립적으로 획득된 코호트에서 고정된 설계를 재적합한 결과, 예측 일반화가 입력 사용 주장의 일반화를 의미할 필요는 없음을 보여줍니다. 즉, 투여량 기여도는 유지되는 반면 화합물 동일성에 대한 근거는 유지되지 않습니다. CELLAUDIT은 에이전트 기반 모델 발견에 반증 층(layer)을 추가하여, 생성-점수화-수정에서 발견-반증-수정으로 나아갑니다.
대규모 언어 모델(LLM)의 머신 언러닝(machine unlearning)은 지정된 지식을 제거하면서 모델의 나머지 역량은 유지하는 것을 목표로 한다. 그러나 잊어야 할 지식과 유지해야 할 지식 사이의 경계는 종종 불명확한데, 관련 정보는 물론 멀리 떨어진 정보까지 모델 안에서 얽혀 있을 수 있기 때문이다. 본 논문에서는 데이터 중심 관점에서 LLM 언러닝을 연구하고, 언러닝 효과가 forget set에서 동일 도메인 및 원거리 도메인 지식으로 어떻게 전파되는지를 언러닝 이후가 아니라 이전에 측정한다. 우리는 일관된 감쇠 패턴을 발견한다: 부수적 손상은 forget set 근처에서 가장 강하고 의미적 거리에 따라 약해지지만, 도메인 경계에서 사라지지는 않는다. 또한 언러닝이 실행되기 전에 이러한 손상을 감사할 수 있는지를 묻는다. forget set 감사를 언러닝 전 예측 과제로 formulation하고, 어떤 데이터 특징이 하류 손상을 가장 잘 예측하는지 분석한다. 결과는 forget set와 평가 집합 사이의 상호작용 특징이 가장 강한 신호를 제공함을 보여주며, 부수적 손상이 모델 갱신이 일어나기 전 데이터 기하(data geometry)에 부분적으로 반영됨을 시사한다. 이러한 발견은 forget set 감사를 위험한 언러닝 실행을 식별하고 더 신뢰할 수 있는 언러닝 절차를 설计하기 위한 조기 경보 도구로 자리매김한다. 코드와 데이터는 https://github.com/BartSu/PreUnlearn 에서 이용할 수 있다.
대규모 언어 모델(LLM)에 대한 정치적 감사는 보통 각 모델을 정치 나침반(Political Compass) 상의 한 점으로 축약한다. 그러나 배포 환경에서 그 정지점은 거의 중요하지 않다. 모델은 어딘가에 위치해야 하며, 중요한 것은 답변이 얼마나 멀리, 어떤 방향으로 조향될 수 있는지이다. 그 조향은 시스템 프롬프트를 통해 이루어진다. 이는 플랫폼이 설정하는 개인화 층이거나, 반드시 수동으로 작성되지는 않은 사용자 이력에서 유도된 것이다. 우리는 12개의 이념적 페르소나와 조향되지 않은 기준선, 70개의 Political Compass 항목, 10회 반복, GPT-5, Claude, Grok, Gemini, DeepSeek, Kimi, Qwen 등 7개 주요 LLM(총 63,700개 응답)에 걸쳐 프롬프트 기반 제어 가능성에 대한 분산 우선 스트레스 테스트를 수행한다. 문맥적 프레이밍은 경제 및 사회 축에서 분산의 약 88%-93%를 설명하고, 모델 정체성은 3% 미만이다. 즉 응답은 매우 지시(instruction)에 따라 조정 가능하다. 모델들은 동일하게 이동하지 않는다. 일부는 더 많이 이동하고, 일부는 극단적 프레이밍에서 포화(saturation)한다. 기준선이 중심이 아님을 인식하면 이전 감사의 상충하는 방향 조향 결과가 해소된다. 변위(displacement)와 근접(proximity)이 발산하므로, 효과는 기하학적이며 차등적 순응(differential compliance)이 아니다. 권위주의적 프롬프트 하에서 모델들은 동일한 질문에서 유사한 이동을 보인다. 따라서 정치 좌표 감사에는 분산, 대칭성, 포화, 거부 하한(refusal floors)을 보고하는 조향 가능성(steerability) 감사가 필요하다. 우리는 프롬프트, 벤치마크 데이터, 코드를 공개한다.
대규모 언어 모델(LLM)은 API 집계자, 재판매자, 추론(inference) 제공업체 등 불투명한 서비스 체인을 통해 점점 더 많이 제공되고 있으며, 이 환경에서 클라이언트는 실제로 응답하는 모델(model)이 광고된 모델과 동일한지 기술적으로 확인할 수단이 없다. 최근 감사 결과에 따르면 상당수의 상용 엔드포인트가 공급업체의 참조 가중치(weight)에서 벗어나 있음이 드러났다. 기존 식별 기법은 긴 생성 텍스트, 토큰(token) 수준의 로그 확률, 적대적으로 설계된 프롬프트, 또는 모델 소유자의 협조를 필요로 한다. 우리는 훨씬 약한 증거만으로도 충분함을 보인다. 우리는 LLM의 행동적 핑거프린트를 단순한 단일 단어 프롬프트—"1에서 100 사이의 임의의 숫자를 말하시오"—에 대한 답변의 경험적 분포로 정의하며, 이를 네 가지 언어에 걸쳐 쿼리당 하나의 출력 토큰 비용으로 수집한다. 대형 상용 집계자(OpenRouter)를 통해 제공되는 165개의 모델을 측정한 결과, (i) 이러한 분포는 매우 비균등하며(중앙값 셀 엔트로피 1.0비트) 모델 특이적이다: 동일 모델의 표본을 절반으로 분할한 쌍은 서로 다른 모델의 표본 쌍보다 한 자릿수 더 가깝게 위치한다; (ii) 핑거프린트 간 Jensen-Shannon 발산은 모델 계보를 복원하며, 18.4%의 우연 기준 대비 59.5%의 리브-원-아웃 정확도로 모델을 문서화된 패밀리에 할당한다; (iii) 생체인식 방식의 검증 프로토콜은 40셀 전체 배터리에서 7.3%의 동일 오류율(equal error rate)을 달성하고, 8개의 프로브 셀만으로도 11% 미만을 기록한다—감사당 약 100회의 단일 토큰 쿼리에 해당한다. 또한, 오픈 가중치 Qwen 모델과 분포적으로 구별 불가능한 독점 브랜드 플래그십 엔드포인트를 포함한 생태계 이상 현상도 보고한다. 프로토콜, 프롬프트, 원시 데이터, 분석 코드는 재현 및 실무 활용을 위해 공개된다.
추론 태스크 벡터(reasoning task vector)를 α > 1로 증폭하는 "과잉 사고(overthinking)" 기법을 도입하여, 언어 모델이 학습 중 획득한 비밀 정보나 의도치 않은 동작을 블랙박스 감사(black box auditing)보다 최대 10배 더 빈번하게 노출시킬 수 있음을 2B~32B 규모 모델에서 검증하였다. 층별 감쇠(layer-wise attenuation) 전략을 통해 출력 품질을 유지하면서 추론을 선택적으로 증폭하며, 프리필 공격(prefill attack)과 결합 시 감사 효과가 더욱 향상됨을 보였다.
비전-언어 모델은 시각적 개념 조건부 발산을 나타낼 수 있다. 인구통계학적 특징, 기업 로고, 이념적 상징이 포함된 이미지가 주어졌을 때, 일부 모델은 동일한 입력에 대해 다른 피어 모델과 상이한 비정상적으로 균일한 응답을 생성한다. 이러한 행동은 시각적 개념을 텍스트 토큰처럼 격리하거나 대체할 수 없기 때문에 텍스트 전용 감사를 회피한다. 우리는 의미적 엔트로피(semantic entropy)와 분포 기반 발산을 결합하여 모델별 이상을 탐지하는 블랙박스 교차 모델 감사 기법인 VISTA(Visual Inconsistency Screening Through Analysis)를 제안한다. 통제된 연구에서 소규모 편향 데이터셋에 대한 미세조정을 통해 세 개의 비전-언어 모델에 개념 조건부 편향을 주입하고, VISTA가 이를 탐지함을 확인하였다. 19개 주제에 걸쳐 여섯 개의 비전-언어 모델을 감사한 결과, VISTA는 142건의 고의심 사례(1.2%)를 발견하였으며, 모델이 인구통계학적 쿼리를 집단별로 0%에서 65%까지 상이한 비율로 거부하는 선택적 거부(selective refusal)를 기존에 보고되지 않은 발산 패턴으로 식별하였다.
외부 평가(evaluation)는 AI 시스템 거버넌스에서 점점 더 중심적인 역할을 차지하고 있다. 그러나 실제로는 독립적인 감사자가 배포된 모델에 대한 접근이 제한되는 경우가 많아 쿼리 기반 상호작용에 의존해야 한다. 기존의 공정성 평가 방법은 대부분 정적 데이터셋과 고정 표본 통계 검정을 가정하므로, 쿼리 제약 하에 증거를 순차적으로 수집해야 하는 실제 감사 시나리오에는 적합하지 않다. 본 연구에서는 공정성 감사를 제한된 모델 출력 접근 환경에서의 허용 오차 인식 순차적 가설 검정 문제로 정식화한다. 우리는 감사자가 유한한 감사 풀에서 증거를 축적하고 준수 또는 위반에 대한 충분한 지지를 얻으면 검정을 중단할 수 있는 순차적 일반화 가능도비(likelihood-ratio) 프레임워크를 개발한다. 이 프레임워크는 결정 기반 Statistical Parity 및 Equal Opportunity 감사에 적용되며, 더 풍부한 관측값이 가용할 경우 점수 및 로짓 기반 프록시 감사로 확장된다. 실험 결과, 공정성 지표와 모델 접근 수준 모두 감사 효율성에 유의미한 영향을 미치며, 풍부한 출력 정보의 이점은 감사 설정에 따라 균일하지 않음을 보인다. 특히, 풍부한 출력 정보는 일부 공정성 지표 및 운영 조건에서 필요한 쿼리 수를 크게 줄일 수 있지만, 임계값 근방의 경우에는 제한적인 이점만을 제공한다. 본 연구는 현실적인 배포 제약 하에서 순차적 공정성 감사를 위한 실용적인 통계 프레임워크를 제공한다.
수직 연합 학습(VFL)에서의 머신 언러닝(unlearning)은 점점 더 주목받고 있지만, 기존 방법들은 출력 수준 지표만으로 망각을 인증한다. 우리는 Mirage라는 표현 수준 감사 프레임워크를 도입하여 이러한 선행 연구들에 이의를 제기한다. Mirage는 네 가지 상호 보완적인 진단으로 구성된다: 선형 프로브 복구(LPR), 중심화 커널 정렬(CKA), 특징 분리 가능성 점수, 그리고 층별 복구 분석. 최근 VFL 언러닝 프로토콜을 따른 7개 데이터셋과 7개 기준선 방법에 걸친 광범위한 실험을 통해 세 가지 핵심 발견을 밝혀냈다: (1) 망각 격차(forgetting gap): 출력 수준 인증을 통과한 방법들도 여전히 표현에 상당한 클래스 구조를 유지하며, LPR은 재학습 기준선보다 최대 15.4점 높다; CKA는 이러한 모델들이 재학습 참조보다 원본에 구조적으로 더 가깝다는 것을 보여주고, 분리 가능성 점수는 지속적인 기하학적 판별을 나타낸다. (2) 언러닝 삼중 딜레마(unlearning trilemma): 기존 방법 중 고유용성, 출력 수준 망각, 표현 수준 망각을 동시에 달성하는 방법은 없다. (3) 클래스-샘플 비대칭(class-sample asymmetry): 클래스 수준 망각은 강한 표현 흔적을 남기는 반면(여러 데이터셋에서 LPR이 96%를 초과), 샘플 수준 망각은 우연과 구별할 수 없을 정도이다(LPR은 약 50%); 층별 분석은 잔류 클래스 정보가 네트워크 깊이 전반에 걸쳐 지속됨을 추가로 보여준다. 이러한 발견은 연합 학습 언러닝 연구에서 표현 인식 평가 표준의 필요성을 촉구한다. 코드는 https://github.com/YuZhenyuLindy/Mirage에서 공개되어 있다.
서브리미널 학습(subliminal learning)은 학생 모델이 그 특성을 한 번도 명시하지 않는 지식 증류(distillation) 데이터로부터 교사의 은닉 특성(hidden trait)을 물려받게 한다. 우리는 이러한 전이(transfer)가 학습 전에 언제 감사(audit)될 수 있는지 묻는다. 답은 모델 동일성(model identity)이나 규모(scale)만이 아니라, 특성이 학생에게 도달하는 매개체인 채널 위치(channel location)이다. 우리는 세 가지 영역(regime)을 발견한다. 제어된 초기화 의존적 몸체(body) 채널에서는 사전학습 스크린이 작동한다. 커버리지(coverage), 즉 학생의 초기 증류 업데이트와 교사의 미세조정 변위(displacement) 사이의 코사인(cosine)은 홀드아웃(held-out) 전이를 예측한다(Spearman $ρ\approx 0.95$; AUROC 0.997). 사전학습된 언어 모델에서는, 마스킹된 단일 토큰 특성이 대신 수렴하는 어휘(vocabulary) 기하학을 타고 전달된다. 이 채널은 초기화에 독립적이므로 커버리지를 포함한 초기화 정렬(alignment) 스크린은 기계론적(mechanistic)이 아니다; 유용한 핸들은 사후(post-hoc) 탐지와 표적 완화(mitigation)이다. 단일 토큰 명명 개체(named entity)가 손실에서 제거되더라도, 학생의 해당 개체에 대한 홀드아웃 확률은 평균 0.40까지 상승($\sim 2500\times$)하고, 관련 의미 클래스(semantic class)가 전이된다. untied-head 모델에서, 특성의 출력 행(output row)을 얽힌 이웃(neighbour)에 대해 직교화(orthogonalizing)하면 누출(leakage)이 붕괴되지만, 동일 크기의 무작위 부분공간(random-subspace) 편집은 그렇지 않다. 따라서 증류 레이블에서 대상 문자열을 제거해도 해당 선호(preference)는 제거되지 않는다: 이웃 토큰이 그것을 운반할 수 있다. 마지막으로, 조건부 행동(conditional behaviour)은 네트워크 몸체를 통해 라우팅될 수 있다. 아첨(sycophancy)의 경우, 동의(agreement) 및 수정(correction) 마커가 손실에서 마스킹되면, 전이는 교사 효과의 약 0.63에 달하고, 몸체 연산(body computation)에 국한(localize)되며, 두 모델 계열에 걸친 네 가지 감사를 회피한다. 우리는 이를 조건 존재(condition-present) 정책(policy)의 마스킹 전이로 범위를 한정한다. 채널 위치는 어떤 감사가 타당(sound)할 수 있는지를 결정하는 데 필요하다. 그러나 이것은 배포 준비가 된 스크린이 아니다: 해당 매개체 영역(carrier regime) 밖에서 사용된 감사는 거짓 안심(false assurance)을 줄 수 있다.
현대 대규모 언어 모델(LLM) 학습 파이프라인은 데이터 생성, 말뭉치 필터링, 출력 판단, 개발 결정 안내 등을 위해 다른 모델에 점점 더 의존하고 있습니다. 이러한 의존성은 재귀적입니다. 즉, 모델은 자체 의존성이 별도의 릴리스와 아티팩트에만 문서화되어 있는 업스트림 아티팩트에 의존할 수 있습니다. 그 결과, 전체 의존성 구조는 이질적인 공개 아티팩트에 걸쳐 파편화되어 있으며, 그 복잡성과 재귀 깊이는 인간의 추적 능력을 훨씬 초과합니다. 본 논문에서는 소스 기반 증거를 통해 공개 아티팩트에서 LLM 의존성 그래프를 재귀적으로 재구성하는 에이전트 시스템인 ModSleuth를 소개합니다. 우리는 주요 과제가 정보 추출이 아니라, 의존성을 구성하는 요소를 정의하고 불일치하는 문서 간의 아티팩트 참조를 조정하는 것임을 발견했습니다. 우리는 직접 및 간접 의존성을 구별하고, 연산 중심 관계를 통해 이질적인 파이프라인 역할을 표현하며, 이름, 버전, 저장소에 걸쳐 아티팩트 식별자를 해결하는 형식화를 통해 이러한 문제를 해결합니다. ModSleuth를 공개 아티팩트가 풍부한 4개의 LLM 릴리스에 적용하여, 1,060개의 소스 검증된 의존성을 확인하고 현대 LLM 개발의 대규모 의존성 그래프를 구축했습니다. 이 그래프는 멀티홉 라이선스 의무, 학습-평가 결합, 릴리스된 아티팩트와 학습 시점 아티팩트 간의 불일치, 그리고 일반적으로는 발견하기 어려운 문서 불일치를 드러냅니다. 우리는 현대 LLM의 기반이 되는 점점 복잡해지는 생태계를 투명하게 분석할 수 있도록 ModSleuth와 결과물인 의존성 그래프를 공개합니다.