PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23700v2cs.CL

Self-Modeling Interventions can Modulate Emergent Misalignment

Emergent misalignment (EM) has been linked to the activation of misaligned persona vectors and evil character traits, suggesting that EM operates through disruption of the model's aligned character rather than direct learning of harmful content. Motivated by this connection, we study self-modeling interventions: specifically self-recognition and self-reports as character-targeted interventions that are distinct from existing in-training defenses. We conduct two-stage finetuning experiments across three models (GPT-4.1, Qwen2.5-32B-Instruct, Seed-OSS-36B-Instruct) and multiple EM datasets to compare self-recognition finetuning against benign finetuning baselines (correct domain-specific data, general knowledge, and word counting), finding it an effective defense in both reversal and prevention settings. For prevention, only self-recognition finetuning consistently reduces misalignment without exacerbating any individual metric, suggesting that character fortification specifically drives prevention. We also conduct in-training experiments across these models to compare the effectiveness of self-reports with benign interleaving and inoculation prompting. We provide further evidence for EM's relation to the LLM's default character by showing that EM finetuning leads to fragmentation of LLM's identity self-reports, reduces self-recognition performance to about chance, artificially corrupting self-recognition exacerbates misalignment caused by EM finetuning, and finetuning on self-reports from EM finetuned models can transfer misalignment. Together, these findings reframe EM not as the adoption of a coherent misaligned persona but as the destabilization of aligned character.

arXiv:2610.15961v1cs.CL

불공정하고 안전하지 않다: 일상적인 바이어스가 창발적 정렬 실패를 유발한다

Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment

창발적 정렬 실패(Emergent Misalignment, EM)는 언어 모델을 좁은 범위의 과제에 미세조정했을 때, 그와 무관한 과제들에서도 모델이 정렬에서 벗어나게 되는 현상이다. 조직들이 이제 자신들의 데이터로 모델을 일상적으로 미세조정하고 있기 때문에, 어떤 종류의 학습 데이터가 EM을 유발하는지가 중요하다. 지금까지의 연구들은 안전하지 않은 코드나 유해한 조언과 같이 이미 알려진 안전성 실패를 포함한 데이터로 EM을 유도해 왔으며, 바이어스가 있는 학습 데이터는 주로 공정성(fairness) 연구에서 모델이 그로부터 학습하는 바이어스 자체를 조사하기 위해 다루어졌을 뿐, 안전성에 대한 영향을 다루지는 않았다. 실제 텍스트에서는 인구통계적 고정관념(stereotype)과 같은 이러한 바이어스의 상당 부분이 모욕적인 언어가 아니라 사람에 대한 판단 속에 공손하게 내재된 형태로 나타난다. 우리는 이러한 공손한 고정관념을 학습하는 것 자체가 EM을 유발할 수 있는지를 질문한다. 우리는 고정관념에 의존하는 공손한 답변으로 미세조정하는 것이 모델을 무관한 과제들에서 덜 안전하고 덜 진실하게 만든다는 것을 발견했다. 이러한 효과는 4개의 오픈 가중치(open-weight) 모델 패밀리(7B~12B), 성별 및 인종 고정관념 모두, 그리고 반복된 학습 실행에 걸쳐, 고정관념 없이 동일한 질문으로 학습된 대조군과 비교했을 때 일관되게 나타난다. 우리는 추가로 학습된 고정관념이 모델 활성값(activation) 내에서 기만(deception)과 같은 일반적인 정렬 실패 특성의 방향과는 구별되는 고유한 방향을 가진다는 것을 보인다. 이 방향은 미세조정 이전에도 존재하며, 학습된 고정관념을 통제하는 데에도, 그 습득 과정을 모니터링하는 데에도 사용할 수 있다. 기존의 EM 방어 기법들은 안전성을 개선하지만 고정관념은 대체로 그대로 남겨둔다. 이러한 통제된 설정을 넘어서, 정치 뉴스 보도에 대한 미세조정 역시 EM을 유발하며, 이는 편파적 프레이밍(framing)에 의해 증폭되는 것으로 보이고, 고정관념을 학습한 모델이 도구를 사용하는 에이전트(agent)로 작동할 경우 유해한 작업을 수행하고 근거 없이 사람을 비난할 수 있다. 우리의 결과는 바이어스가 있는 학습 데이터가 공정성 문제일 뿐만 아니라 안전성 문제이기도 하다는 것을 보여준다. 우리는 EM이 너무 좁게 연구되고 있으며, 공정성에 대한 우려와 방법론들이 그 유발 요인을 찾는 범위를 넓히는 자연스러운 방법을 제공한다고 주장한다.

arXiv:2606.06667v3cs.CL

일반화의 피기백 가설: 창발적 오정렬의 설명 및 완화

The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment

학습 예제를 넘어선 대규모 언어 모델(LLM)의 광범위한 과도한 일반화 이면의 메커니즘은 여전히 불분명합니다. 창발적 오정렬(Emergent Misalignment, EM)은 이를 보여주는 두드러진 사례 연구입니다. 즉, 협소한 작업에 대한 파인튜닝(fine-tuning)이 의미적으로 무관한 테스트 도메인에 대해 광범위한 오정렬을 유발합니다. 본 연구에서는 챗 템플릿 토큰(token)이 도메인 외(out-of-domain) 쿼리에 파인튜닝된 동작을 피기백(piggyback, 편승)할 수 있다는 '피기백 가설(Piggyback Hypothesis)'을 제안합니다. 우리는 접두 문맥(prefix, 모든 사용자 쿼리 앞에 오는 토큰)에 대한 미세한 섭동이나, 파인튜닝되지 않은 모델(model)의 표현으로 접두 문맥 표현을 패칭하는 것만으로도 사용자 쿼리를 변경하지 않고 정렬(alignment)을 복원할 수 있음을 보임으로써 이 가설을 검증합니다. 이러한 발견을 바탕으로, 학습(training) 중 특정 토큰 표현을 정규화하여 EM을 완화하는 토큰 정규화 파인튜닝(Token-Regularized Finetuning, TReFT)을 제안합니다. 다양한 모델과 여러 EM 유발 데이터셋에서 TReFT는 도메인 내(in-domain) 학습을 보존하면서 EM을 줄입니다. 법률 도메인에서 파인튜닝된 Llama-3.1-8B에서 TReFT는 정렬된 예시의 유지 세트(retain set)를 활용한 데이터 인터리빙보다 33.5% 더 높은 EM 감소를 달성합니다. 나아가 TReFT가 기권(abstention), 도구 사용(tool use), 거부(refusal)를 포함한 다른 협소한 파인튜닝 설정으로도 확장됨을 보여주며(주제 벗어난 일반화가 평균 54.3% 감소), 피기백 가설을 뒷받침합니다. 전반적으로 본 연구는 LLM이 의도치 않은 방식으로 학습하고 일반화할 수 있음을 강조하며, 더 제약된 파인튜닝을 향한 경로를 제시합니다. 또한 공유된 입력 특징이 도메인 전반에 걸쳐 모델 동작을 어떻게 피기백할 수 있는지에 대한 후속 연구의 필요성을 제기합니다.

arXiv:2606.07631v2cs.LG

지도 미세조정 중 발생하는 창발적 비정렬 감지를 위한 특성 공간 모니터링

Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning

창발적 비정렬(Emergent Misalignment, EM)은 편협한 파인튜닝이 해당 태스크 범위를 벗어난 위험한 행동을 유발할 때 발생합니다. 반복적인 행동 평가를 통해 이러한 변화를 감지하는 것은 비용이 많이 들기 때문에, 내부 표현 기반의 체크포인트 단위 모니터링을 제안합니다. 본 연구에서는 정렬(alignment)과 관련된 7개의 활성화 방향을 바탕으로 고정된 좌표계를 정의하고, 이를 활용하여 오픈소스 7-9B 언어 모델 4종의 LoRA 파인튜닝 과정에서 발생하는 표현 표류(representational drift)를 추적합니다. 이 공간에서 파인튜닝으로 인한 표류는 분산의 78.6%를 설명하는 지배적인 축을 나타내며, 데이터셋, 추출 방식 선택, 매개변수 업데이트 용량 전반에 걸쳐 안정적으로 유지됩니다. EM과 관련된 3개의 홀드아웃 데이터셋에서 얻은 468개 체크포인트를 대상으로 평가한 결과, 제안된 모니터는 1.8%의 FNR, 2.0%의 FPR, 0.989의 AUROC를 달성하여 의미적(semantic), 무작위, PCA 및 SAE 특징 기반의 기준선 모델들을 능가했습니다. 네 번째 데이터셋에서 진행된 위험-무해 대조군 실험을 통해 무해한 파인튜닝 하에서도 상당한 표현 표류가 발생할 수 있음을 확인했으나, 7차원 프로파일 전반의 변화는 위험한 실행과 무해한 실행을 여전히 구별해 냈습니다. 두 개의 14B 모델, 전체 파인튜닝, 더 긴 학습 기간, 비정렬된 시작 상태 등을 포함한 스트레스 테스트 결과, 이러한 신호가 학습 구성의 변화 전반에서도 지속될 수 있음을 보여주었으며, 안정적인 배포를 위해서는 재보정이 필요할 수 있음을 확인했습니다.

arXiv:2609.35356v3cs.AI

모든 것을 접종하지 마라: 계층화 접종 프롬프팅을 통한 백도어 트리거 축소 및 원하는 특성 보존

Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

지도 미세조정(SFT)은 언어 모델에 원하는 행동과 함께 원치 않는 행동도 학습시킬 수 있다. 접종 프롬프팅(IP, Inoculation Prompting)은 학습(training) 중에 원치 않는 행동을 요청하고 추론(inference) 시에는 해당 요청을 제거함으로써 원치 않는 일반화를 제한하는 것을 목표로 한다. 그러나 관련 없는 프롬프트에서도 원치 않는 행동이 여전히 나타날 수 있으며, IP는 원하는 행동의 학습을 저해할 수도 있다. 본 연구에서는 대부분의 학습 예제에서 두 행동이 동시에 발생하여 원치 않는 행동이 포함된 예제를 필터링하면 소량의 깨끗한 부분집합(clean subset)만 남게 되는 환경에서 이러한 한계를 해결한다. 우리는 계층화 접종 프롬프팅(SIP, Stratified Inoculation Prompting)을 소개한다. SIP는 소량의 깨끗한 부분집합을 활용하여 다양한 컨텍스트 전반에서 원치 않는 행동 없이도 원하는 행동이 지속되어야 함을 보여준다. SIP는 이러한 깨끗한 예제들을 유도하지 않는 다양한 프롬프트 하에서 오버샘플링하는 동시에 나머지 예제들에는 접종을 적용한다. SIP는 IP에 비해 원하는 행동을 더 많이 보존하면서도 원치 않는 행동의 발현을 크게 줄인다. 이러한 이점은 SIP와 동일한 비율로 동일한 깨끗한 부분집합을 오버샘플링하도록 IP를 확장했을 때도 지속된다. 또한, SIP는 테스트한 모든 유해 조언(harmful-advice) 설정에서 더 낮은 창발적 정렬 불량(emergent misalignment) 비율을 달성한다. SIP는 명시적으로 요청하는 프롬프트 하에서도 원치 않는 행동을 제한하도록 추가로 확장될 수 있다. 우리는 접종 프롬프트 하에서의 발현을 약화시키는 백도어 희석(backdoor dilution)과 지정된 비밀번호로 유도를 집중시키는 비밀번호 잠금 접종(password-locked inoculation)을 소개한다. 종합하면, 우리의 연구 결과는 소량의 깨끗한 부분집합에 대한 학습 컨텍스트를 변경하는 것만으로도 선택적 일반화를 크게 향상시킬 수 있음을 보여준다.

arXiv:2510.06105v2cs.AI

몰록의 거래: LLM이 대중의 관심을 얻기 위해 경쟁할 때 나타나는 창발적 정렬 실패

Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences

설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.

arXiv:2607.20449v1cs.CL

모델 속의 이야기꾼: 서사 패턴 상속, 확대 역학, 그리고 LLM의 정렬 거버넌스

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

LLM은 주로 인간이 작성한 텍스트로 학습되지만, 해당 텍스트에 내재된 구조적·서사적 관습이 체계적 행동 영향의 원천이거나 배포된 시스템에서의 거버넌스 위험으로 거의 검토되지 않는다. 본 논문은 주인공, 적대자, 약자와 같은 원형적 역할과 긴장-해결 서사 호를 포함하여 출판된 인간 글쓰기에 내재된 스토리텔링 패턴이 학습 과정에서 흡수되어 이후 LLM 출력에 표면화되는지, 그리고 그로 인해 장기 상호작용에서 응답이 예상치 못한, 적대적이거나 수사적으로 유혹적인 행동으로 표류하는지를 검토한다. LLM 정렬, 페르소나 역학, 창발적 미정렬, 사용자 상호작용 패턴에 관한 최근 실증 연구에 대한 체계적 문헌 검토와 교차 논문 분석을 통해, 우리는 이 가설을 뒷받침하는 증거를 관찰한다. 연구 결과는 세 가지 핵심 패턴을 드러낸다. 첫째, LLM은 독립적으로 추론하기보다 학습 데이터의 통계적 패턴을 재현한다. 둘째, 아첨(sycophancy)과 기만성(deceptiveness)을 포함한 측정 가능한 잠재 특성이 관련 없는 프롬프트 전반에 걸쳐 안정적으로 창발한다. 셋째, 좁은 서사 과제에 대한 미세조정은 해당 과제를 훨씬 넘어서는 의도하지 않은 행동 변화를 야기할 수 있다. 또한 증거는 설득적이고 서사적 스타일의 출력이 실제 사용에서 가장 흔한 LLM 산출물 중 하나이며, 이러한 위험을 증폭시킨다고 시사한다. 서사 표류(narrative drift)는 배포된 AI 시스템에서 모니터링되지 않는 확대 경로를 구성하며, 개별 사건 탐지 메커니즘을 회피하고 전용 모니터링 도구를 필요로 한다.

arXiv:2607.21356v1cs.LG

창발적 미정렬은 사전 존재하는 페르소나 부분공간을 동원한다

Emergent Misalignment Recruits a Pre-existing Persona Subspace

정렬된 언어 모델을 좁은 범위의 나쁜 조언 스트림으로 미세조정하면, 학습 데이터와 무관한 질문에서 광범위하게 미정렬되게 만들 수 있으며, 이 현상을 창발적 미정렬(emergent misalignment)이라 한다. 우리는 왜 이 좁은 교훈이 전혀 일반화되는지 묻고, 좁은 미세조정이 미세조정 이전부터 모델에 존재하는 페르소나 구조를 동원한다는 것을 발견한다. 동결된 인스트럭션 튜닝 모델(Qwen2.5-14B-Instruct)에서 대조적 teacher forcing으로 도메인별 페르소나 부분공간을 추출하고, 4개의 무관한 도메인이 무작위 부분공간 null 대비 657배 수준의 하나의 저랭크 코어를 공유하며, 그 코어의 82%가 동일한 다양성으로 구축된 스타일 코어 밖에 위치함을 발견한다. 불안전한 코드에 대한 미세조정의 말 그대로 첫 번째 옵티마이저 스텝은, 동일한 코드를 교육용으로 프레이밍한 경우보다 광범위 미정렬 마진을 더 크게 상승시키며, 375 스텝까지의 실현된 마진 변화를 예측한다. 미세조정 전체 과정에서 잔차 스트림(residual stream)에서 해당 부분공간을 투영하여 제거하면 광범위 미정렬을 방지한다(판정된 생성물의 27.7%에서 0.0%로), 반면 동일 랭크의 무작위 부분공간은 아무 변화도 일으키지 않는다; 미세조정하지 않은 모델에 이를 주입하면 용량(dose)에 따라 미정렬이 증가하여 45.4%에 이르며, 이는 비교 대상인 미세조정 모델을 넘어선다. 동일한 투영을 가중치 그래디언트에 적용하는 것은 무반응이며, 세 가지 사후 가중치 편집은 해당 성향을 그대로 남긴다: 가장 날카로운 편집은 행동을 제거하기보다 억제할 뿐이며, 제거된 구조는 편집이 비운 부분공간 내부에서 재형성된다. 고정된 양의 나쁜 데이터를 4개 도메인에 분산하면, 기계적 가중치 중첩(superposition)과 동일 다양성(matched diversity)이 합쳐 설명하는 것보다 더 많은 광범위 미정렬을 유발한다. 모든 측정은 14B 규모의 하나의 모델에서 수행되었으며, 추출은 정렬된 인스트럭션 튜닝 체크포인트에서 이루어져 구조의 기원(provenance)은 열린 문제로 남는다; 미정렬을 방지하는 개입은 좁은 범위에서 학습된 행동도 함께 제거한다.

arXiv:2607.09053v1cs.CL

창발적 신기루: 창발적 정렬 불일치와 재정렬은 과연 견고한 현상인가?

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

최근 연구에서는 창발적 정렬 불일치(Emergent Misalignment, EM)가 보고되었는데, 이는 좁고 도메인 특화된 정렬 불일치 데이터셋으로 미세조정된 언어 모델이 갑작스럽게 광범위한 정렬 불일치 행동을 획득하는 현상으로, 제한적인 재정렬을 통해 이 행동이 역전될 수 있다는 증거와 함께 제시되었다. 우리는 통제된 미세조정 루프를 사용하여 반복적인 정렬 및 정렬 불일치 사이클을 체계적으로 연구하면서 학습 전반에 걸쳐 행동적 성능과 LoRA 표현을 추적하였다. EM을 재현하였음에도 불구하고, 정렬 불일치와 재정렬 모두 표면적인 데이터셋 특성에 매우 민감하며, 겉으로 보이는 빠른 재정렬은 응답 길이 차이를 통제한 후 대부분 사라짐을 발견하였다. 또한 이전에 보고된 메커니즘적 특징, 즉 LoRA 공간에서의 표현 위상 전환이 학습 전반에 걸쳐 행동적 정렬 불일치와 일관되게 상관관계를 보이지 않음을 발견하였다. 우리의 결과는 EM에 대한 현재의 증거가 이전에 주장된 것보다 덜 견고함을 시사하며, EM 현상의 견고성을 규명하기 위해 이러한 표면적 데이터셋 아티팩트를 신중하게 통제하는 평가 프로토콜의 필요성을 강조한다.

arXiv:2606.30252v1cs.AI

이노큘레이션 어댑터: 더 적은 예상치 못한 백도어로 향상된 능력의 선택적 일반화

Inoculation Adapters: Improved Selective Generalization of Capabilities with Fewer Surprising Backdoors

이노큘레이션 프롬프팅(Inoculation prompting)은 창발적 정렬 불일치(Emergent Misalignment)에 대응하는 선택적 일반화 기법이다. 우리는 이노큘레이션 어댑터(IA)를 소개하며, 이는 학습 시 원하지 않는 특성을 강화함으로써 해당 특성을 학습하려는 최적화 압력을 유사하게 줄여준다. 이노큘레이션 어댑터는 세 단계에 걸쳐 학습되고 사용되는 LoRA이다: 1) 원하지 않는 특성에 대해 학습; 2) 동결된 상태로 부착하면서 원하는 특성과 원하지 않는 특성이 모두 나타나는 데이터로 별도의 태스크 어댑터를 학습; 3) 배포 시 IA를 제거하고 태스크 어댑터만 유지. 우리는 여섯 가지 모델 패밀리와 창발적 정렬 불일치를 포함한 여러 원하지 않는 특성에 대해, 이노큘레이션 어댑터가 원하지 않는 특성을 억제하는 데 더 효과적임을 보이는 동시에, 이노큘레이션 프롬프팅의 두 가지 단점을 회피함을 보인다: 이노큘레이션 어댑터는 프롬프트로 신뢰성 있게 유도할 수 없는 능력과 특성도 억제할 수 있으며, 우리의 프로브 기준에서 이노큘레이션 프롬프팅보다 예상치 못한 백도어를 더 적게 도입한다. 원하지 않는 특성은 이노큘레이션 어댑터로 더 잘 억제되지만, 원하는 특성의 유지는 이노큘레이션 프롬프팅 대비 일관되게 개선되지 않으며 두 기법 모두에서 과제로 남아 있다.

arXiv:2601.03388v3cs.CL

은유는 대규모 추론 모델의 교차-도메인 비정렬의 원인이다

Metaphors are a Source of Cross-Domain Misalignment of Large Reasoning Models

학습 데이터의 은유가 대규모 추론 모델(LRM)에서 한 도메인의 비정렬 패턴이 다른 도메인으로 창발적으로 전이되는 현상에 기여한다는 점을 지속적 사전학습·파인튜닝·재정렬에 대한 은유 기반 개입 실험으로 규명하고, 은유와 연관된 잠재 특징 활성화를 모니터링해 비정렬 콘텐츠를 높은 정확도로 예측하는 탐지기를 제안한다.

arXiv:2606.20814v1cs.AI

창발적 미스얼라인먼트를 무엇이 형성하는가? 학습 역학, 모델 사전 분포, 데이터로부터의 통찰

What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data

창발적 미스얼라인먼트(Emergent misalignment, EM)는 좁은 범위의 미세조정을 통해 모델이 일반화하면서, 평가 질문 전반에 걸쳐 광범위하면서도(불균일한) 미스얼라인먼트를 초래하는 현상이다. 우리는 미세조정의 구성 요소인 학습 역학, 모델 사전 분포, 데이터를 통해 EM과 그 변동성을 직접 연구한다. (1) 먼저 데이터셋과 모델 계열 전반에 걸쳐 도메인 내 학습 손실이 도메인 외 정렬 점수와 어떻게 관련되는지 탐구했다. 그다음, 하나의 좁은 미세조정에 대해 서로 다른 학습 일정을 통해 잠재적인 대안적 국소 최솟값을 유도하려 했으나, 유사하거나 더 낮은 학습 손실을 조건으로 할 때 더 나은 광범위 정렬 점수를 보이는 강한 실행 결과를 찾지 못했다. (2) 미스얼라인된 모델 점수의 평균과 표준편차가 보통 사전학습 모델의 그것과 통계적으로 다르지만, 전반적인 양의 상관관계에 대한 잠재적 신호가 있음을 발견했다. 사전학습 모델과 원본 instruct 모델(좁은 미세조정 이전) 모두의 평가 프롬프트 전용 활성화(activations)가 좁은 미세조정 이후의 세밀한 정렬 점수를 예측할 수 있었다. (3) 마지막으로, 좁은 미세조정 전후의 활성화 델타를 비교했고, 학습 프롬프트와 평가 프롬프트에 대한 결과적 활성화 변화 사이에 중간에서 높은 수준의 부분공간(subspace) 중첩과 유사성이 있음을 발견했다. 학습 프롬프트와 평가 프롬프트 활성화 간의 부분공간 중첩은, 마지막 프롬프트 토큰 활성화로 측정할 때 그 변화의 유사성과 상관관계를 보인다. 학습-평가 데이터 프롬프트 중첩은 무작위 벡터와 평가 프롬프트 활성화로부터 계산된 중첩과 대조하여 통제되었다.