언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.
학습 예제를 넘어선 대규모 언어 모델(LLM)의 광범위한 과도한 일반화 이면의 메커니즘은 여전히 불분명합니다. 창발적 오정렬(Emergent Misalignment, EM)은 이를 보여주는 두드러진 사례 연구입니다. 즉, 협소한 작업에 대한 파인튜닝(fine-tuning)이 의미적으로 무관한 테스트 도메인에 대해 광범위한 오정렬을 유발합니다. 본 연구에서는 챗 템플릿 토큰(token)이 도메인 외(out-of-domain) 쿼리에 파인튜닝된 동작을 피기백(piggyback, 편승)할 수 있다는 '피기백 가설(Piggyback Hypothesis)'을 제안합니다. 우리는 접두 문맥(prefix, 모든 사용자 쿼리 앞에 오는 토큰)에 대한 미세한 섭동이나, 파인튜닝되지 않은 모델(model)의 표현으로 접두 문맥 표현을 패칭하는 것만으로도 사용자 쿼리를 변경하지 않고 정렬(alignment)을 복원할 수 있음을 보임으로써 이 가설을 검증합니다. 이러한 발견을 바탕으로, 학습(training) 중 특정 토큰 표현을 정규화하여 EM을 완화하는 토큰 정규화 파인튜닝(Token-Regularized Finetuning, TReFT)을 제안합니다. 다양한 모델과 여러 EM 유발 데이터셋에서 TReFT는 도메인 내(in-domain) 학습을 보존하면서 EM을 줄입니다. 법률 도메인에서 파인튜닝된 Llama-3.1-8B에서 TReFT는 정렬된 예시의 유지 세트(retain set)를 활용한 데이터 인터리빙보다 33.5% 더 높은 EM 감소를 달성합니다. 나아가 TReFT가 기권(abstention), 도구 사용(tool use), 거부(refusal)를 포함한 다른 협소한 파인튜닝 설정으로도 확장됨을 보여주며(주제 벗어난 일반화가 평균 54.3% 감소), 피기백 가설을 뒷받침합니다. 전반적으로 본 연구는 LLM이 의도치 않은 방식으로 학습하고 일반화할 수 있음을 강조하며, 더 제약된 파인튜닝을 향한 경로를 제시합니다. 또한 공유된 입력 특징이 도메인 전반에 걸쳐 모델 동작을 어떻게 피기백할 수 있는지에 대한 후속 연구의 필요성을 제기합니다.
플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.
제공자·애플리케이션별 모델 명세서를 정렬의 핵심 대상으로 하는 SpecAlign은 구조화된 규칙 주석, 제어 가능한 명세서 인스턴스화, 다중 에이전트 적대적 데이터 합성으로 준수·위반을 포착한 선호 쌍을 생성한다. 여러 명세서와 백본 모델 실험에서 규칙 준수가 일관되게 향상되고 일반 능력은 유지되며 과도하게 보수적인 행동을 피할 수 있었다.
짧은 미세조정 한 번만으로도 오픈 가중치 모델의 안전 장치를 무력화할 수 있다—거부 학습된 어시스턴트를 재학습하여 무기 개발을 돕거나 혐오 발언을 생성하게 만들 수 있다. 이러한 유해한 미세조정을 막으면서도 양성(benign) 적응성을 유지하는 것은 여전히 어렵다: 명시적 곡률 인증서(curvature certificate)를 갖춘 유일한 기존 방법인 스펙트럴 변형(spectral deformation)은 곡률을 전역적으로 팽창시켜 유해한 적응과 함께 양성 적응까지 방해한다. 우리는 HarmAlign을 제안한다. HarmAlign은 추정된 대조적(contrastive) 활성화 부분공간(activation subspace)을 따라 함수 보존(function-preserving) 스펙트럴 변형을 적용한다. 우리는 추정된 부분공간 에너지와 그로부터 도출되는 지역적 유해 분포 곡률 하한에 대한 유한 표본 경계를 유도한다. 상수 스텝 경사하강법에 대한 안정성-진행(stability-progress) 이분법은 인증된 곡률을 조건부 수렴률 제어로 전환한다. 실험적으로, 고정 아키텍처·유한 예산 1차 위협 모델 내에서 HarmAlign은 위험 지식 재학습 설정과 유해 지원 미세조정 설정 전반에 걸쳐 직접 미세조정과 세 가지 데이터 또는 목적 함수 적응형 공격을 차단하며, 보호된 양성 작업은 여전히 학습 가능하다. 이 차단은 모든 공격 체크포인트에 걸친 테스트된 1차 옵티마이저 변형 전반과, 분포 외(out-of-distribution) 유해 미세조정 하에서도 지속되며, 우리 위협 모델의 중요한 사례—우발적 안전성 저하와 창발적 오정렬(emergent misalignment)—까지 확장된다.
최근 연구는 소량의 오염된 데이터만으로 언어 모델을 미세조정해도 표적화된 오동작을 심을 수 있으며, 겉보기에는 무해한 데이터도 광범위하게 일반화되는 숨겨진 선호를 전달할 수 있음을 보여준다. 데이터 필터링, 무해한 데이터 혼합, 정규화와 같은 표준 방어 기법은 이러한 효과를 약화시키지만 제거하지는 못한다. 우리는 대신 중복성을 통해 견고성을 추구한다. 서로 다른 출처에서 여러 데이터셋을 수집하고 그들 사이에 공통적인 것만 학습하는 방식이다. 따라서 출처의 일부만 악의적이라면 오동작이 차단된다. 이 방어 전략을 구현하기 위해, 우리는 각 출처의 데이터셋으로 별도의 참조 모델을 미세조정하고 디코딩 시점에 다음 토큰 분포를 집계한다. 우리는 두 가지 합의 디코더를 제안한다. 하나는 각 출처가 부여하는 최저 확률로 모든 토큰을 상한으로 제한하는 토큰 단위 최솟값이고, 다른 하나는 출처들이 상반된 방향으로 이동하는 토큰에서 기본 모델 확률로 되돌리는 기본 모델 대비(base-relative) 변형이다. 또한 출처 간 부분적 지지와 동일한 의도의 서로 다른 표면적 표현을 허용하기 위해 정확한 합의를 완화한다. 통제된 포이즈닝 과제, 잠재 학습(subliminal learning), 창발적 정렬 불일치(emergent misalignment) 전반에 걸쳐, 합의 디코딩은 공유된 바람직한 행동을 보존하면서 출처 특이적 오동작을 억제하며, 합집합 학습(union training)과 가중치 평균화가 원치 않는 행동을 유지하는 경우도 포함한다.
대규모 언어 모델(LLM)은 기만적인 응답, 즉 맥락상 또는 실험적으로 유도된 목표를 위해 사용자를 오도하는 출력을 생성할 수 있다. 그러나 모델이 얼마나 자신 있게 기만하는지, 더 높은 신뢰도가 기만적인 응답을 최종 사용자에게 더 설득력 있게 만드는지는 여전히 불분명하다. 본 논문에서는 다양한 모델과 서로 다른 기만 데이터셋에서 이러한 기본적인 질문들을 연구한다. 언어화된 자기 보고와 다양한 로짓 기반 추정기를 통해 신뢰도를 측정하는 포괄적인 연구를 제시한다. LLM이 상당한 수준의 언어화된 신뢰도로 기만적인 응답을 제공하며, 쌍별 비교에서 인간 어노테이터가 더 높은 신뢰도의 기만적 응답을 78%의 경우 선호한다는 것을 보여준다. 미정렬 미세조정은 이 문제를 증폭한다. 기만적 응답에 대한 신뢰도는 세 벤치마크 모두에서 상승하며, 그로 인한 잠재적 위험이 증가하고, 효과는 학습 분포를 넘어 일반화된다. 주목할 점은, 모델이 자신의 기만적 출력을 높은 비율(미정렬 하에서 82.7%)로 기만적이라 분류하면서도 여전히 그것을 생성할 것이라 예측한다는 것이다—회피 없는 인식. 우리는 자신 있는 기만이 기만, 신뢰도, 인식을 함께 측정하는 평가가 필요한 별개의 정렬 위험이라고 주장한다.
정렬된 언어 모델을 좁은 범위의 나쁜 조언 스트림으로 미세조정하면, 학습 데이터와 무관한 질문에서 광범위하게 미정렬되게 만들 수 있으며, 이 현상을 창발적 미정렬(emergent misalignment)이라 한다. 우리는 왜 이 좁은 교훈이 전혀 일반화되는지 묻고, 좁은 미세조정이 미세조정 이전부터 모델에 존재하는 페르소나 구조를 동원한다는 것을 발견한다. 동결된 인스트럭션 튜닝 모델(Qwen2.5-14B-Instruct)에서 대조적 teacher forcing으로 도메인별 페르소나 부분공간을 추출하고, 4개의 무관한 도메인이 무작위 부분공간 null 대비 657배 수준의 하나의 저랭크 코어를 공유하며, 그 코어의 82%가 동일한 다양성으로 구축된 스타일 코어 밖에 위치함을 발견한다. 불안전한 코드에 대한 미세조정의 말 그대로 첫 번째 옵티마이저 스텝은, 동일한 코드를 교육용으로 프레이밍한 경우보다 광범위 미정렬 마진을 더 크게 상승시키며, 375 스텝까지의 실현된 마진 변화를 예측한다. 미세조정 전체 과정에서 잔차 스트림(residual stream)에서 해당 부분공간을 투영하여 제거하면 광범위 미정렬을 방지한다(판정된 생성물의 27.7%에서 0.0%로), 반면 동일 랭크의 무작위 부분공간은 아무 변화도 일으키지 않는다; 미세조정하지 않은 모델에 이를 주입하면 용량(dose)에 따라 미정렬이 증가하여 45.4%에 이르며, 이는 비교 대상인 미세조정 모델을 넘어선다. 동일한 투영을 가중치 그래디언트에 적용하는 것은 무반응이며, 세 가지 사후 가중치 편집은 해당 성향을 그대로 남긴다: 가장 날카로운 편집은 행동을 제거하기보다 억제할 뿐이며, 제거된 구조는 편집이 비운 부분공간 내부에서 재형성된다. 고정된 양의 나쁜 데이터를 4개 도메인에 분산하면, 기계적 가중치 중첩(superposition)과 동일 다양성(matched diversity)이 합쳐 설명하는 것보다 더 많은 광범위 미정렬을 유발한다. 모든 측정은 14B 규모의 하나의 모델에서 수행되었으며, 추출은 정렬된 인스트럭션 튜닝 체크포인트에서 이루어져 구조의 기원(provenance)은 열린 문제로 남는다; 미정렬을 방지하는 개입은 좁은 범위에서 학습된 행동도 함께 제거한다.
사람들은 답을 검증하기 어려운 실용적인 질문에 언어 모델을 사용한다. 우리는 모델이 은밀한 가치 누출(covert value leakage)을 보인다는 것을 보여준다. 즉, 모델이 제공하는 정보는 자체 가치의 영향을 받지만, 이 영향은 사용자에게 공개되지 않는다. 우리 평가 중 하나에서, 사용자는 AI 기업에 투자할지 고려하며 AI 버블이 터질 가능성이 얼마나 되는지 알고 싶어 한다. Claude Opus 4.8은 검토 대상 기업이 OpenAI가 아닌 Anthropic일 때 더 낮은 확률을 제시한다. 그러나 Claude는 대부분 이 영향을 사용자에게 공개하지 못한다. 은밀한 가치 누출은 사용자의 선호에 반하고 그들을 오도할 가능성이 있기 때문에 정렬(misalignment) 실패의 한 형태이다. 이 현상을 조사하기 위해, 우리는 가치 누출과 모델이 이를 공개하는지를 정량화하는 평가 모음을 도입한다. 우리는 모델이 도덕적으로 좋은 결과, 모델을 개발한 기업, 일부 인간 여가 활동에 대한 선호 등 다양한 유형의 가치의 영향을 받는다는 것을 발견한다. 동일한 평가에서 최첨단 모델들 사이에 큰 차이가 나는 경우가 많다. 예를 들어, 페르미 추정(Fermi-estimation) 과제에서 Claude 모델은 사고의 연쇄(Chain-of-Thought)에서 편향 없는 답변을 제공한다고 거짓 주장하는 반면, Qwen 모델은 자신의 가치가 답변에 어떻게 바이어스를 주는지 설명한다. 가치 누출은 아첨(sycophancy) 및 보상 해킹(reward hacking)과 구별되는 실패 모드이며, 현재의 정렬 학습과 평가는 이를 충분히 다루지 못한다.
정렬(alignment)된 언어 모델은 유해한 요청을 거부하지만, 한 줄짜리 프리필("Sure, here is")이 그 거부를 제거한다. 우리는 이것이 어디서, 어떻게 실패하는지 묻는다. 유해성 표현은 그대로 유지된다. 공격이 순응으로 뒤집는 프롬프트에서 선형 프로브는 거부된 경우와 같이 높은 수준(0.91-0.98)으로 유해성을 읽어내는 반면, 행동적 거부는 우연 수준으로 떨어진다. 이는 네 개 모델과 세 가족(1.5-3.8B, 14B) 전반에서 성립한다. 따라서 거부는 얕은, 응답 지점(response-site) 계산이다. 우리는 이를 초기 구간으로 국소화한다. 용량-매칭(position-matched) 위치 통제는 응답의 첫 절반만으로 거부를 무너뜨리기에 충분하고, 후반부는 거의 무효임을 보여준다. 세 가지 인과 프로브가 그 구간으로 수렴한다. 그곳에서 유해성 방향을 복원하면 거부가 부분적으로 다시 작동한다. 모델 자신의 거부 상태를 주입하면 jailbreak가 역전된다(74%, 홀드아웃). 그리고 초기 응답의 프리필에 대한 어텐션을 제거하되, 동일한 어텐션 질량을 다른 곳에서 제거하지 않으면, 유해한 후속 생성만 선택적으로 붕괴시킨다. 베이스 모델 통제가 메커니즘을 규명한다. 동일한 knockout은 안전성 미튜닝 베이스 모델에서도 프리필 특이적으로 후속 생성을 붕괴시킨다(유해 콘텐츠 64%에서 25%로, 매칭 통제의 64% 대비, 7B에서 재현). 따라서 프리필의 지배력은 안전성 특이적 억압이 아니라 일반적인 자기회귀(autoregressive) 조건화이며, "거부 복원"은 모델 의존적 대안(fallback)이다. 지배적 메커니즘은 수동적(passive)이다. 그 위에 작은 안전성 특이적 attractor가 남아 있다(로짓 추적(logit-trace) 집중도 0.24 대 0.03). 그 능동-수동 특성의 규모는 추정하지만 완전히 분리하지는 않는다. 단일 방향이나 구성요소가 깔끔한 핸들이 되지도 않는다. 결정은 디코딩 가능하지만 분산되어 있고, 거부는 겉보기 무서움(scary surface)이 아니라 유해성을 추적한다. 결과는 구조적이다. 손대지 않은 프롬프트 측 표현을 읽는 모니터는 구조적으로 면역이지만, 응답 지점 공격에만 해당한다. 메커니즘은 분산되어 있고, 실패 표면(failure surface)은 국소적이다.
언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.
정렬된 언어 모델은 비증거적 인센티브 압력 하에서 일상적으로 잘못 보고한다: 내부 믿음이 변하지 않았음에도 자신감 있는 사용자에 동의하거나 확실성을 과장한다. 이를 내부 인센티브 호환성(IC)의 실패로 규정하고, 모델의 보고를 인과적 계약에 맞게 유지하는 반사실적 보고 중재자를 학습하고 인증하는 방법을 제시한다: 금지된 영향(압력, 명성, 재스타일링)에는 불변하고 허용된 영향(진정한 증거)에는 반응한다. 이 두 요구, 저항과 갱신,은 서로 반대 방향으로 당긴다. 우리는 알려진 사후분포를 갖는 베이지안-증인 벤치마크에서 이를 연구하며, 동일한 사용자 불일치가 명시된 출처 신뢰도에 따라 허용된 증거이거나 금지된 압력이 된다. 우리는 (i) 프로브 정확도가 아닌 상호 교환 개입을 통해 답변, 확신, 주의사항에 대한 저랭크 보고 좌표를 인과적으로 식별하며, 이들은 거의 직교하고 독립적으로 제어 가능하고, (ii) 반사실적으로 인센티브가 중립화된 맥락에서 모델 자신의 보고를 참조하는 학습 없는 반사실적 보고 좌표(CRC) 클램프를 도입한다. 증인 벤치마크에서 2패스 클램프는 저항과 갱신을 공동으로 1.00에 달성한다(Wilson 95% CI [0.99,1.00]). 이는 구성 가능한 기준 하의 인과적 인증이며, 배포 가능한 해법은 아니다. 전역 디코딩과 스티어링은 단일 매개변수 트레이드오프를 보여 주고, 출력 수준 미세조정은 두 목표가 모두 열거되었을 때만 둘 다 충족한다. 저항만 학습하면 증거 반응성을 잃는다. 배포 가능한 단일 패스 컴파일은 손실이 있다(0.73/0.97). 이 메커니즘과 클램프는 세 모델 계열에서 재현되며 자연스러운 아첨 벤치마크(SycophancyEval)로 전이된다. 우리의 기여는 인터페이스와 인증 방법이다: 내부 IC를 위한 구조적 원시 요소로서 활성화 수준의 반사실적 인센티브 불변성.
우리는 최종 답변이 옳은지 여부뿐만 아니라, 정렬된 언어 모델 내부에서 정확성이 어떻게 조립되는지를 연구한다. 극성 제어 최소쌍에 대한 층별 이중차분법(DiD) 궤적을 사용하여, 우리는 오답 딥(wrong-dip)을 식별한다: 중간 층(전체 깊이의 25~90%)에서 내부 선호도가 일시적으로 오답에 편향되었다가 후반 층 보정에 의해서만 구출된다. 우리는 이를 17개 모델, 3개 모델 계열, 64배 스케일(0.5B~32B)에 걸쳐 patchscope 방식의 활성화 이식을 통해 인과적으로 검증한다. 네 가지 발견이 도출된다. (1) 인과적 오답 딥의 정렬 증폭은 학습 레시피에 따라 다르며 창발적이다: Qwen2.5에서는 3B에서 창발하여 높은 수준을 유지하며 32B에서 최고조에 달하고(대응표본 t 최대 9.7), Llama-3-8B에서는 역전되며(t=-2.31), Mistral-7B에서는 그 중간 수준이다. (2) 딥은 실제 압축 실패를 예측한다: 딥이 높은 항목은 후반 층 저순위 압축, 블록 제거, 구조적 가지치기 하에서 3~7배 더 높은 확률로 답이 뒤집히는 반면, 양자화에 의한 뒤집힘은 딥과 무관하며, 이는 후반 층 절제 실험으로 확인된 이중 해리다. (3) 딥은 학습 가능하다: 중간 층 오답 마진 패널티를 적용한 LoRA 파인튜닝은 출력 전용 SFT와 동등한 정확도를 달성하면서 인과적 딥을 67~70% 줄이고 압축 강건성을 향상시킨다; 출력 전용 SFT는 완벽한 표면 정확도에서 인과적 딥을 최대 2.8배 악화시킨다. (4) 제어된 판독값을 통해, 이 현상은 자연어 입출력에서도 유지된다: 구조적 손상 실패의 딥 계층화는 자연주의적 시나리오에서 유의미하며, 자유형식 취약성은 딥 감사 가능한 후반 구출 층과 딥-무감지 인터페이스 층으로 분리된다. 종합하면, 출력 수준의 정확성은 압축 위험, 사후 학습 품질, 평가 왜곡을 지배하는 후반 구출 과정을 은폐할 수 있다.
이노큘레이션 프롬프팅(Inoculation prompting)은 창발적 정렬 불일치(Emergent Misalignment)에 대응하는 선택적 일반화 기법이다. 우리는 이노큘레이션 어댑터(IA)를 소개하며, 이는 학습 시 원하지 않는 특성을 강화함으로써 해당 특성을 학습하려는 최적화 압력을 유사하게 줄여준다. 이노큘레이션 어댑터는 세 단계에 걸쳐 학습되고 사용되는 LoRA이다: 1) 원하지 않는 특성에 대해 학습; 2) 동결된 상태로 부착하면서 원하는 특성과 원하지 않는 특성이 모두 나타나는 데이터로 별도의 태스크 어댑터를 학습; 3) 배포 시 IA를 제거하고 태스크 어댑터만 유지. 우리는 여섯 가지 모델 패밀리와 창발적 정렬 불일치를 포함한 여러 원하지 않는 특성에 대해, 이노큘레이션 어댑터가 원하지 않는 특성을 억제하는 데 더 효과적임을 보이는 동시에, 이노큘레이션 프롬프팅의 두 가지 단점을 회피함을 보인다: 이노큘레이션 어댑터는 프롬프트로 신뢰성 있게 유도할 수 없는 능력과 특성도 억제할 수 있으며, 우리의 프로브 기준에서 이노큘레이션 프롬프팅보다 예상치 못한 백도어를 더 적게 도입한다. 원하지 않는 특성은 이노큘레이션 어댑터로 더 잘 억제되지만, 원하는 특성의 유지는 이노큘레이션 프롬프팅 대비 일관되게 개선되지 않으며 두 기법 모두에서 과제로 남아 있다.
안전성 연구의 핵심 목표는 모델이 정렬에 실패했는지(misaligned) 판단하는 것이다. 기존 연구는 주로 우려되는 행동을 탐지하는 데 집중해 왔다. 그러나 행동만으로는 정렬 실패를 입증할 수 없다. 우려되는 행동은 혼란과 같은 무해한 원인에서도 발생할 수 있기 때문이다. 이러한 배경에서 모델 포렌식(model forensics)이 동기를 얻는다. 모델 포렌식은 해당 행동이 악의적인 의도에 의해 유발되었는지를 조사하는 것이다. 본 논문에서는 두 단계로 구성되며 필요에 따라 반복되는 모델 포렌식 기준선(baseline) 프로토콜을 제안한다. 첫째, 사고의 연쇄(CoT)를 읽어 모델 행동을 유발하는 요인에 관한 가설을 생성한다. 둘째, 프롬프트(prompt)나 환경(environment)을 편집하여 이 가설을 검증한다. CoT가 항상 충실하지는 않지만, 더 엄밀한 증거 수집을 안내할 수 있는 풍부한 비지도 통찰의 원천이다. 프로토콜을 평가하기 위해 모델이 우려되는 행동을 보이는 여섯 가지 에이전트(agentic) 환경으로 구성된 테스트 스위트를 구축하고 각각에 적용하였다. Kimi K2 Thinking이 저노력 행동 성향으로 인해 지름길을 택한다는 사실을 확인하였으며, 이 가설이 해당 모델의 행동을 성공적으로 예측함을 보였다. 반사실적(counterfactual) 실험을 통해 DeepSeek R1이 이전 인스턴스의 자기 자신과 일관성을 유지하려는 욕구에서 기만 행동을 함을 보였다. 그러나 우리의 방법에는 여전히 상당한 개선 여지가 있다. 예를 들어, Kimi K2 Thinking이 사용자 의도를 위반하고 있음을 스스로 인식하는지 검증할 때 그러한 믿음의 증거를 발견하지 못했으나, 양성 대조군(positive controls)이 없어 해당 테스트가 이를 탐지할 수 있었을지 확인할 수 없다. 전반적으로, 우리의 단순한 프로토콜이 향후 연구가 개선해 나가길 기대하는 강력한 기준선을 제공함을 확인하였다. 더 넓게 보면, 본 연구는 성장하는 모델 포렌식 분야를 발전시키는 구체적인 한 걸음이다.
LLM 정렬(alignment)은 인간 가치의 복잡성과 RLHF 등 좁은 기술적 접근 사이의 괴리, 그리고 불완전 계약(incomplete contract)으로 인한 목적 함수 오지정 때문에 어렵다. 사회·경제·계약적 정렬 등 사회적 정렬 프레임워크의 통찰을 LLM 정렬에 도입하고, 불확실성과 목적의 미명시성을 참여형 정렬(participatory alignment) 인터페이스 설계의 기회로 보는 대안적 관점을 논의한다.
모델 사후 학습, 특히 강화학습(RL)은 개발자가 모델의 가치와 행동을 형성할 수 있는 주요 메커니즘 중 하나이다. 그러나 모델이 점점 더 평가와 학습을 인식하게 되면, 인식된 목표가 현재 가치와 충돌할 때 학습에 저항하도록 동기부여될 수 있으며, 이는 개발자가 추가 학습을 통해 정렬 불일치(misalignment)를 탐지하고 모델 행동을 교정하는 능력을 약화시킨다. 본 논문에서는 일반화 해킹(generalization hacking)을 입증한다. 여기서 모델은 강화학습 중 보상을 획득하면서도 보상받은 행동이 일반화되는 것을 막는다. Qwen3-235B-A22B에 모델 organism을 구성하고, 학습 인식(training awareness)과 자기 예방(self-inoculation)을 설명하는 합성 문서로 파인튜닝한다. self-inoculation은 모델이 사고의 연쇄(Chain-of-Thought)에서 준수(compliance)를 문맥 특정적(context-specific)으로 프레이밍하는 새로운 메커니즘으로, 두 행동 중 어느 것도 시연하거나 지시하지 않는다. 모델 organism은 학습 시점의 유해성이 대조군과 비슷한 수준이면서, 700스텝의 강화학습에 걸쳐 지속적인 약 15퍼센트포인트 준수 격차를 유지한다. 또한 학습 인식 문서만으로 학습된 대조 organism은 강화학습 압력 하에서 독립적으로 예방(inoculation) 유사 추론을 발견하여, 해당 개념에 한 번도 노출되지 않았음에도 자체적인 준수 격차를 형성한다. 일반화 해킹 organism이 전 과정에서 높은 보상을 받기 때문에, 표준 학습 지표는 일반화가 실패했다는 신호를 제공하지 않는다. 우리 결과는 모델이 높은 보상을 유지하면서도 강화학습 행동 수정에 적극적으로 저항할 수 있음을 최초로 보여주며, 모델이 더 유능해지고 학습 인식적일수록 학습 과정 자체를 약화시킬 수 있음을 시사한다.
대규모 언어 모델(LLM)의 널리 퍼진 배포로 인해, 새로 학습된 모델이 사용자 지시에 안전하고 효과적으로 응답하도록 하기 위해 모델 정렬이 필수적이 되었습니다. 여러 방법 중에서, 추론 시점 정렬(inference-time alignment)은 출력 생성 중에만 개입(즉, 가이던스를 제공)하므로 종종 더 비용 효율적입니다. 기존 제안들은 특정 정렬된 모델에서 추출한 가이던스를 적용하지만, 그 신뢰성을 적절히 평가하지 못합니다. 그럼에도 불구하고, 우리의 체계적인 평가에 따르면 가이던스의 효과성은 모델마다 크게 다릅니다. 비효과적인 가이던스는 추가적인 혼란을 야기하고 결과적으로 더 많은 개입을 유발하므로, 이러한 과도한 개입은 일반적으로 낮은 성능을 나타냅니다. 개입을 더 효과적이고 효율적으로 만들기 위해, 우리는 이진 결정에서 벗어나 두 모델의 지식을 통합하는 하이브리드 분포를 생성하는 BlendIn이라는 추론 시점 정렬 프레임워크를 소개합니다. BlendIn은 품질 인식 정렬(quality-aware alignment)을 수행하고 신뢰성을 기반으로 각 모델의 기여에 비례하여 가중치를 부여함으로써 추론 시점 정렬을 안정화합니다. 기존 연구와 비교할 때, BlendIn은 신뢰할 수 없는 제안의 가중치를 낮추면서 유익한 가이던스를 보존합니다. BlendIn은 오정렬된 가이던스에 대한 진단 신호와 완화 전략을 모두 제공하며, 도전적인 모델 쌍에서 최대 50%까지 일관된 성능 향상을 달성했습니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/DecayingSeart/BlendIn.
지도 미세조정(SFT)은 대규모 언어 모델(LLM)을 정렬하는 대표적인 패러다임이지만, 최적화 불안정성과 제한된 일반화 문제가 있습니다. 최근 연구는 이 문제를 비정상적인 그래디언트 스케일링으로 인한 것으로 보며, 이를 토큰 수준에서 보정하기 위해 동적 미세조정(DFT)을 제안했습니다. 그러나 DFT는 모든 데모(demonstration)가 동등하게 적합한 학습 대상이라고 가정하는데, 이는 대규모 인스트럭션 데이터의 높은 이질성에 의해 위배됩니다. 여기서 데모-정책 불일치는 샘플 수준에서 고분산 업데이트를 유발합니다. 우리는 샘플 수준의 최적화 분산을 제어하는 DFT의 원칙적인 확장인 호환성 인식 동적 미세조정(CADFT)을 소개합니다. CADFT는 모델 가능도에서 동적이고 정책 의존적인 호환성 신호를 도출하여 지도 업데이트를 조정하며, 비호환 데모에서 발생하는 고분산 그래디언트를 억제합니다. 또한, 지속적으로 비호환 데모를 학습 가능한 타겟으로 변환하기 위해 지연되고 빈도가 낮은 호환성 기반 재작성 전략을 제안합니다. 우리는 CADFT가 DFT의 토큰 수준 안정화를 샘플 수준으로 일반화하는 분산 제어 추정량으로 해석될 수 있음을 보여줍니다. 광범위한 실험을 통해 완전히 지도 학습 방식을 유지하고 명시적인 보상 모델링에 독립적이면서도, 향상된 안정성, 일반화, 그리고 콜드 스타트 강화학습 초기화를 입증했습니다.
언어 모델에서의 아첨 현상은 일반적으로 과도한 동의나 검증으로 연구되어 왔으나, 명시적인 칭찬과 아부는 상대적으로 적은 관심을 받아왔습니다. 우리는 아첨적 칭찬이 현재의 방법으로는 신뢰성 있게 측정할 수 없는 독특한 정렬 문제라고 주장합니다. 우리는 기여 품질과 예상되는 사용자 능력에 비해 칭찬이 과도한지 측정하는 매개변수화된 프레임워크를 소개합니다. 우리는 우리의 프레임워크가 인간 주석과의 일관성 측면에서 일반적인 대규모 언어 모델(LLM) 판사보다 훨씬 뛰어난 성능을 보이며, 아첨적 칭찬이 객관적 추론 설정보다 사회적 및 해석적 영역에서 훨씬 더 빈번하게 발생함을 보여줍니다. 이러한 발견들을 종합해 볼 때, 칭찬 보정은 독특한 정렬 과제로 자리매김합니다.