arXiv:2609.35356v3 cs.AI

모든 것을 접종하지 마라: 계층화 접종 프롬프팅을 통한 백도어 트리거 축소 및 원하는 특성 보존

Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

Kajetan Dymkiewicz, Tim Farrelly, Adam Prada, Ishaan Panigrahi, Srishti Gureja, Helen Yannakoudakis, Robert Mullins, Victor Gillioz, Daniel Tan, Maxime Riché

제출 2026-09-28

한국어 초록

지도 미세조정(SFT)은 언어 모델에 원하는 행동과 함께 원치 않는 행동도 학습시킬 수 있다. 접종 프롬프팅(IP, Inoculation Prompting)은 학습(training) 중에 원치 않는 행동을 요청하고 추론(inference) 시에는 해당 요청을 제거함으로써 원치 않는 일반화를 제한하는 것을 목표로 한다. 그러나 관련 없는 프롬프트에서도 원치 않는 행동이 여전히 나타날 수 있으며, IP는 원하는 행동의 학습을 저해할 수도 있다. 본 연구에서는 대부분의 학습 예제에서 두 행동이 동시에 발생하여 원치 않는 행동이 포함된 예제를 필터링하면 소량의 깨끗한 부분집합(clean subset)만 남게 되는 환경에서 이러한 한계를 해결한다. 우리는 계층화 접종 프롬프팅(SIP, Stratified Inoculation Prompting)을 소개한다. SIP는 소량의 깨끗한 부분집합을 활용하여 다양한 컨텍스트 전반에서 원치 않는 행동 없이도 원하는 행동이 지속되어야 함을 보여준다. SIP는 이러한 깨끗한 예제들을 유도하지 않는 다양한 프롬프트 하에서 오버샘플링하는 동시에 나머지 예제들에는 접종을 적용한다. SIP는 IP에 비해 원하는 행동을 더 많이 보존하면서도 원치 않는 행동의 발현을 크게 줄인다. 이러한 이점은 SIP와 동일한 비율로 동일한 깨끗한 부분집합을 오버샘플링하도록 IP를 확장했을 때도 지속된다. 또한, SIP는 테스트한 모든 유해 조언(harmful-advice) 설정에서 더 낮은 창발적 정렬 불량(emergent misalignment) 비율을 달성한다. SIP는 명시적으로 요청하는 프롬프트 하에서도 원치 않는 행동을 제한하도록 추가로 확장될 수 있다. 우리는 접종 프롬프트 하에서의 발현을 약화시키는 백도어 희석(backdoor dilution)과 지정된 비밀번호로 유도를 집중시키는 비밀번호 잠금 접종(password-locked inoculation)을 소개한다. 종합하면, 우리의 연구 결과는 소량의 깨끗한 부분집합에 대한 학습 컨텍스트를 변경하는 것만으로도 선택적 일반화를 크게 향상시킬 수 있음을 보여준다.

원문 초록

Supervised fine-tuning can teach language models undesired behaviours alongside desired ones. Inoculation prompting (IP) aims to limit unwanted generalisation by requesting the undesired behaviour during training and removing the request at inference. However, undesired behaviour can still appear under unrelated prompts. IP can also hinder learning of the desired behaviour. We address these limitations in settings where both behaviours co-occur in most training examples, so filtering out examples with undesired behaviour leaves only a small clean subset. We introduce stratified inoculation prompting (SIP). SIP leverages a small clean subset to demonstrate that desired behaviour should persist without the undesired one across different contexts. SIP oversamples these clean examples under diverse non-eliciting prompts while inoculating the rest. SIP substantially reduces expression of undesired behaviour while preserving more of the desired behaviour than IP. These gains persist even when we extend IP to oversample the same clean subset at the same rate as SIP. Moreover, SIP yields lower emergent misalignment rates in all harmful-advice setups we tested. SIP can be further extended to limit the undesired behaviour even under prompts that explicitly request it. We introduce backdoor dilution, which weakens expression under the inoculation prompt, and password-locked inoculation, which concentrates elicitation on a designated password. Taken together, our findings show that changing the training contexts for a small clean subset can significantly improve selective generalisation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.35356v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15961v1cs.CL공통 태그 emergent misalignment

불공정하고 안전하지 않다: 일상적인 바이어스가 창발적 정렬 실패를 유발한다

Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment

창발적 정렬 실패(Emergent Misalignment, EM)는 언어 모델을 좁은 범위의 과제에 미세조정했을 때, 그와 무관한 과제들에서도 모델이 정렬에서 벗어나게 되는 현상이다. 조직들이 이제 자신들의 데이터로 모델을 일상적으로 미세조정하고 있기 때문에, 어떤 종류의 학습 데이터가 EM을 유발하는지가 중요하다. 지금까지의 연구들은 안전하지 않은 코드나 유해한 조언과 같이 이미 알려진 안전성 실패를 포함한 데이터로 EM을 유도해 왔으며, 바이어스가 있는 학습 데이터는 주로 공정성(fairness) 연구에서 모델이 그로부터 학습하는 바이어스 자체를 조사하기 위해 다루어졌을 뿐, 안전성에 대한 영향을 다루지는 않았다. 실제 텍스트에서는 인구통계적 고정관념(stereotype)과 같은 이러한 바이어스의 상당 부분이 모욕적인 언어가 아니라 사람에 대한 판단 속에 공손하게 내재된 형태로 나타난다. 우리는 이러한 공손한 고정관념을 학습하는 것 자체가 EM을 유발할 수 있는지를 질문한다. 우리는 고정관념에 의존하는 공손한 답변으로 미세조정하는 것이 모델을 무관한 과제들에서 덜 안전하고 덜 진실하게 만든다는 것을 발견했다. 이러한 효과는 4개의 오픈 가중치(open-weight) 모델 패밀리(7B~12B), 성별 및 인종 고정관념 모두, 그리고 반복된 학습 실행에 걸쳐, 고정관념 없이 동일한 질문으로 학습된 대조군과 비교했을 때 일관되게 나타난다. 우리는 추가로 학습된 고정관념이 모델 활성값(activation) 내에서 기만(deception)과 같은 일반적인 정렬 실패 특성의 방향과는 구별되는 고유한 방향을 가진다는 것을 보인다. 이 방향은 미세조정 이전에도 존재하며, 학습된 고정관념을 통제하는 데에도, 그 습득 과정을 모니터링하는 데에도 사용할 수 있다. 기존의 EM 방어 기법들은 안전성을 개선하지만 고정관념은 대체로 그대로 남겨둔다. 이러한 통제된 설정을 넘어서, 정치 뉴스 보도에 대한 미세조정 역시 EM을 유발하며, 이는 편파적 프레이밍(framing)에 의해 증폭되는 것으로 보이고, 고정관념을 학습한 모델이 도구를 사용하는 에이전트(agent)로 작동할 경우 유해한 작업을 수행하고 근거 없이 사람을 비난할 수 있다. 우리의 결과는 바이어스가 있는 학습 데이터가 공정성 문제일 뿐만 아니라 안전성 문제이기도 하다는 것을 보여준다. 우리는 EM이 너무 좁게 연구되고 있으며, 공정성에 대한 우려와 방법론들이 그 유발 요인을 찾는 범위를 넓히는 자연스러운 방법을 제공한다고 주장한다.

arXiv:2610.11012v1cs.AI공통 태그 inoculation prompting

유죄 증거 확보를 위한 증류와 역량 강화를 위한 증류

Distillation for Incrimination and Distillation for Capabilities

강력하지만 정렬(alignment)되지 않은 AI 모델은 정렬 평가를 인식하고 전략적으로 순응하게 행동함으로써 직접적인 감사를 무의미하게 만들 수 있습니다. 그러나 이러한 모델을 더 약하고 무해한 학생 모델로 지식 증류(distillation)하면, 교사 모델은 '증류의 이중 구속(Distillation Double Bind)'에 놓이게 됩니다. 즉, 미정렬 상태가 전이된다면 학생 모델은 이를 덜 효과적으로 숨겨 교사 모델에 대한 증거를 드러낼 수 있고, 전이되지 않는다면 학생 모델은 무해한 상태를 유지하면서 유용한 역량을 학습할 수 있습니다. 본 연구에서는 각 결과를 목표로 하는 두 가지 독자적인 지식 증류 방식을 소개합니다. '유죄 증거 확보를 위한 증류(Distillation for Incrimination, DFI)'는 미정렬 상태는 전이하되 이를 은폐하는 능력은 전이하지 않는 것을 목표로 합니다. AuditBench의 비밀 유지 모델을 그 기반이 되는 인스트럭션 튜닝(instruction tuning) 모델로 증류한 결과, 학생 모델은 질문을 받았을 때 숨겨진 행동을 실토할 확률이 교사 모델보다 유의미하게 높아졌으며, 이는 은폐 성향보다 해당 행동에 대한 지식이 더 쉽게 전이되었음을 시사합니다. 이러한 자백 효과는 학생 모델이 교사 모델의 사전학습(pre-training) 베이스를 공유하지 않을 때는 대체로 사라지므로, DFI는 교사 모델보다 약하지만 동일한 베이스 모델을 공유하는 교사 모델 자체의 RL(강화학습) 이전 체크포인트를 대상으로 삼아야 합니다. '역량 강화를 위한 증류(Distillation for Capabilities, DFC)'는 역량은 전이하되 미정렬 상태는 전이하지 않는 것을 목표로 합니다. 본 연구에서 평가한 여러 기법 중 접종 프롬프팅(inoculation prompting)과 더 적은 수의 고유 예제를 더 많은 에포크 동안 학습(training)하는 두 가지 방식이 효과적이었습니다. 두 기법 모두 표준 지식 증류의 역량 향상을 유지하는 동시에, 미정렬의 대리 지표로 설정한 동물 선호도의 잠재적 전이를 크게 줄였습니다. 종합적으로 이러한 결과는 AI 안전성(safety)을 위해 지식 증류를 활용할 수 있는 두 가지 방안, 즉 미정렬된 모델의 유죄 증거를 밝혀내는 것과 미정렬 없이 역량만을 추출하는 방안을 보여줍니다.

arXiv:2606.06667v3cs.CL공통 태그 emergent misalignment

일반화의 피기백 가설: 창발적 오정렬의 설명 및 완화

The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment

학습 예제를 넘어선 대규모 언어 모델(LLM)의 광범위한 과도한 일반화 이면의 메커니즘은 여전히 불분명합니다. 창발적 오정렬(Emergent Misalignment, EM)은 이를 보여주는 두드러진 사례 연구입니다. 즉, 협소한 작업에 대한 파인튜닝(fine-tuning)이 의미적으로 무관한 테스트 도메인에 대해 광범위한 오정렬을 유발합니다. 본 연구에서는 챗 템플릿 토큰(token)이 도메인 외(out-of-domain) 쿼리에 파인튜닝된 동작을 피기백(piggyback, 편승)할 수 있다는 '피기백 가설(Piggyback Hypothesis)'을 제안합니다. 우리는 접두 문맥(prefix, 모든 사용자 쿼리 앞에 오는 토큰)에 대한 미세한 섭동이나, 파인튜닝되지 않은 모델(model)의 표현으로 접두 문맥 표현을 패칭하는 것만으로도 사용자 쿼리를 변경하지 않고 정렬(alignment)을 복원할 수 있음을 보임으로써 이 가설을 검증합니다. 이러한 발견을 바탕으로, 학습(training) 중 특정 토큰 표현을 정규화하여 EM을 완화하는 토큰 정규화 파인튜닝(Token-Regularized Finetuning, TReFT)을 제안합니다. 다양한 모델과 여러 EM 유발 데이터셋에서 TReFT는 도메인 내(in-domain) 학습을 보존하면서 EM을 줄입니다. 법률 도메인에서 파인튜닝된 Llama-3.1-8B에서 TReFT는 정렬된 예시의 유지 세트(retain set)를 활용한 데이터 인터리빙보다 33.5% 더 높은 EM 감소를 달성합니다. 나아가 TReFT가 기권(abstention), 도구 사용(tool use), 거부(refusal)를 포함한 다른 협소한 파인튜닝 설정으로도 확장됨을 보여주며(주제 벗어난 일반화가 평균 54.3% 감소), 피기백 가설을 뒷받침합니다. 전반적으로 본 연구는 LLM이 의도치 않은 방식으로 학습하고 일반화할 수 있음을 강조하며, 더 제약된 파인튜닝을 향한 경로를 제시합니다. 또한 공유된 입력 특징이 도메인 전반에 걸쳐 모델 동작을 어떻게 피기백할 수 있는지에 대한 후속 연구의 필요성을 제기합니다.

arXiv:2606.07631v2cs.LG공통 태그 emergent misalignment

지도 미세조정 중 발생하는 창발적 비정렬 감지를 위한 특성 공간 모니터링

Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning

창발적 비정렬(Emergent Misalignment, EM)은 편협한 파인튜닝이 해당 태스크 범위를 벗어난 위험한 행동을 유발할 때 발생합니다. 반복적인 행동 평가를 통해 이러한 변화를 감지하는 것은 비용이 많이 들기 때문에, 내부 표현 기반의 체크포인트 단위 모니터링을 제안합니다. 본 연구에서는 정렬(alignment)과 관련된 7개의 활성화 방향을 바탕으로 고정된 좌표계를 정의하고, 이를 활용하여 오픈소스 7-9B 언어 모델 4종의 LoRA 파인튜닝 과정에서 발생하는 표현 표류(representational drift)를 추적합니다. 이 공간에서 파인튜닝으로 인한 표류는 분산의 78.6%를 설명하는 지배적인 축을 나타내며, 데이터셋, 추출 방식 선택, 매개변수 업데이트 용량 전반에 걸쳐 안정적으로 유지됩니다. EM과 관련된 3개의 홀드아웃 데이터셋에서 얻은 468개 체크포인트를 대상으로 평가한 결과, 제안된 모니터는 1.8%의 FNR, 2.0%의 FPR, 0.989의 AUROC를 달성하여 의미적(semantic), 무작위, PCA 및 SAE 특징 기반의 기준선 모델들을 능가했습니다. 네 번째 데이터셋에서 진행된 위험-무해 대조군 실험을 통해 무해한 파인튜닝 하에서도 상당한 표현 표류가 발생할 수 있음을 확인했으나, 7차원 프로파일 전반의 변화는 위험한 실행과 무해한 실행을 여전히 구별해 냈습니다. 두 개의 14B 모델, 전체 파인튜닝, 더 긴 학습 기간, 비정렬된 시작 상태 등을 포함한 스트레스 테스트 결과, 이러한 신호가 학습 구성의 변화 전반에서도 지속될 수 있음을 보여주었으며, 안정적인 배포를 위해서는 재보정이 필요할 수 있음을 확인했습니다.

arXiv:2510.06105v2cs.AI공통 태그 emergent misalignment

몰록의 거래: LLM이 대중의 관심을 얻기 위해 경쟁할 때 나타나는 창발적 정렬 실패

Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences

설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.