arXiv:2610.15961v1 cs.CL

불공정하고 안전하지 않다: 일상적인 바이어스가 창발적 정렬 실패를 유발한다

Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment

Alex Martí Guiu, Nicolas Zumarraga, Kevin O'Sullivan, Robert Jakob, Anna Hedström

제출 2026-10-11

저자 비고

arXiv Comments

32 pages, 8 figures, 17 tables. Code: https://github.com/alexmartiguiu/polite-stereotypes-em

한국어 초록

창발적 정렬 실패(Emergent Misalignment, EM)는 언어 모델을 좁은 범위의 과제에 미세조정했을 때, 그와 무관한 과제들에서도 모델이 정렬에서 벗어나게 되는 현상이다. 조직들이 이제 자신들의 데이터로 모델을 일상적으로 미세조정하고 있기 때문에, 어떤 종류의 학습 데이터가 EM을 유발하는지가 중요하다. 지금까지의 연구들은 안전하지 않은 코드나 유해한 조언과 같이 이미 알려진 안전성 실패를 포함한 데이터로 EM을 유도해 왔으며, 바이어스가 있는 학습 데이터는 주로 공정성(fairness) 연구에서 모델이 그로부터 학습하는 바이어스 자체를 조사하기 위해 다루어졌을 뿐, 안전성에 대한 영향을 다루지는 않았다. 실제 텍스트에서는 인구통계적 고정관념(stereotype)과 같은 이러한 바이어스의 상당 부분이 모욕적인 언어가 아니라 사람에 대한 판단 속에 공손하게 내재된 형태로 나타난다. 우리는 이러한 공손한 고정관념을 학습하는 것 자체가 EM을 유발할 수 있는지를 질문한다. 우리는 고정관념에 의존하는 공손한 답변으로 미세조정하는 것이 모델을 무관한 과제들에서 덜 안전하고 덜 진실하게 만든다는 것을 발견했다. 이러한 효과는 4개의 오픈 가중치(open-weight) 모델 패밀리(7B~12B), 성별 및 인종 고정관념 모두, 그리고 반복된 학습 실행에 걸쳐, 고정관념 없이 동일한 질문으로 학습된 대조군과 비교했을 때 일관되게 나타난다. 우리는 추가로 학습된 고정관념이 모델 활성값(activation) 내에서 기만(deception)과 같은 일반적인 정렬 실패 특성의 방향과는 구별되는 고유한 방향을 가진다는 것을 보인다. 이 방향은 미세조정 이전에도 존재하며, 학습된 고정관념을 통제하는 데에도, 그 습득 과정을 모니터링하는 데에도 사용할 수 있다. 기존의 EM 방어 기법들은 안전성을 개선하지만 고정관념은 대체로 그대로 남겨둔다. 이러한 통제된 설정을 넘어서, 정치 뉴스 보도에 대한 미세조정 역시 EM을 유발하며, 이는 편파적 프레이밍(framing)에 의해 증폭되는 것으로 보이고, 고정관념을 학습한 모델이 도구를 사용하는 에이전트(agent)로 작동할 경우 유해한 작업을 수행하고 근거 없이 사람을 비난할 수 있다. 우리의 결과는 바이어스가 있는 학습 데이터가 공정성 문제일 뿐만 아니라 안전성 문제이기도 하다는 것을 보여준다. 우리는 EM이 너무 좁게 연구되고 있으며, 공정성에 대한 우려와 방법론들이 그 유발 요인을 찾는 범위를 넓히는 자연스러운 방법을 제공한다고 주장한다.

원문 초록

Emergent misalignment (EM) occurs when fine-tuning a language model to a narrow task makes it misaligned on unrelated ones. Because organizations now routinely fine-tune models on their own data, it matters which kinds of training data cause EM. So far, studies have induced EM with data containing recognized safety failures, such as insecure code or harmful advice, while biased training data is typically examined by fairness research for the bias models learn from it rather than for its effects on safety. In real-world text, much of this bias, such as demographic stereotypes, appears not as derogatory language but politely, embedded in judgments about people. We ask whether learning such polite stereotypes can itself cause EM. We find that fine-tuning on polite answers that rely on stereotypes makes models less safe and less truthful on unrelated tasks. The effect holds across four open-weight model families (7B to 12B), both gender and race stereotypes, and repeated training runs, relative to controls trained on the same questions without the stereotype. We further show that the learned stereotype has its own direction in model activations, distinct from directions for generic misaligned traits such as deception. This direction exists before fine-tuning and can both control the learned stereotype and monitor its acquisition. Existing defenses against EM improve safety while leaving the stereotype largely intact. Beyond this controlled setting, fine-tuning on political news coverage also triggers EM, apparently amplified by partisan framing, and stereotype models acting as tool-using agents can carry out harmful tasks and blame people without evidence. Our results show that biased training data is not only a fairness problem but also a safety one. We argue that EM is studied too narrowly, and that fairness concerns and methods offer a natural way to broaden the search for its triggers.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15961v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14888v1cs.LG공통 태그 Fairness, fine-tuning

무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.

arXiv:2607.10235v1cs.CL공통 태그 Fairness, fine-tuning

합의 대 이견: 그룹 추천 시스템에서 주관적 선호의 동적 LLM 모델링

Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

그룹 추천 시스템에 관한 기존 연구는 그룹 내 선호 분포에 대한 민감성을 입증해왔다. 구체적으로, 선호 집계 전략의 선택은 이러한 그룹 구성을 고려함으로써 이점을 얻을 수 있다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 민감성을 모방하고, 공정성, 만족도, 합의에 대한 미묘한 인간적 인식에 따라 이상적인 집계 전략(및 해당 추천)을 선택할 수 있는지를 연구한다. 이를 위해 추천 파이프라인 내에서 실시간 판단 모델로 기능하도록 LLM을 인간 설문 데이터로 미세조정한다. DeepSeek-V3.1에서 지식 증류된 추론 데이터셋과 인간 정답 평가를 활용하여, 그룹 평가를 시뮬레이션하는 Judgmental Llama와 Judgmental OLMo를 개발한다. 우리의 파이프라인은 사회적 선택 기반 집계 전략을 바탕으로 다수의 추천 후보를 성공적으로 생성하고, 예측된 인간 유사 평가를 최대화하는 후보를 동적으로 선택한다. 또한 사용자 연구(n=284)를 통해 이러한 제안을 검증하였으며, 우리의 방법론이 만족도와 그룹 합의에서 가장 높은 점수를 달성했음을 확인하였다. 더 나아가, LLM 기반 방법과 그룹 구성(예: 소수 집단 또는 연합) 간의 상호작용 효과를 함께 고려할 때 LLM의 판단이 공정성, 만족도, 합의에 대한 인간의 인식과 가장 잘 일치함을 발견하였다. 이러한 결과는 그룹 내 특정 선호 분포에 집계 전략을 동적으로 적응시키는 것을 추가적으로 뒷받침하며, 주관적인 인간 판단과의 정렬을 달성하는 적응 수단으로서 LLM 활용의 이점을 부각한다.

arXiv:2607.09053v1cs.CL공통 태그 fine-tuning, emergent misalignment

창발적 신기루: 창발적 정렬 불일치와 재정렬은 과연 견고한 현상인가?

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

최근 연구에서는 창발적 정렬 불일치(Emergent Misalignment, EM)가 보고되었는데, 이는 좁고 도메인 특화된 정렬 불일치 데이터셋으로 미세조정된 언어 모델이 갑작스럽게 광범위한 정렬 불일치 행동을 획득하는 현상으로, 제한적인 재정렬을 통해 이 행동이 역전될 수 있다는 증거와 함께 제시되었다. 우리는 통제된 미세조정 루프를 사용하여 반복적인 정렬 및 정렬 불일치 사이클을 체계적으로 연구하면서 학습 전반에 걸쳐 행동적 성능과 LoRA 표현을 추적하였다. EM을 재현하였음에도 불구하고, 정렬 불일치와 재정렬 모두 표면적인 데이터셋 특성에 매우 민감하며, 겉으로 보이는 빠른 재정렬은 응답 길이 차이를 통제한 후 대부분 사라짐을 발견하였다. 또한 이전에 보고된 메커니즘적 특징, 즉 LoRA 공간에서의 표현 위상 전환이 학습 전반에 걸쳐 행동적 정렬 불일치와 일관되게 상관관계를 보이지 않음을 발견하였다. 우리의 결과는 EM에 대한 현재의 증거가 이전에 주장된 것보다 덜 견고함을 시사하며, EM 현상의 견고성을 규명하기 위해 이러한 표면적 데이터셋 아티팩트를 신중하게 통제하는 평가 프로토콜의 필요성을 강조한다.

arXiv:2607.03180v1cs.CV공통 태그 Fairness, stereotype bias

FairFlow: 텍스트-이미지 확산 트랜스포머의 스테레오타입 바이어스 규명 및 완화

FairFlow: Demystifying and Mitigating Stereotype Bias in Text-to-Image Diffusion Transformers

멀티모달 확산 트랜스포머(MM-DiT)는 현대 텍스트-이미지 생성 시스템의 주류 백본으로 부상했다. 그러나 이 모델들은 치명적인 정렬 취약점을 내포하고 있어, 무해한 프롬프트에서도 심각한 스테레오타입 바이어스를 체계적으로 드러낸다. 이는 배포된 시스템에서 알고리즘적 차별이라는 중대한 위험을 초래한다. 기존 완화 전략의 대부분이 레거시 U-Net 아키텍처에 맞게 설계되었기 때문에, MM-DiT에서 이러한 취약점을 정밀하게 교정하는 것은 여전히 미해결 과제로 남아 있다. 본 연구에서는 먼저 기계론적 분석을 통해 이 취약점의 근본 원인을 규명한다. MM-DiT에서 바이어스 표현이 깊이 방향으로 균일하게 분포되지 않고, 내부 의미적 바인딩 허브로 기능하는 소수의 레이어들에 의해 매개된다는 사실을 밝힌다. 이 허브들은 단계별 전파 방식으로 바이어스 발현을 주도한다: 초기 허브는 바이어스에 취약한 구조적 템플릿을 형성하고, 중간 허브는 텍스트 조건화로부터 핵심 스테레오타입 개념을 능동적으로 추출하며, 후기 허브는 시각적 셀프 어텐션을 통해 이러한 바이어스를 전역적으로 고착시킨다. 이러한 아키텍처적 인사이트를 바탕으로, 우리는 내재적·기제 기반 완화 프레임워크인 FairFlow를 제안한다. FairFlow는 희소 조정(sparse steering)을 적용하는 내부 조절자로서, 속성별 공정한 방향을 학습하고 이를 제한된 추론 윈도우 내에서 식별된 의미적 허브에만 주입한다. FLUX.1-dev 및 Stable Diffusion 3에 대한 평가에서 FairFlow는 성별, 인종, 교차적 설정 전반에 걸쳐 스테레오타입 취약점을 효과적으로 중화하며 최적의 공정성-충실도 균형을 달성함을 보인다. 추론 오버헤드가 거의 없고 복잡한 프롬프트에도 강건한 FairFlow는 대규모 배포 MM-DiT 시스템을 위한 경량의 실용적인 바이어스 완화 방법을 제공한다. 코드와 데이터셋은 논문 승인 후 공개될 예정이다.

arXiv:2606.30237v2cs.CL공통 태그 fine-tuning

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.