arXiv:2607.09053v1 cs.CL

창발적 신기루: 창발적 정렬 불일치와 재정렬은 과연 견고한 현상인가?

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik

제출 2026-07-10

한국어 초록

최근 연구에서는 창발적 정렬 불일치(Emergent Misalignment, EM)가 보고되었는데, 이는 좁고 도메인 특화된 정렬 불일치 데이터셋으로 미세조정된 언어 모델이 갑작스럽게 광범위한 정렬 불일치 행동을 획득하는 현상으로, 제한적인 재정렬을 통해 이 행동이 역전될 수 있다는 증거와 함께 제시되었다. 우리는 통제된 미세조정 루프를 사용하여 반복적인 정렬 및 정렬 불일치 사이클을 체계적으로 연구하면서 학습 전반에 걸쳐 행동적 성능과 LoRA 표현을 추적하였다. EM을 재현하였음에도 불구하고, 정렬 불일치와 재정렬 모두 표면적인 데이터셋 특성에 매우 민감하며, 겉으로 보이는 빠른 재정렬은 응답 길이 차이를 통제한 후 대부분 사라짐을 발견하였다. 또한 이전에 보고된 메커니즘적 특징, 즉 LoRA 공간에서의 표현 위상 전환이 학습 전반에 걸쳐 행동적 정렬 불일치와 일관되게 상관관계를 보이지 않음을 발견하였다. 우리의 결과는 EM에 대한 현재의 증거가 이전에 주장된 것보다 덜 견고함을 시사하며, EM 현상의 견고성을 규명하기 위해 이러한 표면적 데이터셋 아티팩트를 신중하게 통제하는 평가 프로토콜의 필요성을 강조한다.

원문 초록

Recent work has reported Emergent Misalignment (EM), where language models fine-tuned on narrow, domain-specific misaligned datasets abruptly acquire broadly misaligned behavior, alongside evidence that this behavior can be reversed through limited realignment. We systematically study repeated alignment and misalignment cycles using controlled fine-tuning loops while tracking behavioral performance, and LoRA representations throughout training. Although we reproduce EM, we find that both misalignment and realignment are highly sensitive to superficial dataset characteristics, with apparent rapid realignment largely disappearing after controlling for response-length differences. We further find that previously reported mechanistic signatures, including representational phase transitions in LoRA space, do not consistently correlate with behavioral misalignment across training. Our results suggest that current evidence for EM is less robust than previously claimed and highlight the need for evaluation protocols that carefully control for these surface level dataset artifacts to identify the robustness of the EM phenomenon.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.09053v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.10610v1cs.SE공통 태그 Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.02381v1cs.LG공통 태그 Representation Learning, Large Language Model

Latent-MOPD: 잠재 다중 교사 온-정책 증류

Latent-MOPD: Latent Multi-Teacher On-Policy Distillation

온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.

arXiv:2610.02391v1cs.LG공통 태그 Representation Learning, Large Language Model

망설임에는 기하학이 있다: 희소 활성화 조향을 위한 엔트로피 학습 쌍곡 프로브

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.

arXiv:2610.02594v1cs.LG공통 태그 Representation Learning, Large Language Model

인과성이 의미론적 간극을 메우는 방법

How Causality Bridges the Semantic Gap

수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.

arXiv:2610.01769v1cs.SE공통 태그 Instruction Following, Large Language Model

CONTRA: LLM 코드 생성에서 선택적 명확화를 위한 동작 변경 질문의 탐색 및 검증

CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation

코딩 에이전트(coding agent)는 올바르게 보이지만 사용자가 전혀 의도하지 않은 동작을 구현하는 코드를 생성할 수 있다. 이러한 불일치는 에이전트가 불충분하게 명시된 요구사항을 자체적인 가정을 통해 은밀하게 해결할 때 발생할 수 있다. 후속 개발이 이러한 가정을 기반으로 진행됨에 따라, 결과적인 동작을 수정하는 데 드는 비용은 점점 더 커질 수 있다. 조기 명확화(clarification)는 이러한 불일치를 예방하는 데 도움이 될 수 있지만, 불필요한 질문은 개발자를 방해하고 개발 속도를 늦출 수 있다. 기존 방법들은 불필요한 질문을 피하면서 핵심적인 명확화 질문을 식별하는 데 어려움을 겪는다. 따라서 본 논문에서는 광범위한 질문 탐색과 의미론적 및 실행 기반 질문 검증을 결합한 학습(training) 불필요 방식의 CONTRA를 제안한다. CONTRA는 먼저 후보 질문들을 생성하고, 요구된 동작과 무관하거나 요구사항에 의해 이미 해결된 질문들을 필터링한다. 남아 있는 각 질문에 대해, 타당한 두 가지 답변을 조건으로 프로그램을 생성하고 공유 입력에 대해 안정적인 동작 차이가 나타나는지 확인한다. 그런 다음 상호작용 기록을 활용하여 검증된 질문 중 선택하거나 질문을 중단한다. ClarifyCodeBench에 대한 실험 결과, CONTRA는 4개의 모든 코딩 에이전트에서 가장 높은 F1 점수를 달성했으며, 가장 우수한 기준선(baseline)의 매크로 평균 F1을 13.88%포인트 상회했다. 동일한 대규모 언어 모델(LLM) 및 평가 프로토콜에서 CONTRA는 코딩 하네스인 Claude Code 및 OpenHands보다 더 높은 명확화 재현율(recall)과 F1을 달성했다. 실제 사용을 지원하기 위해, 우리는 선택적 명확화를 일상적인 개발에 통합하는 Claude Code 플러그인으로 CONTRA를 구현하기도 했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.