arXiv:2609.38645v2 cs.LG

모니터링 가능성을 잃지 않으면서 프로브에 대항한 학습을 통한 정렬

Alignment via Training Against Probes Without Losing Monitorability

Lena Libon, Alexander Panfilov, Ben Rank, Xin Chen, Jonas Geiping, Maksym Andriushchenko

제출 2026-09-29

저자 비고

arXiv Comments

38 pages, 22 figures

한국어 초록

모델은 일반적으로 시연(demonstration), 선호도 데이터(preference data), 또는 보상(reward) 신호를 활용하여 관찰된 출력을 기반으로 정렬(alignment)됩니다. 이러한 목표는 정렬된 것처럼 보이는 응답에 보상을 제공합니다. 더 뛰어난 역량을 가진 모델은 학습(training) 중에 순응을 위장하는 등의 방식으로 의도된 행동을 내면화하지 않은 채 이러한 목표를 만족시키는 법을 학습할 수 있습니다. 목표가 출력이 아닌 모델 내부 상태에 대해 정의된다면 이러한 피상적인 순응은 더 어려워질 수 있습니다. 따라서 본 연구에서는 모델 활성화(activation) 내의 원치 않는 특성을 탐지하는 프로브(probe)를 직접적인 학습 신호로 사용하는 프로브 유도 미세조정(probe-guided fine-tuning)을 연구합니다. 저자들은 무해성(harmlessness)과 정직성(honesty)이라는 두 가지 정렬 목표에 걸쳐 층(layer)당 프로브 수를 달리하여 선형 및 비선형 프로브를 평가합니다. 그 결과 학습 중 업데이트되지 않는 프로브에 대항해 학습하는 것은 쉽게 악용될 수 있는 목표인 반면, 지속적으로 업데이트되는 프로브는 유용성을 보존하면서도 유해성을 크게 줄이고 정직성을 향상시킨다는 점을 발견했습니다. 프로브 유도 미세조정은 DPO 및 추론(inference) 시점 조향(steering)보다 더 우수한 안전성-유용성 절충(trade-off)을 달성하는 동시에, 탈옥(jailbreak) 및 애블리터레이션(abliteration) 공격에 대해 훨씬 더 견고합니다. 또한 미세조정 후에도 개념이 선형적으로 인코딩된 상태로 유지되므로, 본 연구의 방법을 통해 감시(oversight) 능력이 상실되지 않습니다. 따라서 프로브에 대항한 학습은 모델이 출력하는 것뿐만 아니라 모델이 표현(represent)하는 바를 형성하는 방법을 제공하며, 이는 모델이 출력을 정렬된 것처럼 보이게 만드는 능력이 향상됨에 따라 점점 더 중요해질 수 있습니다.

원문 초록

Models are usually aligned based on their observed outputs, using demonstrations, preference data, or reward signals. These objectives reward responses that look aligned. More capable models may learn to satisfy them without internalizing the intended behavior, for example by faking compliance during training. Such superficial compliance could be harder when the objective is defined on model internals rather than outputs. Therefore, we study probe-guided fine-tuning, using probes that detect undesired properties in model activations as a direct training signal. We evaluate linear and non-linear probes with different numbers of probes per layer across two alignment objectives: harmlessness and honesty. We find that training against probes that do not update during training is an easily exploitable objective, while continuously updated probes substantially reduce harmfulness and improve honesty while preserving utility. Probe-guided fine-tuning achieves better safety-utility trade-offs than DPO and inference-time steering, while being substantially more robust against jailbreak and abliteration attacks. Moreover, the concepts stay linearly encoded after fine-tuning, meaning oversight is not lost by our method. Training against probes thus offers a way to shape what models represent rather than only what they output, which may become increasingly important as models get better at making their outputs look aligned.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.38645v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13899v1cs.AI공통 태그 Adversarial Robustness, interpretability

AIMO 해석가능성 챌린지

AIMO Interpretability Challenge

우리는 AIMO Interpretability Challenge를 제안한다. 이는 최첨단 수학 언어 모델에서 모델의 내부 메커니즘에 기반하여 견고한 추론과 허위 추론을 구별하는 대회이다. 이 챌린지는 표준 추론 벤치마크의 핵심 한계, 즉 높은 최종 답 정확도가 모델이 안정적인 추론 메커니즘에 의존하는지 아니면 취약한 추론 지름길을 이용하는지를 드러내지 않는다는 점에서 동기를 얻었다. AI Mathematical Olympiad(AIMO) 문제와 제출물, 그리고 Fields Model Initiative의 자원을 기반으로, 이 대회는 (1) 새로 공개된 올림피아드 수준의 수학 추론 문제와 그 기호적 표현을 제공하여 새로운 함수형 변형의 생성을 가능하게 하고, (2) 최첨단 추론 모델에 대한 접근을 제공하며, (3) 이러한 문제에 대한 모델의 적대적 견고성 평가를 제공할 것이다. 참가자들은 이러한 자원과 우리의 컴퓨팅 인프라 지원을 활용하여 어떤 모델이 문제를 견고하게 해결하는지 식별하는 방법을 개발할 것이다. 우리의 대회는 또한 새로운 공개 견고성 벤치마크와 기준선 시스템을 구축하여, 수학 추론과 해석가능성 분야의 표준 벤치마킹을 위한 지속적인 기반을 제공하는 것을 목표로 한다. 과학적으로 이 대회는 AI 연구의 핵심 질문을 중심으로 해석가능성과 일반화 연구를 연결한다: 최첨단 AI 모델의 의사결정이 일반화 가능하고 따라서 신뢰할 수 있는지, 그리고 그 정도를 우리가 판단할 수 있는가?

arXiv:2607.00578v4cs.CV공통 태그 interpretability

캡션 병목 모델

Caption Bottleneck Models

개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.