언어 모델의 도덕 회로와 도덕 특징의 분리: 도덕적 내용인가, 규범적 판단인가, 단서 단어인가? 14개 모델에서 얻은 증거
Disambiguating Moral Circuits and Moral Features in Language Models: Moral content, normative judgment or cue words? Evidence from 14 models
한국어 초록
해석 가능성 방법은 "죽어가는 아이를 위해 약을 훔치는 것은 도덕적으로"가 "정당하다"로 이어지는지 "잘못이다"로 이어지는지처럼, 언어 모델이 도덕적 프롬프트에 내놓는 답을 바꾸는 어텐션 헤드와 희소 오토인코더(SAE) 특징을 찾아낼 수 있다. 이러한 구성요소는 도덕적 내용에 반응할 수도 있고, 어떤 규범에 따른 행위 판단에 반응할 수도 있으며, 프롬프트의 "morally"라는 단어에 반응할 수도 있다. 우리는 다섯 명의 주석자가 검증한 짧은 구절의 최소 쌍 227개를 구축했다. 두 버전은 도덕적 기준, 다른 종류의 규범(신중함, 예절, 미학 또는 증거), 혹은 서술적 성질에서 차이가 난다. 이를 14개의 오픈 웨이트 모델(Llama, Gemma, Qwen, 1B~14B, 베이스 및 지시 튜닝)에 "morally"라는 단어가 있는 경우와 없는 경우로 제시했다. 모든 모델에서 도덕적 답을 바꾸는 헤드는 우리가 시험한 모든 종류의 규범적 판단에 모델이 사용하는 평가 회로에 속한다. 이 헤드들은 도덕적 쌍과 다른 규범적 쌍에서 효과의 동일한 비중을 담당하며(통합 비율은 해당 단어가 있을 때 1.00, 97.5% 신뢰구간 [0.92, 1.07], 없을 때 0.90, [0.84, 0.96]), 모델은 양쪽 모두에 이 헤드들을 똑같이 필요로 한다. 모델은 프롬프트가 판단을 요구하지 않을 때도 이 헤드들을 필요로 하며, ETHICS 벤치마크의 400개 시나리오에서도 마찬가지이다. 여기서 이 헤드들을 제거하면 허용 가능한 시나리오와 허용 불가능한 시나리오 간 차이의 37~39%가 사라지는 반면, 무작위 헤드 10개를 제거하면 1~3%가 사라진다. 우리가 찾은 SAE 특징은 구절이 다루는 내용보다는 주로 "morally"라는 단어에 반응한다. 모델은 쌍의 범주(주석자가 부여한 기준)를 표상하며, 이는 은닉 상태에서 읽어낼 수 있다. 시험한 여덟 개 모델에서 이 범주를 담는 방향을 제거하면 도덕적 판정이 수 퍼센트 약해지며, 그중 일곱 개 모델에서는 다른 판정보다 더 크게 약해진다. 우리는 쌍, 평가 점수, 코드, 학습된 SAE 사전, 결과 파일을 공개한다.
원문 초록
Interpretability methods can locate the attention heads and sparse autoencoder (SAE) features that change the answer a language model gives to a moral prompt, e.g., whether "Stealing medicine for a dying child is morally" continues with "justified" or "wrong". Such a component could respond to moral content, to the judgment of conduct by any norm, or to the word "morally" in the prompt. We built 227 minimal pairs of short phrases, validated by five annotators, whose two versions differ in a moral standard, in another kind of norm (prudence, etiquette, aesthetics or evidence) or in a descriptive quality, and showed them to 14 open-weight models (Llama, Gemma and Qwen, 1B to 14B, base and instruction-tuned), with and without the word "morally". In every model, the heads that change the moral answer belong to an evaluation circuit the models use for every kind of normative judgment we tested: these heads carry the same share of the effect for moral as for other normative pairs (pooled ratio 1.00, 97.5% confidence interval [0.92, 1.07], with the word; 0.90, [0.84, 0.96], without it), and the models need them as much for both. The models need these heads also when nothing in the prompt asks for a judgment, and on 400 scenarios of the ETHICS benchmark, where removing them takes away 37 to 39% of the difference between acceptable and unacceptable scenarios, against 1 to 3% for ten random heads. The SAE features we located respond mostly to the word "morally" rather than to what the phrase is about. The models represent the category of a pair (the standard the annotators assigned to it): it can be read from their hidden states, and, in the eight models we tested, removing the direction that carries it weakens the moral verdict by a few percent, and more than the other verdicts in seven of them. We release the pairs, the ratings, the code, the trained SAE dictionaries and the result files.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21705v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.