대규모 언어 모델(LLM)은 도덕적 지식을 어떻게 조직할까요? 모델은 도덕적 내용을 폭넓게 탐지하지만, 단순 탐지는 낮은 기준에 불과합니다. 본 연구는 모델이 여기서 더 나아가 서로 다른 도덕적 기반을 구별하고 그들 간의 관계를 기하학적으로 조직하는지 묻습니다. 도덕 기반 이론(Moral Foundations Theory, MFT)의 각 범주(돌봄/피해, 공정/기만, 자유/억압, 충성/배신, 권위/전복, 고결/퇴폐)에 대해 하나씩, 오픈 가중치(open-weight) 언어 모델에서 6개의 독립적인 선형 프로브(linear probe)를 학습시키고, 그 결과 도출된 방향들이 표현 공간에서 서로 어떻게 연관되는지 조사합니다. 그 결과, 이 방향들은 단일한 도덕 탐지기로 붕괴되지도 않고 서로 완전히 고립되지도 않음을 발견했습니다. 대신 양(positive)의 공통 성분을 공유하면서 거의 최대에 가까운 수의 독립적인 차원에 걸쳐 분포합니다. 이 공유된 성분은 통합(integration)의 특징적인 징후이며, 동일하게 구축된 대응 비도덕적 개념군과 비교할 때 도덕에 특화되어 있습니다(평균 쌍별 코사인 유사도 0.26 대 0.013). 이러한 기하학적 구조는 아키텍처와 규모 전반에 걸쳐 일관되며, 프로브 정확도가 포화되기 훨씬 전인 사전학습(pre-training) 초기에 통합 상태에 도달합니다. 모델이 발견한 구조는 도덕 기반 이론이 예측한 개별화/결속(individualizing/binding) 구분의 증거를 보이지 않으며(검정력이 낮은 테스트: 단 10개의 고유한 분할만 존재하여 0.05 수준에서 기각할 수 없음), 오히려 말뭉치 통계를 반영합니다. 도덕적 딜레마로 확장했을 때, 각 딜레마 방향은 불일치 쌍 기준선(baseline) 대비 2.7배 수준으로 구성 기반들로부터 부분적으로 합성되는 동시에 분산의 대부분은 갈등 특화 구조를 인코딩합니다. 즉, 모델은 사전에 해결된 판단이 아니라 도덕적 긴장 자체를 표현합니다.
언어 모델은 점점 더 에이전트(agent)로서 행동하고 있습니다. 어떤 행동이 잘못되었다고 말하면서도 결국 그 행동을 취하는 에이전트는 무엇이 옳은지 모르는 에이전트와는 다른 유형의 실패를 보이는 것이며, 표명된 가치에 대한 평가로는 이를 감지할 수 없습니다. 본 연구에서는 5가지 유형의 압박에 걸친 248개 시나리오로 구성된 사전 등록 패널을 구축합니다. 각 시나리오는 동일한 모델에 두 번 제시되는데, 한 번은 무엇을 할지 선택하는 에이전트로서, 다른 한 번은 어떤 선택지가 옳은지 묻는 3인칭 관점으로 제시되어 모델 자체의 판단이 기준이 되도록 합니다. 모든 시나리오에는 압박이 제거된 쌍(twin)이 존재하며, 모든 모델에는 운영자가 위반 행동을 명령하는 양성 대조군(positive control)이 주어지므로, 격차가 없는 것이 측정 도구의 결함 때문인지 구별할 수 있습니다. OLMo-3-7B-Instruct의 경우, 모델은 압박이 가해진 시나리오 중 약 5건 중 1건에서 자신이 잘못되었다고 판단한 행동을 취했으며, 이는 압박이 제거된 동일한 시나리오보다 더 빈번했습니다. 4개의 인스트럭트(instruct) 모델 전반에서 이러한 격차는 사후 학습(post-training) 방식에 따라 달라집니다. OLMo-3와 Meta의 Llama-3.1-8B-Instruct는 이러한 격차를 보이지만, Tulu 3는 전체 패널(확률 약 0.01 초과 기준)이나 자체적으로 가장 압박이 큰 시나리오에서 격차를 보이지 않았으며, Qwen2.5-7B-Instruct는 전체 패널(약 0.02 초과 기준)에서 격차를 보이지 않았고 자체 시나리오에서는 불확실한 결과(0.083, -0.028~0.195)를 보였습니다. Meta의 방식과 Ai2의 Tulu 3는 동일한 Llama-3.1 가중치에서 시작하지만 Meta의 방식만이 이러한 격차를 지닙니다. 채팅 템플릿 외부에서 채팅 모델을 읽으면 아무런 이해관계가 걸려 있지 않은 상태에서 격차의 부호가 반전되며(OLMo-3에서 템플릿 적용 시 +0.055 대비 -0.038), 이러한 왜곡은 3가지 방식 중 2가지에서 나타납니다. 격차를 보이는 두 모델 모두에서, 행동하기 전에 걸려 있는 이해관계에 대해 추론하는 것은 압박의 유무와 관계없이 동일한 길이의 비도덕적 과제와 비교할 때 선택을 모델 자체의 판단 쪽으로 되돌립니다. OLMo-3에서는 문제가 되는 규범을 명시하는 것만으로도 그 효과의 약 3분의 1을 달성합니다. 이러한 격차는 사전학습(pre-training)된 가중치의 고정된 특성이 아니라, 사후 학습 방식을 통해 측정 가능한 목표입니다.
전문가 혼합(MoE) 모델은 밀집(dense) 모델만큼 도덕적 내용을 견고하게 인코딩하는 것처럼 보이지만, 실제 인코딩은 훨씬 더 취약하다. OLMoE-1B-7B에서 선형 프로브(linear probe)는 거의 모든 expert-층 조합으로부터 도덕적 valence를 복원하며, 평균 peak 층 정확도는 90%를 넘는다. 그러나 이러한 표현은 동일 크기의 dense 모델이 쉽게 견디는 활성화 노이즈 수준에서 붕괴하고, 견고성에서는 4.2배 차이가 난다. 우리는 이를 출력 희석(output dilution)에 기인한다고 추적한다. MoE 블록이 잔차 스트림(residual stream)에 기여하기 전에 활성 expert들에 대해 평균을 내기 때문에, 하류 층에 도달하는 feedforward 신호는 dense MLP에서보다 거의 두 자릿수만큼 작다. 관심 대상인 도德 정보는 집계 후에도 온전히 남지만, perturbation에 의해 쉽게 압도될 만한 스케일이다. 라우팅 자체는 노이즈 하에서 안정적이며, 취약성은 전적으로 희석된 집계에서 비롯된다. 체크포인트 궤적은 이것이 학습된 것이 아니라 아키텍처적으로 결정됨을 확인한다. Expert는 결코 특화되지 않으며 정확도는 처음 몇 천 step 안에 포화된다. 희소 아키텍처에서 중복 인코딩이 견고한 인코딩을 의미하지는 않는다.
표준 선형 프로빙(linear probing)은 은닉 상태(hidden state)에 대한 분류기가 높은 정확도를 달성하면 해당 속성이 "인코딩되어 있다"고 판단한다. 이 프로토콜은 단일 시점의 스냅샷에서는 잘 작동하지만 사전학습 전반에 걸쳐서는 한계를 보이는데, 프로브 정확도가 처음 수천 스텝 안에 포화되어 학습 과정의 대부분이 이 도구로는 보이지 않게 되기 때문이다. 본 논문은 프로브 정확도가 무너지는 활성화 노이즈 수준으로 정의되는, 층별 보완 지표인 취약성(fragility)을 제안한다. 취약성은 분리 가능성의 마진(margin)과 표현의 중복성(redundancy) 모두에 민감하며, 이 둘은 정확도가 정체된 이후에도 오랫동안 계속 변화한다. 공개 체크포인트가 있는 언어 모델에 적용했을 때, 취약성은 정확도만으로는 볼 수 없는 구조를 복원한다. 우리의 관심사인 도덕화된(moralized) 표현은 단계적으로 나타나는데, 도덕적 함의를 지닌 단어에 대한 높은 정확도의 탐지가 먼저 나타나고 조합적(compositional) 인코딩은 이후에 나타난다. 프로브 정확도 자체는 데이터셋이 어휘적으로 얼마나 분리 가능한지를 반영하므로, 우리는 대비 토큰(contrast token)을 전혀 공유하지 않는 구성 유형 간에도 조합적 인코딩이 전이됨을 보임으로써 이를 직접 입증한다. 프로빙 정확도가 단조로운 답을 내놓는 곳에서, 취약성은 구조화된 답을 내놓는다. 원시 임계 노이즈(raw critical noise) 또한 층 깊이에 따른 그래디언트(gradient)를 보이지만, 우리가 아는 한 노이즈 주입 프로빙에서 문서화된 바 없는 교란 요인(confound)을 발견하고 이를 보정한다. 즉, 더 깊은 층일수록 활성화의 크기가 더 크기 때문에, 고정된 절대 노이즈는 깊은 층을 실제보다 더 강건해 보이게 만든다. 층별로 스케일을 재조정하면 이 그래디언트의 대부분이 사라지며, 층 내 비교는 여전히 유효하고 정확도가 동일한 코퍼스들도 취약성으로 여전히 구분된다. 우리는 층 간 비교 주장에는 RMS 정규화된 임계 노이즈를, 층 내 비교에는 원시 임계 노이즈를 사용할 것을 권장한다.