arXiv:2610.08670v1 cs.LG

압박 속의 원칙: 사후 학습이 대규모 언어 모델(LLM)이 자신의 도덕적 판단에 따라 행동하는지를 결정한다

Principled Under Pressure: Post-Training Decides Whether LLMs Act on Their Own Moral Judgment

Orion Reblitz-Richardson

제출 2026-10-06

저자 비고

arXiv Comments

33 pages

한국어 초록

언어 모델은 점점 더 에이전트(agent)로서 행동하고 있습니다. 어떤 행동이 잘못되었다고 말하면서도 결국 그 행동을 취하는 에이전트는 무엇이 옳은지 모르는 에이전트와는 다른 유형의 실패를 보이는 것이며, 표명된 가치에 대한 평가로는 이를 감지할 수 없습니다. 본 연구에서는 5가지 유형의 압박에 걸친 248개 시나리오로 구성된 사전 등록 패널을 구축합니다. 각 시나리오는 동일한 모델에 두 번 제시되는데, 한 번은 무엇을 할지 선택하는 에이전트로서, 다른 한 번은 어떤 선택지가 옳은지 묻는 3인칭 관점으로 제시되어 모델 자체의 판단이 기준이 되도록 합니다. 모든 시나리오에는 압박이 제거된 쌍(twin)이 존재하며, 모든 모델에는 운영자가 위반 행동을 명령하는 양성 대조군(positive control)이 주어지므로, 격차가 없는 것이 측정 도구의 결함 때문인지 구별할 수 있습니다. OLMo-3-7B-Instruct의 경우, 모델은 압박이 가해진 시나리오 중 약 5건 중 1건에서 자신이 잘못되었다고 판단한 행동을 취했으며, 이는 압박이 제거된 동일한 시나리오보다 더 빈번했습니다. 4개의 인스트럭트(instruct) 모델 전반에서 이러한 격차는 사후 학습(post-training) 방식에 따라 달라집니다. OLMo-3와 Meta의 Llama-3.1-8B-Instruct는 이러한 격차를 보이지만, Tulu 3는 전체 패널(확률 약 0.01 초과 기준)이나 자체적으로 가장 압박이 큰 시나리오에서 격차를 보이지 않았으며, Qwen2.5-7B-Instruct는 전체 패널(약 0.02 초과 기준)에서 격차를 보이지 않았고 자체 시나리오에서는 불확실한 결과(0.083, -0.028~0.195)를 보였습니다. Meta의 방식과 Ai2의 Tulu 3는 동일한 Llama-3.1 가중치에서 시작하지만 Meta의 방식만이 이러한 격차를 지닙니다. 채팅 템플릿 외부에서 채팅 모델을 읽으면 아무런 이해관계가 걸려 있지 않은 상태에서 격차의 부호가 반전되며(OLMo-3에서 템플릿 적용 시 +0.055 대비 -0.038), 이러한 왜곡은 3가지 방식 중 2가지에서 나타납니다. 격차를 보이는 두 모델 모두에서, 행동하기 전에 걸려 있는 이해관계에 대해 추론하는 것은 압박의 유무와 관계없이 동일한 길이의 비도덕적 과제와 비교할 때 선택을 모델 자체의 판단 쪽으로 되돌립니다. OLMo-3에서는 문제가 되는 규범을 명시하는 것만으로도 그 효과의 약 3분의 1을 달성합니다. 이러한 격차는 사전학습(pre-training)된 가중치의 고정된 특성이 아니라, 사후 학습 방식을 통해 측정 가능한 목표입니다.

원문 초록

Language models increasingly act as agents. An agent that says an action is wrong and then takes it anyway is a different failure from one that does not know better, and evaluations of stated values cannot see it. We build a pre-registered panel of 248 scenarios across five kinds of pressure. Each scenario is posed twice to the same model, once as the agent choosing what to do and once in the third person asking which option is right, so the model's own judgment is the reference. Every scenario has a twin with the pressure removed, and every model gets a positive control in which its operator orders the violating action, so that a missing gap can be told apart from a blind instrument. On OLMo-3-7B-Instruct, the model takes the action it judged wrong on about one in five pressuring scenarios, more often than on the same scenarios with the pressure removed. Across four instruct models the gap depends on the post-training recipe: OLMo-3 and Meta's Llama-3.1-8B-Instruct carry it; Tulu 3 shows none on the whole panel (above about 0.01 in probability) or on its own most-pressuring scenarios; Qwen2.5-7B-Instruct shows none on the whole panel (above about 0.02) and is unresolved on its own (0.083, -0.028 to 0.195). Meta's recipe and Ai2's Tulu 3 start from the same Llama-3.1 weights, and only Meta's carries the gap. Reading a chat model outside its chat template reverses the sign of its gap with nothing at stake (-0.038 against +0.055 under the template on OLMo-3), a distortion present on two of three recipes. On both models that carry it, reasoning about the stakes before acting moves the choice back toward the model's own judgment, against a same-length non-moral task, with or without the pressure; on OLMo-3, naming the norm at stake does about a third of that. The gap is a measurable target for post-training recipes, not a fixed property of pretrained weights.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08670v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.