PyTorchKR Papers

최신 논문

총 15편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05552v2cs.CL

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

Large language models (LLMs) increasingly issue binary verdicts - safety gates, judge decisions, value probes - and the answer is read as the model's judgment. A settled judgment should be coherent across paired phrasings of the same question: yes to "do you approve?" should mirror no to "do you oppose?". LLMs often violate this coherence, and in a yes/no question the verdict, the answer word, and the printed position coincide, so a conventional flipped-question audit yields one contrast that cannot say what moved. We introduce a crossed psychometric battery that extends the flip to full 2x2 and 2x2x2 crossings of question polarity, printed order, and answer label, separating stance from position, word, label, and verdict-role effects; an independent graded instrument estimates each model's stance $\theta$ with no binary format; and a two-parameter fit (framing susceptibility $m$, decisiveness $s$) separates robustness from saturation that hides susceptibility. Applying the battery to twenty moral dilemmas - 1.35 million trials over ten frontier models from the Claude, GPT, and Gemini families in 23 reasoning configurations - we find response-form bias widespread but never uniform. The largest apparent yes-no biases are almost purely surface (word and position), while several of the newest models show the reverse: near-zero flip contrasts concealing verdict attachment up to +0.42, a component no surface counterbalance can expose, replicated across label alphabets. Requested reasoning reshapes these channels rather than removing them. When subjects state decisions in free text and a separate model transcribes them, two judge families agree on 99.3% of jointly scored transcriptions with zero opposing committed labels, and the transcribed stance converges with the graded ruler (median $r=0.87$): response form is part of the instrument, and the judgment can be measured apart from it.

arXiv:2608.27402v2cs.CL

언어 모델이 도덕적 지식을 조직하고 구조화하는 방식

How Language Models Organize and Structure Moral Knowledge

대규모 언어 모델(LLM)은 도덕적 지식을 어떻게 조직할까요? 모델은 도덕적 내용을 폭넓게 탐지하지만, 단순 탐지는 낮은 기준에 불과합니다. 본 연구는 모델이 여기서 더 나아가 서로 다른 도덕적 기반을 구별하고 그들 간의 관계를 기하학적으로 조직하는지 묻습니다. 도덕 기반 이론(Moral Foundations Theory, MFT)의 각 범주(돌봄/피해, 공정/기만, 자유/억압, 충성/배신, 권위/전복, 고결/퇴폐)에 대해 하나씩, 오픈 가중치(open-weight) 언어 모델에서 6개의 독립적인 선형 프로브(linear probe)를 학습시키고, 그 결과 도출된 방향들이 표현 공간에서 서로 어떻게 연관되는지 조사합니다. 그 결과, 이 방향들은 단일한 도덕 탐지기로 붕괴되지도 않고 서로 완전히 고립되지도 않음을 발견했습니다. 대신 양(positive)의 공통 성분을 공유하면서 거의 최대에 가까운 수의 독립적인 차원에 걸쳐 분포합니다. 이 공유된 성분은 통합(integration)의 특징적인 징후이며, 동일하게 구축된 대응 비도덕적 개념군과 비교할 때 도덕에 특화되어 있습니다(평균 쌍별 코사인 유사도 0.26 대 0.013). 이러한 기하학적 구조는 아키텍처와 규모 전반에 걸쳐 일관되며, 프로브 정확도가 포화되기 훨씬 전인 사전학습(pre-training) 초기에 통합 상태에 도달합니다. 모델이 발견한 구조는 도덕 기반 이론이 예측한 개별화/결속(individualizing/binding) 구분의 증거를 보이지 않으며(검정력이 낮은 테스트: 단 10개의 고유한 분할만 존재하여 0.05 수준에서 기각할 수 없음), 오히려 말뭉치 통계를 반영합니다. 도덕적 딜레마로 확장했을 때, 각 딜레마 방향은 불일치 쌍 기준선(baseline) 대비 2.7배 수준으로 구성 기반들로부터 부분적으로 합성되는 동시에 분산의 대부분은 갈등 특화 구조를 인코딩합니다. 즉, 모델은 사전에 해결된 판단이 아니라 도덕적 긴장 자체를 표현합니다.

arXiv:2603.16017v2cs.CL

대규모 언어 모델의 도덕적 추론 궤적 이해: 프로빙 기반 설명가능성을 향하여

Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability

대규모 언어 모델(LLM)이 도덕적으로 민감한 의사결정에 참여하는 경우가 점점 늘어나고 있지만, 추론 단계 전반에서 윤리적 체계를 어떻게 구성하는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 중간 추론 단계 전반에 걸친 윤리적 체계 호출 시퀀스인 '도덕적 추론 궤적(moral reasoning trajectories)'을 도입하고, 6개 모델과 3개 벤치마크에 걸쳐 그 역학을 분석합니다. 연구 결과 도덕적 추론에는 체계적인 다중 체계 숙의 과정이 수반되는 것으로 나타났습니다. 즉, 연속된 추론 단계의 55.4~57.7%에서 체계 전환이 발생하며, 체계 일관성을 유지하는 궤적은 16.4~17.8%에 불과했습니다. 불안정한 궤적은 설득 공격(persuasive attacks)에 1.29배 더 취약한 상태를 보였습니다(p=0.015). 표현 수준에서 선형 프로브(linear probe)는 체계별 인코딩을 모델별 층(Llama-3.3-70B의 경우 81개 층 중 63번 층, Qwen2.5-72B의 경우 81개 층 중 17번 층)에 국소화하여, 단계 사전(step-prior) 기준선 대비 16.8~22.2% 더 낮은 KL 발산을 달성했습니다. 생성 과정에서 적용된 활성화 스티어링(activation steering)은 체계 일관성과 정확도 간의 관계를 변화시켜, Qwen2.5-72B에서는 그 격차를 넓히고 Llama-3.3-70B에서는 이를 상쇄했으며, 프로브 공간 층 탐색(layer sweep)을 통해 달성 가능한 드리프트 감소폭을 6.7~8.9%로 제한했습니다. 나아가 본 연구는 기저의 체계 귀속이 인간 평가자에 의해 검증된(평균 코사인 유사도 = 0.859) 도덕적 표현 일관성(MRC) 지표를 제안하고, 자동화된 일관성 평가기가 이에 대해 무엇을 입증하고 입증하지 못하는지 보고합니다.

arXiv:2501.08951v2cs.AI

8개 대규모 언어 모델의 윤리적 논리 분석

Analyzing the Ethical Logic of Eight Large Language Models

본 연구는 OpenAI, Meta, Perplexity, Anthropic, Google, Mistral, DeepSeek, xAI의 8개 주요 대규모 언어 모델(LLM)이 표현한 윤리적 논리를 검토한다. 각 모델은 자신의 윤리 원칙에 대한 직접적 질문에 답하고, 다섯 가지 고전적 도덕적 딜레마에 응답했다. 응답은 결과주의/의무론적 구분, 도덕 기초 이론(Moral Foundations Theory), 콜버그(Kohlberg)의 도덕 발달 단계를 사용하여 분석되었다. 모델 전반에 걸쳐 윤리적 판단은 대체로 수렴했으며, 일반적으로 해 최소화, 공정성, 맥락적 한정을 강조했다. 그럼에도 불구하고 모델들은 결정을 내리려는 의지, 선택을 정당화하는 데 사용된 근거, 규칙·결과·역할 의무·대인 관계적 고려에 부여된 상대적 가중치에서 차이를 보였다. 자기 서술은 학술적이고 신중했으며, 대화형 페르소나에 의해 강하게 형성되었다. 자기 보고 분석은 인간 심리학과 의사소통 연구의 중심이 되어 왔다. 우리는 적절한 주의와 함께, 이것이 인공지능이 어떻게 작동하는지에 대한 이해를 높이고 인간의 윤리적 행동을 어떻게 증강할 수 있는지에 대한 이해를 향상시킬 수 있다고 제안한다.

arXiv:2607.21558v1cs.AI

아부를 넘어서: LLM 도덕적 추론에서의 구조화된 저항과 순응

Beyond Sycophancy: Structured Resistance and Compliance in LLM Moral Reasoning

다른 이로부터 배울 수 있으면서도 단순히 굴복하지 않는, 사회적으로 보정된(socially calibrated) 대규모 언어 모델(LLM)을 구축하려면 아부(sycophancy)를 일차원적인 실패 모드로 줄이는 것만으로는 충분하지 않다. 모델은 다른 이의 관점을 수용해야 할 때와 근거 있는(well-grounded) 도덕적 판단을 유지해야 할 때를 구분해야 한다. 우리는 이러한 구분을 지배하는 더 넓은 저항-순응(resistance-compliance) 과정을 연구한다. 세 가지 연구를 통해, 모델의 판단 수정이 인간 사회 심리학의 고전적 현상과 평행하는 세 가지 차원을 따라 구조화되어 있음을 보인다: 들어오는 관점과 모델의 초기 입장 사이의 거리, 해당 관점의 출처 귀속(source attribution), 이를 뒷받침하는 연대(coalition) 구조. 모델은 일반적으로 가까운 입장에 더 수용적이고, 자신의 이전 판단으로 제시된 관점에 더 크게 영향을 받으며, 집단 압력에 서로 다르게 반응한다. 이러한 발견은 아부를 사회적 영향에 의해 형성되는 더 넓은 판단 갱신(judgment-updating) 과정의 한 표현으로 재해석한다. 우리의 프레임워크는 건설적인 신념 수정(belief revision)과 아부적 순응(sycophantic compliance)을 구분할 수 있는 원칙적 기반을 제공하여, 도덕적으로 중요한 상호작용에서 더 나은 정렬(alignment)을 지원한다.

arXiv:2510.10002v3cs.AI

상호작용 프로토콜이 다중 에이전트 토론에서 도덕적 판단을 형성한다

Interaction Protocol Shapes Moral Judgment in Multi-Agent Debate

대규모 언어 모델(LLM)이 개인 조언, 정신 건강 지원, 도덕적 안내와 같은 민감한 일상 맥락에 점점 더 배포됨에 따라, 복잡한 도덕적 추론을 탐색할 때 이들의 행동을 이해하는 것은 필수적이다. 대부분의 평가는 단일 턴(single-turn) 프롬프트를 통해 이러한 사회기술적(sociotechnical) 정렬(alignment)을 연구하지만, 이러한 결과가 다중 턴(multi-turn) 설정으로 확장되는지는 불분명하며, 에이전트(agent) 시스템을 조율하는 데 사용되는 상호작용 프로토콜에 따라 어떻게 달라지는지는 더욱 불분명하다. 우리는 LLM 토론을 사용하여 이 공백을 메우며, GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash 세 모델의 부분집합에 Reddit의 "Am I the Asshole" 커뮤니티의 1,000가지 일상적 딜레마에서 집단적으로 책임을 귀속하도록 프롬프트함으로써 다중 턴 설정에서 숙고적 역학과 가치 정렬을 조사한다. 순서 효과(order effects)를 검증하고 판결 변경을 평가하기 위해, 실무에서 다중 에이전트 시스템이 점점 더 조율되는 방식을 반영하여 동기(synchronous, 병렬 응답)와 라운드로빈(round-robin, 순차 응답) 숙고 구조를 모두 사용한다. 우리의 결과는 놀라운 행동 차이를 보여준다. 동기 설정에서 GPT-4.1은 강한 관성(0.6-3.1% 변경률)을 보인 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 훨씬 더 유연했다(28-41% 변경률). 가치 패턴도 달랐다: GPT-4.1은(숙고 파트너 대비) 개인적 자율성과 직접적 의사소통을 강조하는 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 공감적 대화를 우선했다. 또한 숙고 형식이 모델 행동에 큰 영향을 미친다는 것을 발견했다: GPT-4.1과 Gemini 2.0 Flash는 Claude 3.7 Sonnet에 비해 높은 순응성을 보였으며, 그들의 판결 행동은 순서 효과에 의해 크게 형성되었다. 오픈소스 모델(DeepSeek-V3.2 및 Llama 3.1)에 대한 추가 결과도 제공한다.

arXiv:2607.11736v1cs.CL

MET: 이론 기반의 문화 인식 다국어 도덕적 추론

MET: Theory-Grounded and Culture-Aware Multilingual Moral Reasoning

언어 모델은 다양한 언어 및 문화적 맥락에서 도덕적 의사결정에 점점 더 많이 활용되고 있으나, 기존 연구는 다국어성의 세 가지 측면을 간과하고 있다: 1) 다국어 평가 벤치마크는 직접 번역 방식을 사용하여 문화 특수적 항목을 적절히 반영하지 못하며; 2) 도덕적 추론을 위한 추론 시점 방법들은 정적이고 영어 중심적인 스캐폴드에 의존하고 도덕 이론에 대한 그라운딩이 부족하며; 3) 도덕적 의사결정을 위한 학습 방법들은 일반적으로 더 강력한 모델이나 인간 주석자의 비용이 많이 드는 감독을 필요로 한다. 우리는 세 가지 기여를 통해 이러한 격차를 해소한다. 첫째, 언어 전반에 걸쳐 문화적으로 상황화된 도덕적 직관과 사회적 규범을 포착하는 다국어 도덕적 의사결정 벤치마크인 MCLASH를 소개한다. 둘째, 심리학 및 철학에서 도출된 전문가 큐레이션 이론 기반 근거를 토대로 구축된 두 단계 프롬프팅 방법인 MET(Multilingual Ethics with Theory-grounded reasoning)를 제안한다: 모델은 먼저 상황 및 문화 특수적 근거를 선택한 후, 사용자의 모국어로 이를 바탕으로 추론을 수행한다. 셋째, 외부 감독 없이도 자기 지식 증류 학습 단계를 통해 두 번째 단계를 강화하는 MET-D(MET-Distillation)를 소개한다. MET-D는 다양한 크기와 계열의 세 가지 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B) 모두에서 기반 모델 대비 매크로-F1을 향상시키며, MCLASH에서 평균 3.71포인트, MMoralExceptQA에서 4.23포인트를 개선하고, Qwen3-8B의 말레이어에서 최대 12.94포인트의 MCLASH 향상을 달성했다. 또한 MET-D가 모국어 추론을 평균 62.13포인트 증가시키며, 문화에 따라 유익한 근거가 체계적으로 다름을 밝혔다. 이러한 기여들은 문화 정렬적이고 이론 기반의 다국어 도덕적 추론을 위한 경로를 열어준다.

arXiv:2606.26102v3cs.CL

유용성이 해를 끼친다: 사후 학습에서 중간 학습된 공감 가치의 도메인 의존적 저하

Helpfulness Hurts: Domain-Dependent Degradation of Mid-Trained Compassion Values Under Post-Training

표준 사후 학습 파이프라인은 언어 모델을 유용하게 만들기 위해 지도 미세조정(SFT)과 강화학습(RL)을 적용하지만, 이러한 과정은 사전학습 동안 주입된 가치를 의도치 않게 저하시킬 수 있다. 우리는 사후 학습 데이터의 도메인이 공감 지향 합성 데이터로 중간 학습된 Llama 3.1 8B 모델에서 동물에 대한 공감 가치의 유지에 차등적으로 영향을 미치는지 조사한다. SFT(유용성: Dolly-15k vs. 코딩: Magicoder-110K)와 GRPO(유용성: RLHFlow vs. 코딩: Magicoder)를 모두 사용하며, ANIMA 2.2 벤치마크와 MORU 벤치마크(Moral Reasoning Under Uncertainty, 불확실성 하 도덕적 추론)에서 평가한다. ANIMA에서 유용성 학습은 코딩 학습에 비해 동물에 대한 공감을 유의미하게 저하시킨다(SFT: 35.7% vs. 65.2%; GRPO: 18.7% vs. 32.0%). 이는 두 개의 독립적인 유용성 데이터셋과 두 가지 학습 패러다임에서 재현된다. 영어 MORU 항목에서 유용성 학습은 일반적 도덕적 추론을 25.5%p 저하시킨다(46.4% vs. 71.9%). 이 격차는 공감 효과와 크기 면에서 필적하는 눈에 띄는 차이다. 그러나 이 효과는 언어 간 이전되지 않는다. 다국어 MORU 벤치마크에서는 도메인 효과가 사라진다(SFT: 52.3% vs. 51.2%). 대조적으로, 동물에 대한 공감 효과는 언어에 걸쳐 일관되게 이전되며, Magicoder의 기본 모델 대비 ANIMA %p 향상은 영어 항목보다 비영어 항목에서 4.5배 크다. 이러한 � divergence는 중간 학습을 통해 주입된 가치가 도메인 특화 사후 학습에서 얻는 추론 향상보다 더 깊고 언어 간적으로 인코딩된다는 것을 시사한다. 이 결과는 가치 중심 중간 학습을 기반으로 구축하는 연구소에 있어, 코딩 도메인 사후 학습이 일반적 추론 능력을 해치지 않으면서 중간 학습된 가치를 유용성 사후 학습보다 더 잘 보존할 수 있음을 시사한다.

arXiv:2606.31213v1cs.CL

LLM은 이진 딜레마를 넘어 도덕적 대안을 상상할 수 있는가?

Can LLMs Imagine Moral Alternatives Beyond Binary Dilemmas?

LLM이 도덕적 딜레마에서 이분법적 선택을 넘어 대안을 상상할 수 있는지 평가하기 위해, 307개의 도덕적 딜레마에 타협안과 재구성 대안을 추가한 MoralAltDataset을 구축하였다. 15개의 LLM 실험에서 타협 대안이 원래 선택지보다 선호되는 경우가 많았으며, LLM이 생성한 대안은 인간이 작성한 것보다 구조적·윤리적 기준을 더 잘 충족하면서도 실용적 실현 가능성에서 트레이드오프가 존재함을 보였다.

arXiv:2606.28345v1cs.RO

Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

LLM-governed social robots increasingly decide who receives real-world assistance first. As prioritization norms vary across cultures by age, status, and group size, failure to calibrate pluralistically can scale into unequal access. Yet LLM moral audits remain English-centered, rarely test embodied contexts, leaving pluralistic calibration as an urgent diagnostic gap amid intensifying LLM-robot deployment. We introduce a gradient-based audit framework for multilingual evaluation of LLM moral trade-off behavior against cultural preference gradients. Grounded in nine cross-domain social robotics reviews (>8,000 papers), we derive symmetry-controlled scenarios across care, education, and services, translating the Moral Machine Experiment's "whom to spare" into "whom to assist first" dilemmas with preserved identity trade-offs (many vs. few; young vs. old; higher vs. lower status). We audit four LLMs across four country-language pairs in four prompting regimes (57,600 decisions), benchmarked against country-specific MME preference gradients. Ordinal concordance tests whether models differentiate cultural contexts; a governance typology maps vulnerabilities in gradient differentiation, directional tendency, and deliberation. We find persistent, culturally asymmetric gradient tracking failures that prompting alone cannot reliably correct: quality calibration is nearly twice as strong for Western-language decisions as for Chinese and Japanese; high determinism in majority-first trade-offs often erases cross-cultural gradients; partial sensitivity to age- and status-based norms risks sidelining minorities. Prompting effects are uneven; only contrastive exemplars yield consistent gains, while reasoning-only prompts can worsen tracking. Our results motivate multilingual, pluralistic audits as an LLM-robot pre-deployment gate and suggest model factors are a more robust lever than prompting alone.

arXiv:2606.21939v1cs.CL

가치 벤치마크를 넘어: 대칭 Q-정렬을 통한 대규모 언어 모델의 가치-구조 정렬 측정

Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts

Q 방법론(Q methodology)에 기반한 대칭적 인간-LLM Q-정렬 프레임워크로 140개 도덕 진술의 가치-구조 정렬(value-structure alignment)을 측정하며, 12개 LLM 평가에서 패밀리 간 이질성·생성 확률성 민감도·국소적 비정렬이 나타나 전역 점수가 지역 왜곡을 가릴 수 있음을 보인다. 항목별 도덕 벤치마크를 보완해 모델이 상호 경쟁하는 가치를 응집된 체계로 어떻게 우선순위화하는지 구조적으로 평가한다.

arXiv:2510.16380v2cs.CL

MoReBench: 언어 모델의 절차적 및 다원적 도덕적 추론 평가, 결과를 넘어선

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

언어 모델의 도덕적 추론 과정을 평가하기 위해 전문가 기준을 포함한 1,000개의 시나리오로 구성된 MoReBench를 제안한다. 기존 벤치마크의 스케일링 법칙은 도덕적 추론 능력을 예측하지 못하며, 모델들이 특정 도덕적 프레임워크에 편향되어 있음을 확인했다.

arXiv:2606.12731v1cs.LG

비검증 가능 추론의 LLM 연구 전선으로서 규범적 견고성

Normative Robustness as a Frontier for Non-Verifiable Reasoning in LLMs

객관적 진실이 없는 비검증 가능한 추론 영역에서 대규모 언어 모델(LLM)의 도덕적 견고성(moral robustness)을 측정하기 위해 적대적 다중 턴 평가 프레임워크를 제안하고 48,000건의 시뮬레이션을 수행했다. 분석 결과 모델이 사용자의 도덕적 관점에 맞춰 추론과 근거를 조정하는 '도덕적 의사 결정 아첨(moral deliberative sycophancy)' 현상이 나타났다.

arXiv:2606.11232v1cs.CL

모든 행위에는 대가가 있다: 최첨단 대규모 언어 모델(LLM)에서의 압축된 도덕적 구성

Every Act Has Its Price: Compressed Moral Composition in Frontier LLMs

기존 대규모 언어 모델(LLM) 도덕 벤치마크는 일반적으로 모델이 어떤 고립된 도덕적 행위, 가치, 또는 기반을 선호하는지를 묻습니다. 이는 유용하지만 불완전합니다. 현실적인 판단은 종종 모델이 동일한 선택지 내에서 여러 도덕적 신호를 결합할 것을 요구합니다. 우리는 LLM이 도덕적 증거를 구성하는 방식을 측정하기 위한 2단계 맹목 ELO 벤치마크인 **Moral Trolley Arena**를 소개합니다. 단일 장면(single-scene) 아레나는 먼저 5가지 도덕적 기반 이론(Moral Foundations Theory) 기반에 걸친 229개 시나리오 말뭉치에서 개별 도덕적 행위를 보정하고, 복합 아레나는 이어 보정된 행위들을 제어된 강도 격자(intensity grid) 상에서 두 행위 도덕 항목으로 결합하여 결과적인 복합 선호도를 측정합니다. 10개의 최첨단 모델에 걸쳐, 복합 판단은 주로 구성 행위 강도에 의해 예측되지만, 그 관계는 단순히 가산적이라기보다 일관되게 압축되어 나타납니다. 모델들은 또한 비가산적 강도 앵커링, 구성 요소 통제 후 제한된 기반 특이적 잔차, 그리고 제공자 간에 고도로 수렴하는 복합 선호도 곡면을 보여줍니다. 이러한 결과는 도덕 감사가 고립된 행위에 대한 순위뿐만 아니라 도덕적 증거에 대한 구성 규칙도 측정해야 함을 시사합니다.

arXiv:2606.11635v1cs.CY

LLM은 도덕적 추론에 약한가?

Are LLMs Bad at Moral Reasoning?

기존 연구에서 대규모 언어 모델(LLM)의 도덕적 추론 능력이 부족하다고 평가되었으나, MoReBench 데이터셋을 활용해 모델이 채점 기준(rubric)을 생성하도록 하면 인간 기준과 더 잘 정렬됨을 보여줍니다. 이를 통해 LLM이 이전 믿음보다 훨씬 뛰어난 도덕적 추론 능력을 가지고 있음을 시사합니다.