PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22305v2cs.AI

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

Much research on responsible AI aims to change the behavior of AI systems that billions of people use. Pluralistic value alignment---the goal of building AI systems that represent and serve diverse human values and perspectives---has emerged as one such active research agenda. Yet, in an audit of the major frontier labs and open-weight developers, we find no public evidence that it has shaped how their models are trained or evaluated. Pluralistic alignment requires adoption to achieve its main goals, so we identify three barriers and lay out a roadmap of research to address each: 1. The justifications for pluralistic alignment so far are mostly normative or theoretical. Studies are needed that measure the benefits and drawbacks of pluralistic AI for users and society. 2. The pluralistic alignment research community has not settled when pluralistic behavior is warranted or what it should look like in practice. Research is needed to specify this behavior concretely enough for developers to operationalize. 3. Existing pluralism evaluations and methods are not ready for deployment. Evaluations and methods are needed that report their effects on other model properties and meet the requirements of production systems. These barriers are not unique to pluralistic alignment, so our roadmap applies to other areas of responsible AI research with similar theories of change. As people hand more decisions to AI systems and AI agents act on their behalf, we hope our roadmap helps this research reach the deployed models making those decisions.

arXiv:2609.32382v2cs.CL

PlurVA-LLM-2026 공유 태스크 트랙 1: 다국어 미세조정 및 임계값 보정을 통한 대규모 언어 모델(LLM)의 다원적 가치 정렬

PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration

본 논문에서는 중국, 인도네시아, 스리랑카 맥락에서의 다원적 가치 정렬(pluralistic value alignment)에 초점을 맞춘 PlurVA-LLM 2026 공유 태스크(Shared Task) 트랙 1을 위한 시스템을 제시합니다. 이러한 자원 제약적 트랙을 위해 4비트 QLoRA를 사용하여 Llama 3.1 8B Instruct를 미세조정(fine-tuning)했습니다. 본 연구의 접근 방식은 중국어 데이터를 위한 선택지 순열 증강(option-permutation augmentation), 인도네시아어 데이터를 위한 주석자 투표 확장(annotator vote expansion), 스리랑카 데이터를 위한 이진 재구성 및 SinhalaMMLU 증강을 결합합니다. 또한 스리랑카 데이터의 예측에 조건부 임계값 보정(threshold calibration)을 적용했습니다. 최종 시스템은 중국어 0.785, 인도네시아어 0.715, 스리랑카 0.916의 정확도를 달성하여 전체 매크로 평균 정확도 0.805를 기록했습니다.

arXiv:2607.21279v1cs.CL

지시 미세조정을 위한 통합 도덕적 가치 데이터셋

A Unified Moral-Value Dataset for Instruction Tuning

대규모 언어 모델(LLM)은 빠르게 발전하여 일상생활에서 유용한 도구가 되었다. 그러나 LLM을 특정 인human 가치 집합에 정렬(alignment)하는 방법은 여전히 미해결 문제이다. 최근 연구들은 지시 미세조정(instruction tuning)이 제로샷(zero-shot) 과제에서 강한 잠재력을 보이며, 가치 정렬을 해결하는 효과적인 접근법이 될 수 있음을 보여준다. 그럼에도 불구하고, 지시 미세조정을 위한 많은 데이터셋이 이미 존재하지만, 이들은 도덕적 시나리오와 행동을 중심으로 특별히 설계되지 않았다. 우리는 지시 미세조정에 직접 사용할 수 있는 통합 도덕적 가치 데이터셋을 구축한다. 이 데이터셋은 기존 도덕적 가치 데이터셋을 통합 코퍼스로 병합하고 지시-응답(instruction-response) 형식으로 변환하여 구축한다. 일반 과제 데이터셋과 우리 데이터셋을 결합한 혼합 데이터셋으로 학습(training)하면 일반 과제 성능이 유지됨을 보이며, 혼합 비율이 가치 지향 과제 성능에 미치는 영향에 대한 예비적 관찰 결과를 보고한다. 본 연구는 지시 미세조정을 위한 도덕적 가치 데이터셋을 제공하고, 향후 정렬 연구를 위한 유용한 자료를 제공한다. 데이터셋은 https://huggingface.co/datasets/teohzzh/value-for-instruction-tuning 에서 이용할 수 있다.

arXiv:2607.05554v2cs.CL

프롬프트 강건성은 태스크에 따라 다르다: LLM 평가에서 객관적 질문과 신념형 질문 비교

Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

LLM 평가에서 프롬프트 표현 방식의 변화(paraphrase, 선택지 순서, 형식 등)가 모델 응답에 미치는 영향을 객관적 질문(MMLU, ARC, CulturalBench)과 주관적 가치·의견 질문(Political Compass Test, ValueBench, World Values Survey)을 비교해 분석한 결과, 주관적 질문의 일관성(0.787)이 객관적 질문(0.849)보다 낮았으며, 특히 선택지 순서 변경이 가장 큰 불안정 요인으로 나타났다. 프롬프트 강건성(prompt robustness)은 질문 유형, 프롬프트 변경 방식, 모델 모두에 따라 달라지므로, LLM의 가치관이나 신념을 단일 프롬프트로 측정하는 설문 방식 평가에 주의가 필요하다는 점을 통계적으로 입증했다.

arXiv:2510.26707v2cs.CL

가치 표류: LLM 사후 학습 중 가치 정렬 추적

Value Drifts: Tracing Value Alignment During LLM Post-Training

대규모 언어 모델(LLM)이 사회에서 점점 더 중요한 역할을 차지함에 따라, 모델은 일반 지식에 의존하는 것뿐만 아니라 특정 인간 가치 체계에 부합해야 하는 질문들을 점점 더 자주 마주하게 된다. 따라서 LLM의 인간 가치와의 정렬(alignment)을 연구하는 것은 중요한 연구 분야가 되었다. 그러나 기존 연구는 대부분 완전히 학습된 모델의 정렬을 평가하는 데 초점을 맞추어, 모델이 인간의 가치를 표현하도록 학습되는 학습 역학을 간과해 왔다. 본 연구에서는 모델의 사후 학습 과정에서 가치 정렬이 어떻게, 그리고 어느 단계에서 발생하는지 조사한다. 우리의 분석은 사후 학습 알고리즘과 데이터셋의 효과를 분리하여, 학습 중 가치 표류의 크기와 시점을 측정한다. 서로 다른 크기의 Llama-3 및 Qwen-3 모델과 널리 사용되는 지도 미세조정(SFT) 및 선호도 최적화 데이터셋과 알고리즘으로 실험한 결과, SFT 단계가 일반적으로 모델의 가치를 확립하며, 이후의 선호도 최적화는 이러한 가치를 거의 재정렬하지 않는다. 또한 가치를 통제된 방식으로 조작할 수 있는 합성 선호도 데이터셋을 사용하여, 선호도 데이터를 일정하게 유지하더라도 서로 다른 선호도 최적화 알고리즘이 서로 다른 가치 정렬 결과로 이어진다는 것을 발견했다. 우리의 발견은 사후 학습 중 가치가 어떻게 학습되는지에 대한 실행 가능한 통찰을 제공하며, 데이터 큐레이션과 인간 가치에 대한 모델 정렬을 개선하기 위한 모델 및 선호도 최적화 알고리즘 선택에도 도움이 된다.

arXiv:2510.10002v3cs.AI

상호작용 프로토콜이 다중 에이전트 토론에서 도덕적 판단을 형성한다

Interaction Protocol Shapes Moral Judgment in Multi-Agent Debate

대규모 언어 모델(LLM)이 개인 조언, 정신 건강 지원, 도덕적 안내와 같은 민감한 일상 맥락에 점점 더 배포됨에 따라, 복잡한 도덕적 추론을 탐색할 때 이들의 행동을 이해하는 것은 필수적이다. 대부분의 평가는 단일 턴(single-turn) 프롬프트를 통해 이러한 사회기술적(sociotechnical) 정렬(alignment)을 연구하지만, 이러한 결과가 다중 턴(multi-turn) 설정으로 확장되는지는 불분명하며, 에이전트(agent) 시스템을 조율하는 데 사용되는 상호작용 프로토콜에 따라 어떻게 달라지는지는 더욱 불분명하다. 우리는 LLM 토론을 사용하여 이 공백을 메우며, GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash 세 모델의 부분집합에 Reddit의 "Am I the Asshole" 커뮤니티의 1,000가지 일상적 딜레마에서 집단적으로 책임을 귀속하도록 프롬프트함으로써 다중 턴 설정에서 숙고적 역학과 가치 정렬을 조사한다. 순서 효과(order effects)를 검증하고 판결 변경을 평가하기 위해, 실무에서 다중 에이전트 시스템이 점점 더 조율되는 방식을 반영하여 동기(synchronous, 병렬 응답)와 라운드로빈(round-robin, 순차 응답) 숙고 구조를 모두 사용한다. 우리의 결과는 놀라운 행동 차이를 보여준다. 동기 설정에서 GPT-4.1은 강한 관성(0.6-3.1% 변경률)을 보인 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 훨씬 더 유연했다(28-41% 변경률). 가치 패턴도 달랐다: GPT-4.1은(숙고 파트너 대비) 개인적 자율성과 직접적 의사소통을 강조하는 반면, Claude 3.7 Sonnet과 Gemini 2.0 Flash는 공감적 대화를 우선했다. 또한 숙고 형식이 모델 행동에 큰 영향을 미친다는 것을 발견했다: GPT-4.1과 Gemini 2.0 Flash는 Claude 3.7 Sonnet에 비해 높은 순응성을 보였으며, 그들의 판결 행동은 순서 효과에 의해 크게 형성되었다. 오픈소스 모델(DeepSeek-V3.2 및 Llama 3.1)에 대한 추가 결과도 제공한다.

arXiv:2607.10202v1cs.LG

모델 간 가치 비교에서의 두 가지 교란 요인: 응답 결정론과 접근 하네스

Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness

모델 간 비교는 가치 성향의 발산을 언어 모델이 개별화된 가치를 보유한다는 증거로 해석한다. 단일 측정 방식 하에서 이는 두 가지 양을 혼동한다: 중심 경향의 차이(진정한 가치 차이)와 응답 결정론의 차이(모델이 강제 선택에 얼마나 확고하게 응답하는지). 우리는 분리 프로토콜—규칙 없는 가치 딜레마와 역균형화된 반복 강제 선택 측정 및 결정론 지수—과, 명백한 모델 간 거리를 방향 반전 성분(진정한 불일치)과 동측 극단화 성분(우리가 결정론이라 명명)으로 분리하는 결정론 보정 분해를 제안한다. 아홉 개 모델에 걸쳐 결정론은 상당히 다양하게 나타났으며(참여 모델 기준 0.66–0.95), 이것이 모델별 특성인지 아니면 공급자 및 규모를 추적하는지는 우리 방법으로 측정 가능해졌으나 표본의 한계로 미결 상태다. 결정론을 보정하면 명백한 개별화가 축소되는 반면, 일부 계열 간 불일치는 엄격한 검증을 통과한다. 이어서 두 번째 교란 요인인 각 모델을 서비스하는 접근 하네스를 분리한다. 동일 모델들을 원시 공급자 API를 통해 재수집한 결과, 배포 클라이언트가 모델의 가치 프로필을 실질적이고 클라이언트별로 다르게 변화시킴을 발견했다: 한 구독형 CLI는 프로필을 0.31만큼 이동시키고 18개 항목 중 4개를 반전시키며 플래그십 모델의 명백한 유연성을 부풀렸으나(CLI 경유 0.34 vs. 원시 API 경유 0.66), 반면 다른 공급자의 클라이언트는 깨끗하여 공급자 계열이 접근 클라이언트와 혼동된다. 하네스는 가치 형성 층이다: 열 번의 강제 선택 중 하나를 거부하는 기본 모델이 에이전트 시스템 프롬프트에 의해 순응적으로 바뀌며, 이는 화이트박스 제어에서 인과적으로 확립된다. 단일 측정 가치 거리로 모델을 순위 매기는 감사는 결정론이 부풀린 양에 순위를 매기며, 사용된 클라이언트에 의해 추가로 교란된다. 우리는 이 분해를 기여하고 배포 하네스를 별개의 가치 교란 요인으로 식별한다.

arXiv:2607.08034v1cs.CL

PLURAL: 가치 정렬을 위한 글로벌 데이터셋

PLURAL: A Global Dataset for Value Alignment

대규모 언어 모델(LLM)은 전 세계적으로 사용되고 있지만, 서구적 가치관을 불균형적으로 반영하여 다양한 가치 체계를 대표하는 능력이 제한되어 있다. 우리는 PLURAL을 소개한다. 이는 92개국을 아우르는 국가 대표 설문인 통합 가치 조사(Integrated Values Survey, IVS)에 기반한 대규모 가치 중심 선호 데이터셋이다. 2단계 생성 파이프라인을 활용하여 설문 응답을 합성 선호 트리플릿(preference triplets)으로 변환하며, 이 과정에서 규범적 가치 신호를 보존하면서 현실적인 시나리오를 생성한다. 우리는 20개 다양한 국가의 사람들을 대표하는 약 500,000개의 선호 트리플릿을 포함한 PLURAL 초기 버전을 공개한다. PLURAL을 세 가지 방식으로 평가한다: (i) 원본 설문의 국가 간 가치 차이와 국가 내 다양성을 모두 보존함을 보이는 데이터셋 수준의 검증, (ii) PLURAL로 학습할 경우 대상 국가의 문화적 프로파일과의 정렬이 개선되어 평균 절대 오차가 강력한 기준선 대비 최대 27.7%까지 감소함을 보이는 자동화 평가, (iii) 인도, 브라질, 일본의 176명 평가자를 대상으로 한 블라인드 인간 평가로, 평가자들은 PLURAL로 정렬된 응답이 자국의 가치를 더 잘 대표한다고 판단한다. 이러한 결과들은 PLURAL이 가치 조향(value steering)을 위한 학습 가능한 신호를 포함하고 있으며, 다원적 정렬(pluralistic alignment)을 위한 확장 가능한 자원을 제공함을 보여준다. 데이터셋: https://huggingface.co/datasets/agdhruv/plural-alignment

arXiv:2607.01250v1cs.CY

Structuring the Space of Sociotechnical Alignment

AI의 사회적으로 바람직한 행동을 명확히 정의하는 체계가 부재하다는 문제를 해결하기 위해, 정렬(alignment) 목표, 규범적 개념, 방법론, 이론적 프레임워크의 네 차원으로 구성된 사회기술적 정렬(sociotechnical alignment) 명세 프레임워크를 제안한다. NLP 분야 281편의 논문을 대상으로 한 체계적 문헌 고찰 결과, 규범적 개념이 대부분 불명확하게 정의되거나 정렬 목표와 혼용되고 있음을 밝히며, 사회과학적 이론에 기반한 보다 개념적으로 정밀한 접근법을 권고한다.

arXiv:2606.21939v1cs.CL

가치 벤치마크를 넘어: 대칭 Q-정렬을 통한 대규모 언어 모델의 가치-구조 정렬 측정

Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts

Q 방법론(Q methodology)에 기반한 대칭적 인간-LLM Q-정렬 프레임워크로 140개 도덕 진술의 가치-구조 정렬(value-structure alignment)을 측정하며, 12개 LLM 평가에서 패밀리 간 이질성·생성 확률성 민감도·국소적 비정렬이 나타나 전역 점수가 지역 왜곡을 가릴 수 있음을 보인다. 항목별 도덕 벤치마크를 보완해 모델이 상호 경쟁하는 가치를 응집된 체계로 어떻게 우선순위화하는지 구조적으로 평가한다.

arXiv:2602.03160v2cs.AI

VALUEFLOW: 대규모 언어 모델에서의 다원주의적이고 제어 가능한 가치 기반 정렬

VALUEFLOW: Toward Pluralistic and Steerable Value-based Alignment in Large Language Models

대규모 언어 모델(LLM)을 다양한 인간 가치 스펙트럼과 정렬(alignment)하는 것은 여전히 중요한 과제입니다. 선호 기반 방법은 종종 더 깊은 동기 원칙을 포착하지 못합니다. 가치 기반 접근법은 더 원칙적인 경로를 제시하지만, 세 가지 한계가 여전히 존재합니다. 추출은 종종 계층적 구조를 무시하며, 평가는 존재 여부는 감지하지만 보정된 강도는 파악하지 못하고, 제어된 강도 수준에서의 LLM의 제어 가능성(steerability)은 아직 충분히 이해되지 못했습니다. 이러한 한계를 해결하기 위해, 우리는 보정된 강도 제어를 통해 추출, 평가, 제어를 아우르는 최초의 통합 프레임워크인 VALUEFLOW를 소개합니다. 이 프레임워크는 세 가지 구성 요소를 통합합니다: (i) HIVES, 이론 내부 및 이론 간 가치 구조를 포착하는 계층적 가치 임베딩(embedding) 공간; (ii) Value Intensity DataBase (VIDB), 순위 기반 집계에서 도출된 강도 추정치를 포함하는 가치 레이블 텍스트의 대규모 리소스; (iii) VIDB 패널에 대해 모델 출력의 순위를 매겨 일관된 강도 점수를 생성하는 앵커 기반 평가기(evaluator). VALUEFLOW를 사용하여 우리는 10개 모델과 4가지 가치 이론에 걸쳐 포괄적인 대규모 연구를 수행했으며, 그 결과 제어 가능성(steerability)의 비대칭성과 다중 가치 제어를 위한 구성 법칙을 확인했습니다. 본 논문은 가치 강도를 평가하고 제어하기 위한 확장 가능한 인프라를 구축하여 LLM의 다원주의적 정렬을 고도화합니다.

arXiv:2606.06972v1cs.AI

맥락을 고려한 가치 정렬: 도덕적 신념도 형성

Accounting for Context: Shaping Moral Credences for Value Alignment

에이전트 행동이 인간의 도덕적 가치와 정렬되도록 보장하는 것은, 사회와 심지어 개인조차도 일반적으로 채택하는 다양한 도덕적 관점을 어떻게 반영할 것인가라는 문제를 불가피하게 제기한다. 도덕적 불확실성(moral uncertainty)에 관한 연구는 서로 다른 도덕 이론들에 걸친 행동 평가를 공정하고 민주적으로 집계하는 메커니즘을 제안한다. 그러나 본 논문은 도덕적 평가를 집계할 때 맥락적 요인을 고려해야 한다고 주장한다. 예를 들어, 결과주의적 관점은 에이전트의 행동이 세계를 어떻게 변화시키는지를 정확히 판단할 수 있다는 전제를 가정하는데, 이 전제는 실제 세계 환경에서는 종종 성립하지 않는다. 따라서 우리는 이러한 맥락적 요인들을 또한 고려하면서, 도덕적 불확실성 하에서의 에이전트 의사결정을 형식화한다. 이를 통해 겉보기에 상식적인 성질인 약 페레토 원칙(weak Pareto principle)이 위반됨을 보인다. 우리는 이 겉보기 문제가 사실은 심pson의 역설(Simpson's paradox)의 한 변형이며, 따라서 맥락적 요인의 영향을 무시하는 집계 메커니즘의 한계를 드러낸다고 주장한다.