PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22305v2cs.AI

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

Much research on responsible AI aims to change the behavior of AI systems that billions of people use. Pluralistic value alignment---the goal of building AI systems that represent and serve diverse human values and perspectives---has emerged as one such active research agenda. Yet, in an audit of the major frontier labs and open-weight developers, we find no public evidence that it has shaped how their models are trained or evaluated. Pluralistic alignment requires adoption to achieve its main goals, so we identify three barriers and lay out a roadmap of research to address each: 1. The justifications for pluralistic alignment so far are mostly normative or theoretical. Studies are needed that measure the benefits and drawbacks of pluralistic AI for users and society. 2. The pluralistic alignment research community has not settled when pluralistic behavior is warranted or what it should look like in practice. Research is needed to specify this behavior concretely enough for developers to operationalize. 3. Existing pluralism evaluations and methods are not ready for deployment. Evaluations and methods are needed that report their effects on other model properties and meet the requirements of production systems. These barriers are not unique to pluralistic alignment, so our roadmap applies to other areas of responsible AI research with similar theories of change. As people hand more decisions to AI systems and AI agents act on their behalf, we hope our roadmap helps this research reach the deployed models making those decisions.

arXiv:2610.15732v1cs.CL

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.02614v1cs.LG

사후 학습에서 무엇이 사라지는가? 기본값 붕괴와 다양한 관점에 걸친 문맥 내 조정 가능성의 상실

What Is Lost in Post-Training? Default Collapse and the Loss of In-Context Steerability Across Diverse Perspectives

이질적인 사용자 집단을 대상으로 하는 AI 모델은 각 사용자와 맥락에 적합한 원칙에 따라 행동해야 한다. 사후 학습(post-training)이 대규모 언어 모델(LLM)이 표현하는 관점의 폭을 좁힌다는 것은 이미 밝혀졌지만, 기존 연구는 문맥 정보에 적응하는 능력보다는 기본 행동(default behavior)에 초점을 맞춰왔다. 우리는 사후 학습이 모델을 학습 과정에서 선호하도록 학습되지 않은 관점으로 문맥 내에서(in-context) 조정하는 능력 또한 저하시킨다는 것을 보인다. 통제된 실험에서, 우리는 모델을 문화적 가치 불일치의 한쪽 입장으로 파인튜닝(fine-tuning)하고 학습 전 과정에 걸쳐 체크포인트를 평가한다. 일반적인 사용 환경에서는 학습된 입장이 점점 더 우세해지는 반면, 반대 관점을 인식하고 충실하게 구현하는 능력은 저하된다. 이러한 결과는 단일한 가치 집합을 우선시하는 것과 다양한 이해관계자에게 서비스를 제공하는 데 필요한 기술적 역량을 보존하는 것 사이의 긴장 관계를 시사한다. 마지막으로, 우리는 표현된 관점에 대해 미리 정해진 분포를 따르는 제약 하에서 보상(reward)을 최대화하는 대안적 목적 함수를 제안 및 분석하고, 이를 실용적으로 구현한 방법으로서 입장 분포 매칭(stance-distribution matching)을 제시한다.

arXiv:2609.26929v1cs.AI

어떤 목표에 다이얼이 필요한가? 조향 가능한 다원적 정렬에서 목표 충돌 예측 및 트레이드오프 커버

Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment

사람들은 다양하고 때로는 상충하는 가치를 지니므로, 단 하나의 정렬된 모델로는 모두를 만족시킬 수 없다. 따라서 다원적 정렬은 경쟁하는 목표를 서로 다르게 균형 잡을 수 있는 조향 가능한 모델을 요구한다. 다목적 직접 선호 최적화(Multi-Objective Direct Preference Optimization, MODPO)는 목표 가중치를 사용해 연속적인 트레이드오프 스펙트럼을 아우르는 방식으로 이를 수행한다. 우리는 두 가지 질문을 연구한다: 하나의 모델이 두 목표를 동시에 개선할 수 있는 경우는 언제인지, 그리고 각 트레이드오프마다 별도의 모델을 학습하지 않고도 많은 트레이드오프를 어떻게 포괄할 수 있는지. HelpSteer와 UltraFeedback의 일곱 목표 쌍에 걸쳐, 두 가지 사전학습 측정값은 사람이 주석 단 데이터에서 목표가 정렬되는지 충돌하는지를 예측하지만, AI 주석 데이터에서는 그렇지 않으며, 후자에서는 응답 길이와 반복이 보상 모델 점수를 교란한다. 더 넓은 트레이드오프 커버리지를 위해, 가장 가까운 학습된 모델을 선택하는 방법과 모델 파라미터 병합 모두 도움이 되지만, 어느 것도 일관되게 직접 학습에 필적하지는 못한다. 이러한 결과는 다양한 선호를 수용하는 조향 가능한 모델을 구축하기 위한 실용적 지침을 제공한다.

arXiv:2607.20767v1cs.CL

Rushes: 다원적 정렬을 위한 인간 선호 데이터셋

Rushes: A Human Preference Dataset for Pluralistic Alignment

본 논문은 상호작용형 서사 환경에서 드러난 인간 참여(engagement) 선호를 연구하기 위한 데이터셋 및 벤치마크인 Rushes를 소개한다. Rushes는 사용자가 AI 생성 분기형 서사와 상호작용하고 각 결정 지점에서 소규모의 명시적 후보 집합 중 하나를 선택하는 게임 인터페이스를 통해 수집되었다. 각 상호작용은 전체 후보 집합, 사용자의 선택, 그리고 진행 중인 서사 맥락을 기록하여, 지속적인 사용자 수준 식별자를 갖는 시간 순서 궤적을 생성한다. Rushes는 6개 게임에 걸쳐 8,167명의 고유 사용자로부터 44,226건의 결정 이벤트를 포함하며, 정적 판단이 아닌 순차적·개인화된 참여 행동을 포착한다. 사용자 선택이 구조화된 비무작위 패턴을 보임을 보이며, 이는 균일 기준선 대비 낮은 선택 엔트로피로 정량화된다. Rushes를 다원적 정렬을 위한 진단 벤치마크로 제시하고, 견고한 Engagement Gap(참여 격차)을 입증한다. GPT-5를 포함한 최신 대규모 언어 모델(LLM)은 단순 기준선을 능가하지 못한다. 고전적 행렬 분해(SVD)는 측정 가능한 개인화 신호(37.7%)를 포착하는 반면, 최신 LLM(34.23%)은 이벤트 수준 선택 예측에서 Popularity Baseline(인기도 기준선, 36.4%)조차 맞추기 어렵다. 이 격차는 현대 인간 피드백 강화학습(RLHF)에서 사용되는 것과 같은 단일·집단 수준 목적함수가 이질적·맥락 의존적 참여 신호를 포착하기에 불충분함을 시사한다. 결과적으로, 고도로 유능한 모델조차 개별 궤적에 적응하기보다 다수 선호에 기본값으로 수렴한다. 생성 시스템에서의 다원적 정렬 및 순차적 의사결정 연구를 지원하기 위해 Rushes를 공개한다. 플랫폼 및 데이터셋의 전체 코드는 다음에서 제공된다: https://github.com/microsoft/rushes

arXiv:2606.28963v1cs.CL

평균 너머: 소규모 파일럿 데이터로 LLM 기반 설문 시뮬레이터를 정렬하기 위한 3축 충실도

Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

대규모 언어 모델(LLM)은 사회적 설문 응답을 시뮬레이션하는 데 점점 더 많이 활용되고 있지만, 그 출력은 체계적인 편향을 보인다: 주변 분포(marginal distribution)가 왜곡되어 있고, 응답 분산이 제대로 보정되지 않으며, 예측변수-결과 간의 관계가 약화된다. 우리는 단순한 질문을 제기한다: 소규모 파일럿 인간 응답 샘플이 주어졌을 때, LLM이 더 넓은 모집단의 통계적 특성을 복원할 수 있는가? 우리는 복원을 세 가지 축, 즉 구조적 충실도(structural fidelity), 주변 충실도(marginal fidelity), 개별 충실도(individual fidelity)로 분해한다. COVID-19 허위 정보 설문을 사례 연구로 활용하여, 프롬프팅, 교정(rectification), 미세조정의 세 가지 접근 방식 계열을 벤치마크한다. 연구 결과는 소규모 파일럿 샘플에 대한 미세조정이 다양한 형태의 충실도를 달성하기 위한 균형 잡힌 접근 방식을 제공하지만, 이러한 충실도의 수준은 하위 샘플에 따라 달라질 수 있어 다원적 정렬(pluralistic alignment)을 잠재적으로 위협할 수 있음을 시사한다.