어떤 목표에 다이얼이 필요한가? 조향 가능한 다원적 정렬에서 목표 충돌 예측 및 트레이드오프 커버
Which Objectives Need a Dial? Predicting Objective Conflict and Covering Trade-offs in Steerable Pluralistic Alignment
한국어 초록
사람들은 다양하고 때로는 상충하는 가치를 지니므로, 단 하나의 정렬된 모델로는 모두를 만족시킬 수 없다. 따라서 다원적 정렬은 경쟁하는 목표를 서로 다르게 균형 잡을 수 있는 조향 가능한 모델을 요구한다. 다목적 직접 선호 최적화(Multi-Objective Direct Preference Optimization, MODPO)는 목표 가중치를 사용해 연속적인 트레이드오프 스펙트럼을 아우르는 방식으로 이를 수행한다. 우리는 두 가지 질문을 연구한다: 하나의 모델이 두 목표를 동시에 개선할 수 있는 경우는 언제인지, 그리고 각 트레이드오프마다 별도의 모델을 학습하지 않고도 많은 트레이드오프를 어떻게 포괄할 수 있는지. HelpSteer와 UltraFeedback의 일곱 목표 쌍에 걸쳐, 두 가지 사전학습 측정값은 사람이 주석 단 데이터에서 목표가 정렬되는지 충돌하는지를 예측하지만, AI 주석 데이터에서는 그렇지 않으며, 후자에서는 응답 길이와 반복이 보상 모델 점수를 교란한다. 더 넓은 트레이드오프 커버리지를 위해, 가장 가까운 학습된 모델을 선택하는 방법과 모델 파라미터 병합 모두 도움이 되지만, 어느 것도 일관되게 직접 학습에 필적하지는 못한다. 이러한 결과는 다양한 선호를 수용하는 조향 가능한 모델을 구축하기 위한 실용적 지침을 제공한다.
원문 초록
People hold diverse, sometimes conflicting values, so no single aligned model can satisfy everyone. Pluralistic alignment therefore calls for steerable models that can balance competing objectives differently. Multi-Objective Direct Preference Optimization (MODPO) does this by using an objective weight to span a continuum of trade-offs. We study two questions: when can one model improve two objectives simultaneously, and how can many trade-offs be covered without training a separate model for each? Across seven objective pairs from HelpSteer and UltraFeedback, two pre-training measurements predict whether objectives align or conflict for human-annotated data, but not for AI-annotated data, where response length and repetition confound reward-model scores. For broader trade-off coverage, selecting the nearest trained model and merging model parameters both help, but neither consistently matches direct training. These findings yield practical guidance for building steerable models that serve diverse preferences.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26929v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
FedPCD: 우선순위 제약 기반 연합 집계
FedPCD: Priority-Constrained Federated Aggregation
연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.
노이즈가 있는 선호도를 가진 대규모 언어 모델의 비편향 정렬
Unbiased Alignment for Large Language Models with Noisy Preferences
인간의 선호도와 대규모 언어 모델(LLM)의 정렬(alignment)은 일반적으로 인간 피드백 강화학습(RLHF) 또는 직접 선호 최적화(Direct Preference Optimization)를 통해 달성된다. 그러나 이러한 방법들은 실제 선호도 데이터셋에 널리 존재하는 상당한 노이즈에 취약하다. 이 중요한 문제를 해결하기 위해, 우리는 비편향 정렬을 위한 이론적 프레임워크를 제시하며, 비편향 보상 모델(Unbiased Reward Model, URM) 손실과 비편향 직접 선호 최적화(Unbiased Direct Preference Optimization, UDPO) 손실을 도입한다. 선호도 노이즈로 인한 왜곡을 수학적으로 보정함으로써, 우리의 새로운 목적 함수는 깨끗한 정답 감독 없이도 노이즈가 있는 데이터셋으로부터 직접 비편향 모델 학습을 가능하게 한다. 우리는 제안하는 방법들이 노이즈 허용성(noise-tolerant), 매개변수 하위 호환성(parameter downward compatible), 분류 보정성(classification-calibrated)을 가짐을 엄밀한 이론적 분석을 통해 증명한다. 다양한 데이터셋에 걸친 종합적인 실험을 통해 우리의 접근 방식이 최신 베이스라인을 능가함을 보인다. 코드는 https://github.com/cswjl/unbiased-alignment 에서 확인할 수 있다.
A3M: 반복 경매에서 전략적 입찰을 위한 적응형·적대적·다목적 학습
A3M: Adaptive, Adversarial and Multi-Objective Learning for Strategic Bidding in Repeated Auctions
밴딧 피드백이 있는 반복 다단위 경매에서 입찰 전략을 학습하는 것은 근본적인 도전 과제입니다. 기존 방법들은 흔히 고정된 탐험-후-활용(explore-then-exploit) 스케줄에 의존하고, 정상적(stationary) 적대자를 가정하며, 입찰자 효용만을 최적화함으로써 적응성과 전략적 견고성을 제한합니다. 이러한 한계를 해결하기 위해, 우리는 온라인 경매 전략 최적화를 위해 적응형 심층 강화학습(DRL), 명시적 적대적 추론, 원칙에 기반한 다목적 보상 설계를 통합한 A3M 프레임워크를 제안합니다. A3M은 탐험과 활용을 동적으로 균형 잡는 액터-크리틱 DRL 백본, 비정상(non-stationary) 적대자에 대한 허구적 플레이(fictitious play)를 위한 상대방 모델, 그리고 효용·경매자 수익·공정성을 공동으로 최대화하기 위한 복합 보상 함수를 활용합니다. 우리는 차별 가격(discriminatory price) 경매와 균일 가격(uniform price) 경매 모두에서 기존 베이스라인 대비 이 통합 접근법에 대한 최초의 종합적 실증 평가를 제공합니다. 결과에 따르면, A3M은 표준 설정에서 최종 후회(regret)를 30--40\% 감소시키고, 적대적 전략 변화에 대해 견고한 성능을 유지하며, 단위 수 $K$에 따라 유리하게 스케일링되고, 조정 가능한 다목적 트레이드오프를 가능하게 합니다. 광범위한 절제 연구(ablation study)를 통해 각 핵심 구성 요소의 필요성이 확인됩니다. 본 연구는 A3M을 복잡한 경매 환경에서의 학습을 위한 강력하고 유연한 프레임워크로 정립합니다.
평균 너머: 소규모 파일럿 데이터로 LLM 기반 설문 시뮬레이터를 정렬하기 위한 3축 충실도
Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data
대규모 언어 모델(LLM)은 사회적 설문 응답을 시뮬레이션하는 데 점점 더 많이 활용되고 있지만, 그 출력은 체계적인 편향을 보인다: 주변 분포(marginal distribution)가 왜곡되어 있고, 응답 분산이 제대로 보정되지 않으며, 예측변수-결과 간의 관계가 약화된다. 우리는 단순한 질문을 제기한다: 소규모 파일럿 인간 응답 샘플이 주어졌을 때, LLM이 더 넓은 모집단의 통계적 특성을 복원할 수 있는가? 우리는 복원을 세 가지 축, 즉 구조적 충실도(structural fidelity), 주변 충실도(marginal fidelity), 개별 충실도(individual fidelity)로 분해한다. COVID-19 허위 정보 설문을 사례 연구로 활용하여, 프롬프팅, 교정(rectification), 미세조정의 세 가지 접근 방식 계열을 벤치마크한다. 연구 결과는 소규모 파일럿 샘플에 대한 미세조정이 다양한 형태의 충실도를 달성하기 위한 균형 잡힌 접근 방식을 제공하지만, 이러한 충실도의 수준은 하위 샘플에 따라 달라질 수 있어 다원적 정렬(pluralistic alignment)을 잠재적으로 위협할 수 있음을 시사한다.
Breaking the Filter Bubble: A Semantic Pareto-DQN Framework for Multi-Objective Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.