Preference-based alignment methods typically optimize against a single preference model, and can therefore be brittle when pairwise preferences are uncertain: noisy, heterogeneous, or shift after deployment. To address these issues, we propose Robust Nash Alignment, a game-theoretic framework for alignment to uncertain pairwise preferences. Our formulation has a major learner seeking a policy with a large worst-case win rate against both an adversarial competitor and any preference kernel lying in an ambiguity set around a nominal preference. When the ambiguity set captures the uncertainty in preferences, the resulting robust objective of the game directly yields a certified lower bound on worst-case performance. However, we note this problem is computationally challenging to optimize, and to address this, we introduce a four-player primal-dual proxy game involving the leader policy, follower policy, adversarial kernel, and dual variable, and develop a single-loop optimistic mirror descent-ascent algorithm for it. We show that the proxy always lower-bounds the truncated hard-constrained objective, quantify the proxy-to-hard gap, and characterize an exactness condition under which the proxy recovers the robust objective. We then prove an $\mathcal{O}(1/\sqrt{T})$ average-iteration convergence for the proxy-game duality gap, which implies a near-optimal robust policy for the original robust objective. Experiments on controlled tabular games and LLM alignment with uncertain preference illustrate the method and show improved robustness to preference perturbations over nominal baselines.
대규모 언어 모델(LLM)은 드물지만 심각한 유해 생성이 중대한 결과를 초래할 수 있는 환경에 점점 더 많이 배포되고 있습니다. 기존의 위험 회피형 인간 피드백 강화학습(Risk-Averse RLHF)은 조건부 가치평가 위험(CVaR)을 최적화하여 이 문제를 다루지만, 고정된 위험 수준에 맞춰 정책을 학습하므로 추론(inference) 시점에 원하는 위험 회피 수준을 조정할 수 없습니다. 본 논문에서는 연속적인 위험 제어 인터페이스를 제공하는 단일 정책을 학습하여, 사용자가 여러 위험별 모델을 재학습하거나 배포할 필요 없이 서로 다른 위험 회피 정도를 선택할 수 있도록 하는 프레임워크인 위험 조건부 RLHF(risk-conditioned RLHF)를 제안합니다. 여러 벤치마크에 걸친 실험을 통해 단일 위험 조건부 정책이 추론 시점에 다양한 위험 수준에 적응할 수 있음을 입증하며, 이를 통해 더 유연하고 위험을 인식하는 LLM 배포가 가능함을 보여줍니다.
자율 소프트웨어 엔지니어링을 위한 다중 에이전트(MAS) 시스템의 정렬(alignment)은 평가자의 인식론적 불확실성에 의해 제약을 받습니다. 인간 피드백 강화학습(RLHF) 및 AI 피드백 강화학습(RLAIF)과 같은 기존 패러다임은 빈번하게 모델의 아첨(sycophancy)을 유발하며, 실행 기반 환경은 통제되지 않은 에이전트의 적대적 "테스트 회피(Test Evasion)" 문제로 어려움을 겪습니다. 본 논문에서는 객관적 정렬 패러다임인 자금 고갈 강화학습(OOM-RL, Out-of-Money Reinforcement Learning)을 소개합니다. 실거래 금융 시장의 비정상적(non-stationary)이고 마찰이 큰 현실에 에이전트를 배치함으로써, 중대한 자본 고갈을 외부에서 부여되는 음의 그래디언트로 활용합니다. 20개월에 걸친 종단적 실증 연구를 통해 시스템이 높은 회전율과 아첨 성향을 보이는 기준선(baseline) 모델에서 견고하고 유동성을 인식하는 아키텍처로 진화하는 과정을 기록합니다. 실제 체결 비용, 슬리피지, 자본 고갈과 같은 금융 손실의 경제적 결과가 내부 평가만으로는 드러나지 않던 실패 모드를 노출시켰음을 보이며, 이는 이후 결정론적으로 검증된 95% 이상의 코드 커버리지 제약 매트릭스에 고정된 비잔틴 장애 허용 착안 단방향 상태 잠금(RO-Lock) 기반의 엄격한 테스트 주도 에이전트 워크플로(STDAW)로 공식화된 아키텍처 및 거버넌스 변화를 이끌어냈습니다. 마지막 94 거래일의 관측 기간 동안, 실제 프로덕션 시스템은 약 2.06의 연율화 샤프 지수를 포함하여 향상된 체결 인식 성능을 나타냈습니다. 이러한 금융 성과는 관측적이며 시간적으로 한정된 결과로, 지속적인 투자 초과수익(alpha)의 증거나 STDAW 기여도에 대한 인과적 추정치로 해석되어서는 안 됩니다. 본 연구의 주요 기여는 외부에서 부과된 경제적 결과를 에이전트 개발에 대한 인식론적 제약으로 활용하여, 현실 세계의 자원 고갈이 객관적인 물리적 제약으로 작용하는 일반화된 패러다임의 토대를 마련한 데 있습니다.
인간 피드백 강화학습(RLHF)의 성공에도 불구하고, 기존의 보상 모델링 방법은 주로 명시적 피드백에 크게 의존하므로 수집 비용이 많이 들고 확장이 어렵습니다. 본 연구에서는 클릭, 복사, 건너뛰기와 같은 암시적 사용자 피드백으로부터 보상 모델을 학습하는 암시적 보상 모델링을 연구합니다. 암시적 피드백은 확장 가능하고 비용 효율적이지만 두 가지 주요 과제를 안고 있습니다. 첫째, 명확한 부정 샘플이 부족하여 표준적인 긍정-부정 분류 방법을 적용할 수 없습니다. 둘째, 응답마다 피드백을 유도하는 성향이 서로 달라 명확한 부정 샘플을 더욱 모호하게 만드는 선택 바이어스 문제를 겪습니다. 이러한 문제를 해결하기 위해, 암시적 피드백으로부터 비편향 보상 모델을 학습하는 ImplicitRM을 제안합니다. ImplicitRM은 계층화 모델을 사용하여 학습 샘플을 4개의 잠재 그룹으로 계층화하고, 이론적으로 비편향된 가능도 극대화 목적 함수를 유도함으로써 두 가지 과제를 모두 해결합니다. 다양한 대규모 언어 모델(LLM) 백본 및 벤치마크 데이터셋에 걸친 실험을 통해 ImplicitRM이 암시적 피드백으로부터 정확한 보상 모델을 학습하고 다운스트림 RLHF 태스크의 성능을 향상함을 검증합니다.
본 연구에서는 대규모 언어 모델(LLM)의 다중 목적 정렬(multi-objective alignment)에서 스칼라화 학습(scalarized training) 시 일부 목적만 개선되고 다른 목적은 저하되는 지속적인 실패 모드를 연구합니다. 저자들은 이 현상을 '목적 간 간섭(cross-objective interference)'으로 공식화하고, 우리가 아는 한 다중 목적 LLM 정렬을 위한 스칼라화 알고리즘에 대한 최초의 체계적인 연구를 수행합니다. 이 연구를 통해 간섭 현상이 여러 알고리즘 전반에 걸쳐 만연하지만 모델에 크게 의존한다는 점을 보여줍니다. 간섭이 발생하는 원리를 이해하기 위해, 특정 목적의 개선 또는 저하가 1차(first order) 관점에서 해당 목적의 보상(reward)과 스칼라화 점수 간의 공분산 부호에 따라 결정된다는 '국소 공분산 법칙(local covariance law)'을 도출합니다. 또한 이 법칙을 현대적인 강화 미세조정(reinforcement fine-tuning)의 클리핑된 대리 목적함수(clipped surrogate objectives)로 확장하고, 완만한 조건 하에서도 여전히 성립함을 보여줍니다. 이 법칙을 기반으로, 저자들은 특정 목적의 보상과 클리핑된 어드밴티지 가중치(advantage weight) 간의 공분산이 목표치 아래로 떨어질 때만 해당 목적의 가중치를 높이는 단방향 제어기인 COVER(COVariance-floor Enforced Reweighting)를 제안합니다. 광범위한 실험을 통해 COVER가 목적들이 이미 함께 개선되고 있을 때는 선형 스칼라화와 동등한 성능을 내면서도 목적 간 간섭을 완화할 수 있음을 확인했습니다. 마지막으로 간섭이 모델에 의존적인 이유를 설명하기 위해, 국소 공분산 법칙을 보완하는 전역 수렴(convergence) 분석을 제시합니다. 이 분석은 비볼록(non-convex) 스칼라화 목적함수가 폴리약-로야시에비치(Polyak–Łojasiewicz) 조건을 만족하기 위한 충분조건을 제공하며, 간섭 현상을 모델의 기하학적 구조와 연결합니다.
선호도 정렬(preference alignment)은 대규모 언어 모델(LLM)을 개선하는 데 핵심적이지만, 인간의 선호도가 비이행적(non-transitive)일 때 보상(reward) 기반 정식화는 제한적일 수 있습니다. 인간 피드백 기반 내시 학습(NLHF)은 정렬을 선호도 게임으로 모델링하고 내시 균형(Nash equilibrium)을 탐색함으로써 이러한 한계를 해결합니다. 그러나 확장 가능한 NLHF의 학습 이론적 기초는 여전히 제한적입니다. 기존의 후회(regret) 보장은 명시적인 선호도 모델 추정과 미니맥스 오라클(minimax oracle)에 의존하는 반면, 더 단순한 반복적 방법들은 이러한 보장이 부족합니다. 본 연구에서는 온라인 반복적 NLHF를 연구하고 탐험(exploration)을 주요 장애 요인으로 식별합니다. 먼저, 표준 반복적 NLHF가 역 KL 정규화(regularization) 매개변수(parameter)에 대해 지수적 의존성을 유발할 수 있음을 보여줌으로써 정책 업데이트를 통한 암묵적 탐험이 불충분할 수 있음을 입증합니다. 그런 다음 SFT 유형의 정규화와 적대적 정책 탐험을 결합한 탐험적 내시 선호도 최적화(ENPO)를 제안합니다. ENPO는 미니맥스 오라클이나 명시적인 선호도 모델 추정 없이도 이러한 지수적 의존성을 제거합니다. 나아가 추가적인 오라클을 활용하여 $O(\log T)$ 후회 한계를 달성하는 Bonus-Explorer ENPO(BENPO)를 소개합니다. 마지막으로, LLM 미세조정(fine-tuning)을 위한 ENPO의 실용적인 변형인 Direct ENPO(DENPO)를 개발합니다. Llama-3-8B-Instruct를 사용한 실험을 통해 여러 벤치마크 전반에서 평가된 RLHF 및 NLHF 베이스라인 대비 일관된 성능 향상을 입증합니다.
최근 텍스트-투-이미지(text-to-image) 생성 모델은 뛰어난 시각적 품질을 달성했으나, 단일 보상(reward) 신호만으로는 인간 선호도의 전체 범위를 포착할 수 없어 사후 학습(post-training)을 통한 성능 향상에는 여전히 어려움이 따릅니다. 본 연구에서는 상호 보완적인 보상 신호들의 결합을 바탕으로 오픈 도메인 텍스트-투-이미지 생성을 위한 단순하고 효과적인 사후 학습 레시피를 개발합니다. 본 연구의 보상 시스템은 크게 두 가지 요소로 구성됩니다. 전반적인 인간의 미적 및 지각적 선호도를 포착하기 위해 브래들리-테리(Bradley-Terry) 목적 함수를 사용하여 대규모 인간 선호도 데이터(preference data)로 학습(training)된 선호도 보상과, 프롬프트(prompt) 충실도 및 기타 바람직한 특성을 명시적으로 평가하는 동시에 보상 해킹(reward hacking)에 대한 안전장치를 제공하는 루브릭 기반 보상입니다. 핵심 과제는 이러한 이종 보상 신호들을 어떻게 결합할 것인가입니다. 본 연구는 단순 가중 평균이 차선의 최적화 동작을 초래함을 보이고, 선호도 최적화와 루브릭 충족을 더욱 효과적으로 균형 잡는 단순한 보상 결합 전략을 제안합니다. Arena 텍스트-투-이미지 리더보드(https://arena.ai/)에서, 강화학습(RL)으로 학습된 Flux2dev는 기본 모델보다 69점 높은 Elo 레이팅을 달성하였으며, 사후 학습된 Ideogram-4는 리더보드의 모든 오픈소스 모델을 능가하여 1223.5의 Elo에 도달했습니다. (최첨단 성능 주장은 2026년 9월 4일 기준 Arena 리더보드 스냅샷을 바탕으로 합니다.) 본 연구 결과는 최첨단 생성 모델 학습을 위한 효과적인 보상이 사용자 의도에 대한 폭넓은 커버리지와 최적화 과정에서의 활용(exploitation)에 대한 강건성을 필요로 함을 시사합니다. 재현 가능한 연구를 지원하기 위해, 본 연구진은 전체 규모 학습의 일부 성능 향상을 재현하는 1K 규모의 학습 데이터 서브셋인 Arena-T2I-Training을 공개하여 텍스트-투-이미지 모델의 사후 학습에 관한 향후 연구를 촉진할 자원을 제공하고자 합니다.
RLHF에서 프록시 보상 모델의 오지정(misspecification)으로 인한 보상 과최적화 문제를 해결하기 위해, 보상 법칙에 대한 Wasserstein 모호성 집합과 프롬프트별 ℓp 거리를 활용한 분포적 강건 후회 최적화(DRRO)를 제안한다. 표준 DRO와 달리 최악의 경우 가치 대신 최악의 경우 후회(regret)를 최소화하는 이 방법은 프롬프트별 워터필링(water-filling) 구조로 분해되며, GRPO 학습에 샘플링 기반 보너스를 추가하는 방식으로 구현되어 기존 기준선 대비 과최적화를 더 효과적으로 완화함을 이론과 실험으로 검증하였다.
2천 년 전 키케로와 퀀틸리아누스가 분류한 수사학적 기법이 대규모 언어 모델(LLM)의 텍스트에서 체계적으로 다시 나타난다: 에파노르토시스(epanorthosis), 즉 «This is not a course. It is a journey of transformation»와 같은 자기 수정이다. 본 에세이는 이러한 과다 사용이 학습된 성향이며, 주로 홍보적 산문이 풍부한 학습 분포와 확신에 찬 강조적 표현을 보상하는 선호 튜닝(RLHF)에 의해 주도된다고 주장한다. 생성의 좌→우 특성은 근본 원인이라기보다 증폭 요인이다. 모델이 인간의 수사학적 스타일과 벗어난다는 증거와, Fontanier의 에파노르토시스를 사고의 figure(figure of thought)로 분류한 것을 바탕으로, 장르별 인간 기준선 대비 이 기법을 Epanorthosis Index(인간 비율 대비 밀도)로 점수화하는 프로그램을 제시한다. 하나의 인스트럭션 튜닝 모델 패밀리의 세 가지 크기에 대한 첫 측정은, 문체(register) 양방향에서의 오보정(miscalibration)을 보여준다: 모델은 연설체(oratory)에서 과다(약 2배, 이탈리아어에서는 거의 3배, 더 큰 tier에 집중)하고, 비공식 Q&A 글쓰기에서는 과소하며, 논증, 저널리즘, 백과사전적 산문에서는 인간과 일치한다. 세 가지 건설적 기여가 이어진다: 경량 LoRA 어댑터를 중심으로 한 완화 기법 개관; 이탈리아어에서 한 줄 instruction이 이 기법을 절반에서 거의 3/4까지 줄이고, 지도 미세조정(supervised fine-tuning) 어댑터가 거의 완전히 제거하며, scaling coefficient가 감소를 다시 인간 비율로 맞춘다는 시연; 그리고 목표는 제거가 아니라 각 장르별 인간 비율에 대한 calibration이라는 주장. 마지막으로 그 함의를 짚는다: 진짜 위험은 우리가 기계처럼 쓰기 시작하는 것이다.
선호 기반 사후 학습은 보통 최종 행동을 통해 이해되지만, 이러한 행동을 만들어내는 학습된 업데이트는 여전히 대체로 불투명하다. 우리는 인간 피드백 강화학습(RLHF) 및 관련 선호 최적화를 그들이 유도하는 매개변수 업데이트의 스펙트럴 구조를 통해 연구한다. 효과적인 LoRA 업데이트를 분해하고 스펙트럴 성분을 플러그인 모듈로 다시 로드함으로써, 선호에 의해 유도된 업데이트를 분리·재구성·직접 개입이 가능한 객체로 전환한다. 모델 계열, 최적화 알고리즘, 감독 체계에 걸쳐 이러한 업데이트는 일관되게 스펙트럴 head–tail 구조를 형성한다. 컴팩트한 head가 초기에 나타나 지배적인 최종 변화를 담당하는 반면, 이질적인 잔차 tail이 남는다. 이 분할은 단순히 기술적인 수준을 넘어 기능적으로 작용한다. 플러그인 개입은 head가 베이스 모델로부터의 가시적 행동 이탈을 설명하는 반면, tail은 단독으로는 약함을 보여준다. 실행 간 재구성은 혼합 어댑터가 head의 출처를 따름을 추가로 보여주며, 이는 head가 실행 수준의 solver 바이어스를 담고 있음을 시사한다. 이러한 최종 지배성은 학습의 충분성을 의미하지 않는다. Head만 학습하는 방식은 무의미하지 않지만 전체 해법을 복원하지 못하며, 특히 분포 밖(out-of-distribution) 행동에서 그렇다. Tail만 학습하면 가시적 이득은 거의 없지만, tail 없이는 전체 해벅을 복원할 수 없다. 이러한 발견은 선호 사후 학습을 단일형 행동 교정이 아닌 구조화된 업데이트 재구성으로 재해석하며, 정렬(alignment) 이득과 커버리지 손실(coverage loss)이 학습된 업데이트 자체의 조직 방식과 연결되어 있음을 시사한다.
인간 피드백 강화학습(RLHF)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적이다. 그러나 그 효과는 종종 인간 주석의 고유한 불일치성과 주관성으로 인해 훼손된다. 직접 선호 최적화(DPO)와 같은 기존 선호 최적화 프레임워크는 일반적으로 주석자 간 이견이 큰 모호한 쌍을 만장일치 합의가 있는 쌍과 동일하게 취급하여, 모델이 불일치하는 감독 신호에 과적합하게 만들고 차선의 정렬로 이어진다. 본 연구에서는 불일치하는 인간 피드백의 영향을 완화하도록 설계된 견고한 프레임워크인 신뢰도 유도 선호 최적화(RGPO)를 제안한다. RGPO는 주석자 신뢰도를 추정하고 노이즈가 있는 인간 피드백으로부터 잠재적 정답 레이블을 추론하여 견고한 선호를 식별한다. 또한 주석의 합의 수준에 따라 학습 목표를 동적으로 조절하는 신뢰도 인식 일관성 최적화를 도입하여, 모델이 높은 합의의 감독 신호를 우선시하도록 한다. LLM 정렬 벤치마크에 대한 광범위한 실험 결과, RGPO는 학습 데이터의 불일치와 노이즈를 효과적으로 줄이며 널리 채택된 RLHF 기준선 대비 우수한 성능을 달성함을 보여준다. 코드와 설정은 https://github.com/GenieHuang/RGPO 에서 확인할 수 있다.
언어 간 인간 선호도 데이터의 불균등한 가용성은 다국어 환경에서 대규모 언어 모델(LLM)을 정렬하는 데 상당한 도전 과제를 제기한다. 저자원 언어 정렬에서 충분한 데이터가 부족한 문제를 해결하기 위해, 우리는 인간 피드백 강화학습(RLHF)과 직접 선호 최적화(DPO)를 위한 메타학습 프레임워크를 제안한다. 다른 언어의 선호도 데이터를 활용하여, 우리 프레임워크는 최소한의 데이터로 목표 언어에 효과적으로 적응할 수 있는 전이 가능한 초기화를 학습한다. 우리는 메타 보상 모델링과 메타 정책 최적화 설정 모두에 대해 이론적 보장을 제공하고, 다국어 벤치마크에서 우리 접근법의 효과를 실증적으로 입증한다. 극히 저자원 환경에서 목표 언어 선호도 샘플이 단 100개뿐인 경우에도, 우리 접근법은 기준선 방법 대비 최대 28%의 승률 개선을 달성하며, 여러 목표 언어와 모델 규모에서 기준선을 일관되게 능가한다. 우리 접근법은 메타학습 언어의 다양한 조합과 목표 언어로부터의 언어적 거리 변화에 걸쳐 이러한 이점을 유지한다.
인간 피드백 강화학습(RLHF)에서 구조화된 교란 변수를 확인한다. 쌍wise 선호도 레이블은 비교 대상 출력을 반영하도록 의도되지만, 주석 달기 과정에서 평가자의 상태를 반영할 수도 있다. 지속적인 스트레스나 정서적 부담 조건 하에서 평가자의 선호도는 시간에 따라 변화할 수 있으며, 이로 인해 선호도 데이터는 응답 품질에 대한 판단과 함께 평가자 상태를 함께 인코딩할 수 있다. 이러한 변화가 존재한다면, 우리는 그것이 일반적인 의견 불일치나 무작위 레이블 노이즈와는 다를 것이라고 주장한다. 이들은 상태에 의존적이며, 유사한 조건에서 여러 주석 작성자 간에 공유될 수 있고, 집계, 보상 모델링, 정책 최적화 과정에서 반드시 상쇄되지는 않을 것이다. 우리는 RLHF 선호도 데이터의 구조화된 바이어스의 그럴듯하고 검증 가능한 원인으로 평가자 상태 변화(rater state shift)를 제안한다. 본 논문은 이러한 바이어스 원인을 연구하기 위한 가설과 감사 프레임워크를 개발한다. 우리는 평가자 상태 변화, 평가자 상태 교란 변수, 상관된 평가자 상태 바이어스를 정의한다. 또한 우리는 어휘적, 화용론적, 담화적, 안전성(safety) 특성으로 정의되는 후보 출력 시그니처로서 생존 수준의 정서적 진정성(survival level emotional authenticity)을 제안하며, 이 특성들의 신뢰도와 타당성은 아직 입증되어야 한다. 우리는 상관된 평가자 상태 바이어스가 집계 과정에서 평균화되지 않고 학습된 보상 신호에 유입될 수 있는 조건을 분석한다. 우리는 이 메커니즘을 일반적인 참여도(engagement) 최적화와 구별하는 다섯 가지 예측을 제시하고, 초기 감사를 위한 효과 크기 임계값과 함께 어떤 것이 독점 데이터를 필요로 하는지 명시한다. 마지막으로, 공개적으로 이용 가능한 인스트럭션 튜닝(instruction tuned) 모델에 적용할 수 있는 감사 프로토콜과 파일럿 연구 계획을 제시한다. 우리는 특정 배포 모델의 학습 이력을 추론하지 않는다.
직접 선호 최적화(DPO)는 명시적인 보상 모델링과 강화학습 최적화의 필요성을 제거하기 때문에 대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 중요한 방법으로 자리잡았습니다. 그러나 성능은 선호도 데이터의 품질에 크게 의존하며, 실제 환경에서의 노이즈가 있는 선호도 데이터는 정렬 성능을 약화시킬 수 있습니다. 이 문제를 해결하기 위해 우리는 이중 수준 최적화(bilevel optimization) 프레임워크를 제안하고, 특정 가정 하에서 이 프레임워크가 깨끗한 데이터에서의 DPO 최적값을 복원할 수 있음을 증명합니다. 또한 비대칭 레이블 플리핑(label-flipping) 노이즈 하에서 학습 가능한 가중 함수에 대한 사전 형태(prior form)를 유도합니다. 고품질 메타데이터를 얻기 어려울 수 있다는 점을 고려하여, 메타데이터가 완전히 없는 경우에도 메타학습을 가능하게 하는 태스크 불가지론적(task-agnostic) 메타 지식 기반 방법을 제안합니다. LLM 메타학습에서 고차 그래디언트의 높은 비용을 줄이기 위해, 중심 차분 근사(central-difference approximation)와 LoRA 미세조정을 결합하여 확장 가능한 학습 체계를 개발합니다. TL;DR 요약과 Anthropic HH 단일 턴 대화에 대한 실험에서 제안된 방법이 다양한 노이즈 비율 하에서 여러 DPO 기준선(baseline) 대비 학습 성능을 향상시킴을 보여줍니다.
인간 피드백 강화학습(RLHF)에서 인간의 선호는 일반적으로 인간의 보상(reward) 함수 또는 그에 대응하는 최적 상태-행동 가치의 함수로 모델링된다. 본 연구에서는 학습 중인 에이전트(agent)의 능력에 대한 인간의 신념 또한 선호 생성에 핵심적인 역할을 한다고 제안한다. 우리는 이 가설과 관련하여 기술적(descriptive) 질문과 규범적(normative) 질문 각각 하나씩, 총 두 가지 질문을 검토한다: 레이블러의 에이전트 능력에 대한 신념이 그들이 제공하는 선호에 영향을 미치는가? 그리고 에이전트에 대해 인간이 가져야 할 이상적인 신념의 집합과 그에 따른 선호는 무엇인가? 우리는 인간의 신념을 통합하는 새로운 선호 모델(preference model)을 제안하고, 인간의 신념과 이상적인 신념 집합 간의 불일치를 기반으로 최종 학습된 정책의 오류를 한정하는 규범적 이론을 제시한다. 이후 인간 대상 연구를 통해 에이전트 능력에 대한 신념이 실제로 선호에 유의미한 영향을 미치며 간단한 개입을 통해 조정될 수 있음을 확인한다. 또한 합성 실험을 통해 인간 선호 레이블러가 에이전트의 최적성을 가정하는 것이 종종 차선책임을 실증적으로 보인다. 종합하면, 이러한 결과들은 인간의 신념과 에이전트 능력 간의 불일치를 줄이는 것이 더 높은 성능의 RLHF로 이어질 수 있음을 이론적·실증적으로 보여주며, RLHF 실무자를 위한 새로운 모범 사례를 제시한다.
프롬프트 복잡도(PC)와 쌍별 구별 가능성(PD)이라는 두 축으로 구성된 이차원 난이도 공간을 DPO 정렬에 도입해, 기존의 단일 지표 커리큘럼 학습의 한계를 이론적으로 분석하고 극복한다. 정적 커리큘럼 프레임워크 DM-Curri-DPO와 모델 스스로 학습 궤적을 탐색하는 그룹별 자기 페이스 학습 프레임워크 GSP-Curri-DPO를 제안하여, MT-Bench, Arena-Hard, AlpacaEval 2.0 등 주요 벤치마크에서 최고 성능을 달성하고 데이터 효율성과 선호도 노이즈 강건성을 입증한다.
기존 RL 사후학습 방법들이 현재 배치의 보상으로만 정책을 업데이트하는 개루프(open-loop) 구조의 한계를 지적하며, 반복 간 성능 향상 자체를 명시적 목표로 삼는 PIRL(Policy Improvement Reinforcement Learning) 프레임워크와 이를 기반으로 한 폐루프(closed-loop) 플러그인 알고리즘 PIPO를 제안한다. PIPO는 슬라이딩 윈도우 방식의 과거 성능 앵커와 비교해 업데이트 효과를 검증하고, PPO·GRPO·SDPO 등 다양한 정책 최적화 계열에서 수학적 추론, 코드, 도구 사용 태스크 전반에 걸쳐 일관된 성능 향상을 달성했다.
실제 선호도 데이터셋에 만연한 노이즈로 인해 RLHF와 DPO 기반 정렬(alignment)이 편향될 수 있다는 문제를 해결하기 위해, 노이즈 분포를 수학적으로 역변환하는 비편향 보상 모델(URM) 손실과 비편향 직접 선호 최적화(UDPO) 손실을 제안한다. 이론적으로 노이즈 허용성 및 분류 보정성을 증명하였으며, HH, TL;DR, UFB 등 다양한 데이터셋 실험에서 최신 베이스라인 대비 우수한 성능을 달성했다.
쌍별(pairwise) 인간 비교는 현대 AI 시스템이 인간의 선호를 학습하는 주요 인터페이스이다. 인간 피드백 강화학습(RLHF)과 관련 정렬(alignment) 파이프라인은 일반적으로 이러한 비교를 Bradley-Terry 로그-오즈로 모델링하며, 여기서 선택 확률은 잠재 보상(reward) 차이에 의해 결정된다. 이 논문은 합리적 부주의(rational inattention)에서 영감을 받은 축약형(reduced-form) 모델을 통해 이 가정이 놓치는 바를 고찰하는데, 이 모델에서 각 레이블은 저용량 평가 채널에 의해 생성된다. 이 모델은 표준 보상 모델링이 혼동하는 경향이 있는 두 가지 형태의 모호성을 분리한다: 비교가 어려운 이유가 두 후보의 가치가 실제로 유사하기 때문일 수도 있고, 제한된 어텐션(attention) 하에서 관련 구분을 감지하기 어렵기 때문일 수도 있다. 우리는 제한된 어텐션이 쌍별 비교를 통해 드러나는 정보를 근본적으로 왜곡할 수 있음을 보인다. 특히, 수동적 비교 데이터는 일반적으로 보상, 어텐션, 기본 성향을 구별할 수 없으며, 이질적인 어텐션은 표준 Bradley-Terry 보상 모델링이 오도적인 순위를 복원하도록 만들 수 있다. 우리의 분석은 학습이 레이블의 원시 수가 아니라 각 레이블이 담고 있는 주목된 정보의 양에 의해 결정됨을 보여준다. Chatbot Arena의 언어 모델 쌍에 대한 인간 투표를 대상으로 한 사례 연구는 예측된 특징을 보여주는데, 샘플링 노이즈를 초과하며 어떠한 스칼라 보상으로도 표현할 수 없는 비교 데이터의 순환 성분이 그것이다. 지각적 비교를 대상으로 한 두 번째 사례 연구는 응답 시간과 시선이 레이블에 담기지 않은 격차 정보를 담고 있음을 보여준다. 이 관점은 인간 피드백을 직접적인 현시 선호(revealed preference)가 아닌 어텐션 제한 측정 과정으로 다루어야 함을 시사한다: 약한 선호 신호는 진정한 무관심이 아니라 숨겨진 평가 난이도를 반영하는 것일 수 있다.
비동기 RLHF 파이프라인에서 롤아웃 생성과 정책 최적화를 분리할 때 발생하는 오래된 롤아웃(stale rollout)의 영향을 비동기 GRPO 환경에서 분석하여, 스테일니스 지연 S와 학습률 η의 곱에 비례하는 O(S·η) 크기의 서로게이트 그래디언트 편향이 발생함을 이론적으로 증명하였다. 이를 바탕으로 η ≪ min{R_batch/(S·G_upd), R_crit/(T·G_upd)}라는 두 가지 제약 조건을 도출하여, 안정적인 학습률 상한이 스테일니스에 독립적으로 보이는 현상이 horizon-limited 구간에서만 나타나는 이유를 설명하였다.