비정형·노이즈가 많은 사용자 상호작용 로그에서 유용한 피드백을 구분하기 어렵고 오프-정책 최적화 문제가 있다는 한계를 해결하기 위해, UNO(User log-driveN Optimization)는 로그를 반정형 규칙과 선호 쌍으로 증류하고 쿼리·피드백 기반 클러스터링과 인지적 격차 평가로 1차적·성찰적 경험 모듈을 구성해 LLM 시스템을 개선한다. MemoryBench 등에서 RAG 및 메모리 기반 베이스라인을 크게 능가하는 최첨단 수준의 효과성과 효율성을 보였다.
에이전트 시스템의 오프라인 평가는 종종 궤적을 최종 성공으로 단순화하여, 부분적인 진행에 대한 정보를 버리고 광범위한 동점을 유발합니다. 이는 유효 표본 크기를 줄이고 시스템을 구별하는 능력을 약화시켜 상당한 통계적 비효율성을 초래합니다. 우리는 진행 및 복귀 시간 프로필에 대한 시간적 선호도를 통해 궤적을 직접 비교하는 선호도 기반 궤적 평가를 제안합니다. 우리는 다양한 에이전트 및 대화형 벤치마크에서 표준 성공 기반 메트릭이 약 75%의 인스턴스에서 동점 비교를 생성하는 반면, 궤적 인식 선호도는 동점을 약 35%로 줄여 식별력, 순위 안정성 및 데이터 효율성을 향상시킨다는 것을 발견했습니다. 우리의 결과는 종종 불량한 데이터 수집이나 문제 난이도 때문으로 여겨지는 벤치마크 포화 현상이 평가 지표의 선택으로도 설명될 수 있음을 시사합니다.
We consider the problem of regularized best-response max-regret minimization in online RLHF under general preferences and bandit feedback. While various regularizers are utilized to robustify alignment, known polylogarithmic regret guarantees remain heavily specific to KL. To investigate whether such fast rates extend beyond KL, we adopt the Generalized Bilinear Preference Model (GBPM) -- capturing intransitive preferences over $d$-dimensional item-wise features via a rank-$2r$ skew-symmetric matrix -- to isolate the impact of generic regularization. Crucially, under GBPM, we prove that the dual gap of any greedy policy is bounded by the squared estimation error, derived using \emph{only} strong convexity and skew-symmetry. Under a feature coverage assumption, we establish a \emph{generic} polylogarithmic regret of $\tilde{\mathcal{O}}(ηd^4 C_{\min}^{-1} (\log T)^2 \wedge d^2 C_{\min}^{-1/2} \sqrt{T})$ with Greedy Sampling, and a dimension-wise improved regret (for well-conditioned arm-sets) of $\tilde{\mathcal{O}}(C_{\min}^{-2} \sqrt{ηr T} \wedge r^{1/3} C_{\min}^{-4/3} T^{2/3})$ with Explore-Then-Commit, where $η^{-1}$ is the regularization coefficient, $T$ is the time horizon, and $C_{\min}$ is an arm-set dependent quantity. This demonstrates that ``fast'' regrets are not KL-specific, but rather a fundamental consequence of generic strongly convex geometry.
단안 RGB 카메라만을 사용하는 장거리 보도 내비게이션을 위해 anchored flow matching 기반 사전학습과 인간 개입 기반 선호도 학습을 결합한 FlowPilot을 제안한다. 이 방법은 모방 학습의 오류 누적 문제를 해결하고 반사실적 추론 및 사회적 규범 준수 능력을 강화하여 실제 환경에서 간섭률을 크게 낮췄다.
언어 모델의 사후 학습은 모델 행동이 형성되는 주요 단계이지만, 여전히 다양한 요구사항을 요약한 스칼라 보상(scalar reward)의 최적화(optimization)가 주를 이룹니다. 이러한 추상화는 실무자가 데이터가 모델에게 실제로 무엇을 가르치는지에 대한 가시성을 거의 제공하지 않아, 모델이 가짜 상관관계(spurious correlation)를 학습하게 하고 과도한 스타일화(over-stylization) 및 아첨(sycophancy)과 같은 바람직하지 않은 행동을 유도합니다. 이 문제를 해결하기 위해 우리는 다음과 같은 질문을 던집니다: 최적화(optimization) 전에 선호도 데이터셋(preference dataset)을 검사하고 개념(concept) 수준에서 모델이 학습하도록 허용할 행동을 결정할 수 있을까요? 이에 동기를 부여받아, 우리는 해석 가능성 프로토콜(interpretability protocols)을 사용하여 선호되는 생성과 비선호되는 생성을 구분하는 잠재 개념(latent concepts)에 대한 통계적 가설을 개발하고, 이를 세밀한 사용자 피드백을 위해 명시적으로 만드는 데이터 중심 사후 학습 파이프라인을 소개합니다. 이 관점을 바탕으로, 우리는 특징(feature) 또는 데이터 개입을 통해 보상(reward)을 형성하는 방법으로 여러 해석 가능성 기반 학습 프로토콜을 통합합니다. 경험적으로 우리 파이프라인은 기존 선호도 데이터(preference data) 내의 바람직하지 않은 신호를 진단하고, 의도하지 않은 학습(off-target learning)을 완화하며, 안전장치(safeguards) 및 모델 성격(model personality)과 같은 바람직한 속성을 증폭하거나 형성하는 데 도움을 줄 수 있음을 보여줍니다. 더 넓게 보면, 우리의 결과는 해석 가능성이 사후 학습을 불투명한 대리 보상(proxy reward)의 최적화(optimization)에서 학습 신호 자체를 감사하고 조각(audit and sculpt)하는 과정으로 전환할 수 있음을 시사합니다.
선호도 기반 강화학습(PbRL)은 명시적 보상 설계와 전문가 시연을 피하면서, 인간의 궤적 수준 비교로부터 정책을 학습한다. 기존 방법들은 일반적으로 궤적 또는 세그먼트 수준의 선호도로 유틸리티 함수를 학습하면서, 정책 최적화 과정에서는 단계별 유틸리티 추정치에 의존한다. 이러한 학습과 추론의 불일치는 분포 이동(distribution shift)을 유발하여 시간적 credit assignment를 심각하게 저하시키고 정책 학습을 제한한다. 우리는 이 문제를 분석하고, 세그먼트 수준의 advantage 함수를 사용해 직접 정책 업데이트를 수행하는 세그먼트 기반 선호도 학습 방법인 PAWS를 제안한다. 유틸리티 학습을 정책 최적화와 정렬함으로써 PAWS는 궤적 수준의 선호도 정보를 보존하고 신뢰할 수 없는 단계별 학습 신호를 피한다. 시뮬레이션된 로봇 조작 및 locomotion 과제에 대한 실험은 PAWS가 기존 PbRL 접근법들을 지속적으로 능가함을 보여주며, 분포 일관적인(distribution-consistent) 선호도 학습의 중요성을 강조한다.
대규모 언어 모델(LLM)을 정렬하기 위해 인간 선호를 포착하는 보상 모델링(RM)은 모델 파인튜닝, 응답 필터링, 순위 매기기와 같은 작업에 점차 더 널리 사용되고 있습니다. 그러나 인간 선호의 내재된 복잡성과 사용 가능한 데이터셋의 제한된 범위로 인해, 보상 모델은 분포 변동이나 적대적 섭동 하에서 자주 실패합니다. 이러한 실패 모드를 식별하는 기존 접근 방식은 일반적으로 선호 분포나 실패 속성에 대한 사전 지식에 의존하므로, 이러한 정보를 사용할 수 없는 실제 환경에서는 실용성이 제한됩니다. 본 연구에서는 보상 유도 제어 디코딩을 통해 보상 모델의 실패 모드를 발견하는 실현 가능하고 선호 분포 비의존적인 방법을 제안합니다. 이를 바탕으로, 우리는 보상 모델 자체를 사용하여 잘못 점수가 매겨진 응답의 생성을 유도함으로써 강건성을 향상시키는 자기 개선 보상 모델링 프레임워크인 REFORM을 소개합니다. 이러한 적대적 예제는 그 후 학습 데이터를 증강하고 보상 모델의 정렬되지 않은 행동을 수정하는 데 사용됩니다. 우리는 널리 사용되는 두 개의 선호 데이터셋인 Anthropic Helpful Harmless (HH)와 PKU Beavertails에서 REFORM을 평가하고, 보상 품질을 희생하지 않으면서 강건성을 현저히 향상시킴을 입증합니다. 특히, REFORM은 직접 평가와 하류 정책 학습 모두에서 성능을 유지하며, 가상 상관관계를 제거함으로써 정렬 품질을 더욱 향상시킵니다.