PyTorchKR Papers

최신 논문

총 33편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04412v3cs.AI

LLM-as-a-Tutor: 비검증 강화학습을 위한 정책 인식 프롬프트 적응

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

Reinforcement learning (RL) for non-verifiable instruction following increasingly relies on LLM judges with prompt-specific rubrics as reward signals. While recent methods adapt these rubrics to the evolving policy during training, the training prompts themselves remain static, drawn from fixed corpora. This static approach often results in a critical misalignment between prompt difficulty and policy capability, leaving the judge unable to recover a discriminative reward signal when prompts fail to elicit quality variance among rollouts. To address this misalignment, we introduce LLM-as-a-Tutor, a framework that extends the LLM's role from judge to tutor: a single model serves as an examiner that pairwise-compares policy rollouts to detect non-challenging prompts, and as a generator that appends atomic constraints to them. This append-only design preserves the original prompt while adding constraints to increase difficulty in step with the policy's capability, producing a self-calibrating training signal without external difficulty schedules. On three complex instruction-following benchmarks, our method outperforms both policy-unaware baselines and prior policy-adaptive methods that adapt rubrics or rewrite prompts, on average and on four of five metrics, suggesting prompt adaptation as an underexplored axis of policy-awareness in non-verifiable RL for constraint-heavy instruction following.

arXiv:2610.13617v1cs.CL

잠재적 내재 피드백을 통한 사용자 시뮬레이터 학습

Training User Simulators with Latent Intrinsic Feedback

사용자 시뮬레이터(user simulator)는 실제 사용자와의 멀티턴(multi-turn) 대화에서 발생하는 미묘한 차이에 더 잘 대응할 수 있는 LLM 어시스턴트를 학습시키기 위한 환경으로서 주목받고 있다. 사용자 시뮬레이션에 관한 기존 연구는 사실적인 사용자 발화를 생성하는 데 중점을 두었으며, 어시스턴트 응답에 대한 직접적인 피드백 소스로서의 잠재력은 탐구되지 않은 채로 남아 있었다. 이러한 평가 신호는 언어로 명시적으로 전달되지 않을 수 있으며, 대신 사용자의 잠재적 추론(latent reasoning) 속에 존재할 수 있다. 본 연구에서는 내재적 피드백(intrinsic feedback)을 갖춘 사용자 시뮬레이터, 즉 각 대화 턴마다 1인칭 사용자 관점에서 어시스턴트를 평가하는 내적 생각, 반응, 스칼라 평점과 같은 잠재적 평가 상태(latent evaluation state)를 갖춘 모델을 소개한다. 우리는 실제 사용자와 어시스턴트 간의 상호작용 로그를 사용하여 LLM 기반 시뮬레이터를 학습시키고, 내재적 피드백이 프롬프트 기반(prompted) 시뮬레이터 베이스라인에 비해 시뮬레이션의 현실성과 비판적(critiquing) 행동을 개선하는 동시에, 기존의 파인튜닝된 시뮬레이터에는 없는 턴 단위(turn-level) 평가를 제공함을 보인다. 더 나아가, 우리가 학습시킨 시뮬레이터가 생성한 평가는 동일한 크기의 프롬프트 기반 시뮬레이터보다 인간 판단과 더 높은 상관관계를 보인다. 마지막으로, 우리의 실험은 내재적 피드백을 갖춘 시뮬레이터가 멀티턴 강화학습(RL) 학습을 위한 효과적인 보상 신호를 제공하며, 외부 심판 LLM(judge LLM)에 의존해 보상을 산출하는 설정과 동등한 성능을 내면서도 RL 연산량을 절반 이상 줄인다는 것을 보여준다.

arXiv:2610.13375v1cs.CL

구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선

From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics

루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.

arXiv:2605.29847v2cs.CL

EvoRubric: 개방형 생성을 위한 자체 진화형 루브릭 기반 강화학습

EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation

강화학습(RL)은 검증 가능한 도메인에서 대규모 언어 모델(LLM)을 발전시켰으나, 개방형 생성(open-ended generation)은 확정적인 보상이 부재하여 여전히 도전 과제로 남아 있습니다. 루브릭 기반 강화학습은 명시적인 평가 기준을 제공하지만, 최종 답변의 정답 여부를 검증할 수 없는 상황에서는 이러한 기준을 구성하는 방법을 학습하기가 여전히 어렵습니다. 본 논문에서는 기준 유효성 피드백, 응답 변별력, 동료 간 일치도를 결합하여 개방형 생성을 위한 루브릭을 학습하는 공진화 강화학습 프레임워크인 EvoRubric을 제안합니다. 공유 정책(shared policy)은 추론기(Reasoner)이자 루브릭 생성기(Rubric Generator) 역할을 동시에 수행하며, 현재 응답과 과거 루브릭을 활용하여 새로운 평가 차원을 발견합니다. 적응형 루브릭 발견과 안정적인 유효성 검증을 결합하기 위해 초기 정책의 고정된 복사본이 메타 검증기(Meta-Verifier) 역할을 수행하고, 고정된 채점기(Grader)는 유지된 기준에 따라 응답을 점수화합니다. 변별적 피드백, LOO(Leave-One-Out) 동료 합의, 영구 메모리 풀은 이러한 피드백을 상호 보완적인 보상으로 변환하여 두 정책 역할을 공동으로 최적화함으로써, 응답 개선과 루브릭 발견 사이의 루프를 완성합니다. EvoRubric은 의학, 작문, 과학 분야의 5개 벤치마크 전반에서 일치된 정적 및 외부 진화형 루브릭 베이스라인 대비 성능을 향상시켰습니다. 3개의 학습 시드에 걸쳐 8B에서 56.28점, 14B에서 61.13점의 5개 벤치마크 평균을 달성하여, 가장 강력한 매칭 베이스라인을 각각 3.09점과 2.06점 능가했습니다. 사람의 감사를 통해 기준 유효성과 응답 품질을 평가하였으며, 전문가가 초기화한 루브릭을 사용한 실험은 인간 사전 지식(human priors)과의 호환성을 입증합니다.

arXiv:2601.18751v2cs.LG

신뢰하거나, 불신하거나, 뒤집거나: 다중 전문가 피드백을 활용한 강건한 선호도 기반 강화학습

Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback

선호도 기반 강화학습(PBRL)은 궤적 쌍 비교로부터 학습함으로써 명시적인 보상 엔지니어링을 대체할 유망한 대안을 제공합니다. 그러나 실제 선호도 데이터는 정확하거나 노이즈가 있거나 체계적으로 적대적인 등 신뢰도가 다양한 이종 어노테이터로부터 수집되는 경우가 많습니다. 기존 PBRL 방식은 모든 피드백을 동등하게 취급하거나 신뢰할 수 없는 출처를 필터링하려고 시도하지만, 체계적으로 잘못된 선호도를 제공하는 적대적 어노테이터에 직면했을 때 두 접근법 모두 실패합니다. 본 논문에서는 다중 전문가 선호도 피드백으로부터 공유 보상 모델과 전문가별 신뢰 파라미터를 공동으로 학습하는 통합 프레임워크인 TriTrust-PBRL(TTP)을 제안합니다. 핵심 통찰은 그래디언트 기반 최적화 과정에서 신뢰 파라미터가 자연스럽게 양수(신뢰), 0에 가까운 값(무시), 또는 음수(뒤집기)로 발전하여, 손상된 피드백을 단순히 폐기하는 대신 적대적 선호도를 자동으로 반전시켜 유용한 신호를 복원할 수 있다는 점입니다. 명시적인 지도 없이도 학습 중에 전문가 분리가 자연스럽게 나타나는 방식을 설명하는 상세한 그래디언트 분석과 식별 가능성 보장을 확립하는 이론적 분석을 제시합니다. 실험적으로 조작 태스크(MetaWorld)와 보행(DM Control)을 아우르는 네 가지 다양한 도메인에서 다양한 손상 시나리오에 대해 TTP를 평가했습니다. TTP는 표준 PBRL 방법들이 치명적으로 실패하는 적대적 손상 상황에서도 오라클에 준하는 성능을 유지하며 최고 수준의 강건성을 달성합니다. 특히 TTP는 식별 인덱스 외의 추가적인 전문가 특징을 요구하지 않고 기존 PBRL 파이프라인에 매끄럽게 통합되면서도, 신뢰할 수 있는 어노테이터와 적대적인 어노테이터가 모두 포함된 혼합 전문가 풀로부터 성공적으로 학습하여 기존 베이스라인을 능가합니다.

arXiv:2610.03025v2cs.AI

선호도의 검증 가능성, 표현 가능성, 그리고 암묵적 구성요소

Verifiable, Articulable, and Tacit Components of Preference

단편 소설을 흥미진진하게 만들거나, 뉴스 기사를 보도 가치 있게 만들거나, 수학적 증명을 우아하게 만드는 것은 무엇일까요? 이러한 개념들은 명시적인 표현(articulation)이나 검증(verification)에 저항하며, 그 의미는 최소한 부분적으로는 암묵적(tacit)입니다. 그러나 현대의 AI 모델(model)들은 주로 명시적으로 표현된 원칙(constitution), 채점 기준표(rubric), 검증기(verifier)를 통해 개선되며(예: RLAIF 및 RLVR), 선호도의 암묵적 구성요소는 대체로 충분히 연구되지 않았습니다. 본 연구에서는 7개 창의적 영역에 걸쳐 3억 1,700만 개의 인간 선호도 판단으로 라벨링된 280만 개의 텍스트와 42개 벤치마크(benchmark) 과제를 포함하는 대규모 라벨링 선호도 데이터셋(dataset) CreativePreferences를 소개합니다. 우리는 이러한 라벨을 실행 가능한 프로그램, 루브릭 뱅크, 조밀하게 학습된 모델(각각 V, A, VAT)로 모델링합니다. 그 결과 견고한 표현 가능성 격차(VAT-VA)와 검증 가능성 격차(VAT-V)를 관찰했습니다. 또한 표현 가능하고 검증 가능한 지표를 발견하고, 허위 변수를 식별하며, 포획-재포획(capture-recapture) 방식을 통해 미발견 지표의 가치를 추정하는 새로운 측정 접근법으로 각 격차의 상한 및 하한을 추정합니다. 이러한 격차는 모든 영역에서 발생하며, 전통적으로 완전히 검증 가능한 것으로 취급되던 영역(예: 수학 및 소프트웨어 공학과 같은 정확성 중심 영역, 뉴스, 특허, 동료 평가와 같은 주장 및 신규성 중심 영역)에서도 나타납니다. 격차의 크기는 도메인에 따라 달라지며(예: 동료 평가 및 창작 글쓰기가 가장 큰 표현 가능성 격차를 보임), 콜린스(Collins)의 집단적 암묵지(collective tacit knowledge)와 일치하게 판단에 참여하는 사람이 많아질수록 격차가 넓어집니다. 우리는 두 가지 결과를 제시합니다: (1) 인간 생성물에 대해 전체 모델이 명시된 기준과 종종 불일치하면서도 인간 선호도와 더 밀접하게 일치하며, (2) 굿하트의 법칙(Goodhart's law)과의 비유처럼 선호도를 명시적으로 표현하는 행위 자체가 선호도를 암묵적 차원으로부터 벗어나게 만듭니다. 표현 가능성 및 검증 가능성 격차는 중대한 영향을 미칩니다. 우리는 어떤 과제를 프롬프트로 처리할 수 있는지, 학습(learning) 메커니즘을 어떻게 개선할 수 있는지, 그리고 언제 판단을 인간에게 맡겨야 하는지에 대한 권장 사항을 제시합니다.

arXiv:2605.10791v2cs.AI

경로 기반 보상: 지식 그래프 질의응답을 위한 중간 지도 신호 학습

Reward on Path: Learning Intermediate Supervision Signals for Knowledge Graph Question Answering

지식 그래프 질의응답(KGQA)은 지식 그래프(KG) 상에서 추론하여 사용자 질문에 답하는 것을 목표로 한다. 최근 방법들은 정답 레이블에서 도출되거나 대규모 언어 모델(LLM)을 통해 정제된 지도(supervision) 신호를 사용하여, LLM 기반 정답 추론을 위한 KG 근거를 검색하는 모델을 학습(training)시킨다. 그러나 정답에서 도출된 지도 신호는 정답에 도달하는 모든 경로를 정답으로 간주하여 노이즈가 있는 학습 신호를 생성하는 반면, LLM으로 정제된 지도 신호는 상당한 비용을 들여 이러한 노이즈를 완화한다. 이러한 한계를 해결하기 위해, 본 논문에서는 비대칭 목적 함수를 사용하여 정답 레이블로부터 경량의 질문 조건부 경로 보상(reward)을 학습하는 프레임워크인 Reward on Path(RoP)를 제안한다. 동일한 정답에 도달하는 경로들은 하나의 집합(bag)으로 결합 지도되어 보상 모델(reward model)이 이들의 상대적 기여도를 학습할 수 있도록 하는 한편, 오답 엔티티를 검색하는 각 경로는 개별적으로 페널티를 받는다. 이렇게 학습된 보상은 두 단계에 걸쳐 LLM 기반 관계 경로 생성기를 학습시킨다. 먼저 보상 증류를 통해 후보 경로에 대한 보상 유도 선호도를 생성기로 전이하고, GRPO를 활용한 온-정책(on-policy) 최적화를 통해 자체 생성된 경로에서 정책을 더욱 정제한다. 생성된 경로는 KG에 그라운딩(grounding)되어 정답 추론을 위한 근거를 검색한다. 여러 KGQA 데이터셋에 대한 실험 결과, RoP는 비용이 많이 드는 지도 신호 구축 과정 없이도 LLM 정제 방법보다 우수한 성능을 보이면서 정답 도출 방법 대비 F1을 최소 2.6\% 향상시키는 것으로 나타났다.

arXiv:2603.23184v2cs.CL

LLM 정렬을 위한 암시적 피드백 기반 비편향 보상 모델링

Unbiased Reward Modeling from Implicit Feedback for LLM Alignment

인간 피드백 강화학습(RLHF)의 성공에도 불구하고, 기존의 보상 모델링 방법은 주로 명시적 피드백에 크게 의존하므로 수집 비용이 많이 들고 확장이 어렵습니다. 본 연구에서는 클릭, 복사, 건너뛰기와 같은 암시적 사용자 피드백으로부터 보상 모델을 학습하는 암시적 보상 모델링을 연구합니다. 암시적 피드백은 확장 가능하고 비용 효율적이지만 두 가지 주요 과제를 안고 있습니다. 첫째, 명확한 부정 샘플이 부족하여 표준적인 긍정-부정 분류 방법을 적용할 수 없습니다. 둘째, 응답마다 피드백을 유도하는 성향이 서로 달라 명확한 부정 샘플을 더욱 모호하게 만드는 선택 바이어스 문제를 겪습니다. 이러한 문제를 해결하기 위해, 암시적 피드백으로부터 비편향 보상 모델을 학습하는 ImplicitRM을 제안합니다. ImplicitRM은 계층화 모델을 사용하여 학습 샘플을 4개의 잠재 그룹으로 계층화하고, 이론적으로 비편향된 가능도 극대화 목적 함수를 유도함으로써 두 가지 과제를 모두 해결합니다. 다양한 대규모 언어 모델(LLM) 백본 및 벤치마크 데이터셋에 걸친 실험을 통해 ImplicitRM이 암시적 피드백으로부터 정확한 보상 모델을 학습하고 다운스트림 RLHF 태스크의 성능을 향상함을 검증합니다.

arXiv:2610.02824v1cs.AI

MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습

MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning

루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.

arXiv:2610.00812v1cs.CV

비디오 생성 모델: 사후 학습 및 정렬에 관한 서베이

Video Generation Models: A Survey of Post-Training and Alignment

비디오 생성은 짧고 화질이 낮은 클립에서 복잡한 시공간적 역학을 지닌 고해상도·장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전학습(pre-training)을 통해 학습된 강력한 생성 사전 지식(generative priors)에도 불구하고, 사전학습된 비디오 모델은 인간의 의도를 안정적으로 따르거나, 시간적 일관성을 유지하거나, 물리적 및 안전성 제약 조건을 만족하지 못하는 경우가 많습니다. 이미지 및 텍스트 생성과 비교할 때, 비디오 생성에서의 정렬(alignment)은 시간에 따른 오류 누적, 모션과 외형의 결합, 다중 목표 간의 트레이드오프, 시간적 속성에 대한 제한적인 지도(supervision) 등 고유한 도전 과제를 안고 있습니다. 이러한 과제들은 사전학습된 모델을 처음부터 다시 학습하지 않고 적응시키는 체계적인 사후 학습 전략의 필요성을 촉발합니다. 본 서베이에서는 비디오 생성 모델의 사후 학습 및 정렬에 대한 최초의 포괄적인 개괄을 제시합니다. 우리는 사후 학습을 통합적 프레임워크로 정의하고, 정렬 신호가 적용되는 방식에 따라 암시적 정렬과 명시적 정렬로 구분합니다. 이러한 관점에서 기존 접근 방식을 지도 미세조정 방법, 자가 학습(self-training) 및 지식 증류 방법, 선호도 및 보상 기반 방법, 추론 시점(inference-time) 방법의 네 가지 주요 범주로 정리합니다. 이 분류 체계는 정렬 신호가 학습과 배포 전반에 걸쳐 모델의 동작을 어떻게 형성하는지에 대한 일관된 관점을 제공합니다. 방법론적 진전을 넘어, 본 연구는 흔히 사용되는 데이터셋, 벤치마크, 평가 관행을 검토하며, 확장 가능한 보상 설계, 장기적(long-horizon) 시간적 일관성, 안정성-표현력 간의 트레이드오프, 안전성을 고려한 생성과 같은 미해결 과제를 논의합니다. 본 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 체계적인 개념적 토대와 실질적인 지침을 제공하는 것을 목표로 합니다.

arXiv:2609.22947v2cs.CV

RewardVerse: 비디오 보상 모델링을 위한 루브릭 기반 정책 최적화

RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling

강화학습(RL)은 비디오 생성 모델을 최적화하는 데 필수적이며, 견고한 보상 모델(RM)이 그 핵심 기반 역할을 합니다. 그러나 기존의 비디오 보상 모델은 명시적인 평가 기준 없이 복잡하고 주관적인 비디오 품질을 단일 점수로 직접 매핑하기 때문에 종종 불안정한 스칼라 점수를 생성합니다. 이는 서로 다른 프롬프트 전반에서 점수 척도가 무너지거나 변동하는 스칼라 드리프트(scalar drift)로 이어져 강화학습을 위한 보상을 신뢰할 수 없게 만듭니다. 전문적인 인간 어노테이션 엔지니어링에서 영감을 받아, 본 연구에서는 평가 쿼리와 채점기 사이의 중간 표현으로 동적 루브릭(rubric)을 도입하는 루브릭 기반 비디오 보상 프레임워크인 RewardVerse를 통해 이 문제를 해결합니다. 제약 없는 직접 채점 대신, RewardVerse는 먼저 명시적인 평가 기준을 생성한 다음 루브릭 기반 채점을 수행하여 스칼라 드리프트를 완화하는 안정적인 의미적 기준점(semantic anchor)을 제공합니다. 이러한 협력적 파이프라인을 효율적으로 최적화하기 위해, 2단계 학습 알고리즘인 루브릭 기반 정책 최적화(RGPO, Rubric-Guided Policy Optimization)를 제안합니다. RGPO는 먼저 자체 진화하는 시드 루브릭을 사용하여 채점기를 웜업한 다음, 쿼리 적응형 평가 기준을 생성하도록 루브릭 생성기를 공동 최적화하는 동시에 채점기를 인간의 평가 점수와 지속적으로 정렬합니다. 16차원 EvalVerse 벤치마크 및 외부 데이터셋에 대한 광범위한 실험을 통해 RewardVerse가 스칼라 드리프트를 완화하고 포인트와이즈(pointwise) 및 페어와이즈(pairwise) 평가 모두에서 최고 수준(state-of-the-art)의 성능을 달성하며, 비디오 생성 강화학습을 위한 견고하고 해석 가능한 보상 신호를 제공함을 입증합니다.

arXiv:2607.22561v1cs.AI

심판의 프로그램화: 프로그램 증류를 통한 확장 가능한 평가

Codifying the Judge: Scalable Evaluation via Program Distillation

LLM-as-a-judge는 자동화된 평가의 표준이 되었지만, 높은 비용, 상당한 지연, 불투명한 판정이라는 한계로 인해 확장성과 신뢰성을 저해합니다. 이를 해결하기 위해 간단하고 효율적인 대안인 프로그램 증류(program distillation)를 제안합니다. 평가 시점에 LLM에 프롬프트를 보내는 대신, 그 결정 로직을 후보를 직접 채점하는 프로그램 위원회로 증류합니다. 이러한 프로그램 기반 심판(programmatic judges)은 투명성을 제공하며, 쉽게 검토하거나 편집할 수 있고, 샘플당 API 비용을 없앱니다. 이 개념을 바탕으로, 프로그램을 심판으로 합성하고 그들의 판정을 통합 판결(joint verdict)로 집계하며, 신뢰도가 낮은 사례를 선택적으로 LLM으로 에스컬레이션하는 폴백(fallback) 메커니즘을 포함하는 시스템 PAJAMA를 소개합니다. 5개 데이터셋과 4개 모델 계열에 걸쳐, 프로그램 기반 심판이 13B 규모 LLM 심판의 성능과 맞먹을 수 있음을 보입니다. 프로그램 출력을 라우팅 신호로 사용할 때, PAJAMA는 정확도와 처리량(throughput) 모두를 개선하고 파레토 프론티어(Pareto frontier)를 앞당깁니다. 평가를 넘어, 프로그램 기반 심판은 저렴하고 효과적인 보상 신호를 생성합니다. RewardBench에서, 프로그램 판정에서 증류한 보상 모델은 독점 LLM의 라벨로 학습한 모델보다 API 비용이 두 자릿수 낮은 수준에서 더 나은 성능을 보입니다.

arXiv:2607.21655v1cs.RO

로봇 학습을 위한 진행 보상 모델링: 종합 서베이

Progress Reward Modeling for Robotic Learning: A Comprehensive Survey

로봇 학습은 거대한 행동 공간을 가진 동적 환경에서 이루어진다. 종단 성공 신호는 로봇에게 과제가 완료되었는지만 알려준다. 현재 행동이 진행을 이루고 있는지, 변하지 않고 있는지, 아니면 이전 진행을 되돌리고 있는지는 설명하지 않는다. 이러한 이유로 최근 연구들은 과제 수행 중 피드백을 제공하는 진행 보상(progress reward)을 점점 더 탐구하고 있다. 그러나 현재 문헌에는 공유된 프레임워크가 부족하다. 기존 방법들은 서로 다른 관측, 목표 명세, 출력 신호, 감독 소스, 평가 프로토콜을 사용한다. 이로 인해 이들을 비교하고 그 결과가 실제로 무엇을 검증하는지 이해하기 어렵다. 본 서베이에서는 로봇 학습을 위한 진행 보상 모델링에 대한 통합적 관점을 제시한다. 우리는 이 분야를 서로 연결된 세 단계로 구성한다. 먼저 진행 모델의 인터페이스를 연구한다. 이는 모델이 어떤 정보를 받고 어떤 형태의 진행 신호를 생성하는지를 묻는 방식으로, 외부에서 문제를 정의한다. 그다음 모델 내부로 들어가 이 신호를 구성하는 데 사용되는 방법을 연구한다. 이는 진행 추정과 보상 생성 뒤에 있는 서로 다른 가정과 메커니즘을 드러낸다. 마지막으로 이러한 방법을 뒷받침하는 데이터와 벤치마크를 검토한다. 이는 진행 감독이 어떻게 획득되는지, 그리고 서로 다른 평가가 실제로 무엇을 측정하는지 보여준다. 이 세 관점을 함께하면 진행 모델이 무엇인지, 어떻게 구축되는지, 그리고 그 품질이 어떻게 검증되는지가 연결된다. 또한 현재 접근법의 주요 한계를 요약하고 향후 연구 방향을 논의한다.

arXiv:2606.09076v3cs.CV

Z-Reward: 스칼라 보상을 넘어 추론을 점수 분포에 내재화

Z-Reward: Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions

보상 모델은 텍스트-이미지 사후 학습의 핵심이지만, 시각적 선호는 주관적이며 결정론적 스칼라보다 루브릭 점수에 대한 분포로 표현하는 것이 더 적합하다. 기존의 스칼라, 점수-토큰, 및 쌍방 보상 모델은 불확실성과 세밀한 점수 차이를 과도하게 압축하는 반면, 추론 기반 생성형 보상은 더 강한 판단을 제공하지만 배포 비용이 높고 직접적인 최적화 신호로 사용하기 어렵다. 우리는 Z-Reward를 제안한다. 이는 추론 부담이 큰 판단과 효율적인 보상 배포를 분리하는 교사-학생 보상 모델링 프레임워크이다. 교사 모델은 추론을 활용해 루브릭에 정렬된 점수 분포를 추정하는 대규모 VLM이며, Group-wise Direct Score Optimization(GDSO)으로 학습된다. GDSO는 분포 기대값으로부터의 정책-그래디언트 보상과 점수 분포 및 점수 간격에 대한 직접적인 점별 및 쌍방 지도를 결합한다. 학생 모델은 Reasoning-Internalized Score Distillation(RISD)으로 학습되며, 이는 추론 시점에 명시적인 추론 체인을 요구하지 않고 교사의 추론 조건부 점수 분포를 컴팩트 VLM으로 전달한다. 내부 주석 평가 세트에서 27B GDSO 교사 모델은 89.6%의 인간 선호 정확도에 도달하여 SFT, RewardDance, GRPO를 능가하며, 9B RISD 학생 모델은 88.6%에 도달하여 OPD 기준선을 능가하고 더 큰 교사 모델에 근접한 성능을 보인다. 또한 Z-Reward가 텍스트-이미지 최적화를 위한 미분 가능한 보상 신호로 기능하며, SFT 기준선 대비 41.3%의 순 인간 선호 개선을 달성함을 보인다.

arXiv:2506.01692v2cs.AI

RLHF에서 인간 신념에 관한 기술적·규범적 이론

A Descriptive and Normative Theory of Human Beliefs in RLHF

인간 피드백 강화학습(RLHF)에서 인간의 선호는 일반적으로 인간의 보상(reward) 함수 또는 그에 대응하는 최적 상태-행동 가치의 함수로 모델링된다. 본 연구에서는 학습 중인 에이전트(agent)의 능력에 대한 인간의 신념 또한 선호 생성에 핵심적인 역할을 한다고 제안한다. 우리는 이 가설과 관련하여 기술적(descriptive) 질문과 규범적(normative) 질문 각각 하나씩, 총 두 가지 질문을 검토한다: 레이블러의 에이전트 능력에 대한 신념이 그들이 제공하는 선호에 영향을 미치는가? 그리고 에이전트에 대해 인간이 가져야 할 이상적인 신념의 집합과 그에 따른 선호는 무엇인가? 우리는 인간의 신념을 통합하는 새로운 선호 모델(preference model)을 제안하고, 인간의 신념과 이상적인 신념 집합 간의 불일치를 기반으로 최종 학습된 정책의 오류를 한정하는 규범적 이론을 제시한다. 이후 인간 대상 연구를 통해 에이전트 능력에 대한 신념이 실제로 선호에 유의미한 영향을 미치며 간단한 개입을 통해 조정될 수 있음을 확인한다. 또한 합성 실험을 통해 인간 선호 레이블러가 에이전트의 최적성을 가정하는 것이 종종 차선책임을 실증적으로 보인다. 종합하면, 이러한 결과들은 인간의 신념과 에이전트 능력 간의 불일치를 줄이는 것이 더 높은 성능의 RLHF로 이어질 수 있음을 이론적·실증적으로 보여주며, RLHF 실무자를 위한 새로운 모범 사례를 제시한다.

arXiv:2607.05391v2cs.AI

LLM-as-a-Verifier: 범용 검증 프레임워크

LLM-as-a-Verifier: A General-Purpose Verification Framework

추가 학습 없이 에이전트 태스크를 검증하는 범용 프레임워크 LLM-as-a-Verifier를 제안하며, 이산적 점수 대신 채점 토큰 로짓(logit)의 분포 기댓값으로 연속 점수를 산출해 점수 세분성, 반복 평가, 기준 분해 세 축에서 검증 스케일링이 가능함을 보인다. Terminal-Bench V2(86.5%), SWE-Bench Verified(78.2%), RoboRewardBench(87.4%), MedAgentBench(73.3%)에서 최고 성능을 달성하며, 강화학습(RL)의 밀집 보상 신호로도 활용해 SAC와 GRPO의 샘플 효율성을 향상시킨다.

arXiv:2602.00846v2cs.CL

Omni-RRM: 자동 루브릭 기반 선호도 합성을 통한 옴니 보상 모델링 발전

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

기존 보상 모델이 비전 중심적이고 불투명한 스칼라 점수에 의존하는 한계를 극복하기 위해, Omni-RRM은 텍스트·이미지·비디오·오디오 전반에 걸쳐 루브릭(rubric) 기반 다차원 보상 신호를 생성하는 옴니모달 보상 모델을 제안한다. 자동 루브릭 기반 선호도 합성으로 구축한 Omni-Preference 데이터셋과 점진적 SFT+GRPO 학습 방식을 통해 ShareGPT-Video 80.2%, Audio-HH-RLHF 66.8% 등 5개 벤치마크 전체 정확도 70.4%로 최고 수준의 성능을 달성했다.

arXiv:2607.04590v1cs.AI

어텐션 제한 보상 학습

Attention Limited Reward Learning

쌍별(pairwise) 인간 비교는 현대 AI 시스템이 인간의 선호를 학습하는 주요 인터페이스이다. 인간 피드백 강화학습(RLHF)과 관련 정렬(alignment) 파이프라인은 일반적으로 이러한 비교를 Bradley-Terry 로그-오즈로 모델링하며, 여기서 선택 확률은 잠재 보상(reward) 차이에 의해 결정된다. 이 논문은 합리적 부주의(rational inattention)에서 영감을 받은 축약형(reduced-form) 모델을 통해 이 가정이 놓치는 바를 고찰하는데, 이 모델에서 각 레이블은 저용량 평가 채널에 의해 생성된다. 이 모델은 표준 보상 모델링이 혼동하는 경향이 있는 두 가지 형태의 모호성을 분리한다: 비교가 어려운 이유가 두 후보의 가치가 실제로 유사하기 때문일 수도 있고, 제한된 어텐션(attention) 하에서 관련 구분을 감지하기 어렵기 때문일 수도 있다. 우리는 제한된 어텐션이 쌍별 비교를 통해 드러나는 정보를 근본적으로 왜곡할 수 있음을 보인다. 특히, 수동적 비교 데이터는 일반적으로 보상, 어텐션, 기본 성향을 구별할 수 없으며, 이질적인 어텐션은 표준 Bradley-Terry 보상 모델링이 오도적인 순위를 복원하도록 만들 수 있다. 우리의 분석은 학습이 레이블의 원시 수가 아니라 각 레이블이 담고 있는 주목된 정보의 양에 의해 결정됨을 보여준다. Chatbot Arena의 언어 모델 쌍에 대한 인간 투표를 대상으로 한 사례 연구는 예측된 특징을 보여주는데, 샘플링 노이즈를 초과하며 어떠한 스칼라 보상으로도 표현할 수 없는 비교 데이터의 순환 성분이 그것이다. 지각적 비교를 대상으로 한 두 번째 사례 연구는 응답 시간과 시선이 레이블에 담기지 않은 격차 정보를 담고 있음을 보여준다. 이 관점은 인간 피드백을 직접적인 현시 선호(revealed preference)가 아닌 어텐션 제한 측정 과정으로 다루어야 함을 시사한다: 약한 선호 신호는 진정한 무관심이 아니라 숨겨진 평가 난이도를 반영하는 것일 수 있다.

arXiv:2607.01830v1cs.LG

Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

기존의 단일 평가자 기반 루브릭 생성이 인간 선호도의 중요한 차원을 놓치는 "차원 사각지대(dimensional blind spots)" 문제를 해결하기 위해, 다중 역할 루브릭 생성(Multi-Role Rubric Generation, MRRG)을 제안한다. MRRG는 학습 없이 사용자, 도메인 전문가, 교육자, AI 연구자, 언어학자 등 다양한 역할에서 평가 기준을 추출·통합하며, RewardBench-2 등 선호도 검증 벤치마크에서 단일 역할 기준선 대비 3.1–16.4%p 향상, GRPO 방식의 강화학습(RLVR) 실험에서도 더 강한 보상 신호를 제공함을 입증했다.

arXiv:2606.08625v2cs.CL

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

루브릭(rubric)을 대규모 언어 모델(LLM) 평가와 학습을 아우르는 통합 프레임워크로 체계화한 서베이로, 평가 수준·학습 신호·에이전트 내재 메커니즘이라는 세 단계에 걸친 루브릭의 진화를 분석한다. 스칼라 보상 모델의 한계를 극복하기 위해 복잡한 품질 판단을 구조화된 기준으로 분해하는 루브릭이 평가·강화학습·안전성 정렬 전반에서 인간의 의도를 기계 학습 가능한 신호로 변환하는 핵심 메커니즘임을 논증한다.