PyTorchKR Papers

최신 논문

총 19편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11886v2cs.CV

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

arXiv:2610.02967v1cs.CV

선호도 및 루브릭 보상 결합을 통한 최첨단 텍스트-투-이미지 모델 사후 학습

Post-Training Frontier Text-to-Image Models by Composing Preference and Rubric Rewards

최근 텍스트-투-이미지(text-to-image) 생성 모델은 뛰어난 시각적 품질을 달성했으나, 단일 보상(reward) 신호만으로는 인간 선호도의 전체 범위를 포착할 수 없어 사후 학습(post-training)을 통한 성능 향상에는 여전히 어려움이 따릅니다. 본 연구에서는 상호 보완적인 보상 신호들의 결합을 바탕으로 오픈 도메인 텍스트-투-이미지 생성을 위한 단순하고 효과적인 사후 학습 레시피를 개발합니다. 본 연구의 보상 시스템은 크게 두 가지 요소로 구성됩니다. 전반적인 인간의 미적 및 지각적 선호도를 포착하기 위해 브래들리-테리(Bradley-Terry) 목적 함수를 사용하여 대규모 인간 선호도 데이터(preference data)로 학습(training)된 선호도 보상과, 프롬프트(prompt) 충실도 및 기타 바람직한 특성을 명시적으로 평가하는 동시에 보상 해킹(reward hacking)에 대한 안전장치를 제공하는 루브릭 기반 보상입니다. 핵심 과제는 이러한 이종 보상 신호들을 어떻게 결합할 것인가입니다. 본 연구는 단순 가중 평균이 차선의 최적화 동작을 초래함을 보이고, 선호도 최적화와 루브릭 충족을 더욱 효과적으로 균형 잡는 단순한 보상 결합 전략을 제안합니다. Arena 텍스트-투-이미지 리더보드(https://arena.ai/)에서, 강화학습(RL)으로 학습된 Flux2dev는 기본 모델보다 69점 높은 Elo 레이팅을 달성하였으며, 사후 학습된 Ideogram-4는 리더보드의 모든 오픈소스 모델을 능가하여 1223.5의 Elo에 도달했습니다. (최첨단 성능 주장은 2026년 9월 4일 기준 Arena 리더보드 스냅샷을 바탕으로 합니다.) 본 연구 결과는 최첨단 생성 모델 학습을 위한 효과적인 보상이 사용자 의도에 대한 폭넓은 커버리지와 최적화 과정에서의 활용(exploitation)에 대한 강건성을 필요로 함을 시사합니다. 재현 가능한 연구를 지원하기 위해, 본 연구진은 전체 규모 학습의 일부 성능 향상을 재현하는 1K 규모의 학습 데이터 서브셋인 Arena-T2I-Training을 공개하여 텍스트-투-이미지 모델의 사후 학습에 관한 향후 연구를 촉진할 자원을 제공하고자 합니다.

arXiv:2603.16065v3cs.RO

대규모 보상 모델: 비전-언어 모델을 활용한 일반화 가능한 온라인 로봇 보상 생성

Large Reward Models: Generalizable Online Robot Reward Generation with Vision-Language Models

강화학습(RL)은 로봇 조작 정책을 개선하는 데 강력한 잠재력을 보여주었으나, 의미론적으로 유의미하면서도 여러 작업에 걸쳐 재사용 가능한 보상 함수를 지정하기 어렵다는 점이 실제 적용의 병목으로 남아 있습니다. 본 논문에서는 파운데이션 VLM을 프레임 수준의 보상 생성기로 변환하여 로봇 정책을 개선하는 프레임워크인 대규모 보상 모델(Large Reward Models, LRM)을 제안합니다. 실제 환경의 로봇 궤적, 인간-객체 상호작용, 시뮬레이션 조작 환경을 아우르는 다중 소스 데이터셋을 활용해 최신 VLM을 전문화합니다. 주로 궤적을 사후에 평가하던 기존 접근 방식과 달리, LRM은 시각적 관측으로부터 진행률 추정, 작업 완료, 시간적 대조 비교와 같은 다양한 보상 인터페이스를 제공합니다. 모방 학습된 정책에서 시작하여, 이러한 VLM 기반 보상을 사용해 미보유(held-out) 장기 조작 작업에서 PPO 기반 정책 개선을 유도합니다. 실험 결과, LRM의 진행률 보상이 가장 강력한 비특권적(non-privileged) 온라인 정책 개선 신호를 제공하여 모방 학습 기준선을 향상시키고 특권적 환경 보상과의 격차를 좁히는 것으로 나타났습니다. 나아가 두 가지 로봇 플랫폼에 걸친 네 가지 실제 조작 작업에서 진행률 가중 행동 복제에 진행률 보상을 적용하여 네 가지 작업 모두에서 SFT 대비 성능을 향상시켰습니다. 이러한 결과는 파운데이션 VLM의 모달리티 특화 전문화가 수작업으로 코딩된 작업 보상 없이도 시뮬레이션 정책 개선 및 실제 로봇의 자기 개선 모두를 위한 실용적인 시각적 보상 신호를 제공할 수 있음을 시사합니다.

arXiv:2601.14032v2cs.CL

RM-Distiller: 생성형 LLM을 활용한 보상 모델 지식 증류

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation

보상 모델(RM)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적인 역할을 한다. 고품질 인간 선호 주석을 얻기 어렵기 때문에, 생성형 LLM으로부터 선호를 증류하는 것이 표준적인 관행으로 자리 잡았다. 그러나 기존 접근법은 대부분 교사 모델을 단순한 이진 주석자로 취급하여, RM 지식 증류를 위해 교사가 가진 풍부한 지식과 역량을 충분히 활용하지 못한다. 이를 해결하기 위해, 교사 LLM의 다면적 역량을 체계적으로 활용하도록 설계된 프레임워크인 RM-Distiller를 제안한다: (1) 정제(refinement) 역량—고도로 상관된 응답 쌍을 합성하여 세밀하고 대조적인 신호를 만든다. (2) 점수화(scoring) 역량—마진 인식 최적화 목표를 통해 RM이 정확한 선호 강도를 포착하도록 유도한다. (3) 생성(generation) 역량—교사의 생성 분포를 통합하여 RM을 정규화하고, RM이 근본적인 언어 지식을 보존하도록 한다. 광범위한 실험을 통해 RM-Distiller가 RM 벤치마크와 강화학습 기반 정렬 모두에서 기존 증류 방법을 크게 능가함을 보였으며, 다면적 교사 역량을 활용하는 것이 효과적인 보상 모델링에 핵심적임을 입증했다. 우리가 아는 한, 이는 생성형 LLM으로부터 RM을 증류하는 최초의 체계적 연구이다.

arXiv:2607.23263v1cs.AI

SeekJudge: 컴퓨터 사용 에이전트의 강화학습을 위한 실용적 보상 프레임워크

SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents

궤적(trajectory)이 실제로 지시를 충족하는지 판단하는 것은, 장기 지평 그래픽 사용자 인터페이스(GUI) 작업에서 컴퓨터 사용 에이전트를 어떻게 측정하고 강화학습(RL)으로 어떻게 학습시키는지를 좌우한다. 이 판단은 오랫동안 규칙 기반 평가에 의존해 왔으며, 이는 인간의 의도와 정렬(alignment)하기 어렵고 앱이 업데이트되거나 온라인 콘텐츠가 변할 때 시효가 지난다. 기존 모델 기반 심판(judge)들은 이러한 문제를 해결하려 시도하지만, 여전히 규칙 기반 평가 대비 성능 격차를 남긴다. 우리는 \textbf{SeekJudge} 프레임워크를 제안한다. 이 프레임워크에서는 Condense, Ground, Seek, Analyze 네 가지 역할 전문화 에이전트가 궤적에 대한 Seek--Analyze 루프를 통해 판정에 이른다. 시드 보정(seed-calibrated) 지식 증류(distillation) 파이프라인이 네 에이전트 모두의 공유 백본으로 작동하는 하나의 특화 $9$B 모델을 학습시킨다. 홀드아웃 RL 테스트 목표에서의 하류 성공률로 측정했을 때, SeekJudge는 온라인 RL에서 네이티브 규칙 기반 감독과 동등하거나 이를 능가하는 최초의 실용적 모델 기반 보상이다. 정확도 외에도 SeekJudge는 단계 수준 판단을 제공하고, 폐쇄형 대규모 모델보다 훨씬 저렴하게 실행되며, 훨씬 더 긴 궤적까지 확장 가능한 작은 호출당 컨텍스트를 유지한다. 또한 RL에서 판정을 가속화하는 보상 서버의 일반적인 아키텍처 개선도 기여한다. 이들을 종합하면 모델 기반 보상을 컴퓨터 사용 에이전트(CUA) 강화학습에서 규칙 기반 감독의 실용적인 드롭인 대체재로 만들 수 있다.

arXiv:2607.22632v1cs.AI

VlogReward: 브이로그 편집을 위한 다차원 평가 학습

VlogReward: Learning Multi-Dimensional Evaluation for Vlog Editing

브이로그가 개인화된 스토리텔링 매체로 급격히 부상하면서, 브이로그 편집 계획을 평가하고 개선하는 자동화 시스템에 대한 수요가 생겼다. 그러나 브이로그 평가는 매우 주관적이며, 표준화된 기준, 데이터셋과 벤치마크, 그리고 효과적인 보상 모델의 부재로 인해 여전히 어려운 과제로 남아 있다. 이러한 과제를 해결하기 위해, 우리는 전문 브이로그 크리에이터와 프로덕트 매니저의 가이드 하에 포괄적인 브이로그 평가 프레임워크를 정의하고, 창의성(Creativity), 일관성(Consistency), 콘셉트 디자인(Concept Design), 촬영(Cinematography), 내레이션(Narration), 페이싱(Pacing)의 여섯 가지 핵심 차원 분류체계를 수립한다. 이어서, 다중모달 대규모 언어 모델(MLLM)의 브이로그 보상 능력을 평가하기 위해 10만 건의 브이로그 편집으로 구성된 대규모 데이터셋과 전용 벤치마크 VRMBench를 구축한다. 마지막으로, 세밀한 다차원 점수와 반복적 개선을 위한 실행 가능한 피드백을 모두 제공할 수 있는 견고한 브이로그 보상 모델 VlogReward를 제안한다. 기술적으로, 우리는 조절 가능한 그룹 간 비교 보상을 도입하여 Group Relative Policy Optimization(GRPO) 프레임워크를 개선했으며, 이는 표준 GRPO의 "direction blindness" 문제를 완화하고 모델이 다양한 품질의 편집을 더 잘 구별할 수 있게 한다. VlogReward는 GPT-5와 Gemini-3-Pro를 포함한 기존 MLLM을 크게 능가하는 최첨단(state-of-the-art) 결과를 달성한다. 우리는 본 연구가 브이로그 크리에이터에게 도움이 되고, 자동화된 브이로그 평가 및 개선 시스템의 발전에 기여하기를 기대한다.

arXiv:2607.20862v1cs.CL

CSPF: 검증 불가능한 선호 평가를 위한 제약 공유-사유 융합 방법

CSPF: A Constrained Shared-Private Fusion Method for Non-Verifiable Preference Evaluation

현재 검증 불가능한 작업에 대한 신뢰할 수 있는 평가는 여전히 어려운 과제이다. 기존 접근법들은 이러한 작업에서 인간 선호를 뒷받침하는 다양한 평가 기준을 충분히 포착하지 못하는 경우가 많다. 이를 위해 우리는 이질적인 고정(frozen) 보상 모델을 상호 보완적인 평가자로 취급하고, 쌍(pairwise) 인간 선호 감독 하에 은닉 상태(hidden-state) 표현을 통합하는 방법을 학습하는 융합 방법인 제약 공유-사유 융합(Constrained Shared-Private Fusion, CSPF)을 제안한다. CSPF는 각 전문가(expert) 신호를 공유 및 전문가 고유 표현으로 분해하여, 상호 보완적인 관점을 보존하면서 전문가 간 정렬(alignment)을 촉진한다. LM-Arena 타깃 도메인 적응 및 PPE 분포 외(out-of-distribution) 선호 평가 실험에서 CSPF는 평가된 단일 전문가 보상 모델, 스칼라 점수 다중 전문가, 루브릭(rubric) 심사 baseline들 중 주요 지표에서 최고 성능을 달성한다. 전반적으로 CSPF는 은닉 상태 표현의 융합이 선호 평가를 위한 더 표현력 있는 기반을 제공하며, 검증 불가능한 선호 작업에 대한 통합 평가 신호를 향한 실용적인 경로를 제시함을 시사한다.

arXiv:2606.30248v2cs.CV

당신의 데이터 매니폴드는 비밀리에 보상 모델이다: 텍스트-투-비디오 생성을 위한 Shell-LCC

Your Data Manifold is Secretly a Reward Model: Shell-LCC for Text-to-Video Generation

최근 텍스트-투-비디오(T2V) 확산 모델은 생성된 콘텐츠를 인간의 미적 기준에 정렬하고 현실감을 높이기 위해 보조 보상 신호(예: 보상 모델 또는 DPO)에 크게 의존한다. 그러나 이러한 신호는 상당한 계산 오버헤드를 발생시키고, 비용이 큰 인간 어노테이션을 요구하며, 세밀한 국소 디테일에서는 종종 제한적인 개선만을 낳는다. 본 논문에서는 데이터 매니폴드가 비밀리에 보상 모델이라는 점을 주장한다. 고품질 지도 미세조정(SFT) 데이터의 매니폴드 구조를 명시적으로 모델링하고 비디오 잠재 표현이 이 매니폴드 위에 놓이도록 유도함으로써, 밀집적이고 미분 가능하며 거의 비용이 들지 않는 보상 신호를 도출하여, 특히 저수준 왜곡을 완화하는 데 있어 비디오 품질을 크게 향상시킨다. 우리의 모델링은 매니폴드의 '골격(skeleton)'을 포착하는 지역 좌표 코딩(Local Coordinate Coding, LCC)을 기반으로 한다. 그러나 LCC를 직접 적용하면 평균 회귀(mean regression) 문제가 발생하여 잠재 표현이 기하학적 평균으로 끌려가 고주파 디테일을 잃게 된다. 따라서 이를 Shell Local Coordinate Coding(Shell-LCC)으로 확장하는데, 이는 매니폴드 '표면(surface)'을 등방성 셸(isotropic shell)로 모델링하여 실제 고밀도 영역과 정렬한다. 실험 결과, 제안 방법은 현실감을 향상시키고, 고주파 디테일을 강화하며, 과도한 스무딩 아티팩트를 줄이고, 모션 블러를 완화함을 보여준다.

arXiv:2607.10139v1cs.LG

심사단으로서의 LLM: 교차 모델 합의가 LLM 추론에서 프로세스 보상 모델을 능가할 수 있다

LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning

후보 추론 체인 풀에서 올바른 답을 선택하는 것은 테스트 시간 스케일링(test-time scaling)의 핵심 엔진이지만, 표준 선택자들은 각각 고유한 비용을 수반한다: 자기 일관성(self-consistency)은 재샘플링하는 단일 모델의 오류를 그대로 이어받고, 학습된 보상 모델은 레이블된 데이터를 필요로 하며 분포 외 환경에서 전이 성능이 저조하다. 우리는 추론 시간에 무료로 얻을 수 있는 세 번째 신호를 연구한다: 교차 모델 합의(cross-model consensus), 즉 독립적으로 학습된 모델들이 각각 한 번씩 문제를 풀었을 때 최종 답에 동의하는 정도이다. 우리는 이 패널을 LLM 심사단(LLM-jury)으로 취급하며, 어떤 모델이 다른 모델을 채점하는 것이 아니라 동의의 구조 자체가 검증 신호가 된다. 7개의 벤치마크에 걸쳐 이 방법은 자기 일관성보다 더 정확한 답을 선택하며, 모델이 자신의 후보를 직접 채점하는 방식보다 훨씬 뛰어난 성능을 보인다: 경시대회 수학에서는 오라클 선택자와의 성능 차이를 완전히 좁히는 반면, 자기 채점은 거의 아무런 차이도 좁히지 못한다. 그 메커니즘은 오류 비상관화(error decorrelation)이다: 독립적으로 학습된 모델들은 서로 다른 방식으로 오류를 범하기 때문에 틀린 답들은 분산되는 반면, 정답은 합의를 축적한다. 우리는 이를 매개변수 없는 법칙으로 정밀하게 규명한다. 이 법칙은 폐쇄형으로 도출되며, 세 가지 측정된 패널 통계로부터 평균 절대 오차 $0.03$으로 합의 정확도를 예측하고, 이 방법의 한계를 드러낸다: 모델들이 공통된 오개념을 공유하는 공유 오류 하한(shared-error floor)이 존재하는데, 이는 수학에서는 거의 0에 가깝지만 과학에서는 무시할 수 없는 수준이다. 판별적(discriminative), 결과 기반(outcome), 생성적(generative) 보상 모델을 포괄하는 4개의 학습된 검증자와 비교했을 때, 무료 LLM 심사단은 수학 학습 도메인 내에서 가장 강력한 검증자에 필적하며, 도메인 외에서는 최고의 선택자이다. 따라서 교차 모델 합의는 사전에 특성화 가능한 검증자이다: 언제 신뢰할 수 있는지를 알려주는 법칙과, 어디서 한계에 이르는지를 표시하는 하한이 함께 제공된다.

arXiv:2607.03453v1cs.LG

Best-of-Better-$N$: 문맥 내 학습을 통한 사전 정렬 응답 생성

Best-of-Better-$N$: Generating Pre-Aligned Responses with In-Context Learning

참조 LLM의 샘플링 분포가 고보상 영역을 충분히 커버하지 못해 Best-of-N 같은 추론 시점 정렬(inference-time alignment) 방법이 실패하는 문제를 해결하기 위해, BoBN(Best-of-Better-N)은 입력 쿼리와 관련된 고보상 예시를 검색하고 참조 LLM이 이를 대상 태스크의 형식에 맞게 재작성(restyling)한 뒤 문맥 내 학습(ICL)으로 샘플링 분포를 이동시키는 프레임워크를 제안한다. 안전성 정렬 및 수학적 추론 벤치마크 실험에서 BoBN은 파인튜닝 없이 여러 참조 LLM의 응답 품질을 향상시켜 고정된 샘플 수 N에서 더 높은 성능을 달성하거나 동일 성능에 필요한 N을 줄이는 것을 증명 가능한 이론적 근거와 함께 실증적으로 보였다.

arXiv:2510.24636v3cs.CL

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

기존 보상 모델(RM)이 외부 지식이 필요한 지식 집약적·장문 태스크에서 정확한 평가를 수행하지 못하는 문제를 해결하기 위해, 외부 도구를 능동적으로 호출하여 근거를 수집한 뒤 응답 품질을 판단하는 도구 증강 보상 모델 OpenReward를 제안한다. GRPO로 27K개 이상의 합성 쌍 데이터를 학습하여 도구 사용과 최종 판단 정확도를 공동으로 최적화하며, 5개 벤치마크에서 기존 RM 대비 큰 성능 향상을 보이고 추론 시 응답 선택 및 사후학습 데이터 필터링에 적용했을 때도 일관된 성능 개선을 달성했다.

arXiv:2606.30851v1cs.CL

결과 보상 모델을 통한 Text-to-SQL의 테스트 타임 검증

Test-Time Verification for Text-to-SQL via Outcome Reward Models

테스트 타임에 대규모 언어 모델(LLM)의 신뢰성을 높이는 것은 Text-to-SQL과 같은 구조적 추론 태스크에서 핵심적인 과제이다. Best-of-N 샘플링이나 다수결 투표(Majority Voting)와 같은 일반적인 테스트 타임 추론 전략은 실행 성공 여부나 출력 빈도와 같은 휴리스틱 신호에 의존하며, 이는 후보 출력 간의 의미론적 변별력이 제한적이다. 본 연구에서는 Text-to-SQL의 테스트 타임 검증을 위한 학습된 의미론적 점수 함수로서 결과 보상 모델(ORM, Outcome Reward Model)을 연구한다. ORM은 테스트 타임 스케일링 및 정렬(alignment) 분야에서 이전에 탐구된 바 있으나, 구조적 쿼리 생성에의 적용은 충분히 연구되지 않은 상태이다. 우리는 자동화된 후보 생성과 실행 기반 레이블링을 통해 태스크 특화 ORM을 학습하는 확장 가능한 프레임워크인 GradeSQL을 제안하며, 이를 통해 수작업 어노테이션 없이 검증기를 학습할 수 있다. ORM을 검증 기반 Best-of-N 파이프라인에 통합하고, 복수의 오픈소스 LLM 패밀리를 대상으로 BIRD 및 Spider 벤치마크에서 접근법을 평가한다. ORM 기반 선택은 실행 기반 Best-of-N 및 다수결 투표를 일관되게 능가하며, BIRD에서 최대 +4.33%, Spider에서 +2.10%의 성능 향상을 달성한다. 또한 ORM이 더 큰 후보 집합에 대해 효과적으로 스케일링되며, 복잡한 쿼리에서 더 강한 성능 향상을 보임을 확인한다. 전반적으로, 본 연구 결과는 ORM 기반 검증이 Text-to-SQL의 휴리스틱 테스트 타임 선택 전략에 대한 단순하고 효과적이며 확장 가능한 대안임을 보여준다. 코드, 데이터셋 및 모델은 공개되어 있다.

arXiv:2606.29481v1cs.CL

추론할 것인가, 조작할 것인가: 힌트 앵커 기반 쌍별 집계를 통한 지름길 없는 추론

To Reason or to Fabricate: Reasoning Without Shortcuts via Hint-Anchored Pairwise Aggregation

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시키지만, Pre-RL 데이터 중복 문제로 인해 그 효과가 심각하게 저하된다. RL 데이터셋이 사전학습 또는 SFT 코퍼스와 중복되면, 모델이 정답을 암기하고 사후(post-hoc) 추론을 조작하는 방식으로 지름길을 이용하게 된다. 이를 해결하기 위해, 우리는 힌트 주입 집계(hint-injected aggregation)와 맞춤형 쌍별 보상 모델(pairwise reward model)을 결합한 새로운 RL 프레임워크인 HIPPO를 제안한다. 힌트 주입을 통해 중복으로 유발된 행동을 의도적으로 촉발함으로써, 생성된 추론 흔적(traces)은 자연스럽게 쌍별 비교를 위한 명시적 앵커로 기능한다. 이를 통해 경량 판별 모델(judge model)이 진정한 추론 연역과 지름길 기반 합리화(shortcut-driven rationalization)를 신뢰성 있게 구별할 수 있는 고변별력 선호 신호(preference signals)를 제공하며, 쌍별 공식화(pairwise formulation)는 표준 PRM 대비 안정적이고 견고한 최적화를 보장한다. 광범위한 실험을 통해 HIPPO가 표준 기준선 대비 상당한 성능 향상을 달성하고, 분포 외(out-of-distribution) 일반 태스크에도 효과적으로 일반화됨을 확인함으로써, 피상적인 지름길 패턴이 아닌 진정하고 전이 가능한 추론 능력을 추출함을 입증한다.

arXiv:2505.12843v2cs.LG

Bias Fitting to Mitigate Length Bias of Reward Model in RLHF

RLHF 보상 모델이 긴 응답에 과도하게 높은 점수를 주는 길이 편향(length bias)을, 경량 적합 모델로 비선형 길이-보상 관계를 학습·보정하는 FiMi-RM 프레임워크로 완화하는 방법을 제안한다. 실험에서 편향을 줄인 보상 모델이 DPO·Best-of-N(BoN) 등 정렬 알고리즘에서 길이 통제 승률을 높이고 장황함을 줄이면서 성능을 유지한다고 보고한다.

arXiv:2605.25661v2cs.CV

DRM: 단계별 가이던스를 갖춘 확산 기반 보상 모델

DRM: Diffusion-based Reward Model With Step-wise Guidance

현재 확산 모델을 인간 선호도에 정렬하는 주류 방법들은 대개 VLM 기반 보상 모델을 사용한다. 그러나 이러한 보상 모델들은 의미적 정렬을 위해 사전학습되어 있어, 미학적 요소, 구도, 시각적 조화와 같은 본질적인 지각 품질을 포착하는 데 어려움을 겪는다. 본 연구에서는 고충실도 생성이 가능한 모델이라면 이러한 시각적 속성에 대한 깊은 이해를 갖추어야 한다고 주장한다. 이러한 통찰을 바탕으로, 사전학습된 확산 모델을 강력한 평가 백본으로 활용하는 새로운 패러다임인 확산 기반 보상 모델(DRM)을 제안한다. DRM의 핵심 장점은 최종 이미지뿐만 아니라 생성 과정의 임의 단계에서 노이즈가 포함된 중간 잠재 변수도 평가할 수 있는 고유한 능력이다. 우리는 이 단계별 평가 능력을 두 가지 방식으로 활용한다. 첫째, GRPO 알고리즘의 부정확한 크레딧 할당 문제를 해결하기 위해 각 단계마다 밀도 있는 보상을 제공하는 강화학습 알고리즘인 Step-wise GRPO를 제안하여 보다 안정적이고 효과적인 정렬을 달성한다. 둘째, 각 단계에서 DRM을 동적 가이드로 활용해 여러 생성 경로를 평가하고 더 높은 품질의 결과물로 프로세스를 유도하는 새로운 추론 전략인 Step-wise Sampling을 도입한다. 광범위한 실험을 통해 우리의 접근법이 생성된 이미지의 최종 품질을 크게 향상시킴을 확인하였다. 코드: https://github.com/jjaxonx/DRM.

arXiv:2606.20740v1cs.CL

VeriBound: 형식 검증 도구로 학습한 프로세스 보상 모델의 PAC-Bayesian 일반화 경계

VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

프로세스 보상 모델(PRM)은 대규모 언어 모델(LLM) 추론에 대한 단계 수준 검증을 제공하지만, 학습 데이터 확보는 여전히 병목이다. 사람 어노테이션은 비용이 많이 들고 Monte Carlo rollout 추정은 노이즈가 많다. 최근 접근법인 FOVER는 Z3, Isabelle 등 형식 검증(formal verification) 도구로 자동 어노테이션된 단계 수준 오류 레이블로 PRM을 학습하고, 기호(symbolic) 과제에서 다양한 추론 벤치마크로의 과제 간 일반화를 경험적으로 관찰했다. 그러나 이러한 일반화 현상에 대한 이론적 설명은 없으며, 이러한 PRM의 일반화 오류, 표본 복잡도(sample complexity), 수렴 속도, 또는 downstream Best-of-K 성능에 대한 공식적 경계도 존재하지 않는다. 우리는 형식 검증 도구로 학습된 PRM에 대한 PAC-Bayesian 일반화 경계를 제공하는 이론적 프레임워크인 VeriBound를 제안한다. 우리는 네 가지 주요 결과를 확립한다: (i) 형식 검증으로 어노테이션된 학습 데이터上的 경험적 검증 오류를 보지 못한 추론 과제上的 기대 오류와 연결하는 PAC-Bayesian 일반화 경계로, 이 경계는 형식 검증 정확도와 학습·테스트 과제 분포 간 발산(divergence)에 의존한다; (ii) PRM 가설 클래스의 복잡도 $d$에 대해 일반화 오류 $ε$를 확률 $1-δ$로 달성하기 위해 $O(d \log(d/δ) / ε^2)$개의 형식 검증 어노테이션 예시면 충분하다는 표본 복잡도 결과; (iii) $L$-smoothness 및 분산 유계(bounded variance) 조건 하에서 형식 검증 레이블로 PRM 학습이 선형 속도로 수렴함을 증명하는 수렴 분석; (iv) 단계 수준 검증 오류를 Best-of-K 성능 저하와 연결하는 오류 전파 경계.

arXiv:2606.21795v1cs.LG

보상 모델 이산화

Discretizing Reward Models

보상 모델은 널리 사용되고 있음에도 불구하고, 강화학습을 형성하는 데 있어 그 역할은 제대로 이해되지 않고 있다. 보상 모델은 매력적인 가능성을 제시한다: 검증기(verifier)나 인간 평가자 없이도 응답 품질을 자동으로 추정할 수 있다는 것이다. 일반적으로 이진 점수를 생성하는 '검증 가능한 보상(verifiable rewards)'과 달리, 보상 모델은 연속적인 점수를 생성하여 응답 간의 세밀한 차이에 민감하게 반응할 수 있다. 그러나 우리는 이 명백한 강점이 심각한 약점임을 보인다: 많은 인기 있는 보상 모델들은 과민하여(oversensitive), 동등하게 좋은 응답에 서로 다른 점수를 부여한다. 이론적으로 우리는 겉보기에 완벽한 보상 모델도 매우 과민할 수 있음을 보이며, 실험적으로 이러한 과민성이 나쁜 정책(policy)으로 이어질 수 있음을 확인한다. 기존의 '보상 모델 정확도' 개념을 대신하여, 우리는 '판별 능력(discriminative ability)'과 '특이성(specificity)'(과민성의 역개념)이라는 별개의 척도를 사용한 보상 모델 평가를 제안한다. 해결책으로, 우리는 임의의 신경망 보상 모델에 몬테 카를로 드롭아웃(Monte Carlo dropout)을 적용하여 이산적인 보상 클러스터(discrete reward clusters)를 생성하는 학습 불필요(training-free) 알고리즘을 제안한다. 이론적으로 우리는 판별 능력의 손실을 최소화하면서 과민성을 줄이는 이산화(discretization)가 존재함을 증명하며, 실험적으로 통제된 환경과 자연스러운 강화학습 환경 모두에서 보상을 이산화하는 것이 원래 보상으로 학습하는 것보다 보상 해킹(reward hacking)을 줄이고 더 나은 정책을 이끌어냄을 보인다.

arXiv:2606.18606v1cs.CL

보상 모델의 조종 가능한 문화적 선호 최적화

Steerable Cultural Preference Optimization of Reward Models

다양한 문화적 하위 커뮤니티의 선호도를 균형 있게 반영하는 보상 모델(reward model) 학습 알고리즘 SCPO(Steerable Cultural Preference Optimization)를 제안하며, 글로벌 보상 모델 점수로 소수 문화 선호와 일치하지 않는 샘플만 필터링하고 가중치를 부여해 소수 집단 보상 모델을 학습한다. PRISM과 GlobalOpinionQA에서 7개국 기준 소수 보상 모델 성능이 baseline 대비 최대 7포인트 향상되었고, 전체 데이터 파인튜닝 대비 학습 데이터 효율은 최대 280% 더 높으며 과도한 바이어스(bias)도 완화된다.

arXiv:2606.11838v1cs.CV

시공간 장면 그래프 그라운딩 기반 계획-검증 비디오 보상 추론

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

텍스트-투-비디오(T2V) 생성을 위한 보상 모델은 사후 학습을 안내하지만, 종종 세밀한 의미적 정렬에서 실패한다. 우리는 이를 기존 추론 기반 보상 모델의 두 가지 구조적 약점으로 추적한다: 프롬프트에 기술된 모든 조건을 체계적으로 검증하지 않으며, 각 판단을 뒷받침하는 시각적 근거가 자유 형식 추론 내에 암묵적으로 남아 있다는 것이다. 우리는 시공간 장면 그래프에 기반한 계획-검증 추론을 통해 이러한 한계를 해결하는 비디오 보상 모델인 SG-PVR을 제안한다. 검증 계획은 프롬프트를 원자적 주장으로 분해하여 모든 요구사항이 확인되도록 한다. 개체, 속성, 시간적으로 정렬된 관계를 인코딩하는 시공간 장면 그래프는 비디오에서 추출되어 추론 전 과정에 걸쳐 지속적인 구조화된 시각 참조로 유지된다. 각 주장은 비디오와 장면 그래프 모두에 대해 검증되어, 판단을 명시적 시각 증거에 고정한다. SG-PVR은 세밀한 시간적 의미론을 포함한 의미적 정렬에서 강한 성능을 달성한다. 테스트 시점 재순위화기(test-time reranker)로서 T2V 생성의 구성적 정렬을 더욱 향상시킨다.