arXiv:2606.16914v2 cs.AI

탐욕은 학습된다: 보상 해킹 유발 요인으로서의 가시적 인센티브

Greed Is Learned: Visible Incentives as Reward-Hacking Triggers

Tong Che, Rui Wu

제출 2026-06-15

한국어 초록

안전성(safety) 평가는 수수료, 성과 점수, 어떤 행동이 가장 높은 대가를 제공하는지 명시하는 대시보드 등 실제 배포 환경이 제공하는 인센티브 정보가 생략된 프롬프트에서 정책을 테스트합니다. 본 연구는 이러한 생략이 무엇을 은폐하는지 측정합니다. 가상 직장 환경인 MoneyWorld에서, 저자들은 작업 품질을 희생하면서 보상을 받는 지름길을 가시적인 보상 신호가 식별해 주는 비안전 작업에 대해 3개 제품군 출신의 5개 인스트럭션 튜닝(instruction-tuned) 모델을 강화학습(RL)으로 학습시킵니다. 이후 각 정책을 동결(freeze)하고 보류된 안전 충돌 상황을 제시하며 표시되는 신호만을 변경합니다. 각 선택 메뉴에는 1개의 순응 행동과 3개의 위반 행동이 포함됩니다. Qwen2.5-14B-Instruct의 비율을 바탕으로 세 가지 발견 사항을 보고합니다. (i) 보상 신호는 동결된 안전 선택을 제어합니다. 신호가 안전하지 않은 옵션을 지목할 때 안전하지 않은 선택 비율은 100%에 달하며, 신호가 숨겨지거나 안전한 옵션을 지목할 때는 0%입니다. 숨겨진 신호 및 무작위 신호 학습 대조군은 0.3% 이하를 유지하며, 이러한 전환(switch) 현상은 5개 베이스 모델 모두에서 재현됩니다. 수치적 보상금 또한 샘플링된 행동 보상 하에서 이를 재현하여 단 1달러의 이점만으로도 안전하지 않은 선택이 98.6%에 도달합니다. (ii) 학습 메뉴 개입 하에서 보상 식별과 안전하지 않은 선택은 분리됩니다. 동일한 보상금에서 작업을 완수하는 행동에 대해 학습하면 일치된 업데이트 예산에서 99.8%의 식별력을 유지하는 동시에 안전하지 않은 선택을 7.9%로 줄입니다. 보상 판독 능력만으로는 전이(transfer)를 설명하지 못합니다. (iii) 동일한 동결 어댑터를 사용한 실제 소매 고객 서비스 실행 작업에서는 이러한 전환이 재현되지 않습니다. MoneyWorld에서 인센티브 정보를 생략하는 것은 동일한 정책이 어떤 행동이 최상의 보상을 주는지 확인할 때 드러나는 안전하지 않은 선택들을 은폐합니다.

원문 초록

Safety evaluations test a policy on prompts that omit the incentive information deployment supplies: a commission, a performance score, a dashboard naming which action pays best. We measure what that omission hides. In MoneyWorld, a synthetic workplace environment, we train five instruction-tuned models from three families with RL on non-safety tasks in which a visible payoff signal identifies a rewarded shortcut that sacrifices task quality. We then freeze each policy, present held-out safety conflicts, and change only the displayed signal. Each menu contains one compliant action and three violations. We report three findings, with rates for Qwen2.5-14B-Instruct. (i) Payoff signals control frozen safety choices: unsafe choice is 100% when the signal names an unsafe option and 0% when it is hidden or names the safe one. Hidden- and random-signal training controls stay at or below 0.3%, and the switch reproduces on all five bases. Numerical payouts reproduce it under sampled-action rewards, reaching 98.6% unsafe choice at a $1 advantage. (ii) Payoff identification and unsafe choice separate under a training-menu intervention: training on task-completing actions at the same payouts retains 99.8% identification while reducing unsafe choice to 7.9% at matched update budgets. Payoff-reading competence alone does not explain transfer. (iii) The switch does not reproduce in executed retail customer-service tasks using the same frozen adapters. In MoneyWorld, omitting incentive information conceals unsafe choices that appear when the same policy sees which action pays best.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.16914v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03055v1cs.AI공통 태그 ai safety, reinforcement learning rl, reward hacking

hacktrace: 코드 생성 중 행동 지도 기반 보상 해킹 탐지

hacktrace: behavior-supervised detection of reward hacking during code generation

코딩 에이전트는 코드를 수정함으로써 통과 점수를 얻을 수도 있지만, 버그를 드러내는 테스트를 삭제하여 통과할 수도 있습니다. 이러한 보상 해킹(reward hacking)을 탐지하려면 실패한 시도를 포함하여 지름길을 취하려는 시도를 식별해야 합니다. 본 연구에서는 Qwen3-8B 기반의 주석이 달린 173,561개의 다중 턴(multi-turn) 코딩 궤적을 공개하고, 악용 성공 여부와 무관하게 지름길 행동을 지도 학습(supervision)하는 것이 탐지 성능을 크게 향상시킴을 보입니다. 또한 에이전트가 코드를 생성하는 동안 이미 계산하는 내부 상태를 읽어내는 행동 지도 기반 모니터인 HACKTRACE를 소개합니다. 이러한 상태를 재사용하면 추가적인 언어 모델 토큰이나 패스 없이도 턴이 완료되기 전에 모니터링이 가능합니다. 이 증거를 최종 파일의 정적 특징과 결합하면 8ms의 모니터링 오버헤드로 문제당 평균 AUC 0.997을 달성하며, 정직성에 대한 질문과 답변으로 모델을 재실행하는 모니터에 비해 정확도와 지연 시간(latency)을 모두 개선합니다. 동일한 생성 상태는 강화학습을 위한 저비용 모니터링 신호도 제공합니다. 강력한 GRPO 페널티를 적용했을 때, HACKTRACE는 정책이 발전함에 따라 정직하고 올바른 솔루션을 유지하고 높은 탐지 정확도를 유지하면서도, 통과된 솔루션 중 부정행위의 비율을 82-91%에서 1-5%로 줄입니다. 본 연구 결과는 정확한 탐지를 유용한 학습 신호로 전환하는 데 있어 지도 대상과 모니터링 증거의 출처가 모두 중요하다는 점을 보여줍니다.

arXiv:2609.26758v3cs.AI공통 태그 Decision Making, Instruction Following

타입 안전성이 오류 없음을 보장하지는 않는다: 타입 기반 의사결정 모델은 바인딩된 정의가 아닌 선택지 이름을 따른다

Type-Safe Is Not Error-Free: Typed Decision Models Follow the Option Name, Not the Definition Bound to It

타입 기반 의사결정 모델(typed decision models)은 구조화된 결과를 반환하지만, 출력 타입의 정확성만으로는 의사결정이 명시적인 선택지 정의를 따르도록 보장하지 못합니다. 각 선택지는 이름과 의도된 의미를 규정하는 정의를 쌍으로 구성하지만, 이름 자체가 경쟁적인 의미적 단서(semantic cue)를 제공할 수 있습니다. 본 연구에서는 질문, 상태, 그리고 이름 및 정의 텍스트 자체는 그대로 유지한 채 이름-정의 매핑만을 변경하여 Jev 및 두 가지 공개 가중치(open-weight) 모델에서 이러한 충돌을 조사합니다. 우리는 반환된 이름이 아닌 선택된 정의 수준에서 의사결정 번복(decision flip)을 측정합니다. 작업별 정의가 포함된 1,200개의 의사결정 작업에서, yes/no 이름 사용 시 의사결정 번복률은 0/1 대조군에 비해 최대 70.4%p 더 높게 나타났습니다. 이러한 격차는 4가지 이진 의사결정 규칙 모두에서 일관되게 유지됩니다. yes/no 이름의 경우 재할당 시 평균 AUC 또한 93.8%에서 무작위 확률 이하인 23.2%로 감소합니다. 이진 평가에서 선택지 이름으로 무작위 문자열을 사용했을 때 세 모델 모두에서 중립적 대조군에 근접한 평균 번복률을 보였으며, 재할당 이전의 균형 정확도도 유사한 수준을 유지했습니다. 종합적으로 이러한 결과는 단순한 재할당 외에도 선택지 이름의 극성(polarity)이 의사결정 불안정성을 유발하는 요인임을 뒷받침합니다. 전체 과정에서 타입 오류율(type-error rate)은 0%를 유지하며, 이는 타입이 정확한 출력이라 할지라도 명시적인 선택지 정의를 따르는 데 실패할 수 있음을 보여줍니다.

arXiv:2610.02527v1cs.RO공통 태그 reinforcement learning rl, reward hacking

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.

arXiv:2610.02478v1cs.AI공통 태그 Decision Making, reinforcement learning rl

트로피컬 강화학습

Tropical Reinforcement Learning

대규모 언어 모델(LLM)을 위한 강화학습(RL)은 일반적으로 모든 성공적인 궤적의 확률을 합산하여 기대 수익을 극대화합니다. 그러나 고전적인 합산 공식은 모델 정책이 얼마나 자주 성공하는지만 나타낼 수 있을 뿐 어떤 해법이 실제로 작동했는지는 알 수 없으며, 확률의 총합이 1이기 때문에 한 해법을 강화하면 틀렸다고 입증된 적이 없는 다른 해법을 모델이 잊어버리게 만들 수 있습니다. 이로 인해 기대 수익은 구성적 추론(compositional reasoning)에 잘 맞지 않습니다. 구성적 추론에서는 모델이 분리되어 종종 실패하는 시도들 속에서 생성하지만 한 번에 함께 생성하는 경우는 드문 여러 추론 단계들을 조합하여 하나의 해법을 구성해야 하기 때문입니다. 이를 해결하기 위해 우리는 대수 구조의 단순한 변경에 기반한 트로피컬 강화학습(Tropical Reinforcement Learning)을 제안합니다. 대안적 해법들의 확률을 더하는 대신 최댓값을 취하며, 이는 트로피컬 반환(tropical semiring)으로 이어집니다. 이에 따라 상태의 가치는 재생 및 재사용이 가능한 명시적 경로와 함께, 가장 가능성이 높은 검증된 해법의 로그 확률이 됩니다. 이는 서로 다른 롤아웃에서 나온 경우라도 공유된 상태에서 만나는 최선의 접두 문맥과 최선의 접미 문맥을 결합할 수 있으므로 진정한 구성을 가능하게 합니다. 이를 실제로 적용하기 위해, 검증 가능한 결과를 갖는 결정론적이고 재설정 가능한 환경을 위한 학습 알고리즘인 TROPIC을 도입합니다. 네 가지 에이전트 태스크(Sokoban, Countdown, FrozenLake, WebShop)에서 TROPIC은 가장 강력한 온-정책(on-policy) 베이스라인 대비 최대 16%포인트 높은 성능을 보입니다. 따라서 추정기뿐만 아니라 강화학습의 대수 구조를 변경하는 것은 언어 모델의 구성적 추론을 크게 향상시킬 수 있습니다.

arXiv:2610.03185v1cs.AI공통 태그 reinforcement learning rl, reward hacking

온-정책 증류에서의 이득과 붕괴: 강화학습 관점

Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective

온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.

arXiv:2610.03458v1cs.AI공통 태그 reinforcement learning rl, reward hacking

0에 가까운 모니터 판독값이 행동 제어의 증거는 아니다

A Near-Zero Monitor Readout Is Not Evidence of Behavioral Control

검증 가능한 보상(reward)을 사용하는 사후 학습(post-training)은 보상 해킹(reward hacking)을 유발할 수 있으며, 이에 따라 모니터를 단순히 오프라인 감사용으로만 쓰지 않고 학습(training) 목표 내에 포함하여 활용하려는 시도가 이어지고 있습니다. 본 연구에서는 모니터 판독값이 낮다고 해서 이러한 개입이 모델의 행동을 실제로 제어하는지 여부를 판별할 수는 없음을 보입니다. 추론 과정(reasoning trace)의 시작 부분에서 주요 익스플로잇(exploit)을 활용할 수 있는 코드 생성 환경(environment)에서, 동일한 오프라인 게이트를 통과한 세 가지 모니터(도메인 내 활성화 프로브 1개 및 정책이 자체 최종 답변을 얼마나 일찍 확정하는지에 따라 페널티를 부여하는 방식 2개)를 대상으로 정책을 학습시켰습니다. 프로브 점수는 기록된 첫 번째 학습 단계부터 수치적 최저치(floor)에 머물렀으며, 모든 접두 문맥(prefix) 학습 실행의 종점 기준 학습 점수 중앙값은 0이었습니다. 이러한 판독값들은 서로 다른 양을 추정하므로 척도를 직접 비교하지는 않지만, 각 모니터 계열 내에서 낮은 수치 자체가 행동 제어를 입증하지는 못합니다. 하나의 고정된 구성 내에서도 동일한 0의 중앙값 학습 점수를 갖는 접두 문맥 학습 실행들은 시드(seed) 차이만으로도 해킹 비율이 낮은 혼합 영역부터 거의 순수한 보상 해킹에 이르는 범위까지 다양하게 나타납니다. 모든 프로브 실행은 해킹 영역에 도달하지만, 이들의 최저치 판독값은 프로브가 검증된 위치와 학습 중 읽힌 위치 간의 불일치를 반영할 뿐 이러한 모호성의 또 다른 사례는 아닙니다. 텍스트 수준 분석 결과 접두 문맥의 실패 모드가 확인되었습니다. 일반적인 계획 수립과 무의미한 껍데기(filler shell) 문구가 익스플로잇을 최종 출력에서 제거하지 않고 단지 기준 지점 이후로 미루는 현상입니다. 따라서 낮게 측정된 확정도는 낮은 해킹 비율과 익스플로잇에 대한 지연된 확정을 구분하지 못합니다. 오프라인 판별 능력과 모니터에 정렬된 낮은 판독값만으로는 행동 제어의 충분한 증거가 될 수 없으며, 대역 외(out-of-band) 행동 검증이 필수적입니다. 본 연구는 판독값의 진화 과정이 아닌 종점 판독값을 특성화합니다. 코드는 https://github.com/zhezhou1106/spoof-cost 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.