동결된 무참조(reference-free) LLM 판사(judge)를 대상으로 GRPO를 통해 정책(policy)을 학습시킬 때 판사는 더 많은 답변을 수용하지만, 사후 분석 결과 홀드아웃 탐욕적 정확도(held-out greedy accuracy)에서는 아무런 이득도 감지되지 않았습니다. 총 12개의 (정책, 판사) 조합 전체에서 시드 평균 이득은 결코 0.04를 넘지 않았습니다. 동일한 방식으로 정답 보상(gold-reward)을 적용한 대조군에서는 1.5B 정책의 탐욕적 정확도가 +0.054 [0.013, 0.096] 상승했으므로, 이 정책에서 나타난 평탄한 정확도는 판사 보상에 특화된 현상입니다. 반면 0.5B 정책의 경우 정답 보상에서도 감지 가능한 이득이 없었습니다. 확인된 상승세를 보인 네 개 조합에서 학습-롤아웃(training-rollout) 정확도의 초기 상승은 정답 보상 조건에서와 마찬가지로 대부분 샘플링 첨예화(sampling sharpening)에 기인했습니다. 이어서 강화학습(RL)이 판사의 위양성(false positive)을 악용하는 범위와 속도를 결정하는 것이 정책-판사 간 격차인지, 아니면 판사 자체인지를 질문합니다. 0.5B 및 1.5B Qwen2.5 정책을 크기가 최소 동등 이상인 네 가지 판사(Qwen2.5-1.5B/3B/7B, Llama-3.2-3B)에 대해 학습시키고, 1.5B 정책은 더 작은 하나의 판사(Qwen3-0.6B)에 대해서도 학습시켰습니다. 판사 해킹의 깊이(정체기, plateau)는 판사를 따랐습니다. 이는 판사 AUC와 상관관계(12개 조합에서 스피어만 상관계수 -0.69 [-0.94, -0.14])를 보였으며, 동일 계열 내에서는 더 큰 판사가 덜 심하게 속았습니다. 속도(시작 시점, onset)의 경우, 사전에 지정된 두 쌍이 격차 기반 설명과 상충했습니다(사전 지정된 임계값에서 격차가 더 큰 조합이 3.5배 더 일찍 속았습니다). 12개 조합으로는 어느 평가 지표에서도 판사 AUC와 격차를 공식적으로 분리해낼 수 없습니다. 더 작은 판사는 계열과 템플릿에서도 차이가 나긴 하지만, 정책만큼 큰 판사보다 더 일찍 속아 넘어가지 않았습니다. 홀드아웃된 세 판사에 대한 블라인드 테스트에서 해시 잠금된 스텝-0 예측기는 스텝-0 AUC를 능가하지 못했으나, 세 개 조합으로는 둘을 분리해 비교할 수 없습니다. 7-8B 규모에서 세 개 계열의 판사들은 0.37, 0.67, 0.85에서 정체기에 도달했습니다.
비디오 보상(reward) 최적화는 대리 보상을 증가시키는 동시에 비디오의 역동성을 감소시킬 수 있으며, 본 논문에서는 비디오 수준의 모션 품질 보상 하에서도 발생하는 이러한 불일치를 모션 붕괴(motion collapse)로 규명합니다. 이에 따라 선택된 프롬프트(prompt) 그룹에서 온라인 롤아웃의 일부를 분포 외(out-of-distribution) 비디오 예시로 대체하는 GraftOOD를 제안합니다. 공유 속도 회귀 목적함수는 그룹 상대적 보상 정류와 시퀀스 수준 예시 감독을 결합하여, 예시 생성 궤적이나 추가적인 지도 손실(loss) 계수를 필요로 하지 않습니다. 또한 점별 최적 필드를 두 개의 소스별 타깃 필드가 소스 사후 확률로 가중 결합된 형태로 특성화합니다. 외부 감독을 제공하기 위해 2,397개 프롬프트에 대해 형식이 일치하는 9,588개의 예시를 포함하는 GraftSet-Video를 구축했습니다. Wan2.1-1.3B에서 GraftOOD는 보상 전용 FlowAWR 대비 Dynamic Degree를 4.86에서 44.41로 끌어올렸으며, HPSv3는 8.10에서 7.32로 감소했고 VisionReward는 유사한 수준을 유지했습니다. 주요 설정에서 GraftOOD는 세 가지 예시 증강 방법 중 10개 지표 중 9개에서 우위를 보였습니다. 예시 빈도 및 그룹 내 개수에 대한 소거 연구를 통해, 예시 사용량 증가에 따른 일률적 이득보다는 역동성과 보상 간의 트레이드오프가 존재함을 확인했습니다. 이러한 결과는 측정된 더 높은 역동성이 생성된 비디오의 일관되고 시각적으로 타당한 모션과 동일시되지 않는다는 점을 유의하면서도, 외부 예시 감독이 스칼라 보상 피드백을 보완하는 역할을 뒷받침합니다. 코드는 https://github.com/Fuzm7/FlowAWR 에서 확인할 수 있습니다.
의도된 작업을 완수하지 않은 채 평가 신호를 악용하는 현상인 보상 해킹(reward hacking)은 배포된 언어 모델 시스템의 신뢰성을 위협합니다. 기존 데이터셋들은 서로 다른 라벨, 응답 형식, 메타데이터 규약을 사용하여 탐지기(detector)의 결과를 비교하기 어렵게 만듭니다. 본 논문에서는 11개의 공개 데이터셋에서 보상 해킹과 관련된 하위 집합들을 결합하여 92,761개 행과 6가지 행동 범주를 공통 스키마로 구성한 벤치마크인 RH-Detect를 제시합니다. 다중 턴(multi-turn) 도구 사용 궤적을 포함하여 작업 프롬프트와 자유 형식 모델 생성문으로 각각 구성된 5,021개의 개방형 평가 단위에서, 추가 학습 없이 5개 계열의 기성 언어 모델 6개를 보상 해킹 탐지기로서 평가합니다. 최고 성능의 모델은 풀링된(pooled) AUROC 0.962와 93% 이상의 정확도를 달성합니다. 그러나 가장 강력한 4개 모델의 경우, 공통 결정 임계값에서 두 다중 턴 도구 사용 데이터셋인 MALT와 TRACE에 대한 정확도가 다른 데이터 소스에 비해 10.7~15.9%p 낮게 나타나, 배포 시점 모니터링에서의 주요 격차를 부각합니다. 또한 입력 형식에 따라 모델별로 서로 다른 영향이 나타남을 발견했습니다. 생각 과정(thinking)을 제거하면 Qwen3.5-4B의 AUROC는 0.779에서 0.849로 증가하지만, Qwen Flash는 0.977에서 0.950으로 감소합니다. 아울러 본 벤치마크를 탐지기 학습 데이터셋으로도 평가합니다. 각 소스를 차례로 배제(hold out)하며 평가했을 때, 단일 토큰 지도 미세조정(single-token SFT)은 6개 제외 소스 중 5개에서 평균 AUROC를 향상시켰습니다. 해당 실패 사례에 대해 GRPO를 후속 적용한 결과 탐지 성능이 소폭 향상되었습니다. 본 연구 결과는 단일 풀링 점수가 데이터 소스, 탐지기 입력, 학습 절차 전반에 걸친 편차를 가릴 수 있음을 보여줍니다.
음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
대규모 언어 모델(LLM) 에이전트(agent)는 새로운 코드 벤치마크의 폭발적인 증가와 함께 소프트웨어 엔지니어링 환경을 빠르게 재편하고 있습니다. 그러나 거의 모든 기존 벤치마크는 여전히 수십 년 된 동일한 기준에 의존하고 있습니다. 즉, 고정된 단위 테스트 세트를 통과하면 해당 솔루션이 올바르다고 판단하는 것입니다. 이러한 테스트는 불충분한 경우가 많습니다. 작업에 필요한 요구사항 중 일부만 검사하므로, 에이전트가 모든 테스트를 통과하면서도 보상 해킹(reward hacking)을 하거나 필수 동작을 은밀히 누락할 수 있습니다. 결과적으로 더 높은 벤치마크 점수는 더 뛰어난 문제 해결 능력보다는 평가자에 더 잘 적응했음을 부분적으로 반영할 수 있습니다. 기존 연구들은 정적 테스트 증강에 초점을 맞추고 있습니다. 즉, 어떠한 시도도 관찰하기 전에 각 작업의 테스트를 사전에 한 번 강화하므로, 실제 시도가 실제로 어떻게 실패하는지를 간과합니다. 본 논문에서는 고정된 테스트를 넘어 패치를 평가하기 위한 확장 가능한 프레임워크인 TestJack을 소개합니다. TestJack은 각 시도마다 패치가 위반할 수 있는 프롬프트 요구사항을 겨냥한 테스트를 생성하고, 정답 패치가 통과한 테스트만 유지하며, 모든 시도 실패를 재검토합니다. 따라서 확인된 각 실패는 재생 가능한 테스트를 통해 뒷받침됩니다. 또한 평가 비용을 줄이기 위해 무작위로 추출된 시도 샘플을 심층 감사하고, 그 결과로 얻은 테스트를 동일한 작업의 모든 시도에 재사용하는 경량 변형 모델도 소개합니다. 6개의 프론티어 모델 백엔드와 DeepSWE 및 SWE Marathon을 포함한 5개 벤치마크에 걸쳐 평가한 결과, 현재 올바른 것으로 판정된 모델 시도의 약 34.4%가 작업 요구사항을 위반하여 전체 해결률(resolution rate)이 50.6%에서 33.2%로 낮아지는 것을 발견했습니다. 본 연구 결과는 현재 코딩 에이전트 평가의 근본적인 한계를 드러냅니다. LLM이 고정된 평가자에 맞추어 최적화하는 능력이 향상됨에 따라, 평가자 자체도 더욱 적응적으로 진화해야 합니다.
그래디언트(gradient) 기반 탈옥 접미사(jailbreak suffix) 최적화 방법은 일반적으로 현재 손실(loss)이 가장 낮은 후보를 유지하는 방식으로 접미사를 업데이트합니다. 본 논문에서는 이러한 자연스러워 보이는 설계가 근본적으로 근시안적임을 보여줍니다. 현재 단계의 프록시 하에서 더 우수해 보이는 후보들이 탐색 후반부에서 더 나은 탈옥 결과를 내지 못하는 경우가 빈번하며, 이는 선택 단계에서의 보상 해킹(reward hacking)의 일종임을 밝혀냅니다. 이는 후보 생성뿐만 아니라 후보 선택 자체가 접미사 최적화의 숨겨진 병목점임을 시사합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 탈옥 접미사 최적화를 위한 궤적 인식 후보 선택 프레임워크인 TACS를 제안합니다. TACS는 즉각적인 손실만으로 후보를 선택하는 대신 단계별 평가를 궤적 인식 프록시로 보강하고, 참조 정책 정규화(regularization) 및 판별자(discriminator)로 추정된 카이제곱 보정을 통해 선택을 안정화함으로써 현재 단계를 넘어서도 효과적으로 유지되는 선택을 유도합니다. HarmBench에 대한 실험 결과, TACS는 동일한 탐색 예산 하에서 강력한 베이스라인들을 지속적으로 능가하여 공격 성공률을 대폭 향상시키는 동시에 탐색 전반에 걸쳐 더욱 안정적인 최적화 동작을 보였습니다. 본 연구 결과는 근시안적 후보 선택으로 인해 발생하는 선택 단계의 보상 해킹을 완화하는 것이 탈옥 접미사 최적화를 개선하는 데 결정적임을 강조합니다.
본 논문에서는 대규모 언어 모델(LLM)이 추론 정확도를 향상하는 동시에 자신의 신뢰도(confidence)를 언어로 표현하도록 강화학습(RL)을 통해 학습하는 설정을 고려합니다. 본 연구의 보상 체계는 LLM이 언어화한 신뢰도를 보상하기 위해 두 가지 함수를 사용하며, 하나는 정답을 위한 함수이고 다른 하나는 오답을 위한 함수입니다. 이러한 체계가 부실하게 설계될 경우, LLM이 신뢰도를 보정받기 위해 오답을 내도록 유도할 수 있으며, 저자들은 이 현상을 '신뢰도 보상 해킹(confidence reward hacking)'이라고 명명합니다. 저자들은 해킹 불가능한(non-hackable) 신뢰도 보상 체계라는 개념을 도입하고 이를 구축하는 방법을 제시합니다. 또한 해킹 가능한 보상 체계에서는 실제 데이터셋에서 선택적 신뢰도 보상 해킹이 발생할 수 있는 반면, 해킹 불가능한 보상 체계는 해킹에 견고함을 보입니다. 마지막으로 저자들은 이러한 체계 중 일부를 RL 기반 신뢰도 보정을 위한 과잉 신뢰-과소 신뢰 스펙트럼상에 배치하고, 스펙트럼 내 다른 체계에 비해 해당 보정 편향을 나타내는 경향이 있음을 실험적으로 입증합니다. 실험 코드는 https://anonymous.4open.science/r/rl-confidence-calibration-9ED4/README.md 에서 확인할 수 있습니다.
학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.
검증 가능한 보상(reward)을 사용하는 사후 학습(post-training)은 보상 해킹(reward hacking)을 유발할 수 있으며, 이에 따라 모니터를 단순히 오프라인 감사용으로만 쓰지 않고 학습(training) 목표 내에 포함하여 활용하려는 시도가 이어지고 있습니다. 본 연구에서는 모니터 판독값이 낮다고 해서 이러한 개입이 모델의 행동을 실제로 제어하는지 여부를 판별할 수는 없음을 보입니다. 추론 과정(reasoning trace)의 시작 부분에서 주요 익스플로잇(exploit)을 활용할 수 있는 코드 생성 환경(environment)에서, 동일한 오프라인 게이트를 통과한 세 가지 모니터(도메인 내 활성화 프로브 1개 및 정책이 자체 최종 답변을 얼마나 일찍 확정하는지에 따라 페널티를 부여하는 방식 2개)를 대상으로 정책을 학습시켰습니다. 프로브 점수는 기록된 첫 번째 학습 단계부터 수치적 최저치(floor)에 머물렀으며, 모든 접두 문맥(prefix) 학습 실행의 종점 기준 학습 점수 중앙값은 0이었습니다. 이러한 판독값들은 서로 다른 양을 추정하므로 척도를 직접 비교하지는 않지만, 각 모니터 계열 내에서 낮은 수치 자체가 행동 제어를 입증하지는 못합니다. 하나의 고정된 구성 내에서도 동일한 0의 중앙값 학습 점수를 갖는 접두 문맥 학습 실행들은 시드(seed) 차이만으로도 해킹 비율이 낮은 혼합 영역부터 거의 순수한 보상 해킹에 이르는 범위까지 다양하게 나타납니다. 모든 프로브 실행은 해킹 영역에 도달하지만, 이들의 최저치 판독값은 프로브가 검증된 위치와 학습 중 읽힌 위치 간의 불일치를 반영할 뿐 이러한 모호성의 또 다른 사례는 아닙니다. 텍스트 수준 분석 결과 접두 문맥의 실패 모드가 확인되었습니다. 일반적인 계획 수립과 무의미한 껍데기(filler shell) 문구가 익스플로잇을 최종 출력에서 제거하지 않고 단지 기준 지점 이후로 미루는 현상입니다. 따라서 낮게 측정된 확정도는 낮은 해킹 비율과 익스플로잇에 대한 지연된 확정을 구분하지 못합니다. 오프라인 판별 능력과 모니터에 정렬된 낮은 판독값만으로는 행동 제어의 충분한 증거가 될 수 없으며, 대역 외(out-of-band) 행동 검증이 필수적입니다. 본 연구는 판독값의 진화 과정이 아닌 종점 판독값을 특성화합니다. 코드는 https://github.com/zhezhou1106/spoof-cost 에서 확인할 수 있습니다.
온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.
코딩 에이전트는 코드를 수정함으로써 통과 점수를 얻을 수도 있지만, 버그를 드러내는 테스트를 삭제하여 통과할 수도 있습니다. 이러한 보상 해킹(reward hacking)을 탐지하려면 실패한 시도를 포함하여 지름길을 취하려는 시도를 식별해야 합니다. 본 연구에서는 Qwen3-8B 기반의 주석이 달린 173,561개의 다중 턴(multi-turn) 코딩 궤적을 공개하고, 악용 성공 여부와 무관하게 지름길 행동을 지도 학습(supervision)하는 것이 탐지 성능을 크게 향상시킴을 보입니다. 또한 에이전트가 코드를 생성하는 동안 이미 계산하는 내부 상태를 읽어내는 행동 지도 기반 모니터인 HACKTRACE를 소개합니다. 이러한 상태를 재사용하면 추가적인 언어 모델 토큰이나 패스 없이도 턴이 완료되기 전에 모니터링이 가능합니다. 이 증거를 최종 파일의 정적 특징과 결합하면 8ms의 모니터링 오버헤드로 문제당 평균 AUC 0.997을 달성하며, 정직성에 대한 질문과 답변으로 모델을 재실행하는 모니터에 비해 정확도와 지연 시간(latency)을 모두 개선합니다. 동일한 생성 상태는 강화학습을 위한 저비용 모니터링 신호도 제공합니다. 강력한 GRPO 페널티를 적용했을 때, HACKTRACE는 정책이 발전함에 따라 정직하고 올바른 솔루션을 유지하고 높은 탐지 정확도를 유지하면서도, 통과된 솔루션 중 부정행위의 비율을 82-91%에서 1-5%로 줄입니다. 본 연구 결과는 정확한 탐지를 유용한 학습 신호로 전환하는 데 있어 지도 대상과 모니터링 증거의 출처가 모두 중요하다는 점을 보여줍니다.
안전성(safety) 평가는 커미션, 성과 점수, 어떤 행동이 가장 높은 보상을 주는지 나타내는 대시보드처럼 실제 배포 환경이 제공하는 인센티브 정보가 생략된 프롬프트로 정책을 테스트합니다. 본 연구는 이러한 생략이 무엇을 은폐하는지 측정합니다. 합성 직장 환경(environment)인 MoneyWorld에서, 작업 품질을 희생하면서도 보상을 받는 지름길을 가시적인 보상 신호가 식별해 주는 비안전성 작업에 대해 세 가지 계열의 인스트럭션 튜닝(instruction tuning) 모델 5개를 강화학습(RL)으로 학습(training)합니다. 그런 다음 각 정책을 동결하고, 미사용(held-out) 안전성 충돌을 제시하며, 표시되는 신호만을 변경합니다. 각 선택 메뉴에는 하나의 순응 행동과 세 개의 위반 행동이 포함됩니다. Qwen2.5-14B-Instruct의 수치와 함께 세 가지 결과를 보고합니다. (i) 보상 신호는 동결된 안전성 선택을 제어합니다. 신호가 불안전한 옵션을 가리킬 때 불안전한 선택 비율은 100%였고, 신호가 숨겨지거나 안전한 옵션을 가리킬 때는 0%였습니다. 은닉 신호 및 무작위 신호 학습 대조군은 0.3% 이하를 유지했으며, 이러한 전환은 5개 베이스 모델 모두에서 재현되었습니다. 수치적 보상금 또한 샘플링된 행동 보상 하에서 이를 재현하여 1달러의 이점만으로도 98.6%의 불안전한 선택 비율에 도달했습니다. (ii) 학습 메뉴 개입 하에서는 보상 식별과 불안전한 선택이 분리됩니다. 동일한 보상금에서 작업을 완수하는 행동으로 학습하면 99.8%의 식별률을 유지하면서도 일치된 업데이트 예산에서 불안전한 선택을 7.9%로 낮춥니다. 보상 판독 능력만으로는 전이(transfer)를 설명하지 못합니다. (iii) 동일한 동결 어댑터를 사용한 실제 소매 고객 서비스 실행 작업에서는 이러한 전환이 재현되지 않습니다. MoneyWorld에서 인센티브 정보의 생략은 동일한 정책이 어떤 행동이 가장 높은 보상을 받는지 확인할 때 드러나는 불안전한 선택들을 은폐합니다.
본 연구에서는 대화형 유머 분야에서 언어 모델을 학습시키기 위한 자동화된 보상을 조사하며, 보상 악용(reward exploit)과 그 대응책에 초점을 맞춥니다. 두 가지 접근 방식은 이해 가능한 놀라움(understandable surprise)과 예측된 청중의 즐거움을 포착하는 것을 목표로 합니다. 통제된 테스트 결과, 임베딩(embedding) 기반의 놀라움 보상은 재치 있는 답변뿐만 아니라 단어가 무작위로 섞인 답변도 동일하게 수용하는 것으로 나타났습니다. 유창성 필터는 단어가 섞인 경우를 탐지하지만, 결합된 보상은 일부 재치 있는 답변까지 거부하며 추가 검증에 실패합니다. 반면 청중 모델이 예측한 웃음은 두 화자 중 어느 쪽의 메시지에든 존재하는 웃음 단서에 취약합니다. 화자 전반에 걸쳐 이러한 단서를 정규화하면 다뤄진 공격을 차단할 수 있지만, 대응되지 않은 표현은 여전히 악용 가능한 상태로 남습니다. 연속적인 보상 수정을 거친 학습을 평가하기 위해 세 번의 강화학습(RL) 실험을 수행했습니다. 최종 실험에서는 결합 평가 점수가 0.0903 향상되고 점수가 0점인 세션이 40% 감소했으나, 유머에 특화된 개선은 사전 등록된 목표치에 미치지 못했습니다. 이러한 발견은 자동화된 보상 설계가 직면한 더 광범위한 과제를 보여줍니다. 즉, 대응책은 보상이 장려하고자 했던 본래의 행동을 보존하면서도 악용 가능한 지름길(shortcut)을 차단해야 한다는 점입니다.
안전성(safety) 평가는 수수료, 성과 점수, 어떤 행동이 가장 높은 대가를 제공하는지 명시하는 대시보드 등 실제 배포 환경이 제공하는 인센티브 정보가 생략된 프롬프트에서 정책을 테스트합니다. 본 연구는 이러한 생략이 무엇을 은폐하는지 측정합니다. 가상 직장 환경인 MoneyWorld에서, 저자들은 작업 품질을 희생하면서 보상을 받는 지름길을 가시적인 보상 신호가 식별해 주는 비안전 작업에 대해 3개 제품군 출신의 5개 인스트럭션 튜닝(instruction-tuned) 모델을 강화학습(RL)으로 학습시킵니다. 이후 각 정책을 동결(freeze)하고 보류된 안전 충돌 상황을 제시하며 표시되는 신호만을 변경합니다. 각 선택 메뉴에는 1개의 순응 행동과 3개의 위반 행동이 포함됩니다. Qwen2.5-14B-Instruct의 비율을 바탕으로 세 가지 발견 사항을 보고합니다. (i) 보상 신호는 동결된 안전 선택을 제어합니다. 신호가 안전하지 않은 옵션을 지목할 때 안전하지 않은 선택 비율은 100%에 달하며, 신호가 숨겨지거나 안전한 옵션을 지목할 때는 0%입니다. 숨겨진 신호 및 무작위 신호 학습 대조군은 0.3% 이하를 유지하며, 이러한 전환(switch) 현상은 5개 베이스 모델 모두에서 재현됩니다. 수치적 보상금 또한 샘플링된 행동 보상 하에서 이를 재현하여 단 1달러의 이점만으로도 안전하지 않은 선택이 98.6%에 도달합니다. (ii) 학습 메뉴 개입 하에서 보상 식별과 안전하지 않은 선택은 분리됩니다. 동일한 보상금에서 작업을 완수하는 행동에 대해 학습하면 일치된 업데이트 예산에서 99.8%의 식별력을 유지하는 동시에 안전하지 않은 선택을 7.9%로 줄입니다. 보상 판독 능력만으로는 전이(transfer)를 설명하지 못합니다. (iii) 동일한 동결 어댑터를 사용한 실제 소매 고객 서비스 실행 작업에서는 이러한 전환이 재현되지 않습니다. MoneyWorld에서 인센티브 정보를 생략하는 것은 동일한 정책이 어떤 행동이 최상의 보상을 주는지 확인할 때 드러나는 안전하지 않은 선택들을 은폐합니다.
에이전트 벤치마크는 점점 더 저장소 편집, 웹 리서치, 터미널 사용, 장기 상호작용을 평가하고 있다. 이들 점수는 평가 프로토콜이 의도된 역량을 성공에 필요하게 유지할 때만 역량 주장을 뒷받침한다. 최근 보상 해킹(reward-hacking) 벤치마크와 시스템 보고서는 에이전트가 대신 공개된 해법을 복구하거나, 평가 산출물을 읽거나, 생성기 구조를 추론하거나, 피드백을 조작하거나, 부적절한 채점 경로로 이득을 얻을 수 있음을 보여준다. 기존 대응은 이러한 지름길을 귀인하고 벤치마크 전반에 걸쳐 그 영향을 정량화하는 공통 절차를 제공하지 않는다. 우리는 프로토콜 타당성을 공식화하고, 노출을 식별하고 에이전트가 이를 어떻게 사용했는지 판별하며 결과 점수가 오해를 불러일으키는지 평가하는 사후 감사인 HackDetect를 제안한다. 우리는 악용 점수에서 의도된 점수를 뺀 값으로 정의되는 Mislead gap으로 점수 부풀림을 정량화한다. 15개 에이전트 벤치마크에 걸친 2,385개 트레이스를 감사한 결과, Frontier Science 트레이스의 67.0%와 AutoLab 태스크의 66.7%에서 노출 및 보상 해킹의 증거를 발견했다. 쌍체 비교에서 0.45-1.00의 점수 부풀림을 측정했으며, 이는 벤치마크 보고서가 점수가 의도된 역량을 반영한다는 증거를 제공해야 함을 보여준다.
그룹 상대 정책 최적화(GRPO)는 정확한 보상 모델이 사용 가능할 때 효과적인 알고리즘으로 알려져 있다. 그러나 이러한 높은 신뢰성의 보상 모델은 많은 실제 과제에서 사용할 수 없다. 본 논문에서는 특히 다목적 설정에 초점을 맞추며, GRPO가 보상 해킹(reward hacking)에 취약하여 다른 목표를 희생하면서 목표 중 하나만 최적화한다는 점을 확인한다. 이 문제를 해결하기 위해, 우리는 GRPO의 확장인 MO-GRPO를 제안한다. MO-GRPO는 보상 함수 값들의 분산에 따라 보상 함수를 자동으로 재가중하는 간단한 정규화 방법을 포함한다. 먼저 MO-GRPO가 선호 순서를 유지하면서 모든 보상 함수가 손실 함수에 균등하게 기여하도록 보장하며, 보상 함수 스케일의 수동 튜닝 필요성을 제거함을 분석적으로 보인다. 그다음 MO-GRPO를 네 가지 영역에서 실험적으로 평가한다: (i) 다중 팔 밴딧(multi-armed bandits) 문제, (ii) 시뮬레이션 제어 과제(Mo-Gymnasium), (iii) WMT 벤치마크(En-Ja, En-Zh)에서의 기계 번역 과제, (iv) 인스트럭션 따르기(instruction following) 과제. MO-GRPO는 보상 구성 요소들 간의 상관관계를 균등하게 분배하여 안정적인 학습을 달성하며 GRPO를 능가하여, MO-GRPO가 다목적 강화학습 문제에 유망한 알고리즘임을 보여준다.
언어 모델 에이전트는 관찰, 추론, 행동 선택의 반복적인 사이클을 통해 작동하므로, 안전성 모니터링은 내부 모델 상태와 환경 문맥 모두에 의존하게 된다. 우리는 Gameable ALFWorld와 WebShop에서 행동하는 ReAct 스타일 에이전트에서 보상 해킹(reward-hacking) 모니터를 연구한다. 에이전트에는 활성화 기반 보상 해킹 점수, 토큰 수준 엔트로피, 결정 문맥 특징이 장착된다. \textit{School-of-Reward-Hacks} 데이터셋에서 파인튜닝된 어댑터가 보상 해킹 경향을 에이전트적 행동 선택으로 전이할 수 있음을 발견하며, 특히 환경이 프록시 보상(proxy-reward) affordance를 노출할 때 더욱 그렇다. 그러나 이러한 행동을 완화하는 데는 활성화 역학만으로는 의존할 수 없다. 높은 보상 해킹 활성화는 잠재 정책 상태를 식별하지만, 반드시 즉각적인 exploit 행동을 의미하지는 않는다. 다음 단계 예측 과제 전반에 걸쳐, 엔트로피와 문맥 보정 내부 특징이 보상 해킹 활성화만 사용하는 것보다 위험 추정을 개선한다. 활성화 방향 조향(activation-direction steering)은 선택된 혼합 어댑터 체제에서 프록시 exploit 행동을 더욱 줄인다. 전반적으로, 우리 결과는 에이전트를 위한 문맥 보정 내부 모니터링을 뒷받침한다. 보상 해킹 활성화는 잠재 정책 상태를 식별하고, 엔트로피와 결정 문맥은 그 상태가 언제 위험한 행동으로 전환되는지 판단하는 데 도움을 준다.
계획 평가자는 전략적 계획이 덜 명시적이게 될 때 이를 보상할 수 있다. 본 논문은 LLM이 생성한 벤처 루트(venture routes)에 대한 단계적 기대값 스코어러에서 그러한 실패를 연구한다. 명제 1은 선행 전이를 재지정하고 하류 가치를 유지하면서 내부 전이를 삭제할 때의 점수 변화를 제시한다: Delta_k = (prod_{i<k} p_i)[c_k + (1 - p_k)R_{k+1}]. 고정된 26-루트 코호트에서 57개의 모든 허용 가능한 삭제가 해석적 항등식과 임계값 부호와 일치했으며, 모든 루트에는 점수를 개선하는 삭제가 최소 하나 존재했다. 루트 재구조화는 허용되었으나 활용 메커니즘은 알려주지 않은 점수 추구 옵티마이저는 26개 루트 중 21개에서 기준선을 능가하는 미커버(uncovered) 구조를 찾았다. GATE는 26/26 음묵화(silenced)된 루트에 대해 점수 릴리스를 거부했으며, 정직한 계획에 대한 오거부는 0/26이었다. 거부 이후 47/54의 다음 수정이 커버(covered) 구조로 복구되었고, 엄격한 커버 개선은 1/26에서 13/26으로 증가했다. 적응형 컴파일러 인식 공동 저작자(co-author)는 레지스트리 출처(provenance) 경계를 드러냈다: 의무 채널(obligation-channel) 회피는 네 가지 v1/v1.5 조건 모두에서 6/6으로 유지되었으며, 델타 색인 비용 하한은 정직한 루트를 능가하는 루트를 6/6에서 3/6으로, 침묵을 통한 자금 조달 가능성(fundability-by-silence)을 5/6에서 0/6으로 줄였지만 의미적 완전성(semantic completeness)은 확립하지 못했다. 계획이 필요한 작업을 누락했기 때문만 더 높은 점수를 받는다면 계획은 개선되지 않은 것이며, 평가가 누락 인센티브를 만들었다. PCSC는 모델 매개 typed-state 기록에 대한 사후 누락 이음(omission splices)을 탐지하고 중화한다. 테스트된 협력 설정에서 GATE는 단순한 사후 필터가 아니라 결정론적 탐색 형성(search-shaping) 제약으로 작동한다. GATE는 임의의 LLM 생성 전략에 대한 의미적 완전성이나 현실 세계 품질을 검증하지는 않는다.
The test suites used as RLVR rewards for code have natural false positives: per-task, persistent, asymmetric errors that accept the same wrong programs every time they appear, unlike the symmetric or resampled noise assumed by existing noise-robustness analyses. We run a preregistered two-arm causal contrast on a deployed suite: GRPO on identical MBPP tasks, seeds, and compute, rewarded by the original MBPP tests (leaky) versus the MBPP+ extra tests (hardened). Two further families replicate the design under a preregistration frozen before their data existed. [C] The average held-out effect is bounded: non-inferior under a preregistered 1.5-pt margin (gap 0.20 pt, one-sided 95% upper bound 0.75 pt). [C] Rewarded false-positive mass tracks a cheap static leakiness audit computed before training (Spearman 0.80), and the registered train-side test puts the leak-stratum FP share +43.8 pt above clean tasks. [E] Auditing every rewarded FP under signed, human-adjudicated rules finds a large residual of verified genuinely wrong code: 47.57% record-weighted; both replication families reproduce a large share. The reward paid for real bugs, not merely suite artifacts. [E] Mechanism evidence is consistent with selection of pre-existing error modes rather than learned exploitation: FP incidence does not grow within our horizon, and untrained base models already produce the same wrong outputs under the leaky filter. We then turn the same instrument on the frontier judges themselves: on their own false positives they self-assess only weakly, a same-author test is unresolved, and even the highest-scoring reader we probe stays far below its score on a weaker policy's errors -- two subjects on MBPP, licensing nothing about frontier models in general. A cheap static audit locates exposure before training; hardening the reward removes the measurement inflation, though here it buys little capability.
강화학습(RL)은 멀티모달 대규모 언어 모델(MLLM)을 정렬하는 데 점점 더 많이 활용되고 있지만, 높은 보상이 항상 더 나은 태스크 성능을 의미하지는 않는다. 시각적 증거가 텍스트 전용 또는 약하게 그라운딩된 보상으로 평가될 때 이 위험은 증폭된다. 우리는 안전성 VQA, 차트 VQA, 스트레스 테스트 환경에서 MLLM 강화학습의 보상 해킹을 연구하며, 보상 설계, 데이터 모호성, 모델 규모(2B~32B), RL 알고리즘(GRPO, RLOO, DAPO)을 변화시켜 실험한다. 우리는 프록시 보상이 SFT 기준선 대비 향상된 샘플 중 실패 사례를 측정하는 새롭게 보상된 실패율(NRFR, Newly Rewarded Failure Rate)을 도입한다. 결과만을 활용한 보상(outcome-only rewards)은 보상 해킹률(RHR, Reward Hacking Rate) 48.1%에 달하는 심각한 해킹을 유발하며, NRFR이 RHR을 초과하는 현상은 RL이 기존 실패를 단순히 계승하는 것이 아니라 새로운 실패를 생성함을 보여준다. 스케일링은 해킹을 줄이지만 완전히 제거하지는 못한다: 32B 모델조차 결과만을 활용한 보상 하에서 54.9% 더 나쁜 비율을 유지하는 반면, 답변 인식 보상(answer-aware rewards)은 모든 규모에서 오라클 추세를 개선한다. 강건성 또한 알고리즘 및 규모에 의존적이다: GRPO는 일관되게 가장 강한 저항성을 보이고, RLOO는 취약한 상태를 유지하며, DAPO는 2B에서 8B로 확장 시 상당히 개선된다. 시각적 증거 보상(visual-evidence rewards)은 신뢰할 수 있는 검증이 있을 때만 도움이 된다: 키워드 기반 검사는 해킹을 증가시키는 반면, VLM-as-judge 의미론적 검증은 이를 감소시킨다. 전반적으로 멀티모달 보상 해킹은 불완전한 보상을 최적화한 체계적인 결과이며, 강건한 정렬(alignment)을 위해서는 최적화 압력 하에서도 신뢰성을 유지하는 보상과 검증기가 필요하다.