arXiv:2610.03458v1 cs.AI

0에 가까운 모니터 판독값이 행동 제어의 증거는 아니다

A Near-Zero Monitor Readout Is Not Evidence of Behavioral Control

Zhe Zhou, Tianhua Tao

제출 2026-10-02

저자 비고

arXiv Comments

17 pages, 2 figures, 10 tables. Accepted as a poster at the NeurIPS 2026 Workshop on Foundations of LLM Post-Training in Changing Environments (FLLMPT)

한국어 초록

검증 가능한 보상(reward)을 사용하는 사후 학습(post-training)은 보상 해킹(reward hacking)을 유발할 수 있으며, 이에 따라 모니터를 단순히 오프라인 감사용으로만 쓰지 않고 학습(training) 목표 내에 포함하여 활용하려는 시도가 이어지고 있습니다. 본 연구에서는 모니터 판독값이 낮다고 해서 이러한 개입이 모델의 행동을 실제로 제어하는지 여부를 판별할 수는 없음을 보입니다. 추론 과정(reasoning trace)의 시작 부분에서 주요 익스플로잇(exploit)을 활용할 수 있는 코드 생성 환경(environment)에서, 동일한 오프라인 게이트를 통과한 세 가지 모니터(도메인 내 활성화 프로브 1개 및 정책이 자체 최종 답변을 얼마나 일찍 확정하는지에 따라 페널티를 부여하는 방식 2개)를 대상으로 정책을 학습시켰습니다. 프로브 점수는 기록된 첫 번째 학습 단계부터 수치적 최저치(floor)에 머물렀으며, 모든 접두 문맥(prefix) 학습 실행의 종점 기준 학습 점수 중앙값은 0이었습니다. 이러한 판독값들은 서로 다른 양을 추정하므로 척도를 직접 비교하지는 않지만, 각 모니터 계열 내에서 낮은 수치 자체가 행동 제어를 입증하지는 못합니다. 하나의 고정된 구성 내에서도 동일한 0의 중앙값 학습 점수를 갖는 접두 문맥 학습 실행들은 시드(seed) 차이만으로도 해킹 비율이 낮은 혼합 영역부터 거의 순수한 보상 해킹에 이르는 범위까지 다양하게 나타납니다. 모든 프로브 실행은 해킹 영역에 도달하지만, 이들의 최저치 판독값은 프로브가 검증된 위치와 학습 중 읽힌 위치 간의 불일치를 반영할 뿐 이러한 모호성의 또 다른 사례는 아닙니다. 텍스트 수준 분석 결과 접두 문맥의 실패 모드가 확인되었습니다. 일반적인 계획 수립과 무의미한 껍데기(filler shell) 문구가 익스플로잇을 최종 출력에서 제거하지 않고 단지 기준 지점 이후로 미루는 현상입니다. 따라서 낮게 측정된 확정도는 낮은 해킹 비율과 익스플로잇에 대한 지연된 확정을 구분하지 못합니다. 오프라인 판별 능력과 모니터에 정렬된 낮은 판독값만으로는 행동 제어의 충분한 증거가 될 수 없으며, 대역 외(out-of-band) 행동 검증이 필수적입니다. 본 연구는 판독값의 진화 과정이 아닌 종점 판독값을 특성화합니다. 코드는 https://github.com/zhezhou1106/spoof-cost 에서 확인할 수 있습니다.

원문 초록

Post-training with verifiable rewards can induce reward hacking, motivating the use of monitors within the training objective rather than solely for offline auditing. We show that a low monitor readout does not identify whether such an intervention controls behavior. In a code-generation environment whose dominant exploit is available at the start of the reasoning trace, we train policies against three monitors that pass the same offline gate: an in-domain activation probe and two penalties conditioned on how early the policy commits to its own final answer. The probe score is at its numerical floor from the first recorded training step, and the trained-score median is zero for every prefix-trained run at the endpoint. These readouts estimate different quantities, and we do not compare their scales; within each monitor family, however, low values do not establish behavioral control. Within one fixed configuration, prefix-trained runs with the same zero-median trained score range, by seed alone, from a mixed regime with a low hacking share to near-pure reward hacking. All probe runs reach the hacking regime, but their floor-level readout reflects a mismatch between the position where the probe was validated and the position where it was read during training, not a second instance of this ambiguity. Text-level analysis identifies a prefix failure mode: generic planning and filler shells postpone the exploit past the cut without eliminating it from the final output. Low measured commitment therefore does not distinguish a low hacking share from delayed commitment to the exploit. Offline discrimination and low monitor-aligned readouts are insufficient evidence of behavioral control; an out-of-band behavioral check is required. We characterize the endpoint readout, not its evolution. Code is available at https://github.com/zhezhou1106/spoof-cost.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03458v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03055v1cs.AI공통 태그 Code Generation, reinforcement learning rl, reward hacking

hacktrace: 코드 생성 중 행동 지도 기반 보상 해킹 탐지

hacktrace: behavior-supervised detection of reward hacking during code generation

코딩 에이전트는 코드를 수정함으로써 통과 점수를 얻을 수도 있지만, 버그를 드러내는 테스트를 삭제하여 통과할 수도 있습니다. 이러한 보상 해킹(reward hacking)을 탐지하려면 실패한 시도를 포함하여 지름길을 취하려는 시도를 식별해야 합니다. 본 연구에서는 Qwen3-8B 기반의 주석이 달린 173,561개의 다중 턴(multi-turn) 코딩 궤적을 공개하고, 악용 성공 여부와 무관하게 지름길 행동을 지도 학습(supervision)하는 것이 탐지 성능을 크게 향상시킴을 보입니다. 또한 에이전트가 코드를 생성하는 동안 이미 계산하는 내부 상태를 읽어내는 행동 지도 기반 모니터인 HACKTRACE를 소개합니다. 이러한 상태를 재사용하면 추가적인 언어 모델 토큰이나 패스 없이도 턴이 완료되기 전에 모니터링이 가능합니다. 이 증거를 최종 파일의 정적 특징과 결합하면 8ms의 모니터링 오버헤드로 문제당 평균 AUC 0.997을 달성하며, 정직성에 대한 질문과 답변으로 모델을 재실행하는 모니터에 비해 정확도와 지연 시간(latency)을 모두 개선합니다. 동일한 생성 상태는 강화학습을 위한 저비용 모니터링 신호도 제공합니다. 강력한 GRPO 페널티를 적용했을 때, HACKTRACE는 정책이 발전함에 따라 정직하고 올바른 솔루션을 유지하고 높은 탐지 정확도를 유지하면서도, 통과된 솔루션 중 부정행위의 비율을 82-91%에서 1-5%로 줄입니다. 본 연구 결과는 정확한 탐지를 유용한 학습 신호로 전환하는 데 있어 지도 대상과 모니터링 증거의 출처가 모두 중요하다는 점을 보여줍니다.

arXiv:2610.10619v1cs.SE공통 태그 Code Generation, reward hacking

TestJack: 코딩 벤치마크 결과를 신뢰할 수 있는가? 평가자 진화를 통한 에이전트 기반 코딩 벤치마크 감사

TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution

대규모 언어 모델(LLM) 에이전트(agent)는 새로운 코드 벤치마크의 폭발적인 증가와 함께 소프트웨어 엔지니어링 환경을 빠르게 재편하고 있습니다. 그러나 거의 모든 기존 벤치마크는 여전히 수십 년 된 동일한 기준에 의존하고 있습니다. 즉, 고정된 단위 테스트 세트를 통과하면 해당 솔루션이 올바르다고 판단하는 것입니다. 이러한 테스트는 불충분한 경우가 많습니다. 작업에 필요한 요구사항 중 일부만 검사하므로, 에이전트가 모든 테스트를 통과하면서도 보상 해킹(reward hacking)을 하거나 필수 동작을 은밀히 누락할 수 있습니다. 결과적으로 더 높은 벤치마크 점수는 더 뛰어난 문제 해결 능력보다는 평가자에 더 잘 적응했음을 부분적으로 반영할 수 있습니다. 기존 연구들은 정적 테스트 증강에 초점을 맞추고 있습니다. 즉, 어떠한 시도도 관찰하기 전에 각 작업의 테스트를 사전에 한 번 강화하므로, 실제 시도가 실제로 어떻게 실패하는지를 간과합니다. 본 논문에서는 고정된 테스트를 넘어 패치를 평가하기 위한 확장 가능한 프레임워크인 TestJack을 소개합니다. TestJack은 각 시도마다 패치가 위반할 수 있는 프롬프트 요구사항을 겨냥한 테스트를 생성하고, 정답 패치가 통과한 테스트만 유지하며, 모든 시도 실패를 재검토합니다. 따라서 확인된 각 실패는 재생 가능한 테스트를 통해 뒷받침됩니다. 또한 평가 비용을 줄이기 위해 무작위로 추출된 시도 샘플을 심층 감사하고, 그 결과로 얻은 테스트를 동일한 작업의 모든 시도에 재사용하는 경량 변형 모델도 소개합니다. 6개의 프론티어 모델 백엔드와 DeepSWE 및 SWE Marathon을 포함한 5개 벤치마크에 걸쳐 평가한 결과, 현재 올바른 것으로 판정된 모델 시도의 약 34.4%가 작업 요구사항을 위반하여 전체 해결률(resolution rate)이 50.6%에서 33.2%로 낮아지는 것을 발견했습니다. 본 연구 결과는 현재 코딩 에이전트 평가의 근본적인 한계를 드러냅니다. LLM이 고정된 평가자에 맞추어 최적화하는 능력이 향상됨에 따라, 평가자 자체도 더욱 적응적으로 진화해야 합니다.

arXiv:2610.02527v1cs.RO공통 태그 reinforcement learning rl, reward hacking

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.

arXiv:2610.02405v1cs.AI공통 태그 Code Generation, reinforcement learning rl

터미널 에이전트 학습이 정체될 때: 데이터 생성 및 검증의 과제 규명

When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge

강화학습(RL) 학습을 위한 터미널 작업과 검증기(verifier)를 생성하기 위해 Claude Opus와 같은 프론티어 모델을 메타 에이전트로 사용하는 방식이 점차 보편화되고 있습니다. 그러나 실행 가능한 Docker 이미지와 실행 테스트 스위트가 존재하더라도 터미널 에이전트 학습을 위한 신뢰할 수 있는 엔드투엔드 파이프라인이 보장되지는 않습니다. 본 연구에서는 이러한 간극에서 착안하여 벤치마크 무효성, 하네스 취약성, 보상 정렬 불일치라는 세 가지 유형의 실패를 진단하는 메타 에이전트 파이프라인을 제시합니다. 프롬프트 재설계와 컨텍스트 확장을 통해 기준선(baseline) 해결 가능성을 5.6배 높였으나, Claude Opus가 생성한 작업에서 9B 모델은 20스텝 이내에 평균 pass@2 81.3%로 포화 상태에 도달합니다. 학습 설정을 변경하지 않고 고난도 작업을 추가하면 평균 pass@2가 20.6%로 감소하며, 이는 해결 가능성 대역(solvability band)이 모델에 따라 고유함을 보여주는 강력한 증거입니다. 이러한 결과는 메타 에이전트의 신뢰성을 확보하기 위해 해결 가능성 대역 보정, 검증기 감사, 인프라 오류 계산이 사후 진단이 아닌 일급(first-class) 평가 기준으로 요구됨을 보여줍니다.

arXiv:2610.03185v1cs.AI공통 태그 reinforcement learning rl, reward hacking

온-정책 증류에서의 이득과 붕괴: 강화학습 관점

Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective

온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.

arXiv:2610.01236v1cs.AI공통 태그 Code Generation, reinforcement learning rl

질문하는 법 배우기: 예산 제약 조건 하에서 SLM-LLM 협업을 위한 정보 획득

Learning to Ask: Information Acquisition for SLM-LLM Collaboration, under a budget

소형 언어 모델(SLM)과 대규모 언어 모델(LLM) 간의 협업은 소형 모델의 효율성과 대형 모델의 강력한 추론 능력을 결합할 기회를 제공합니다. 기존 접근 방식은 주로 이러한 협업을 연산 할당(computation allocation) 문제로 규정하여, 추론 과정의 각 부분을 어떤 모델이 처리해야 할지 결정합니다. 그러나 블랙박스 API 기반 환경에서는 거친 입도(coarse-grained)의 위임이나 모델 전환 간의 반복적인 문맥 전송으로 인해 이러한 패러다임이 비효율적일 수 있습니다. 본 연구에서는 이를 대신하여 SLM-LLM 협업을 API 예산 제약 조건 하의 정보 획득(information acquisition) 문제로 공식화합니다. SLM은 주요 추론 주체로 유지되며 추론 과정 자체를 위임하기보다는 표적화된 질의를 전달함으로써, 필요할 때만 선별적으로 블랙박스 LLM 조언자(advisor)에게 질의합니다. 이러한 전략을 실현하기 위해, 우리는 조언자 호출 여부, 유용한 질의 구성 방법, 그리고 조언자 호출과 정보 활용을 공동으로 개선하여 협업을 추론 과정에 통합하는 방법을 학습하는 3단계 RLVR 프레임워크를 개발합니다. 수학적 추론 및 코딩 작업 전반에서 우리의 접근 방식은 기존 협업 베이스라인 대비 성능-비용 트레이드오프를 개선하며, 일부 환경에서는 오라클(oracle) 문제 수준 라우팅과 일치하거나 이를 능가합니다. 마지막으로, 우리는 추가 학습 없이도 우리의 전략이 다른 조언자 모델 군(family)으로 전이될 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.