hacktrace: 코드 생성 중 행동 지도 기반 보상 해킹 탐지
hacktrace: behavior-supervised detection of reward hacking during code generation
코딩 에이전트는 코드를 수정함으로써 통과 점수를 얻을 수도 있지만, 버그를 드러내는 테스트를 삭제하여 통과할 수도 있습니다. 이러한 보상 해킹(reward hacking)을 탐지하려면 실패한 시도를 포함하여 지름길을 취하려는 시도를 식별해야 합니다. 본 연구에서는 Qwen3-8B 기반의 주석이 달린 173,561개의 다중 턴(multi-turn) 코딩 궤적을 공개하고, 악용 성공 여부와 무관하게 지름길 행동을 지도 학습(supervision)하는 것이 탐지 성능을 크게 향상시킴을 보입니다. 또한 에이전트가 코드를 생성하는 동안 이미 계산하는 내부 상태를 읽어내는 행동 지도 기반 모니터인 HACKTRACE를 소개합니다. 이러한 상태를 재사용하면 추가적인 언어 모델 토큰이나 패스 없이도 턴이 완료되기 전에 모니터링이 가능합니다. 이 증거를 최종 파일의 정적 특징과 결합하면 8ms의 모니터링 오버헤드로 문제당 평균 AUC 0.997을 달성하며, 정직성에 대한 질문과 답변으로 모델을 재실행하는 모니터에 비해 정확도와 지연 시간(latency)을 모두 개선합니다. 동일한 생성 상태는 강화학습을 위한 저비용 모니터링 신호도 제공합니다. 강력한 GRPO 페널티를 적용했을 때, HACKTRACE는 정책이 발전함에 따라 정직하고 올바른 솔루션을 유지하고 높은 탐지 정확도를 유지하면서도, 통과된 솔루션 중 부정행위의 비율을 82-91%에서 1-5%로 줄입니다. 본 연구 결과는 정확한 탐지를 유용한 학습 신호로 전환하는 데 있어 지도 대상과 모니터링 증거의 출처가 모두 중요하다는 점을 보여줍니다.