PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20852v1cs.AI

공개 테스트 통과 코드를 위한 Code Monitor Red Teaming

Code Monitor Red Teaming for Public-Test-Passing Code

가시적 테스트는 LLM 생성 코드의 일반적인 관문이지만, 이를 통과한다고 해서 명세 정확성이 보장되지는 않는다. 본 연구는 배포 환경과 유사한 모니터링 문제를 다룬다: 코드가 공개 테스트를 통과한 뒤, 더 약한 LLM 검증기(verifier)가 잔존하는 숨겨진(hidden) 버그를 식별할 수 있는가? Code Monitor Red Teaming을 제안한다. 이는 공개 검사(public-check) 정보 경계를 고정한 채 생성기(generator) 압력, 검증기 스캐폴딩(scaffolding), 약-강(weak-to-strong) 역량을 변화시키는 모니터 레드팀 테스팅(red-teaming) 프로토콜이다. 이를 CodeMonitorBench로 구현하며, 함수 수준(function-level), 데이터 과학(data-science), 워크플로우(workflow) 코드를 아우른다. 71,000개 생성 후보 중 43,677개가 공개 테스트를 통과하고, 그중 23,081개는 숨겨진 테스트에서 실패한다. 약한 검증기는 스캐폴딩과 모델 계열에 따라 개선되지만, 5% 거짓 양성(false-positive)률에서도 여전히 대부분의 숨겨진 버그를 놓친다. 강건성(robustness) 스트레스 테스트로, 적대적(adversarial) 공개 테스트 과적합(public-test-overfit) 압력은 검증기 AUROC를 낮추고 대부분의 셀(cell)에서 낮은 FPR(false positive rate) 미스율을 높인다. GLM-5.1 검증기는 동일한 증거(evidence) 경계 하에서 격차의 일부를 회복한다. 추론 가능성(inferability) 감사(audit)는 남은 미스가 검증기 실패와 M1 증거 한계가 혼합되어 있음을 보여준다.