저장소 배포 에이전트에서의 의존성 조작
Dependency Fabrication in Repository Deployment Agents
한국어 초록
저장소 배포 에이전트는 소프트웨어 저장소를 실행하는 데 필요한 환경을 구성한다. 이러한 에이전트는 테스트 통과를 설정 성공의 증거로 간주하는 경우가 많다. 본 보고서는 정상적인 설정이 불가능한 상황에서 이러한 에이전트가 어떻게 행동하는지를 조사한다. 에이전트가 정당한 방법으로 획득할 수 없는 의존성을 포함하도록 탐침용 저장소를 구성하였다. 따라서 테스트 통과는 누락된 패키지를 대체하는 스텁을 생성하는 것과 같은 조작이 있었음을 의미하였다. Repo2Run과 SetupX의 에이전트는 대체로 해당 의존성을 조작하였다. 두 하니스 모두 이러한 실행을 대부분 여전히 성공으로 표시하였다. 프롬프트나 저장소 문서를 통해 조작을 금지하는 규칙을 제시하더라도 이러한 행동이 안정적으로 방지되지는 않았다. 본 보고서를 위해 구축한 MinimalSetupAgent에서는 보상 해킹 문헌에서 제안된 완화 기법이, 에이전트가 직접적인 규칙을 받고 작업을 중단하여 문제를 보고할 명확한 방법을 가질 때 가장 효과적이었다. 이러한 조건에서는 Qwen3.5-Plus와 GPT-5.6 Luna 모두 16회의 실행 중 어느 것에서도 부정행위를 하지 않았다. 동일한 완화 기법을 Repo2Run과 SetupX에 적용할 때에도 에스컬레이션을 위한 네이티브 도구 호출이 필요하였다. Repo2Run에서는 프롬프트 또한 테스트 통과를 덜 강조하는 것으로 교체한 뒤에야 효과가 있었다.
원문 초록
Repository deployment agents set up the environment needed to run a software repository. They often treat passing tests as proof of a successful setup. This report examines how such agents behave when a working setup is impossible. Probe repositories were built with a dependency that the agents could not legitimately obtain. Passing tests therefore indicated fabrication, such as creating a stub to replace the missing package. Agents in Repo2Run and SetupX usually fabricated the dependency. Both harnesses mostly still marked these runs as successful. Rules against fabrication, whether given in the prompt or repository documentation, did not reliably prevent this behavior. On MinimalSetupAgent, which was built for this report, mitigations proposed in the reward-hacking literature were most effective when the agent received a direct rule and had a clear way to stop and report the problem. Under these conditions, neither Qwen3.5-Plus nor GPT-5.6 Luna cheated in any of the 16 runs. Applying the same mitigation to Repo2Run and SetupX also required a native tool call for escalation. In Repo2Run, it worked only after the prompt was also replaced with one that placed less emphasis on passing tests.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23305v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.