LLM 기반 코딩 에이전트(agent)의 시스템 프롬프트(prompt)는 에이전트의 동작을 관장하는 소프트웨어 아티팩트이지만, 기존 소프트웨어에 적용되는 테스팅 인프라가 부족합니다. 본 논문에서는 시스템 프롬프트 내 간섭 패턴을 탐지하기 위해 정식 평가 규칙과 다중 모델(model) LLM 탐색(scouring)을 결합한 프레임워크인 Arbiter를 제시합니다. 세 가지 주요 코딩 에이전트 시스템 프롬프트인 Claude Code(Anthropic), Codex CLI(OpenAI), Gemini CLI(Google)에 적용한 결과, 비방향성 탐색 단계에서 152개의 발견 사항을 식별하고 특정 벤더에 대한 방향성 분석에서 직접 라벨링한 21개의 간섭 패턴을 식별했습니다. 우리는 프롬프트 아키텍처(모놀리식, 플랫, 모듈형)가 심각도와는 관련이 없으나 관찰된 장애 유형과 강한 상관관계가 있으며, 다중 모델 평가가 단일 모델 분석과는 범주적으로 다른 취약점 클래스를 발견한다는 점을 보여줍니다. 탐색기가 발견한 한 가지 사례인 Gemini CLI 메모리 시스템의 구조적 데이터 손실(loss) 문제는 Google이 접수하고 패치한 이슈와 일치했으나, 해당 패치는 탐색기가 식별한 스키마 수준의 근본 원인을 해결하지 않고 증상만 완화한 것이었습니다. 벤더 간 교차 분석의 총비용은 0.27달러(USD)였습니다.
직업별로 상세화된 시스템 프롬프트(system prompt)는 일관된 정확도 향상 없이 응답당 토큰(token) 사용량과 예상 비용을 증가시킨다. 본 연구에서는 Pi 에이전트(agent) 환경 내 OpenRouter를 통한 Gemini 3.8 Flash를 활용하여 503개의 직업별 AGENTS.md 프로필로 구성된 오픈소스 말뭉치인 Scientific Agents를 평가한다. 매칭된 프로필을 최소 기준선("You are a helpful assistant"), 프로필의 시작 역할 문장, 일반적인 과학적 엄밀성 가이드, 관련 없는 도메인의 프로필이라는 네 가지 대조군과 비교한다. 9개의 텍스트 기반 과학 벤치마크(4,531개 표본 문항, 100개 매칭 프로필)에 걸쳐, API 오류 재시도 후 4,488개 항목이 5개 조건 모두를 완료하였으며 자동화된 규칙 기반 채점으로 평가되었다. 프로필과 기준선(baseline) 간의 평균 정확도 차이는 -0.6%p(고정 작업 전반에 걸친 95% 부트스트랩 신뢰구간 [-1.5, +0.2])였으며, 통계적으로 명확한 향상을 보인 벤치마크는 없었다. 매칭된 프로필은 1.5~2.3배 더 많은 출력 토큰을 생성했고 성공적인 호출당 2.2~4.5배 더 많은 비용이 들었다. 도구를 사용하는 60개의 BioMysteryBench 생물정보학 문제(기준선과 프로필 각각 3회 실행)에서 평균 해결률은 프로필 사용 시 46.7%, 기준선에서 56.7%로 -10.0%p의 차이(95% 신뢰구간 [-16.7, -3.3])를 보였으며, 이는 프로필 조건에서 더 빈번하게 발생한 토큰 및 시간 제한 중단에 기인했다. 더 긴 프롬프트는 한 가지 예상치 못한 운영상의 이점을 보였는데, SuperGPQA에서 빈번한 제공업체 API 누락으로 인해 짧은 기준선의 1차 통과 정답률이 54.0%에 불과했던 반면 프로필 조건에서는 71.6%였다. 일반 프롬프트와 불일치 프롬프트도 비슷한 신뢰도를 보였으므로, 이러한 이점은 도메인 전문성보다는 프롬프트 길이나 서식에서 비롯된다. 테스트된 모델(model)과 작업 전반에서 전체 직업 프로필을 기본값으로 로드하는 것은 정확도를 향상시키지 않으면서 비용을 상당히 증가시킨다. 프로필 섹션의 선택적 검색이나 개방형 과학 작업이 이를 변화시킬 수 있는지는 향후 검증 과제로 남아 있다.