arXiv:2611.22605v1 cs.AI

단순한 방법의 효과: 시연 조건부 프롬프트 탐색으로 프롬프트 옵티마이저 검증하기

Simplicity Goes Far: Auditing Prompt Optimizers with Demonstration-Conditioned Prompt Search

Bohe Chen

제출 2026-11-18

한국어 초록

자동 프롬프트 최적화가 점점 복잡해지고 있다. 최근 방법은 정책 그래디언트 갱신, 실행 기록에 대한 성찰, 진화 탐색을 겹쳐 사용한다. 이 방법들에는 공통으로 후보를 생성해 선별하는 단계가 있다. 이를 통제하지 않으면 보고된 성능 향상에서 옵티마이저 기제의 기여와 더 큰 샘플링 예산의 효과가 섞일 수 있다. 이 단계를 시연 조건부 프롬프트 탐색(DCPS)으로 분리해 분석한다. Automatic Prompt Engineer(APE)의 절차를 기제별 기여를 판단하는 대조군으로 재사용한다. 생성기를 동결하고 무작위로 뽑은 시연을 조건으로 후보를 만든다. 검증 데이터에서 후보를 채점해 최선의 것을 남기며, 학습에 따른 갱신이나 성찰, 진화는 적용하지 않는다. 서로 다른 두 계열의 옵티마이저에서 비교했다. StablePrompt에서는 근위 정책 최적화(PPO)를 DCPS로 바꿔 측정 비용을 약 3분의 1로 줄이면서 분류 정확도 차이를 0.5%포인트 이내로 유지했다. DSPy 기반 복합 AI 시스템에서는 보고한 예산 조건에서 GPT-4.1-mini를 쓴 GEPA와 매크로 정확도가 비슷했다. 평균적으로 롤아웃은 55% 적었고 측정한 API 비용은 32% 낮았다. 감사 결과는 과제에 따라 달랐다. 후보 제안과 선별만으로도 구조화된 과제와 지시 따르기 과제에서 더 복잡한 옵티마이저의 성능을 상당 부분 재현했다. 추가 기제는 일부 개방형 과제와 추론이 많이 필요한 과제에서 여전히 우위를 보였다. 프롬프트 옵티마이저를 후보 생성·선별 대조군과 비교하고 정확도와 함께 롤아웃 수, 토큰 사용량, 달러 비용을 보고할 것을 권한다. 코드와 산출물은 https://github.com/bhc6/DCPS 에 공개되어 있다.

원문 초록

Automatic prompt optimization is growing more elaborate. Recent methods stack policy-gradient updates, trace reflection, and evolutionary search. These methods share a generate-and-select step; without controlling for it, reported gains may conflate the contributions of optimizer mechanisms and larger sampling budgets. We isolate this step as Demonstration-Conditioned Prompt Search (DCPS), repurposing the Automatic Prompt Engineer (APE) recipe as a mechanism-attribution control: it freezes the generator, conditions it on randomly sampled demonstrations, scores candidates on validation data, and keeps the best---no learned update, reflection, or evolution. Across two optimizer families, DCPS replaces Proximal Policy Optimization (PPO) in StablePrompt, matching classification accuracy within 0.5 pp at roughly one-third the measured cost; in DSPy-based compound AI systems, under the reported budgets, it matches GEPA's macro accuracy on GPT-4.1-mini while using 55% fewer rollouts at 32% lower measured API cost on average. The audit reveals a task-dependent pattern: proposal and selection recover much of heavier optimizers' performance on structured and instruction-following tasks, while additional mechanisms retain advantages in some open-ended and reasoning-heavy settings. We recommend benchmarking prompt optimizers against generate-and-select controls and reporting rollout counts, token usage, and dollar costs alongside accuracy. Code and artifacts: https://github.com/bhc6/DCPS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22605v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.