컨텍스트 엔지니어링은 매개변수 업데이트 없이 AI 시스템을 개선하는 주요 수단으로 부상했습니다. 텍스트 기울기가 실제 기울기처럼 기능하지 않는다는 것을 보여주는 최근 연구는 자동 프롬프트 최적화(APO)를 블랙박스 탐색으로 취급하게 만듭니다. 우리는 프롬프트 공간에 대한 확률적 탐색을 위한 프레임워크인 SPO(Stochastic Prompt Optimization)를 소개하고, 점차 정교해지는 세 가지 전략을 비교합니다: 오류 정보 기반 무작위 탐색, 진화 연산자를 갖는 유전자 알고리즘, 그리고 진단 코드 실행을 포함하는 멀티 에이전트 파이프라인인 SAGE(SPO via Agent-Guided Exploration)입니다. 세 가지 벤치마크에 걸쳐 단일 전략이 우위를 점하지는 못했으며, 효과성은 지형 구조와 오류 유형의 상호작용에 따라 달라졌습니다. 우리는 또한 연속 최적화 패러다임 하에서 멘탈 헬스 챗봇에 SAGE를 배포했으며, 여기서 SAGE는 개별적으로 노이즈가 많은 8 사이클의 A/B 테스트를 통계적으로 견고한 다음 날 유지율 향상으로 누적했습니다. 우리는 정성적 진단과 정량적 검증의 결합이 개방형 과제 중심 대화에서 에이전트 최적화를 효과적으로 만드는 요인이라고 주장합니다.
의생명 비전-언어(vision-language) 모델의 임상 도입은 해석 불가능한 잠재 벡터나 단일 텍스트 프롬프트만을 생성하는 기존 프롬프트 최적화(prompt optimization) 기술로 인해 저해되고 있습니다. 이러한 투명성 부족과 다양한 관찰 결과를 통합하는 데 의존하는 임상 진단의 다면적 특성을 포착하지 못하는 한계는 고위험 환경에서 모델의 신뢰성을 제한합니다. 이를 해결하기 위해, 본 논문에서는 대규모 언어 모델(LLM)을 의생명 지식 추출기이자 적응형 옵티마이저(optimizer)로 활용하여 질병 진단을 위한 해석 가능한 자연어 프롬프트 쌍의 다양한 앙상블(ensemble)을 자동으로 생성하는 진화형 프레임워크인 BiomedXPro를 제안합니다. 여러 의생명 벤치마크(benchmark)에 대한 실험 결과, BiomedXPro는 특히 데이터가 희소한 퓨샷(few-shot) 설정에서 최신 프롬프트 튜닝(prompt-tuning) 기법들을 일관되게 능가하는 것으로 나타났습니다. 또한, 분석을 통해 발견된 프롬프트와 통계적으로 유의미한 임상 특징 간의 강력한 의미론적 정렬(semantic alignment)을 입증하여, 검증 가능한 개념에 모델 성능을 그라운딩(grounding)했습니다. 해석 가능한 프롬프트의 다양한 앙상블을 생성함으로써, BiomedXPro는 모델 예측에 대한 검증 가능한 근거를 제공하며, 더욱 신뢰할 수 있고 임상적으로 정렬된 AI 시스템 개발을 향한 중요한 진전을 제시합니다.
대규모 언어 모델(LLM)의 능력이 발전함에 따라 모델 평가는 점점 더 어려워지고 있습니다. 벤치마크는 포화될 수 있고, 공개 테스트 세트는 오염 위험이 있으며, 더 어려운 태스크를 평가하려면 비용이 많이 드는 채점이나 실행 인프라가 필요할 수 있습니다. 이러한 과제들은 더 나은 프롬프트를 탐색하는 과정에서 평가가 반복되는 자동 프롬프트 최적화(APO)에서 더욱 증폭됩니다. 따라서 APO를 연구하려면 점수 계산이 저렴하고 결정론적이며, 개선의 여지를 둘 만큼 충분히 어렵고, 모델 진화에 따라 갱신 가능한 벤치마크가 필요합니다. 본 연구에서는 가중치 업데이트 없이 프롬프트만 최적화하는 고정된(frozen) LLM의 APO를 연구하기 위해 1,118개의 Lichess 퍼즐로 구축된 체스 벤치마크를 소개합니다. 체스는 저렴한 정확 일치(exact-match) 채점, 엔진 기반 대안 수 평가, 난이도 조절이 가능한 갱신형 문제 공급을 결합합니다. 격리된 테스트 항목에 대한 성공 여부만 보고하는 기존 평가와 달리, 본 벤치마크는 퍼즐 해결 성능 향상을 동일 도메인 내의 짧은 게임 플레이 롤아웃(rollout)과도 연결합니다. 우리는 이를 활용하여 8개 타깃 모델에 대해 6가지 APO 알고리즘을 평가하며, 기준선 성능뿐만 아니라 각 모델이 최적화에 얼마나 반응하는지, 최적화된 프롬프트가 모델 간 및 게임 플레이로 전이(transfer)되는지를 측정합니다. 체스는 다음과 같은 이유로 APO에 매우 적합한 벤치마크입니다: (i) 메타 모델로 사용된 가장 강력한 평가 대상 모델인 Gemini 3.5 Flash조차 퍼즐의 약 55%만 해결할 정도로 도전적이며, (ii) 방법론 및 모델 전반에 걸쳐 성능 향상, 변동 없음, 성능 하락을 드러내며 변별력이 있고, (iii) 오염 위험을 줄이는 새로운 퍼즐과 모델 향상에 맞추어 개선 여지를 유지할 수 있는 조절 가능한 난이도를 통해 갱신 가능하며, (iv) 전체 연구 수행 비용이 약 800달러에 불과할 정도로 경제적입니다. 퍼즐 데이터셋, 최적화 및 평가 코드, 데이터셋 갱신 스크립트(https://github.com/imec-ailabs/Automatic-Prompt-Optimization-with-Chess)를 공개합니다.
대규모 언어 모델(LLM)은 다양한 응용에서 인상적인 성능을 보이지만, 유해하거나 의도하지 않은 콘텐츠를 유도하는 탈옥(jailbreak) 공격에 취약하다. 안전성 정렬(alignment)을 위해 모델 미세조정을 선택할 수 있지만, 비용이 크고 치명적 망각(catastrophic forgetting)에 취약하다. 프롬프트 최적화가 유망한 대안으로 부상했지만, 기존 프롬프트 기반 방어는 일반적으로 고정 접두사나 접미사 같은 정적 수정에 의존하여 다양하고 진화하는 공격에 적응할 수 없다. 우리는 deep prompt optimization에 기반한 최초의 탈옥 방어인 Dynamic Deep Prompt Optimization(DDPO)를 제안한다. DDPO는 대상 LLM의 중간 층을 특징 추출기로 사용하여 경량 다층 퍼셉트론을 통해 방어용 임베딩을 동적으로 생성한다. 이렇게 맞춤형으로 생성된 임베딩은 이후 중간 층에 주입되어, LLM의 가중치를 수정하지 않으면서 입력 의존적 방어를 가능하게 한다. 이러한 설계는 최소한의 계산 부담으로 높은 적응성을 보장한다. 다양한 모델과 공격에 대한 실험에서 DDPO는 정적 프롬프트 최적화 방법보다 현저히 우수하며, 특히 정렬이 약한 모델과 의미적으로 모호한 무해한 프롬프트를 다룰 때 실제로 유해한 요청과 이를 성공적으로 구분한다.
고정된 인스트럭션 튜닝 대규모 언어 모델(LLM)에서 목표 텍스트를 생성하는 가장 짧은 그럴듯한 프롬프트의 길이를 측정하는 프롬프팅 복잡도(prompting complexity)를 자원 제한 콜모고로프 복잡도(Kolmogorov complexity)의 언어 모델 상대적 유사체로 형식화하였다. 근사 출력을 위한 소프트 프롬프팅 복잡도, 프롬프팅 거리, 행동적 프롬프팅 복잡도로 개념을 확장하며, 어떤 텍스트와 행동이 짧은 프롬프트로 접근 가능한지를 실증적으로 연구하기 위한 연구 의제를 제안한다.
LLM이 생성한 JSON 출력물을 정형 구조를 고려해 결정론적으로 채점하는 오픈소스 Python 라이브러리 Object Aligner(OA)를 소개하며, 헝가리안 알고리즘과 Weisfeiler-Leman 색상 세분화를 활용한 참조 정렬(referential alignment)로 식별자 재번호 매기기에 불변하는 그래프·하이퍼그래프 유사도 점수를 제공한다. GEPA 프롬프트 최적화기의 보상 신호로 사용했을 때 모든 데이터셋에서 성능이 향상되거나 유지되었으며, 별도의 LLM 호출 없이 순위가 매겨진 수정 제안도 생성한다.
대화형 추천 시스템(CRS)을 위한 대규모 언어 모델(LLM) 기반 사용자 시뮬레이터의 프롬프트를 자동으로 최적화하는 다목적 프레임워크를 제안하며, 긍정 편향, 데이터 누출, 행동 다양성 부족이라는 세 가지 핵심 문제를 동시에 해결한다. 엔트로피 기반 다양성 메트릭과 TextGrad 최적화 루프, 프로필 요약 기법을 결합하여 GPT-3.5/GPT-4 기반 방법 대비 실제 인간 상호작용 패턴과의 행동 정렬을 향상시켰다.
LLM 기반 프롬프트 최적화는 LLM이 제공하는 "텍스트 그래디언트(textual gradients)"(피드백)를 활용해 프롬프트를 개선하는 방법으로, 자동 프롬프트 엔지니어링의 효과적인 기법으로 부상하고 있다. 그러나 학습에 더 많은 데이터를 사용할 경우 확장성과 안정성이 불분명하다. 우리는 텍스트 경사하강법에서 학습 데이터를 확장하는 것의 가능성과 도전과제를 체계적으로 조사한다. 학습 예제를 단순히 늘리는 것은 명시적인 컨텍스트 길이 제한과 암묵적인 컨텍스트 벽(context wall) — 긴 컨텍스트에서의 성능 저하로 인한 수확 체감 — 으로 인해 실현 불가능함을 보인다. 확률적 경사하강법(stochastic gradient descent)의 선행 연구에서 영감을 받아, 우리는 모멘텀 샘플링을 통해 업데이트를 재가중치화하는 모멘텀 기반 텍스트 확률적 경사하강법(TSGD-M, Textual Stochastic Gradient Descent with Momentum)을 제안한다. 이 방법은 과거 프롬프트들에 대한 중요도 가중치로 부트스트랩된 미니배치 검증 정확도를 활용한다. TSGD를 안정화하고 제한된 컨텍스트 윈도우 내에서 효과적인 스케일링을 가능하게 하기 위해, TSGD-M은 입력 컨텍스트 길이를 확장하지 않고 과거 상위 성능 프롬프트들을 동적으로 탐색함으로써 이전 프롬프트 정보를 전달한다. TSGD-M은 TextGrad, DSPy-COPRO, AdalFlow를 포함한 기존 프롬프트 최적화 프레임워크에 원활하게 통합되며, 6개의 벤치마크에서 일관된 성능 향상을 달성한다.
대화형 환경의 대규모 언어 모델(LLM) 에이전트는 프롬프트에 매우 민감하지만, 프롬프트 엔지니어링은 여전히 수동적이고 작업 특화적인 과정입니다. 본 연구는 관찰-행동 파이프라인을 목표 조건부 설명자 에이전트와 행동 선택 에이전트로 분해하고, 환경 리턴(returns)에 의해 안내되는 LLM 기반 진화 루프를 통해 각 모듈의 프롬프트를 반복적으로 정제하는 LLM 에이전트용 자동 프롬프트 최적화 프레임워크를 소개합니다. 우리는 에피소드 결과를 특정 프롬프트 구성 요소에 귀속시키는 행동 분석기와, 환경 롤아웃을 통해 검증하기 전에 프롬프트에 대한 목표 지향적인 수정을 제안하는 변이기(mutator)를 제안합니다. 우리는 BALROG 벤치마크의 모든 5개 BabyAI 작업에서 평가를 수행하며, 일반 및 안내된 프롬프트 초기화 조건 하에서 우리의 파이프라인을 BALROG의 RobustCoTAgent와 비교합니다. 최적화는 모델 가중치 업데이트 없이도 모든 작업과 조건에서 성능을 일관되게 향상시킵니다. RobustCoTAgent가 0%의 성공률을 기록하는 다단계 조정 작업인 PutNext에서, 우리의 프레임워크는 최적화된 프롬프트를 사용하여 동일한 기본 LLM로 최대 72.5%의 성공률에 도달합니다. 이러한 결과는 자동 프롬프트 최적화와 결합된 멀티 에이전트 프레임워크가 미세조정이나 광범위한 인간 감독 없이도 LLM을 향상시킬 수 있음을 시사합니다.
언어 모델은 검증 가능한 보상을 활용하여 다양한 추론 작업에서 성능을 향상시킬 수 있습니다. 그러나 이를 위한 파라메트릭(예: RLVR) 및 비파라메트릭(예: 프롬프트 최적화) 접근 방식은 일반적으로 수백 개의 학습 샘플과 수천 개의 모델 롤아웃을 필요로 하여, 최상의 경우에도 비용이 많이 들고 최악의 경우에는 처리 불가능한 문제를 야기합니다. 이러한 문제를 해결하기 위해 우리는 대조적 성찰(Contrastive Reflection, CORE)을 소개합니다. CORE는 과거의 추론 추적을 비교하여 통찰을 생성하는 비파라메트릭 학습 알고리즘입니다. 여기서 통찰이란 성공적인 문제 해결 시도와 실패한 시도 간의 차이를 포착하는 추론 전략과 제약 조건에 대한 짧은 자연어 설명을 의미합니다. 네 가지 추론 작업에 걸쳐, CORE는 더 적은 롤아웃을 사용하면서도 파라메트릭(GRPO) 및 비파라메트릭(GEPA, 에피소드 RAG, MemRL) 방법보다 더 빠른 향상을 이끌어낸다는 것을 입증합니다. 단 5개의 학습 샘플만으로 고정된 롤아웃 예산 하에서도 CORE는 대부분의 작업-데이터 상황에서 최고의 성능을 달성합니다. 마지막으로, CORE가 비파라메트릭 기준선보다 컨텍스트 효율성이 훨씬 높으며, 학습된 지식을 압축적이고 해석 가능한 자연어 통찰로 저장하면서 더 적은 프롬프트 토큰을 요구한다는 점을 강조합니다. 따라서 우리의 결과는 성공적인 추론 추적과 실패한 추론 추적 간의 대비를 추상적이고 유용한 통찰로 증류하는 것이 가중치 업데이트, 프롬프트 최적화 또는 저장된 추론 추적의 직접 재사용보다 모델 자기 향상을 위한 더 효율적이고 해석 가능한 경로가 될 수 있음을 시사합니다.