Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts
한국어 초록
시스템 프롬프트는 현대 AI 시스템의 중심 제어 메커니즘으로, 대화, 작업, 사용자 집단 전반에 걸쳐 행동을 형성합니다. 그러나 피드백이 개별 예시별 레이블, 실패 사례, 또는 비평이 아니라 집계 메트릭만으로 제공될 때는 이를 조정하기가 어렵습니다. 우리는 이러한 집계 피드백 설정을 이산적이고 가변 길이인 텍스트에 대한 샘플 제약이 있는 블랙박스 최적화로 연구합니다. 우리는 \emph{elicitation을 통한 임베딩(embedding by elicitation)}에 기반한 베이지안 최적화 프레임워크인 ReElicit를 제안합니다. 작업 설명, 이전에 평가된 프롬프트, 그리고 스칼라 점수가 주어지면, LLM은 간결하고 해석 가능한 특징 공간을 유도하고 프롬프트를 그 공간에 매핑합니다. 확률적 가우시안 프로세스 대리모형을 활용하여, 획득 함수는 목표 특징 벡터를 선택하고, LLM은 이를 구현하여 배포 가능한 시스템 프롬프트로 정제합니다. 새로운 평가가 도착할 때마다 특징 공간을 다시 유도함으로써, 표현은 관측된 프롬프트-점수 이력에 맞게 적응할 수 있습니다. 우리는 오프라인 벤치마크 정확도를 통제된 집계 대리 지표로 사용하여 이 설정을 평가합니다. 최적화기는 프롬프트당 하나의 스칼라 점수만 관측하며, 개별 예시별 레이블, 오류, 또는 비평은 관측하지 않습니다. 총 30회의 평가 예산으로 수행한 10개의 시스템 프롬프트 최적화 작업에서, ReElicit는 대표적인 집계 전용 프롬프트 최적화 기준선들 중에서 가장 강한 집계 성능 프로파일을 달성합니다. 이러한 결과는 LLM이 자연어 인공물에 대한 베이지안 최적화에서 프롬프트 생성기일 뿐 아니라, 적응형 의미 표현 구축기 역할도 할 수 있음을 시사합니다.
요약
현대의 시스템 프롬프트는 대화형 인공지능의 행동 양식을 좌우하는 핵심 제어 장치이지만, 실제 환경에서는 개별 예시의 정답 여부나 오류 원인보다 집계된 하나의 점수만 주어지는 경우가 많아 정교하게 조정하기 어렵다. 이러한 제약을 다루기 위해 제안된 ReElicit는 시스템 프롬프트 최적화를 이산적이고 길이가 가변적인 자연어 아티팩트에 대한 샘플 제약 블랙박스 최적화 문제로 보고, 대규모 언어 모델(large language model, LLM)이 단순히 문장을 생성하는 역할을 넘어 의미적 표현 공간 자체를 구성하도록 유도한다. 구체적으로는 과제 설명, 기존에 평가된 프롬프트, 그리고 각 프롬프트의 스칼라 점수만을 입력으로 받아, LLM이 간결하고 해석 가능한 특징 공간(feature space)을 먼저 추출하고 그 공간 안에 프롬프트를 사상하는 방식을 취한다. 이렇게 만들어진 표현 위에서는 가우시안 프로세스(Gaussian process) 대리 모델이 점수 분포를 근사하고, 베이지안 최적화(Bayesian optimization)의 획득 함수(acquisition function)가 다음에 탐색할 타깃 특징 벡터를 선택함으로써 탐색과 활용의 균형을 체계적으로 조정한다. 이후 LLM은 선택된 특징 벡터를 실제 배포 가능한 시스템 프롬프트로 구체화하며, 새 평가 결과가 들어올 때마다 특징 공간을 다시 유도하는 재귀적 갱신 과정을 통해 표현 자체를 관측 이력에 맞게 적응시킨다. 이 접근의 중요한 기여는 프롬프트를 직접 미세조정하는 대신, 프롬프트를 설명하는 좌표축을 동적으로 재구성한다는 점에 있다. 전통적인 프롬프트 탐색이 텍스트 표면형의 변형에 머무른다면, ReElicit는 어떤 의미적 속성이 성능을 설명하는지부터 다시 묻고, 그 의미 축을 바탕으로 최적화를 수행한다. 따라서 해석 가능성이 유지되면서도, 사람이 미리 특징을 설계하지 않아도 되는 장점이 생긴다. 실험은 예시별 라벨이나 오류 설명이 전혀 없는 집계 피드백 환경을 가정하고, 오프라인 벤치마크 정확도를 하나의 스칼라 신호로만 활용하여 현실적인 제약을 엄격하게 모사했다. 10개의 시스템 프롬프트 최적화 과제에서 총 30회의 평가 예산만 허용된 조건에서도 ReElicit는 대표적인 집계 피드백 기반 기준선들 가운데 가장 강한 전체 성능을 보였으며, 이는 적은 관측만으로도 적응적 의미 표현을 구축하는 전략이 유효함을 시사한다. 특히 반복이 진행될수록 유도된 특징 공간의 적합도가 높아지는 사례는, 초기의 거친 의미 축이 점차 더 정교한 축으로 수렴하면서 최적화 효율이 개선된다는 점을 잘 보여준다. 결국 이 논문은 LLM을 프롬프트 생성기뿐 아니라 자연어 아티팩트의 의미 공간을 설계하는 적응적 표현 구성기로 재해석하며, 제한된 피드백만 존재하는 환경에서도 베이지안 최적화를 효과적으로 적용할 수 있는 새로운 방법론을 제시한다. 이러한 관점은 시스템 프롬프트 튜닝을 넘어, 정책 문구나 응답 지침처럼 평가 신호가 희소한 다양한 자연어 최적화 문제로 확장될 가능성을 열어준다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.