ClusterFewshot: LLM 워크플로를 위한 퓨샷 최적화 개선
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
대규모 언어 모델(LLM) 워크플로의 성능은 새로운 태스크에서 모델의 동작을 유도하기 위해 소수의 문맥 내 데모(in-context demonstration)를 선택하는 데 좌우되는 경우가 많다. 최근 방법들은 성공적인 추론 경로를 프롬프트에 덧붙여 이 과정을 개선한다. 그러나 이들의 데모 선택은 무작위 샘플링이나 지표 기반 순위에 의존하므로 태스크의 의미론적 구조를 간과한다. 본 논문은 의미론적 구조화와 효용 인식 점수화(utility-aware scoring)를 결합하여 대표성이 있고 효과적인 퓨샷 데모 집합을 구성하는 전략인 ClusterFewshot을 제안한다. DSPy 기반 파이프라인에서 평가한 결과, ClusterFewshot은 여러 벤치마크에서 최적화 비용을 크게 줄이면서, 프롬프트 튜닝 단독 방식과 프롬프트-가중치 하이브리드 최적화 방식 모두에서 기존 부트스트랩 기반 방법보다 일관되게 정확도를 향상시킨다.