PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11806v2cs.CL

프로덕션 LLM 시스템에서의 외부 경험 서빙: 품질-비용 트레이드오프에 대한 배치 지향 연구

External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

프로덕션 대규모 언어 모델(LLM) 시스템은 재사용 가능한 운영 경험을 축적하지만, 실제 배치 문제는 단순히 그러한 경험이 도움이 되는지 여부가 아닙니다. 문제는 현실적인 제약 조건 하에서 서로 다른 서빙 전략들이 품질과 온라인 비용을 어떻게 상충(trade-off)시키는가입니다. 외부 경험을 주입하면 작업 품질을 향상시킬 수 있지만, 프롬프트 부담, 지연 시간(latency), 및 서빙 압력 또한 증가시킵니다. 우리는 외부 경험 서빙을 배치 지향 품질-비용 트레이드오프 문제로 연구합니다. 우리는 실제 프로덕션 모더레이션(moderation) 설정에서 이 문제를 평가하며, 서로 다른 출력-비용 체제(regimes)를 드러내는 보조 대비 작업으로 툴 사용(tool-use)과 GPQA를 사용합니다. 우리는 경험 없는 베이스라인, 무작위 경험 통제군, 전역 프롬프트 주입, 검색 기반 선택적 주입을 비교하고 작업 품질과 서빙 비용을 모두 분석합니다. 결과에 따르면, 경험이 사례 의존적이게 되면 선택적 검색이 무조건적인 전역 주입보다 더 강력한 운영 지점을 제공합니다. 또한 검색 품질이 단순히 Top-$K$를 늘리는 것보다 더 중요하며, 동일한 서빙 정책이 짧은 출력(short-output) 및 디코딩 집중(decode-heavy) 체제에서 상당히 다른 비용-편익 프로필을 나타낼 수 있음을 보여줍니다. 이러한 발견은 외부 경험을 보편적인 추가 기능이 아닌, 선택적이고 비용 인식적인 서빙 결정으로 취급하는 것이 가장 좋음을 시사합니다. 전반적으로, 여기서 연구된 설정에서 외부 경험은 서빙 인터페이스와 작업별 비용 구조가 품질 향상이 온라인 비용을 감당할 만한 가치가 있게 만들 때만 효과가 있습니다.