RAW: 실제 환경에서의 거절 회피, 배포된 LLM을 위한 인과적 측정 방법
RAW: Refusal Aversion in the Wild, A Causal Measurement Method for Deployed LLMs
한국어 초록
배포된 LLM은 하루에 수억 건의 대화를 처리하며 사용자 요청의 상당 부분을 거절하지만, 거절에 따른 사용자 측 비용, 즉 사용자가 이탈하는지와 그 정도는 어떤 상용 모델에서도 측정된 바 없으며, 이는 이러한 모델 위에 구축된 소비자 대상 플랫폼의 사각지대이다. 거절에 대한 A/B 테스트는 최전선 연구소의 제품에서는 윤리적·운영적으로 제약을 받고, 고정된 API를 통해 이 모델을 배포하는 제3자 플랫폼에서는 수행할 수 없다. 우리는 LLM의 확률성을 자연 실험으로 활용하는 방법 RAW를 소개한다. 기존 로그의 거의 동일한 프롬프트에서 같은 모델이 때로는 거절하고 때로는 거절하지 않으며, 이 변이가 거절의 인과적 사용자 측 효과를 식별해 준다. 이 방법을 사용자 군집 추론과 함께 LMSYS-Chat-1M과 WildChat의 15개 배포 LLM에 적용한 결과, 정밀하게 측정할 수 있는 모델의 약 절반에서 거절은 이후 재참여를 3~17 퍼센트 포인트 감소시켰으며, 나머지는 구분 가능한 효과를 보이지 않았다. 그중 한 배포 사례의 양의 점추정치는 끈질긴 사용자가 거절된 요청을 재시도한 데서 비롯된 것으로 추적하였다. 우리의 기여는 로그만으로 어떤 배포 모델에서든 대화 1,000건당 약 \$0.30의 비용으로 실행되는 측정 방법이다. 레이블, 조정(moderation) 점수, 프롬프트 임베딩, 파이프라인 코드를 공개한다.
원문 초록
Deployed LLMs field hundreds of millions of conversations a day and refuse a non-trivial fraction of user requests, yet the user-side cost of refusal, whether users disengage and by how much, is unmeasured on any production model: a blind spot for the consumer-facing platforms built on them. A/B-testing refusal is ethically and operationally constrained on frontier-lab products and unavailable to third-party platforms deploying these models through a fixed API. We introduce RAW, a method that uses LLM stochasticity as a natural experiment: at near-identical prompts in any existing log, the same model sometimes refuses and sometimes does not, and that variation identifies the causal user-side effect of refusal. Applying the method to 15 deployed LLMs in LMSYS-Chat-1M and WildChat, with user-clustered inference, we find that for about half of the models we can measure precisely, a refusal costs 3 to 17 pp of subsequent re-engagement; the rest show no distinguishable effect, among them one deployment whose positive point estimate we trace to persistent users retrying the refused request. Our contribution is the measurement method, which runs on any deployed model from logs alone for about \$0.30 per 1,000 conversations. We release labels, moderation scores, prompt embeddings, and pipeline code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21641v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.