장문맥 LLM 서비스에서 유지되는 문맥의 측정과 과금
Measuring and Charging for Retained Context in Long-Context LLM Services
한국어 초록
장문맥 대규모 언어 모델(LLM) 서비스는 반복되는 문맥에 요금을 부과하지만, 과금 가중치가 답변 품질에 대한 문맥의 기여를 반영하는 것은 아니다. 본 연구는 내용 관련성, 관측 가능한 대리 지표, 감사 가능한 위치 가중치를 분리하는 3계층 프레임워크를 제시한다. 문맥 제거 실험은 관련성이 위치보다 지배적이며 거리 감쇠 계열이 관련성만 쓰는 기준선보다 나은 성능을 내지 못함을 보여 준다. 측정된 서빙 스택에서는 65,536 토큰에서 캐시 적중이 반복 접두사의 연산 비용을 두 자릿수 배 이상 줄이는 반면, 콜드 재전송은 지속 가능한 할인 폭을 제약한다. 제공자 간 측정은 캐시 가치를 토큰화 및 정가 차이와 구분한다. 보정된 시뮬레이션은 세션 요금의 99번째 백분위수를 31-42% 낮추지만, 수익을 맞춘 비선형 요금제도 유사한 감소를 달성하며 중앙값 요금은 증가한다. 이 프레임워크는 검증된 효용 추정기가 아니라, 토큰당 과금에 대한 한정된 회계 규칙과 측정된 배포 제약을 제공한다.
원문 초록
Long-context large language model (LLM) services charge for repeated context, yet billing weights need not reflect its contribution to answer quality. We present a three-layer framework separating content relevance, observable proxies and auditable positional weights. Context-ablation experiments show that relevance dominates position and that distance-decay families do not outperform a relevance-only baseline. A measured serving stack shows that cache hits reduce repeated-prefix compute cost by over two orders of magnitude at 65,536 tokens, while cold resends constrain sustainable discounts. Cross-provider measurements separate cache value from tokenisation and list-price differences. Calibrated simulations reduce the 99th percentile of session charges by 31-42%, although revenue-matched nonlinear tariffs achieve similar reductions and median charges increase. The framework provides a bounded per-token accounting rule and measured deployment constraints, rather than a validated utility estimator.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24071v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.