PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23790v1cs.AI

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

arXiv:2607.12188v1cs.AI

비용 거버넌스 RAG: 다중 테넌트 LLM 시스템에서 검색과 생성 전반의 통합 테넌트별 비용 귀속

Cost-Governed RAG: Unified Per-Tenant Cost Attribution Across Retrieval and Generation in Multi-Tenant LLM Systems

기업용 검색-증강 생성(RAG) 배포는 중대한 거버넌스 공백에 직면한다. LLM 생성 비용은 토큰별로 계량되는 반면, 검색 층—벡터 메모리, 유사도 연산, 임베딩 API 호출—은 귀속되지 않은 공유 비용으로 남아 테넌트 간 보이지 않는 교차 보조금이 가능해진다. 본 논문은 코드북 무관(codebook-oblivious) 벡터 인덱스(TurboVec)를 다중 테넌트 LLM 거버넌스 게이트웨이와 통합하여 임베딩, 검색, 생성 비용을 테넌트별로 공동 귀속할 수 있는 통합 관측 스택을 만드는 아키텍처인 Cost-Governed RAG를 제시한다. 이 아키텍처는 TurboVec의 결정론적 폐형식(closed-form) 메모리 공식을 활용하여 테넌트별 검색 비용의 근사 정확 계산을 가능하게 한다—이는 비선형 메모리 오버헤드를 가진 그래프 기반 인덱스에서는 불가능한 성질이다. 클라우드 데이터 플랫폼의 거버넌스 경계 내 Snowpark Container Services에 배포된 이 시스템은 100개의 시뮬레이션 테넌트(1,000만 벡터, 로그정규 크기 분포)에 대해 99.96%의 엔드투엔드 비용 귀속 정확도를 달성하며, 텔레메트리 오버헤드는 쿼리 지연 시간의 0.04% 미만이다. 이 아키텍처는 Section IV에 상세히 기술된 가격 가정 하에서 관리형 벡터 데이터베이스 서비스와 비교하여 검색 인프라 비용을 3.1–9.0배 절감한다. 우리는 3층 비용 모델을 형식화하고, 코드북 무관 양자화가 결정론적 테넌트별 비용 귀속을 가능하게 할 뿐만 아니라 학습된 양자화기에 존재하는 공유 코드북 누출 표면도 제거함을 보인다—후자의 관찰은 탐색적이며 Section VII에 기술된 한계의 영향을 받는다.