PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20113v1cs.CL

스트리밍 툴 사용은 언제 도움이 되는가? 스트리밍 검색-증강 생성에서의 툴 의도 안정화 특성 분석

When Does Streaming Tool Use Help? Characterizing Tool-Intent Stabilization in Streaming Retrieval-Augmented Generation

스트리밍 검색-증강 생성(Streaming RAG)은 발화(utterance)가 완료되기 전에 진행 중인 사용자 입력과 병렬로 툴 쿼리를 발행하여 사용자 지연 시간을 줄입니다. 보고된 이득은 집계된 것이지만, 이 메커니즘의 이점은 본질적으로 쿼리 내재적입니다: 추측(speculation)은 올바른 툴 쿼리가 사용자가 말하거나 타이핑을 멈추기 전에 결정 가능해질 때만 도움이 될 수 있습니다. 우리는 이 속성인 툴 의도 안정화(tool-intent stabilization)를 분리하여 측정합니다. 이는 추측 쿼리의 검색 결과가 답변을 포함하는 결과로 수렴하는 입력 스트림 내의 지점입니다. CRAG 벤치마크(1371개의 검증(validation) 질문)에서 우리는 (i) 안정화의 분포를 측정하고, (ii) 툴 지연 시간 L과 입력 속도 δ의 함수로서 사용자의 남은 입력 뒤에 숨길 수 있는 툴 지연 시간의 부분에 대한 모델 비의존적 상한 H를 도출하며, (iii) 실현된 절감액이 이 상한에 도달하거나 초과하는 작동하는 스트리밍 파이프라인에 대해 검증하고, (iv) 어떤 쿼리 속성이 조기 안정화와 후기 안정화를 예측하는지 식별합니다. 이 연구는 모델 학습(model training)을 필요로 하지 않으며 범용 CPU 하드웨어에서 실행됩니다. 우리는 현실적인 운영 지점(L=600ms, δ=3w/s, θ=0.8)에서 전체 벤치마크의 73.9% 쿼리가 상당한 지연 시간 숨김을 허용함을 발견했습니다. 이는 정답 증거(gold evidence)가 원문 그대로 존재하고 BM25로 검색 가능한 21.3%의 질문에서의 충분성 안정화(이 유리한 부분 집합에서 95.2% 스트리밍 가능)와 나머지 부분에서의 그라운딩 없는(grounding-free) Top-1 수렴(top-1-settling) 대체책을 혼합한 복합적인 수치입니다. 유리한 부분 집합에서, φ_suf는 정확한 그라운딩과 완화된 그라운딩에 의해 [0.26, 0.281] 범위로 제한됩니다 — 둘 다 조기에 해당합니다. 질문 유형은 유의미하지만 대략적인 조기/후기 분할을 생성합니다(Kruskal-Wallis p=0.017, epsilon^2=0.04), 이는 학습된 추측 트리거가 그 비용을 감당할 가치가 있는 시점을 직접적으로 알려줍니다.