arXiv:2610.07086v1 cs.LG

SchemaFill: 슬롯 병렬 투기적 디코딩을 통한 효율적인 LLM 도구 호출

SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding

Zhi-Kai Chen, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye

제출 2026-10-05

한국어 초록

대규모 언어 모델(LLM) 에이전트(agent)는 구조화된 도구 호출을 생성하여 외부 시스템과 상호작용합니다. 사용자 요청, 대화 컨텍스트, 도구 스키마 카탈로그가 주어지면, 도구 호출 모델은 도구를 선택하고 해당 인자(argument)를 생성해야 하며, 단일 응답 내에서 여러 호출을 생성할 수도 있습니다. 표준 자기회귀(autoregressive) 디코딩은 이러한 호출을 토큰(token) 단위로 순차적으로 생성하므로, 다중 호출이나 다수의 인자 필드를 포함하는 요청의 경우 상당한 지연 시간(latency)이 발생합니다. 명시적인 인자 구조는 병렬 생성의 기회를 제공하지만, 이후 인자 값은 이전 필드 및 호출에 의존할 수 있어 독립적으로 생성된 값은 타깃 모델의 출력과 다를 수 있습니다. 본 연구에서는 슬롯 병렬 투기적 디코딩(slot-parallel speculative decoding)을 통해 효율적인 LLM 도구 호출을 수행하는 프레임워크인 SchemaFill을 제시합니다. SchemaFill은 실제 호출 순서나 인자 값에 대한 사전 지식 없이도 향후 슬롯 값들을 후보로 동시에 생성합니다. 여러 필드와 호출에 걸친 후보들은 실제 출력 접두 문맥(prefix) 하에서 타깃 모델의 검증을 거치기 위해 연결됩니다. 검증된 토큰만 반영(commit)되며, 후보가 불일치할 경우 타깃 모델이 수정을 제공합니다. 이는 슬롯과 호출 전반의 병렬성을 활용하면서 타깃 검증을 적용합니다. Glaive 및 BFCL에서 SchemaFill은 자기회귀 디코딩 대비 엔드투엔드 처리량(throughput)에서 최대 4.05$\times$의 향상을 달성합니다. 코드는 https://github.com/Czzzk/SchemaFill 에서 확인할 수 있습니다.

원문 초록

LLM agents interact with external systems by generating structured tool calls. Given a user request, conversational context, and a catalog of tool schemas, a tool-calling model must select tools and generate their arguments, potentially producing multiple calls in a single response. Standard autoregressive decoding generates these calls token by token, incurring substantial latency for requests involving multiple calls or many argument fields. The explicit argument structure offers opportunities for parallel generation, but later argument values may depend on preceding fields and calls, so independently generated values can differ from the target model's output. We present SchemaFill, a framework for efficient LLM tool calling through slot-parallel speculative decoding. SchemaFill generates future slot values concurrently as candidates, without requiring advance knowledge of the actual call sequence or argument values. Candidates spanning multiple fields and calls are concatenated for verification by the target model under the actual output prefix. Only verified tokens are committed, and the target supplies corrections when candidates disagree. This applies target verification while exploiting parallelism across slots and calls. On Glaive and BFCL, SchemaFill achieves up to a 4.05$\times$ improvement in end-to-end throughput over autoregressive decoding. Code is available at https://github.com/Czzzk/SchemaFill.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07086v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.