arXiv:2610.09021v1 cs.AI

모든 호출에 프론티어 모델이 필요하지는 않다: 배포된 에이전트 기반 홈 오토메이션 시스템에서 소형 언어 모델의 호출 지점별 평가

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

Panagiotis Kasnesis, Christos Chatzigeorgiou, Lazaros Toumanidis, Amalia Contiero Syropoulou

제출 2026-10-06

저자 비고

arXiv Comments

17 pages, 2 figures, accepted in NeurIPS 2026 Workshop on SLMs for Agentic Systems, Paris,

한국어 초록

에이전트(agent) 시스템은 구조적으로 다른 여러 유형의 대규모 언어 모델(LLM) 호출을 수행합니다. 시스템은 의도를 라우팅하고, 동작을 분류하며, 디바이스 레지스트리에 언어를 그라운딩(grounding)하고, 다중 에이전트 파이프라인을 계획하며, 이러한 파이프라인이 실행하는 Python 코드를 작성합니다. 이러한 호출 지점들의 난이도는 최대 한 자릿수(order of magnitude)까지 차이가 나지만, 실제로는 가장 어려운 지점에 맞춰 선택된 단일 모델(model)이 모든 호출을 처리합니다. 본 연구에서는 배포된 오픈소스 홈 오토메이션 프레임워크(Wactorz)의 5개 호출 지점에 대해 수정되지 않은 프로덕션 프롬프트와 두 개의 실제 Home Assistant 설치 환경(280개 케이스, 2,520회 채점 호출)을 사용하여 0.8B부터 호스팅된 프론티어 모델에 이르는 9개 모델을 평가합니다. 연구 결과, 모든 지점에서 성능 순위가 동일하게 유지되지 않으며, 더 큰 모델이 일률적으로 더 우수하지는 않음을 확인했습니다. 한 4B 모델은 그라운딩된 작동(grounded actuation)에서 동급 계열의 2B 모델보다 성능이 낮았습니다. 대응 표본 검정 결과, 가장 우수한 로컬 모델은 5개 지점 중 4개 지점에서 두 호스팅 모델과 통계적으로 유의미한 차이가 없었습니다. 소형 호스팅 모델(p = 0.039) 및 프론티어 모델(p = 0.002)과의 차이는 오직 코드 생성 지점에서만 나타났습니다. 또한 종합 정확도는 작동 영역에 특화된 안전성(safety) 실패를 가리는데, 소형 모델들은 정확도/거부 간의 절충(trade-off)을 비정상적인 방식으로 해결했습니다. 즉, 한 모델(Gemma4 E2B)은 해당 사이트에 존재하지 않는 디바이스에 대한 요청의 87.2%에서 작동을 수행한 반면, 다른 모델은 수신된 모든 요청을 거부했습니다. 각 지점을 최적의 로컬 모델로 라우팅하면 호출당 비용 없이 95.4% 대비 91.8%의 성능을 달성합니다. 사용자가 평가한 실제 라이브 배포에서는 2개의 생성형 지점만 호스팅할 경우 비용의 28%만으로 모든 지점을 호스팅하는 것과 동일한 결과(39/43 대비 39/43)를 보였으며, 벤치마크가 예측했던 작동 격차는 26건 중 정확히 1건에서만 나타났습니다. 벤치마크, 평가 하네스 및 모든 기록은 https://github.com/waldiez/slm-callsite-eval 에 공개되어 있습니다.

원문 초록

An agentic system issues several structurally different kinds of LLM calls. It routes intent, classifies actions, grounds language in a device registry, plans multi-agent pipelines and writes the Python code those pipelines run. The difficulty of these call sites varies by an order of magnitude, yet in practice a single model, chosen for the hardest site, serves all of them. In this work, we evaluate 9 models from 0.8B to a frontier hosted model across the five call sites of a deployed open-source home-automation framework (Wactorz), using its unmodified production prompts and two real Home Assistant installations (280 cases, 2520 scored calls). We find that capability is not ordered the same way at every site, and that larger models are not uniformly better: one 4B model is worse than its 2B sibling at grounded actuation. Paired testing shows the best local model to be statistically indistinguishable from both hosted models at four of five sites. Only code generation separates them, against a small hosted model (p = 0.039) as well as a frontier one (p = 0.002). Aggregate accuracy also hides a safety failure specific to actuation, where small models resolve the accuracy/refusal trade-off in degenerate ways: one model (Gemma4 E2B) actuates on 87.2% of requests for devices the site does not own, while another refuses every request it receives. Routing each site to its best local model reaches 91.8% against 95.4% at no per-call cost. In a live deployment judged by a user, hosting only the two generative sites matches hosting everything (39/43 against 39/43) for 28% of the spend, and the actuation gap the benchmark predicted appears as exactly one case in twenty-six. Benchmark, harness and all records are released at https://github.com/waldiez/slm-callsite-eval.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09021v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.