uniwa.gr

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.09021v1cs.AI

모든 호출에 프론티어 모델이 필요하지는 않다: 배포된 에이전트 기반 홈 오토메이션 시스템에서 소형 언어 모델의 호출 지점별 평가

Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System

에이전트(agent) 시스템은 구조적으로 다른 여러 유형의 대규모 언어 모델(LLM) 호출을 수행합니다. 시스템은 의도를 라우팅하고, 동작을 분류하며, 디바이스 레지스트리에 언어를 그라운딩(grounding)하고, 다중 에이전트 파이프라인을 계획하며, 이러한 파이프라인이 실행하는 Python 코드를 작성합니다. 이러한 호출 지점들의 난이도는 최대 한 자릿수(order of magnitude)까지 차이가 나지만, 실제로는 가장 어려운 지점에 맞춰 선택된 단일 모델(model)이 모든 호출을 처리합니다. 본 연구에서는 배포된 오픈소스 홈 오토메이션 프레임워크(Wactorz)의 5개 호출 지점에 대해 수정되지 않은 프로덕션 프롬프트와 두 개의 실제 Home Assistant 설치 환경(280개 케이스, 2,520회 채점 호출)을 사용하여 0.8B부터 호스팅된 프론티어 모델에 이르는 9개 모델을 평가합니다. 연구 결과, 모든 지점에서 성능 순위가 동일하게 유지되지 않으며, 더 큰 모델이 일률적으로 더 우수하지는 않음을 확인했습니다. 한 4B 모델은 그라운딩된 작동(grounded actuation)에서 동급 계열의 2B 모델보다 성능이 낮았습니다. 대응 표본 검정 결과, 가장 우수한 로컬 모델은 5개 지점 중 4개 지점에서 두 호스팅 모델과 통계적으로 유의미한 차이가 없었습니다. 소형 호스팅 모델(p = 0.039) 및 프론티어 모델(p = 0.002)과의 차이는 오직 코드 생성 지점에서만 나타났습니다. 또한 종합 정확도는 작동 영역에 특화된 안전성(safety) 실패를 가리는데, 소형 모델들은 정확도/거부 간의 절충(trade-off)을 비정상적인 방식으로 해결했습니다. 즉, 한 모델(Gemma4 E2B)은 해당 사이트에 존재하지 않는 디바이스에 대한 요청의 87.2%에서 작동을 수행한 반면, 다른 모델은 수신된 모든 요청을 거부했습니다. 각 지점을 최적의 로컬 모델로 라우팅하면 호출당 비용 없이 95.4% 대비 91.8%의 성능을 달성합니다. 사용자가 평가한 실제 라이브 배포에서는 2개의 생성형 지점만 호스팅할 경우 비용의 28%만으로 모든 지점을 호스팅하는 것과 동일한 결과(39/43 대비 39/43)를 보였으며, 벤치마크가 예측했던 작동 격차는 26건 중 정확히 1건에서만 나타났습니다. 벤치마크, 평가 하네스 및 모든 기록은 https://github.com/waldiez/slm-callsite-eval 에 공개되어 있습니다.