arXiv:2609.21187v1 cs.CL

더 나은 턴이 더 나은 에이전트를 만들지 않을 때: 다음 턴 지표와 워크플로우 성공 사이 격차 진단

When Better Turns Do Not Make Better Agents: Diagnosing the Gap Between Next-Turn Metrics and Workflow Success

Md Tahmid Rahman Laskar, Xue-Yong Fu, Gundeep Singh, Karol Chang, Kevin Sanders, Shi Zong, Tania Habib, Julien Bouvier Tremblay, Shayna Gardiner, Harsh Saini, Matthias Lee, Elena Khasanova, Quinten McNamara, Shashi Bhushan TN

제출 2026-09-21

한국어 초록

에이전트 모델은 흔히 한 번에 하나의 결정 단위로 평가되며, 모델이 골드 상호작용 이력을 바탕으로 다음 행동을 예측하고 그 결과를 참조 답과 대조해 채점한다. 우리는 이 프로토콜에서의 개선이 자율 워크플로우 실행의 개선을 예측하는지 조사한다. 다중 턴 고객 지원 워크플로우에서 4B·14B 파라미터 Qwen3 모델과 4B·12B 파라미터 Gemma 3 모델을 SFT 이전 및 지도 미세조정(SFT) 상태로 연구한다. SFT는 텍스트 턴 성공을 일관되게 향상시키며, 골드 이력 평가 하에서는 모든 모델에서 전반적인 다음 턴 성공이 증가한다. 그러나 이러한 개선은 자율 워크플로우 실행으로는 이전되지 않는다. 도구별 이득 또한 지표와 모델에 따라 달라진다. 네 SFT 모델 중 어느 것도 전체 워크플로우 평가에서 성공하지 못하며, 엄격한 궤적 완료 기준에서 워크플로우 성공률은 최대 10.4%에 그친다. 결과는 다음 턴 평가가 워크플로우 성공의 신뢰할 만한 대리 지표가 아님을 보여 주며, 텍스트 품질, 국소 행동 정확도, 도구 실행, 종단 간 과제 완료를 각각 별도로 보고할 필요를 제기한다.

원문 초록

Agent models are frequently evaluated one decision at a time, where the model predicts the next action based on the gold interaction history, which is scored against a reference. We investigate whether improvement under this protocol is predictive of improved autonomous workflow execution. We study pre-SFT and supervised fine-tuned (SFT) Qwen3 models at 4B and 14B parameters and Gemma 3 models at 4B and 12B parameters on multi-turn customer-support workflows. We find that SFT consistently improves text-turn success, and that overall next-turn success increases for every model under gold-history evaluation. However, these improvements do not transfer to autonomous workflow execution. Tool-specific gains also vary across metrics and models. None of the four SFT models succeeds under holistic workflow evaluation, with strict trajectory completion reaching at most 10.4% workflow success. Our results show that next-turn evaluation is not a reliable proxy for workflow success, motivating separate reporting of text quality, local action correctness, tool execution, and end-to-end task completion.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.21187v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.