arXiv:2611.19118v1 cs.CL

스페인어 전화 협상 음성 에이전트의 지연 시간, 음성 인식, 발화 교대: 외부 계측으로 비교한 Pipecat, LiveKit, GPT-Live

Latency, Speech Recognition and Turn-Taking in Voice Agents for Spanish Phone Negotiation: An Externally Measured Comparison of Pipecat, LiveKit and GPT-Live

Jovan Popoca Moran, Eduardo de Avila-Armenta, Ra\'ul Alejandro Aquino-Ibarra, Jorge Octavio Nicol\'as-D\'iaz, Umberto Leon-Dominguez

제출 2026-11-17

한국어 초록

전화 협상을 하는 음성 에이전트는 빠르게 답하고, 말로 전달한 금액을 이해하며, 상대가 말을 겹쳐 할 때도 대응할 수 있어야 한다. 스페인어로 화물 운임을 협상하는 에이전트에 세 가지 아키텍처를 사용해 비교했다. Pipecat과 LiveKit Agents는 각각 음성 인식, 언어 모델, 음성 합성을 순차적으로 연결했다. OpenAI의 음성 모델 GPT-Live는 처리 단계를 따로 나누지 않고 듣고 말한다. 프로그램이 운송업자 역할을 맡아 전화망 없이 한 화자의 녹음 47개를 모든 에이전트에 동일하게 들려줬다. 협상 시나리오 5개에서 아키텍처당 77회의 통화를 진행하고, 검증된 계측 도구로 청취자 측 지연 시간을 측정했다. 내용이 있는 응답까지 걸린 시간의 중앙값은 Pipecat 2,616.0ms, LiveKit 3,090.0ms, GPT-Live 2,444.8ms였다. GPT-Live가 Pipecat보다 171.2ms 빠르다는 차이의 신뢰구간에는 0이 포함됐다. 자체 타임스탬프로 보면 GPT-Live는 상대 발화 종료 800ms 후에 답변을 시작했다. 이는 OpenAI가 공개한 0.8초와 비슷했다. 남은 대기 시간의 대부분인 약 1,367ms는 오디오가 OpenAI 서비스를 왕복하는 데 걸렸으며, 거의 일정했다. 도구 호출은 모든 아키텍처에 0.9~1.1초를 더했으며, 이는 아키텍처 간 차이보다 컸다. 프레임워크가 자체 보고한 지연 시간은 청취자가 실제로 기다린 시간보다 Pipecat에서 9%, LiveKit에서 22% 짧았다. 단어 오류율은 각각 6.03%, 4.93%, 1.47%로 낮았다. 금액 오류율은 두 순차형 시스템에서 각각 13.01%, 12.61%였고 GPT-Live에서 2.86%였다. 기본 설정에서 Pipecat과 LiveKit은 상대가 짧은 맞장구를 치면 거의 매번 말을 멈췄으며, 이를 운송업자의 답으로 받아들이는 일이 잦았다. 에이전트가 말하는 중에 상대가 ‘ok’라고 했을 때 Pipecat은 15건 중 3건, LiveKit은 15건 중 2건을 합의로 기록했으며, GPT-Live는 0건이었다. 이는 통계 검정 없이 집계한 수치다. 따라서 지연 시간은 청취자 측에서 측정해야 하며, 순차형 시스템에는 발화된 금액과 맞장구를 처리하기 위한 보호 장치가 필요하다.

원문 초록

A voice agent that negotiates by phone must answer quickly, understand spoken amounts and cope with a caller who talks over it. We compared three architectures for such an agent, negotiating freight rates in Spanish: two cascades (speech recognition, language model and speech synthesis) orchestrated by Pipecat and by LiveKit Agents, and GPT-Live, an OpenAI speech model that listens and speaks without separate stages. A program played the carrier with the same 47 recordings of one speaker for all agents, without the telephone network, in 77 calls per architecture over five negotiation scenarios, and measured latency on the listener's side with a validated instrument. Median latency to the content response was 2,616.0 ms (Pipecat), 3,090.0 ms (LiveKit) and 2,444.8 ms (GPT-Live); the confidence interval of GPT-Live's 171.2 ms advantage over Pipecat includes zero. According to its own timestamps, GPT-Live began to answer 800 ms after the end of the line, close to the 0.8 s published by OpenAI; most of the remaining wait, about 1,367 ms and nearly constant, is the audio's round trip through OpenAI's service. A tool call added 0.9-1.1 s in every architecture, more than any difference between them, and the frameworks' self-reported latency fell short of the listener's wait by 9% (Pipecat) and 22% (LiveKit). Word error rates were low (6.03, 4.93 and 1.47%), but the error on amounts was 13.01% and 12.61% in the cascades, against 2.86% in GPT-Live. With default settings, Pipecat and LiveKit stopped at almost every backchannel and often took it as the carrier's answer: an "ok" spoken over the agent ended in a registered agreement in 3 of 15 Pipecat calls, 2 of 15 LiveKit calls and no GPT-Live call (descriptive counts, not tested). Latency should therefore be measured on the listener's side, and a cascade needs safeguards for spoken amounts and backchannels.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19118v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.