arXiv:2610.22155v4 cs.AI

Realtime-Bench: 최첨단 모델은 실시간 상호작용 문제를 풀 수 있는가?

Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?

Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei

제출 2026-11-18

한국어 초록

실시간 상호작용은 에이전트가 변화하는 환경을 인지하고 시간 제약 아래에서 행동할 것을 요구하지만, 실시간 스트리밍 모델에 대한 기존 평가는 대화 품질과 스트리밍 인지에 초점을 두어 엄격한 시간 제약 아래에서의 효과적인 행동은 검증되지 않았다. 우리는 지연된 행동이 성공에 직접 영향을 미G치는 엄선된 동적 과제 모음인 Realtime-Bench를 소개한다. 환경이 실제 추론 지연에 따라 진행되는 Wall Clock 설정에서 최고 성공률은 44%, 최고 Pass^3는 36%에 불과하여 실시간 상호작용이 여전히 어려운 과제임을 보여 준다. 서빙 지연과 모델의 실시간 스트리밍 능력을 분리하기 위해, 우리는 추론 지연을 제거한 이상적 기준인 Paused Clock과 Wall Clock을 비교하고, 생성된 토큰 수에 따라 시뮬레이션 시간을 진행시켜 물리적 서빙 속도와 무관하게 시간 인식을 검증하는 Token Clock을 도입한다. 그 결과 시간 비용이 변화하는 환경에서의 성공을 제한하며, 더 높은 추론 노력은 시간 압박 아래에서 엇갈린 효과를 보임을 확인했고, 이는 결정 품질과 적시 실행 사이의 상충 관계를 반영한다. 이러한 결과를 바탕으로, 우리는 시간 인식을 갖춘 적응형 추론과 연속적인 인지 및 행동을 포함하여 실시간 멀티모달 모델을 개선하기 위한 향후 방향을 논의한다.

원문 초록

Real-time interaction requires agents to perceive evolving environments and act under temporal constraints, yet existing evaluations of real-time streaming models focus on conversational quality and streaming perception, leaving effective action under strict temporal constraints untested. We introduce Realtime-Bench, a suite of carefully curated dynamic tasks where delayed actions directly affect success. Under Wall Clock, where environments advance according to actual inference latency, the best success rate reaches only 44% and the best Pass^3 is only 36%, demonstrating that real-time interaction remains challenging. To separate serving latency from models' real-time streaming capability, we compare Wall Clock with Paused Clock, which removes inference delays as an idealized reference, and introduce Token Clock, which advances simulated time according to generated token counts, testing temporal awareness independently of physical serving speed. We find that temporal costs limit success in evolving environments and that higher reasoning effort has mixed effects under time pressure, reflecting a trade-off between decision quality and timely execution. Based on these results, we discuss future directions for improving real-time multimodal models, including adaptive reasoning with temporal awareness and continuous perception and action.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.22155v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.