Live Assistant: 실제 라이브 소셜 스트림에서 지원 여부, 시점 및 대상을 학습하기
Live Assistant: Learning Whether, When, and Whom to Assist in Real-World Live Social Streams
라이브 스트리밍은 시청각 콘텐츠, 시청자 활동, 호스트의 행동, 플랫폼 신호가 함께 진화하는 장기적인 상호작용 환경으로, 스트림 자체로부터 지원(assistance)에 대한 요구가 자연스럽게 발생합니다. 본 논문에서는 라이브 스트림 상호작용을 네 가지 결합된 결정, 즉 행동 여부(whether to act), 행동 시점(when to act), 대화 대상(whom to address), 소통 내용(what to communicate)으로 정식화하는 혼합 주도형(mixed-initiative) 및 역할 조건부 지원 프레임워크인 \liveassistant를 소개합니다. 10초 간격마다 하나의 자기회귀(autoregressive) 정책이 동기화된 댓글, 후원 선물, 시청자 역학, 방송방 메타데이터와 함께 원본 오디오 및 비디오를 입력받아 \textsc{OBS}, \textsc{MEM}, 또는 \textsc{ANS}를 선택합니다. \textsc{OBS}는 침묵을 유지하고, \textsc{MEM}은 비공개 의미론적 업데이트를 기록하며, \textsc{ANS}는 수신자, 태스크, 그라운딩된 메시지를 지정합니다. 이 태스크를 지원하기 위해 실제 라이브 스트림 세션을 구조화된 인과적 지도 신호로 재구성하는 궤적 엔진을 구축하여, 320시간 이상의 최적화(optimization) 궤적과 275개 클립 및 13,812개 결정 구간으로 구성된 인간 검토 벤치마크를 생성했습니다. 희소한 구조화 결정을 강화하는 마커 인식 다중 턴 지도 미세조정(MA-MSFT)으로 정책을 학습(training)한 후, 턴 및 궤적 수준의 크레딧으로 자체 생성된 궤적을 최적화하는 스트리밍 다중 턴 GSPO(SM-GSPO)를 적용합니다. 미공개(held-out) 벤치마크에서 \liveassistant는 상태 정확도 71.14%, 수신자 정확도 72.67%, 태스크 정확도 58.41%를 달성하며 대표적인 스트리밍 및 범용 멀티모달 베이스라인 대비 일관된 성능 향상을 보였습니다. 종합적으로 이러한 공식화, 벤치마크, 학습 프레임워크는 라이브 스트림 지원을 공유 소셜 스트림에서의 선택적 참여로 정립합니다.