Smart Director: An Event-Driven Directing System for Live Broadcasting
원문 초록
Live video broadcasting normally requires a multitude of skills and expertise with domain knowledge to enable multi-camera productions. As the number of cameras keep increasing, directing a live sports broadcast has now become more complicated and challenging than ever before. The broadcast directors need to be much more concentrated, responsive, and knowledgeable, during the production. To relieve the directors from their intensive efforts, we develop an innovative automated sports broadcast directing system, called Smart Director, which aims at mimicking the typical human-in-the-loop broadcasting process to automatically create near-professional broadcasting programs in real-time by using a set of advanced multi-view video analysis algorithms. Inspired by the so-called "three-event" construction of sports broadcast, we build our system with an event-driven pipeline consisting of three consecutive novel components: 1) the Multi-view Event Localization to detect events by modeling multi-view correlations, 2) the Multi-view Highlight Detection to rank camera views by the visual importance for view selection, 3) the Auto-Broadcasting Scheduler to control the production of broadcasting videos. To our best knowledge, our system is the first end-to-end automated directing system for multi-camera sports broadcasting, completely driven by the semantic understanding of sports events. It is also the first system to solve the novel problem of multi-view joint event detection by cross-view relation modeling. We conduct both objective and subjective evaluations on a real-world multi-camera soccer dataset, which demonstrate the quality of our auto-generated videos is comparable to that of the human-directed. Thanks to its faster response, our system is able to capture more fast-passing and short-duration events which are usually missed by human directors.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Gameplay Highlights Generation
RECOVAR: Representation Covariances on Deep Latent Spaces for Seismic Event Detection
직접적인 이벤트 시점 지도학습을 위한 경계 밀도 가능도
Boundary Density Likelihood for Direct Event-Time Supervision
이벤트 탐지(event detection)는 긴 기록을 순위화된 소수의 타임스탬프 집합으로 변환합니다. 그러나 많은 시퀀스 모델(sequence model)은 샘플 단위 분할(samplewise segmentation)을 목표로 학습(training)되며, 학습이 끝난 후에야 예측된 상태를 이벤트로 변환합니다. 본 논문에서는 평가되는 최종 출력에 맞춰 직접 학습하는 것이 탐지 성능을 향상시키는지 질문을 던집니다. 경계 밀도 가능도(Boundary Density Likelihood, BDL)는 주석이 달린 각 이벤트에 1단위의 타깃 질량을 할당하고, 스무딩(smoothing) 및 시간 축 다운샘플링 과정에서도 해당 질량을 보존하며, 각 출력 빈(bin)에서 기대되는 이벤트 질량을 추정하기 위해 포아송 목적함수를 사용합니다. 그리고 국소 피크(local peak)가 순위화된 탐지 결과가 됩니다. 사전 지정된 5겹 중첩 수면 연구(five-fold nested sleep study)에서, BDL-Hard는 구간 분할(interval segmentation) 대비 풀링된 폴드 외부(out-of-fold) mAP를 0.586에서 0.705로 높였고(+11.9%p; 95% 신뢰구간 [10.8, 13.0]), 엄격한 1분 단위 AP를 0.071에서 0.286으로 높여(4.0배; +21.5%p) 모든 외부 폴드에서 성능을 향상시켰습니다. 별도의 홀드아웃(held-out) 재실행에서도 이러한 효과의 방향성이 재현되었습니다. 조건이 매칭된 boundary-BCE 탐지기는 0.702 mAP를 달성하여 직접적인 경계 지도학습과 이벤트 디코딩이 성능 향상의 대부분을 설명하며, 포아송 목적함수의 기여는 상대적으로 작음을 보여줍니다. 동일한 경향이 오프라인 합성곱 모델(convolutional model)에서도 나타났으나 인과적(causal) 모델, 트랜스포머(Transformer), 그리고 환자 그룹화 발작 실험에서는 보다 넓은 일반화 가능성이 아직 미해결 상태로 남아 있습니다. 본 연구 결과는 타임스탬프가 평가 대상을 정의할 때 이벤트 시점에 대해 직접 학습하는 것을 지지합니다.
Hybrid Disagreement-Diversity Active Learning for Bioacoustic Sound Event Detection
Rhapsody: A Dataset for Highlight Detection in Podcasts
CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training
토론
이 논문과 연결된 포럼 글이 아직 없습니다.