arXiv:2610.07338v1 eess.AS

Logbook: 초장시간 오디오 이벤트 이해

Logbook: Extremely Long-form Audio Event Understanding

Kwanghee Choi, Suwon Shon, Dmitriy Serdyuk, Guitang Lan, Chao-Wei Huang, Mohammad Sadegh Rasooli, Sangeeta Srivastava, Zhaojiang Lin, Saurabh Adya, Ming Sun

제출 2026-10-05

저자 비고

arXiv Comments

Submitted to ICASSP 2027. Source code available at https://github.com/facebookresearch/logbook

한국어 초록

기존 오디오 벤치마크는 짧고 사전 분할된 클립을 중심으로 구축되어 있어, 모델 설계를 짧은 입력이나 고정된 어휘로 제한합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 10분에서 6일에 이르는 녹음 데이터를 포함하는 시간 단위 오디오 이해를 위한 벤치마크인 Logbook을 소개합니다. 연속적인 오디오 녹음과 이벤트 라벨 어휘가 주어지면, 시스템은 공백 없는 분할(segmentation)과 함께 각 세그먼트별 이벤트 라벨 및 설명을 예측해야 합니다. 본 논문에서는 엔드투엔드(end-to-end) 및 캐스케이드(cascaded) 방식을 포함한 52개 시스템을 비교하고 미세조정, 컨텍스트 길이, 추론 예산(reasoning budget)에 대한 절제 연구(ablation study)를 수행합니다. 연구 결과 해당 태스크는 다룰 수 있는 수준이지만, 최고 성능의 시스템도 여전히 인간 기준(human reference)에는 미치지 못함을 확인했습니다. 또한 과도한 분할(over-segmentation) 현상이 만연하며, 미세조정이 이를 부분적으로 완화합니다. 마지막으로, 엔드투엔드 시스템이 캐스케이드 시스템보다 뛰어난 경우가 많지만, 컨텍스트가 길어질수록 성능이 저하됩니다.

원문 초록

Audio benchmarks are built around short, pre-segmented clips, limiting model design to brief inputs or fixed vocabularies. To close this gap, we introduce Logbook, a benchmark for hour-scale audio understanding, with recordings ranging from ten minutes to six days. Given a continuous audio recording and an event label vocabulary, a system must predict a gap-free segmentation with an event label and a description per segment. We compare 52 systems, end-to-end and cascaded, and ablate fine-tuning, context length, and reasoning budget. We find the task tractable, though the best systems remain below the human reference. Also, over-segmentation is pervasive, and fine-tuning partially mitigates it. Finally, end-to-end are often better than cascaded systems, but degrades with longer context.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07338v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.