Logbook: 초장시간 오디오 이벤트 이해
Logbook: Extremely Long-form Audio Event Understanding
한국어 초록
기존 오디오 벤치마크는 짧고 사전 분할된 클립을 중심으로 구축되어 있어, 모델 설계를 짧은 입력이나 고정된 어휘로 제한합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 10분에서 6일에 이르는 녹음 데이터를 포함하는 시간 단위 오디오 이해를 위한 벤치마크인 Logbook을 소개합니다. 연속적인 오디오 녹음과 이벤트 라벨 어휘가 주어지면, 시스템은 공백 없는 분할(segmentation)과 함께 각 세그먼트별 이벤트 라벨 및 설명을 예측해야 합니다. 본 논문에서는 엔드투엔드(end-to-end) 및 캐스케이드(cascaded) 방식을 포함한 52개 시스템을 비교하고 미세조정, 컨텍스트 길이, 추론 예산(reasoning budget)에 대한 절제 연구(ablation study)를 수행합니다. 연구 결과 해당 태스크는 다룰 수 있는 수준이지만, 최고 성능의 시스템도 여전히 인간 기준(human reference)에는 미치지 못함을 확인했습니다. 또한 과도한 분할(over-segmentation) 현상이 만연하며, 미세조정이 이를 부분적으로 완화합니다. 마지막으로, 엔드투엔드 시스템이 캐스케이드 시스템보다 뛰어난 경우가 많지만, 컨텍스트가 길어질수록 성능이 저하됩니다.
원문 초록
Audio benchmarks are built around short, pre-segmented clips, limiting model design to brief inputs or fixed vocabularies. To close this gap, we introduce Logbook, a benchmark for hour-scale audio understanding, with recordings ranging from ten minutes to six days. Given a continuous audio recording and an event label vocabulary, a system must predict a gap-free segmentation with an event label and a description per segment. We compare 52 systems, end-to-end and cascaded, and ablate fine-tuning, context length, and reasoning budget. We find the task tractable, though the best systems remain below the human reference. Also, over-segmentation is pervasive, and fine-tuning partially mitigates it. Finally, end-to-end are often better than cascaded systems, but degrades with longer context.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Submitted to ICASSP 2027. Source code available at https://github.com/facebookresearch/logbook