PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2409.18478v2cs.CV

Temporal2Seq: 시간적 비디오 이해 태스크를 위한 통합 프레임워크

Temporal2Seq: A Unified Framework for Temporal Video Understanding Tasks

비디오 이해의 발전과 함께 시간적 행동 감지(TAD), 시간적 행동 분할(TAS), 일반적 이벤트 경계 감지(GEBD)를 포함한 클립 수준 시간적 비디오 분석 태스크가 급증하고 있습니다. 태스크 특화 비디오 이해 모델이 각 태스크에서 뛰어난 성능을 보여주었지만, 여러 태스크를 동시에 처리할 수 있는 통합 프레임워크는 여전히 부족하며, 이는 차세대 AI를 위한 유망한 방향입니다. 이를 위해 본 논문에서는 Temporal2Seq라는 단일 통합 프레임워크를 제안하여 이러한 시간적 비디오 이해 태스크의 출력을 이산 토큰의 시퀀스로 정형화합니다. 이러한 통합 토큰 표현을 통해 Temporal2Seq는 단일 아키텍처 내에서 서로 다른 비디오 이해 태스크에 대한 범용 모델을 학습할 수 있습니다. 멀티태스크 학습(MTL) 벤치마크가 부족한 상황에서, 우리는 TAD, TAS, GEBD 태스크의 데이터셋을 활용하여 포괄적인 공동 학습 데이터셋을 구축했습니다. 우리는 세 가지 태스크의 해당 테스트 세트에서 Temporal2Seq 범용 모델을 평가하여, Temporal2Seq가 다양한 태스크에서 합리적인 결과를 생성할 수 있으며 이 프레임워크에서 싱글 태스크 학습과 비교하여 이점을 달성할 수 있음을 입증했습니다. 또한 우리는 서로 다른 태스크의 새로운 데이터셋에 대한 범용 모델의 일반화 성능을 조사했으며, 그 결과 특화 모델보다 우수한 성능을 보임을 확인했습니다.