arXiv:2008.02711

Exploring Relations in Untrimmed Videos for Self-Supervised Learning

Dezhao Luo, Bo Fang, Yu Zhou, Yucan Zhou, Dayan Wu, Weiping Wang

제출 2020-08-06

원문 초록

Existing video self-supervised learning methods mainly rely on trimmed videos for model training. However, trimmed datasets are manually annotated from untrimmed videos. In this sense, these methods are not really self-supervised. In this paper, we propose a novel self-supervised method, referred to as Exploring Relations in Untrimmed Videos (ERUV), which can be straightforwardly applied to untrimmed videos (real unlabeled) to learn spatio-temporal features. ERUV first generates single-shot videos by shot change detection. Then a designed sampling strategy is used to model relations for video clips. The strategy is saved as our self-supervision signals. Finally, the network learns representations by predicting the category of relations between the video clips. ERUV is able to compare the differences and similarities of videos, which is also an essential procedure for action and video related tasks. We validate our learned models with action recognition and video retrieval tasks with three kinds of 3D CNNs. Experimental results show that ERUV is able to learn richer representations and it outperforms state-of-the-art self-supervised methods with significant margins.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13856v1cs.CV공통 태그 Self-Supervised Learning, Action Recognition

멀티프레임 표현에 대한 사전학습을 통한 이벤트 기반 행동 인식

Event-based Action Recognition by Pre-Training on Multi-Frame Representations

행동 인식(action recognition)은 로보틱스, 환자 모니터링, 감시와 같은 분야에서 중요한 과제이다. 최근 이벤트 카메라가 빠른 움직임을 포착할 수 있는 능력과 기존 비전 카메라에 비해 개선된 프라이버시를 제공한다는 점 때문에 이벤트 기반 행동 인식이 큰 주목을 받고 있다. 프레임 기반 이벤트 표현은 짧은 이벤트 시퀀스에서는 잘 동작하지만, 더 길고 복잡한 이벤트 시퀀스에서는 판별력이 급격히 저하된다. 본 연구에서는 단일 프레임 표현에 비해 인식 성능을 크게 향상시키는 멀티프레임 표현을 제안한다. 우리는 다운스트림 성능을 개선하고 계산 복잡도를 제어하기 위해 희소성(sparsity)을 고려한 마스킹 알고리즘과 토큰 선택 메커니즘을 사용하여 비전 트랜스포머(Vision Transformer)를 사전학습하는 마스크드 오토인코딩(masked auto-encoding) 프레임워크를 채택한다. 또한 위치 인식 어텐션 메커니즘을 갖춘 디코더용 다중 마스크 토큰을 도입하여 성능을 더욱 향상시킨다. 제안하는 방법은 도전적인 장시간의 복잡한 이벤트 시퀀스에서 인상적인 성능을 보이며, THU-EACT-50 CHL 및 DailyDVS-200에서 최신 기술(state-of-the-art) 수준의 성능을 달성한다.

arXiv:2610.00069v1cs.CV공통 태그 Retrieval, Action Recognition

시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크

A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.

arXiv:2609.28437v1cs.CV공통 태그 Retrieval, Video Retrieval

MultiVENT-Raw: 원시 동영상 검색 및 추론 벤치마크

MultiVENT-Raw: A Benchmark for Retrieval and Reasoning over Raw Videos

온라인 정보는 점점 더 동영상 형식으로 소비되고 있다. 이 중 상당 부분은 원시 동영상(raw video) 형태로, 휴대폰·핸드헬드 카메라·CCTV로 촬영된 연속 영상이 소셜 미디어 플랫폼과 콘텐츠 공유 서비스에 바로 업로드되는 것이다. 전문적이거나 아마추어가 편집한 영상은 대본화된 발화, 자막(chyron), 그래픽, 메타데이터 등 주제를 맥락화하는 요소를 담는 경우가 많지만, 원시 동영상에는 일반적으로 이런 것이 없어 정보 검색(information retrieval)과 기계 이해(machine understanding)에 훨씬 더 어려운 매체가 된다. 이 분야의 진전을 돕기 위해 우리는 MultiVENT-Raw를 공개한다. 이는 주로 원시 동영상 약 12만 개(총 5,300시간 이상)로 이루어진 다국어 컬렉션으로, 130개의 이벤트와 222개의 이벤트 중심 쿼리와 짝지어져 있으며, 관련 동영상에 대한 사람이标注한 관련성 판정과 사람이 추출한 핵심 사실을 포함한다. MultiVENT-Raw는 검색(retrieval) 과제—쿼리 이벤트와 관련된 컬렉션 내 동영상을 식별하는 것—와 생성(generation) 과제—이벤트 관련 동영상을 대상 사용자를 위한 일관된 보고서로 요약하는 것—를 모두 지원한다. MultiVENT-Raw에서 강력한 베이스라인을 벤치마킹한 결과, 최신 멀티모달 모델 중 일부에게도 두 과제 모두 여전히 도전적임을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.