TReViS: 자기지도 반복 동작 계수를 위한 시간적 반복 구조 인식 비디오 합성
TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting
완전 지도 방식의 반복 동작 계수(Repetitive Action Counting, RAC)는 뛰어난 성능을 달성했지만, 비용이 많이 들고 확장이 어려운 조밀한 시간적 주석(annotation)을 필요로 한다. 우리는 반복 레이블 없이 RAC 모델을 학습시킬 수 있는 자기지도(self-supervised) 비디오 합성 프레임워크인 TReViS를 제안한다. TReViS는 레이블이 없는 비디오의 근본적인 시간적 반복 구조를 시간적 자기 유사도 행렬(Temporal Self-Similarity Matrix)을 통해 추정하고, 그 주기 통계를 추론한 뒤, 현실적인 반복 패턴을 보존하면서도 통제된 시간적 변동성을 도입한 새로운 학습 시퀀스를 합성한다. 이렇게 합성된 비디오는 의사 레이블(pseudo-label)과 짝을 이루어 기존 RAC 아키텍처를 처음부터 학습시키는 데 사용된다. 여러 데이터셋과 백본(backbone)에 걸쳐, TReViS는 기존의 자기지도 방법들을 일관되게 능가하며 완전히 레이블 없이도 여러 지도 학습 기준선(baseline)과 견줄 만한 성능을 달성함으로써, 레이블 없는 RAC를 위한 구조 인식 비디오 합성의 효과를 입증한다. 소스 코드는 https://github.com/yfqi/TReViS 에서 확인할 수 있다.