arXiv:2204.04049

Efficient tracking of team sport players with few game-specific annotations

Adrien Maglo, Astrid Orcesi, Quoc-Cuong Pham

제출 2022-04-08

원문 초록

One of the requirements for team sports analysis is to track and recognize players. Many tracking and reidentification methods have been proposed in the context of video surveillance. They show very convincing results when tested on public datasets such as the MOT challenge. However, the performance of these methods are not as satisfactory when applied to player tracking. Indeed, in addition to moving very quickly and often being occluded, the players wear the same jersey, which makes the task of reidentification very complex. Some recent tracking methods have been developed more specifically for the team sport context. Due to the lack of public data, these methods use private datasets that make impossible a comparison with them. In this paper, we propose a new generic method to track team sport players during a full game thanks to few human annotations collected via a semi-interactive system. Non-ambiguous tracklets and their appearance features are automatically generated with a detection and a reidentification network both pre-trained on public datasets. Then an incremental learning mechanism trains a Transformer to classify identities using few game-specific human annotations. Finally, tracklets are linked by an association algorithm. We demonstrate the efficiency of our approach on a challenging rugby sevens dataset. To overcome the lack of public sports tracking dataset, we publicly release this dataset at https://kalisteo.cea.fr/index.php/free-resources/. We also show that our method is able to track rugby sevens players during a full match, if they are observable at a minimal resolution, with the annotation of only 6 few seconds length tracklets per player.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.16073v4cs.LG공통 태그 Incremental Learning공식 코드 · Papers with Code

연속 학습을 위한 Soft-TransFormers

Soft-TransFormers for Continual Learning

잘 초기화된 복권 티켓 가설(Well-initialized Lottery Ticket Hypothesis, WLTH)에서 영감을 받아, 우리는 Soft-TransFormers(Soft-TF)를 제안한다. 이는 고정된 사전학습 트랜스포머를 선택된 셀프 어텐션(self-attention) 레이어의 query, key, value, output 투영(projection)에 대한 실수값 곱셈 마스크로 구성된 과제별 소프트 서브네트워크를 통해 적응시키는 연속 학습(continual learning) 프레임워크이다. 마스크는 1로 초기화되므로 최적화는 정확히 사전학습 해법에서 시작하며, 마스크 공간 경사하강법은 본질적으로 백본의 지배적 경로를 조절하는 방향으로 편향된다. 우리는 표준 볼록-리ipschitz 가정 하에서, 수렴 속도와 마스크만 사용하는 미세조정의 매개변수 편향(drift) 모두가 사전학습 가중치에서 과제 최적 구성까지의 거리에 의해 제어됨을 증명한다. 이러한 제한된 편향은 두 가지 성질을 만든다. 백본과 과제별 마스크가 덮어쓰이지 않으므로 망각은 구조적으로 제거된다. 또한 모든 과제 서브네트워크가 공유 사전학습 해법 근처에 머물기 때문에, 잘못된 마스크라도 거의 범용적인 함수에 가까운 함수를 평가하므로 과제 추론 오류는 대체로 무해하며, 클래스 증분(class-incremental) 정확도는 과제 추론 신뢰성과 분리된다. 플러그인으로 Soft-TF는 L2P, DualPrompt, HiDe-Prompt, NoRGa와 결합되며, 과제 키 매칭, 엔트로피-그래디언트 기준, 또는 학습된 과제 식별 분류기로 마스크를 선택한다. Split-CIFAR100, Split-ImageNet-R, CUB-200, 5-Datasets 등 클래스 증분 학습 벤치마크에서 Soft-TF는 유사한 학습 가능 매개변수 예산에서 프롬프트 기반, 어댑터 기반, LoRA 스타일 기준선들을 일관되게 능가하면서, 수정되지 않은 백본과 동일한 추론 비용을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.