행동 인식(action recognition)은 로보틱스, 환자 모니터링, 감시와 같은 분야에서 중요한 과제이다. 최근 이벤트 카메라가 빠른 움직임을 포착할 수 있는 능력과 기존 비전 카메라에 비해 개선된 프라이버시를 제공한다는 점 때문에 이벤트 기반 행동 인식이 큰 주목을 받고 있다. 프레임 기반 이벤트 표현은 짧은 이벤트 시퀀스에서는 잘 동작하지만, 더 길고 복잡한 이벤트 시퀀스에서는 판별력이 급격히 저하된다. 본 연구에서는 단일 프레임 표현에 비해 인식 성능을 크게 향상시키는 멀티프레임 표현을 제안한다. 우리는 다운스트림 성능을 개선하고 계산 복잡도를 제어하기 위해 희소성(sparsity)을 고려한 마스킹 알고리즘과 토큰 선택 메커니즘을 사용하여 비전 트랜스포머(Vision Transformer)를 사전학습하는 마스크드 오토인코딩(masked auto-encoding) 프레임워크를 채택한다. 또한 위치 인식 어텐션 메커니즘을 갖춘 디코더용 다중 마스크 토큰을 도입하여 성능을 더욱 향상시킨다. 제안하는 방법은 도전적인 장시간의 복잡한 이벤트 시퀀스에서 인상적인 성능을 보이며, THU-EACT-50 CHL 및 DailyDVS-200에서 최신 기술(state-of-the-art) 수준의 성능을 달성한다.
시간을 인지하는(temporally aware) 영상 표현은 종단적(longitudinal) 의료 데이터셋의 3D 볼륨에서 질환 진행을 포착하는 데 필수적입니다. 그러나 마스크 오토인코딩(MAE)과 같은 최신 자기지도학습(self-supervised learning) 접근법은 강력한 표현 학습 능력에도 불구하고 시간적 인지 능력이 부족합니다. 본 논문에서는 2개의 입력 볼륨 간의 시차를 조건으로 하여 확률적 과정을 통해 시간 정보를 인코딩하는 샴 MAE(Siamese MAE) 프레임워크인 STAMP(Stochastic Temporal Autoencoder with Masked Pretraining)를 제안합니다. 서로 다른 시점의 스캔을 비교하지만 질환 진행에 내재된 불확실성을 설명하지 못하는 결정론적(deterministic) 샴 접근법과 달리, STAMP는 MAE 재구성 손실(reconstruction loss)을 조건부 변분 추론(conditional variational inference) 목적함수로 재구성하여 시간 역학을 확률적으로 학습합니다. 저자들은 환자당 여러 번의 방문 기록이 있는 2개의 OCT 및 1개의 MRI 데이터셋에서 STAMP를 평가했습니다. STAMP로 사전학습된 ViT 모델은 질환의 기저에 있는 비결정론적 시간 역학 학습을 요구하는 다양한 후기 단계 연령 관련 황반변성 및 알츠하이머병 진행 예측에서 기존의 시간적 MAE 방식과 파운데이션 모델을 모두 능가하는 성능을 보였습니다.
우리는 대규모 이종 그래프에서 노드 및 그래프 임베딩을 학습하기 위한 자기지도 프레임워크인 MABLE(Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning)을 제안하며, 여기서는 지리공간 광물 탐험 데이터를 대상으로 이를 실증한다. MABLE은 마스크 재구성과, 매칭된 증강 뷰를 정렬하면서 동시에 쌍을 이루지 않는 임베딩을 충분히 분산시키는 고정된 코사인 유사도 손실을 결합한다. 양방향 립시츠 특징 디코더는 각 노드 임베딩의 저차원 재구성 구성요소를 특징 유사도와 결부시키고, 매칭된 노드 일관성은 그래프 풀링에 사용되는 나머지 컨텍스트를 형성한다. 립시츠 제어 풀링은 유지된 노드 임베딩의 섭동 하에서 그래프 수준 표현의 안정화를 돕고, 증강 정렬은 마스킹, 노드 드롭, 샘플링 변이에 대한 강건성을 학습시킨다. 지역 구리 및 광역 아라비안 실드(Arabian Shield) 연구에 걸쳐, MABLE 임베딩은 보완적인 다운스트림 신호를 제공하고, 학습된 판별자나 하드 네거티브 선택 없이 가설 생성을 위한 일관된 임베딩 기반 레이어를 생성한다.