Adversarial Self-Supervised Learning for Semi-Supervised 3D Action Recognition
원문 초록
We consider the problem of semi-supervised 3D action recognition which has been rarely explored before. Its major challenge lies in how to effectively learn motion representations from unlabeled data. Self-supervised learning (SSL) has been proved very effective at learning representations from unlabeled data in the image domain. However, few effective self-supervised approaches exist for 3D action recognition, and directly applying SSL for semi-supervised learning suffers from misalignment of representations learned from SSL and supervised learning tasks. To address these issues, we present Adversarial Self-Supervised Learning (ASSL), a novel framework that tightly couples SSL and the semi-supervised scheme via neighbor relation exploration and adversarial learning. Specifically, we design an effective SSL scheme to improve the discrimination capability of learned representations for 3D action recognition, through exploring the data relations within a neighborhood. We further propose an adversarial regularization to align the feature distributions of labeled and unlabeled samples. To demonstrate effectiveness of the proposed ASSL in semi-supervised 3D action recognition, we conduct extensive experiments on NTU and N-UCLA datasets. The results confirm its advantageous performance over state-of-the-art semi-supervised methods in the few label regime for 3D action recognition.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
멀티프레임 표현에 대한 사전학습을 통한 이벤트 기반 행동 인식
Event-based Action Recognition by Pre-Training on Multi-Frame Representations
행동 인식(action recognition)은 로보틱스, 환자 모니터링, 감시와 같은 분야에서 중요한 과제이다. 최근 이벤트 카메라가 빠른 움직임을 포착할 수 있는 능력과 기존 비전 카메라에 비해 개선된 프라이버시를 제공한다는 점 때문에 이벤트 기반 행동 인식이 큰 주목을 받고 있다. 프레임 기반 이벤트 표현은 짧은 이벤트 시퀀스에서는 잘 동작하지만, 더 길고 복잡한 이벤트 시퀀스에서는 판별력이 급격히 저하된다. 본 연구에서는 단일 프레임 표현에 비해 인식 성능을 크게 향상시키는 멀티프레임 표현을 제안한다. 우리는 다운스트림 성능을 개선하고 계산 복잡도를 제어하기 위해 희소성(sparsity)을 고려한 마스킹 알고리즘과 토큰 선택 메커니즘을 사용하여 비전 트랜스포머(Vision Transformer)를 사전학습하는 마스크드 오토인코딩(masked auto-encoding) 프레임워크를 채택한다. 또한 위치 인식 어텐션 메커니즘을 갖춘 디코더용 다중 마스크 토큰을 도입하여 성능을 더욱 향상시킨다. 제안하는 방법은 도전적인 장시간의 복잡한 이벤트 시퀀스에서 인상적인 성능을 보이며, THU-EACT-50 CHL 및 DailyDVS-200에서 최신 기술(state-of-the-art) 수준의 성능을 달성한다.
수술 도구-조직 상호작용 인식을 위한 잠재 행동 유도 비디오-언어 특징 학습
Latent-Action-Guided Video-Language Feature Learning for Surgical Instrument-Tissue Interaction Recognition
도구-조직 간 상호작용을 인식하는 것은 맥락 인식 수술 AI에 필수적입니다. 비전-언어(vision-language) 모델은 비디오 특징(feature)을 텍스트 기반 행동 설명과 정렬함으로써 수술 표현에 의미적 구조를 주입하는 자연스러운 방법을 제공합니다. 그러나 사전학습(pre-training)된 인코더는 공간적 일관성이 부족할 수 있으며, 전역적 의미 정렬이 정밀한 시공간적 표현을 보장하지는 않습니다. 프레임 간 특징 변화를 분석한 결과, 의미 정렬이 차원성을 증가시키지만 차원이 더 크게 증가한다고 해서 인식이 반드시 향상되는 것은 아니며, 지배적인 변화가 상호작용 영역에 얼마나 강하게 국소화되는지에서도 인코더마다 차이가 있음을 발견했습니다. 이러한 발견에 착안하여, 프레임 간 변화를 잠재 행동으로 압축하고 엔드투엔드 비디오-언어 정렬 과정에서 다음 프레임 특징을 예측하는 \ours{}를 제안합니다. 추가적인 공간 또는 모션 어노테이션 없이도, \ours{}는 평가 환경에서 주요 특징 변화의 상호작용 그라운딩(grounding)과 시간 방향 민감도를 향상시킵니다. 나아가 행동 용량과 예측 강도가 인코더 및 삼중항(triplet) 구성요소 전반의 인식에 미치는 영향을 규명합니다. 대규모 비디오 사전학습이 없는 이미지 인코더를 사용하여, \ours{}는 V-JEPA2/2.1 대비 더 빠른 추론(inference)과 더 적은 INT4 정확도 저하를 보이면서 경쟁력 있는 인식 성능을 달성합니다.
비디오 = 월드(World) + 이벤트 스트림(Event Stream)
Video = World + Event Stream
Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.
스포츠 비디오에서 레이블 효율적 정확 이벤트 스포팅을 위한 시간적 특징 증류
Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos
정확 이벤트 스포팅(Precise Event Spotting, PES)은 시각적으로 유사하지만 의미적으로 구별되는 인접 프레임을 구분해야 하므로, 이미지 분류 및 세밀하지 않은 행동 인식과 근본적으로 다릅니다. DINO와 같은 자기 증류 방법이 이미지에서 강력한 표현 학습 능력을 보였음에도 불구하고, 이를 PES에 직접 적용하면 효과적이지 않다는 것을 발견했습니다. 지도 학습 없이는 미묘하지만 중요한 모션 단서가 노이즈로 억제되어 정확한 이벤트 경계에 둔감한 표현으로 이어집니다. 이를 해결하기 위해, 프레임 수준 위치 파악에 필요한 모션에 민감하고 경계를 인식하는 단서를 보존하고자 프로젝션 헤드 출력이 아닌 시간적으로 유익한 백본 특징을 정렬하는 반지도 학습 목적 함수인 시간적 특징 증류(Temporal Feature Distillation)를 제안합니다. 램프업 스케줄을 갖춘 지도 학습 웜업은 레이블 없는 증류가 시작되기 전에 의미 있는 이벤트 단서가 학습되도록 보장함으로써 학습을 더욱 안정화합니다. 또한 비전 트랜스포머에 모션 인식 시간 정보를 주입하는 다중 스케일 게이팅 이동 모듈인 Transformer Gate Shift를 소개합니다. 네 가지 세밀한 스포츠 벤치마크에 대한 실험은 완전 지도 학습 및 반지도 학습 기준선 대비 일관된 성능 향상을 보여줍니다. FSPerf에서 10% 지도 학습 조건 하에서 우리의 방법은 가장 강력한 경쟁 접근법 대비 mAP를 4.54 포인트 향상시키며, 80%의 레이블 데이터만으로도 네 개 데이터셋 중 두 개에서 완전 지도 학습 100% 기준선과 동등하거나 이를 능가합니다.
Fisherposes for Human Action Recognition Using Kinect Sensor Data
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.