arXiv:2303.15167

Prompt-Guided Zero-Shot Anomaly Action Recognition using Pretrained Deep Skeleton Features

Fumiaki Sato, Ryo Hachiuma, Taiki Sekii

제출 2023-03-27

원문 초록

This study investigates unsupervised anomaly action recognition, which identifies video-level abnormal-human-behavior events in an unsupervised manner without abnormal samples, and simultaneously addresses three limitations in the conventional skeleton-based approaches: target domain-dependent DNN training, robustness against skeleton errors, and a lack of normal samples. We present a unified, user prompt-guided zero-shot learning framework using a target domain-independent skeleton feature extractor, which is pretrained on a large-scale action recognition dataset. Particularly, during the training phase using normal samples, the method models the distribution of skeleton features of the normal actions while freezing the weights of the DNNs and estimates the anomaly score using this distribution in the inference phase. Additionally, to increase robustness against skeleton errors, we introduce a DNN architecture inspired by a point cloud deep learning paradigm, which sparsely propagates the features between joints. Furthermore, to prevent the unobserved normal actions from being misidentified as abnormal actions, we incorporate a similarity score between the user prompt embeddings and skeleton features aligned in the common space into the anomaly score, which indirectly supplements normal actions. On two publicly available datasets, we conduct experiments to test the effectiveness of the proposed method with respect to abovementioned limitations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13569v3cs.CV공통 태그 Zero-Shot Learning, Action Recognition

GHR-VLM: 그라운딩 기반 혼합 추론으로 제로샷 대중교통 비디오 분석 실현

GHR-VLM: Making Zero-Shot Transit Video Analytics Realizable with Grounded Hybrid Reasoning

대중교통 비디오 이해는 기존 승객 카운터 및 요금 시스템이 포착할 수 없는 가치 있는 세밀한 데이터를 제공할 수 있다. 그러나 지도 학습 비디오 모델은 과제별 주석이 필요한 반면, 비전-언어 모델(VLM)을 긴 차내 비디오에 직접 적용하는 것은 신뢰성이 낮고 비용이 많이 든다. 두 접근법의 상호 보완적 강점을 활용하기 위해, 우리는 제로샷 대중교통 버스 비디오 분석을 위한 시각적 그라운딩 기반 혼합 추론 프레임워크인 GHR-VLM을 제안한다. 이는 명시적 시각적 그라운딩이 긴 감시 영상 스트림을 승객 중심의 간결한 시공간 증거로 변환함으로써 VLM 추론을 개선할 수 있다는 관찰에 영감을 받았다. 구체적으로, 우리는 경량 에지 기반 모니터가 문 상태를 지속적으로 추적하고 승객 클립을 세그먼트화하는 엣지-클라우드 설계를 제안한다. 백엔드 VLM은 이후 시공간 증거에 대한 2단계 거친-세밀(coarse-to-fine) 정제를 통해 탑승 승객을 식별하고 결제 행동을 분류한다. 그라운딩된 승객 클립과 컨택트 시트(contact sheet)에 대해서만 VLM을 호출함으로써, GHR-VLM은 클라우드 추론을 줄이고, 결제 특화 학습 데이터를 피하며, VLM이 원래 식별하기 어려워하는 국소화된 증거를 제공한다. 486분의 실제 버스 감시 비디오에 대한 평가는 열화된 비디오 조건이 제기하는 과제를 강조하면서, 승객 수준의 결제 분석을 위한 그라운딩 기반 엣지-클라우드 추론의 잠재력을 보여준다.

arXiv:2607.24611v1cs.CV공통 태그 Zero-Shot Learning, Action Recognition

심각한 분포 이동 환경의 비디오를 위한 이중 지식 증류 기반 테스트 시간 적응

Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts

심층 학습 모델은 여러 컴퓨터 비전(CV) 작업에서 최첨단 성능을 달성해 왔다. 그러나 예상치 못한 분포 이동으로 인해 실제 환경에 적용할 때 심각한 성능 저하를 겪는다. 테스트 시간 적응(TTA)은 소스 데이터에 접근하지 않고, 타깃 도메인의 비레이블 데이터를 사용하여 추론 시점에 테스트 분포에 동적으로 적응함으로써 이 문제를 해결하려 한다. 그러나 연속적이고 시간적으로 상관된 데이터(예: 비디오)에 적응하거나, 타깃 도메인에 심각한 도메인 이동이 존재하는 시나리오에서는 TTA가 여전히 어려운 문제로 남아 있다. 이러한 이유로, 문헌에서 이와 같은 극한 조건 하의 비디오 TTA를 탐구한 연구는 많지 않다. 이러한 한계를 극복하기 위해, 우리는 도메인 간격을 메우기 위해 경량 투영 어댑터에 의존하는 온라인 적응 프레임워크인 이중 지식 증류 기반 테스트 시간 적응(TADD)을 제안한다. 어댑터 모듈은 소스 도메인에서 사전학습된 후, 우리가 제안한 상보적 손실을 사용하여 타깃에 적응된다: (i) 제로샷 지식 증류는 사전학습된 비전-언어 모델(VLM)의 도메인 불변 특징과의 정렬을 장려하고, (ii) 타깃 지식 증류는 사전학습된 어댑터에 인코딩된 소스 도메인의 판별적 지식을 유지한다. 고정된 CLIP 백본 위에 구축된 우리 방법은 추론 동안 유일하게 갱신 가능한 구성 요소로 이 경량 투영 어댑터를 도입한다. 우리는 UCF-HMDB, Daily-DA, Sports-DA의 세 가지 잘 알려진 비디오 행동 인식 벤치마크에서 광범위한 평가를 수행했다. 폐쇄 집합(closed-set) 시나리오에서의 실험은 우리 방법이 최첨단 TTA 기준선을 일관되게 능가함을 보여준다. 특히, 우리의 TTA 접근법은 UCF-HMDB에서 최대 +3.81%, Daily-DA에서 +2.63%, Sports-DA에서 +3.03%만큼 이전 방법 대비 향상된다.

arXiv:2607.19826v1cs.CV공통 태그 Zero-Shot Learning, Action Recognition

MoAKE: 동작 지식 전문가 혼합을 통한 통합 올인원 동작 품질 평가

MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts

동작 품질 평가(AQA)는 동작 영상으로부터 수행 품질을 객관적으로 평가하는 것을 목표로 한다. 기존 대부분의 방법은 각 동작 유형마다 별도의 모델을 학습하는 '하나씩(one-by-one)' 패러다임을 따른다. 이 설정은 해당 모델을 선택하기 위해 사전에 동작 유형 지식이 필요하고, 다양한 동작에 걸친 일반화 성능이 낮아 실세계 배포를 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 통합 모델 내에서 이질적인 동작을 평가하는 것을 목표로 하는 도전적인 올인원 AQA 과제를 연구한다. 우리는 동작 간 큰 의미적 차이로 인한 부정적 지식 전이를 완화하도록 설계된 새로운 동작 지식 전문가 혼합(MoAKE) 프레임워크를 제안한다. MoAKE는 공유 의미 공간 내에서 다양한 동작 패턴을 포착하는 상보적 전문가들을 학습하고, 그들의 지식을 동적으로 집계하여 입력 동작에 맞게 평가를 적응시킨다. 각 전문가는 가변적인 시간 길이를 처리하기 위해 세그먼트 인식 프로토타입으로 맞춤화되며, 다중 세분성 시간 역학을 모델링하기 위한 적응형 세그먼트 내·세그먼트 간 관계 모델링(AIISRM) 모듈과 함께 구성된다. 더 나아가, 우리는 올인원 및 제로샷/퓨샷 AQA를 위한 포괄적인 벤치마크를 구축한다. 세 개의 장기 데이터셋에 대한 광범위한 실험은 MoAKE가 올인원 설정에서 기존 방법들을 크게 능가함을 보여주며, 제로샷/퓨샷 평가 하에서 세 개의 단기 데이터셋에서도 일관된 일반화 성능을 달성한다. 코드는 https://github.com/XuHuangbiao/MoAKE 에서 제공된다.

arXiv:2607.03595v1cs.CV공통 태그 Zero-Shot Learning, Action Recognition

대규모 비전-언어 모델을 활용한 토큰 기반 어포던스 그라운딩

Token-Based Affordance Grounding with Large Vision-Language Models

어포던스 그라운딩은 특정 행동을 지원하는 이미지 영역을 위치 파악하는 것을 목표로 하며, 물리적 지능과 체화 인식(embodied perception)의 핵심 역량으로 기능한다. 기존 연구들은 주로 외중심(exocentric) 이미지의 행동 레이블을 활용한 약지도 학습(weakly supervised learning)에 의존해 왔다. 그러나 이러한 방법들은 동시 발생 행동이 포함된 시각적으로 모호한 외중심 이미지에서 어려움을 겪는 경우가 많으며, 나아가 기존 방법들은 행동별 위치 파악에 필요한 풍부한 의미적 세부 정보가 부족한 간단한 행동 구문에 의존하기 때문에 의미적으로 유사한 행동을 구별하지 못한다. 대규모 비전-언어 모델(LVLM)은 풍부한 행동 의미를 인코딩하고 행동 조건부 텍스트 출력에 공간적 단서를 암묵적으로 포함하지만, 행동별 공간 위치 파악을 직접적으로 제공하지는 않는다. 이러한 문제를 해결하기 위해, 우리는 외부 지도 없이 LVLM의 토큰 수준 의미-공간 신호를 활용하여 행동 관련 영역을 위치 파악하는 제로샷 어포던스 그라운딩 프레임워크인 TokAG를 제안한다. 서로 다른 LVLM 출력 토큰과 연관된 어텐션 맵은 크게 다르며, 상당수가 배경과 같은 무관한 영역에 집중함을 관찰하였다. 이에 우리는 임의의 어텐션 맵에 의존하는 대신, 각 출력 토큰을 체계적으로 평가하고 대상 객체에 대해 지배적인 활성화를 보이는 어텐션 맵을 가진 토큰을 선택하는 공간 인식 토큰 선택 메커니즘을 도입한다. 이러한 객체 중심 어텐션 맵을 추출함으로써, LVLM의 암묵적 의미 신호를 제로샷 어포던스 히트맵으로 변환한다. 우리의 제로샷 프레임워크는 여러 벤치마크에서 기존 약지도 방법들을 일관되게 능가하며, AGD20K의 미관측 분할에서 NSS를 10.7%, HICO-IIF에서 29.7% 향상시킨다. 코드와 모델은 공개될 예정이다.

arXiv:2607.05171v2cs.CL공통 태그 Zero-Shot Learning

RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측

RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain

뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.

arXiv:2607.12909v2q-bio.NC공통 태그 Action Recognition

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.