arXiv:2108.06706

Temporal Action Segmentation with High-level Complex Activity Labels

Guodong Ding, Angela Yao

제출 2021-08-15

원문 초록

The temporal action segmentation task segments videos temporally and predicts action labels for all frames. Fully supervising such a segmentation model requires dense frame-wise action annotations, which are expensive and tedious to collect. This work is the first to propose a Constituent Action Discovery (CAD) framework that only requires the video-wise high-level complex activity label as supervision for temporal action segmentation. The proposed approach automatically discovers constituent video actions using an activity classification task. Specifically, we define a finite number of latent action prototypes to construct video-level dual representations with which these prototypes are learned collectively through the activity classification training. This setting endows our approach with the capability to discover potentially shared actions across multiple complex activities. Due to the lack of action-level supervision, we adopt the Hungarian matching algorithm to relate latent action prototypes to ground truth semantic classes for evaluation. We show that with the high-level supervision, the Hungarian matching can be extended from the existing video and activity levels to the global level. The global-level matching allows for action sharing across activities, which has never been considered in the literature before. Extensive experiments demonstrate that our discovered actions can help perform temporal action segmentation and activity recognition tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.08381v2cs.CV공통 태그 Activity Recognition, Action Recognition

DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습

DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing

IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.

arXiv:2609.23486v1cs.RO공통 태그 Activity Recognition, Action Recognition

인간 중심 멀티모달 관측에 기반한 선제적 로봇을 위한 인지적 행동 추론

Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations

인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.

arXiv:2609.24127v1cs.CV공통 태그 Activity Recognition, Action Recognition

Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습

Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding

원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.

arXiv:2607.22721v1cs.CV공통 태그 Activity Recognition, Action Recognition

정신분열증 인지 재활을 위한 상호작용형 비전-언어 플랫폼

An Interactive Vision Language Platform for Cognitive Remediation in Schizophrenia

인지 재활 과제는 종종 환자가 객체 조작과 순차적 추론을 포함하는 구조화된 행동을 수행하도록 요구한다. 정신분열증으로 진단받은 환자에게 이러한 과제는 심각한 인지 결손을 다루는 데 중요하다. 그러나 이러한 신체적 행동의 정확성을 평가하는 것은 일반적으로 임상의의 수동 관찰에 의존하며, 이는 주관성을 초래하고 치료적 개입의 확장성을 제한한다. 본 논문에서는 정신분열증 재활을 위한 인지 재활 과제에서 행동 검증을 위해 Vision-Language Model(VLM)에 기반한 자동화 프레임워크를 제안한다. 제안된 시스템은 도로, 회전 교차로, 공원, 장난감 차량 등을 포함한 구조화된 미니어처 장면으로 구성된 카메라 모니터링 탁상 환경에 의존한다. 환자는 장난감 차량을 조작하여 수행할 목표 지향적 공간 행동을 설명하는 음성 지시를 받는다. 이러한 상호작용형 신체 활동은 지속적 어텐션(sustained attention), 운동 협응, 공간 탐색, 인지 유연성과 같은 표적 인지 기능을 자극하도록 특별히 설계되었다. 연속적인 임상 감독 없이 수행된 행동의 정확성을 검증하기 위해, 시스템은 환자의 손과 장난감 움직임을 추적하는 영상 피드를 분석한다. 파인튜닝된 비전-언어 모델은 기록된 영상 시퀀스를 해석하고 관찰된 활동에 대한 의미론적 설명을 생성하여, 초기 텍스트 지시에 대한 수행된 행동의 고수준 검증을 가능하게 한다. 제안된 접근법을 평가하기 위해 4634개의 탁상 인지 재활 영상 시나리오로 구성된 전용 데이터셋을 수집했다. 실험 결과, 우리의 특화된 프레임워크가 저수준 물리적 텔레메트리와 고수준 임상 피드백을 효과적으로 연결하며, 고급 인지 재활을 위한 확장 가능하고 객관적인 해결책을 제시함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.