arXiv:2108.03329

Feature-Supervised Action Modality Transfer

Fida Mohammad Thoker, Cees G. M. Snoek

제출 2021-08-06

원문 초록

This paper strives for action recognition and detection in video modalities like RGB, depth maps or 3D-skeleton sequences when only limited modality-specific labeled examples are available. For the RGB, and derived optical-flow, modality many large-scale labeled datasets have been made available. They have become the de facto pre-training choice when recognizing or detecting new actions from RGB datasets that have limited amounts of labeled examples available. Unfortunately, large-scale labeled action datasets for other modalities are unavailable for pre-training. In this paper, our goal is to recognize actions from limited examples in non-RGB video modalities, by learning from large-scale labeled RGB data. To this end, we propose a two-step training process: (i) we extract action representation knowledge from an RGB-trained teacher network and adapt it to a non-RGB student network. (ii) we then fine-tune the transfer model with available labeled examples of the target modality. For the knowledge transfer we introduce feature-supervision strategies, which rely on unlabeled pairs of two modalities (the RGB and the target modality) to transfer feature level representations from the teacher to the student network. Ablations and generalizations with two RGB source datasets and two non-RGB target datasets demonstrate that an optical-flow teacher provides better action transfer features than RGB for both depth maps and 3D-skeletons, even when evaluated on a different target domain, or for a different task. Compared to alternative cross-modal action transfer methods we show a good improvement in performance especially when labeled non-RGB examples to learn from are scarce

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25862v1cs.CL공통 태그 Transfer Learning, Action Recognition

아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험

Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting

본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.

arXiv:2609.23431v1cs.CV공통 태그 Transfer Learning, Action Recognition

HOIBlender: 효율적 사람-객체 상호작용 검출을 위한 경량 검출과 비전-언어 사전지식의 블렌딩

HOIBlender: Blending Lightweight Detection with Vision-Language Priors for Efficient Human-Object Interaction Detection

사람-객체 상호작용(HOI) 검출은 상호작용하는 사람-객체 쌍을 그라운딩(grounding)하고 이들을 연결하는 동사를 인식해야 하며, 종종 심각한 롱테일(long-tail) 감독 하에서 수행된다. 최근 방법들은 더 강한 검출기와 비전-언어 사전지식으로 정확도를 높이지만, 많은 방법이 여전히 검출기 위에 무거운 트랜스포머 인코더, 복잡한 디노이징 스케줄, 또는 사후(post-hoc) 의미적 보정을 쌓아 올린다. 본 논문은 핵심 설계 원칙인 블렌딩에서 이름을 따온 효율적 HOI 검출기 \textbf{HOIBlender}를 제안한다. 검출기로 그라운딩된 시각 토큰, 공간적 주체-객체 추론, BLIP-2 의미 사전지식을 하나의 경량 디코딩 파이프라인 안에서 블렌딩한다. HOIBlender는 DINOv2 백본을 갖춘 RF-DETR/LW-DETR 스타일 기반 위에 구축되며, 다중 스케일 프로젝터에서 top-$K$ 이미지 조건부 토큰을 주체 및 객체 후보로 직접 선택하여, 이전 HOI 방법들이 유지하던 전용 인코더 단계를 제거한다. 이중 단계 디코더는 먼저 사람-객체 기하를 안정화한 뒤, 점진적 BLIP-2 사전지식 융합을 통해 동사 및 HOI 분류를 수행하며, 롱테일 카테고리를 위해 분류기 가중치는 BLIP-2 텍스트 임베딩(embedding)으로 초기화한다. 그룹 쿼리(grouped-query) 학습은 추론(inference) 비용을 늘리지 않으면서 최적화(optimization)를 더 풍부하게 한다. 세 가지 모델 규모(Nano, Small, 2XL)에 걸쳐 HOIBlender는 HICO-DET에서 SOV-STG-VLA 및 Hybrid-SOV-VLA를 일관되게 능가하며, 경쟁력 있는 지연(latency)과 매개변수 예산을 유지하면서 단 $9$회 학습 epoch만으로 Default Full mAP $44.49$에 도달한다. 이러한 결과는 경량 검출, 구조화된 공간-의미 디코딩, 깊이 통합된 비전-언어 사전지식을 단일의 효율적 HOI 파이프라인으로 블렌딩할 수 있음을 보여준다.

arXiv:2609.24127v1cs.CV공통 태그 Transfer Learning, Action Recognition

Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습

Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding

원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.

arXiv:2609.07780v3cs.CV공통 태그 Transfer Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.