arXiv:2611.16056v1 cs.CV

행동 속의 하위 행동: 하위 행동 인식을 위한 텍스트 안내 손 역할 정렬

Sub-actions in Action: Text-Guided Hand-Role Alignment for Sub-Action Recognition

Sadegh Rahmaniboldaji, Filip Rybansky, Quoc Vuong, Frank Guerin, Andrew Gilbert

제출 2026-11-11

저자 비고

arXiv Comments

Accepted at BMVC 2026, Supplementary material is available

한국어 초록

본 연구의 목표는 에고센트릭 행동에서 왼손과 오른손의 역할을 구분하는 VLM의 능력을 향상하는 것이다. 우리는 진행 중인 상위 수준 행동 안에서 왼손과 오른손의 역할 및 각 손이 조작하는 객체를 모델이 명시적으로 인식하도록 요구하는 과제인 하위 행동 탐지를 도입한다. 이 과제를 해결하기 위해 비전 인코더나 언어 모델을 수정하지 않고 기존 비디오 LLM을 보강하는 프레임워크인 BiScopeNet을 제안한다. BiScopeNet은 두 구성 요소를 포함한다. 하나는 비디오 특징을 텍스트 맥락과 선택적으로 정렬하여 행동 관련 단서를 강조하는, 게이트를 갖춘 텍스트 안내 어텐션 기반 모듈인 FocusAlign이고, 다른 하나는 시각적으로 근거가 있는 용어에 우선순위를 두는, 마스킹되고 객체 가중치가 적용된 손실인 MetaLoss이다. 하위 행동 탐지를 지도하기 위해, 기존 에고센트릭 데이터셋에서 선별한 대규모 비디오 단위 데이터셋 BiScopeCap-100K를 도입한다. 이 데이터셋은 상위 수준 행동, 왼손/오른손 역할, 조작 객체를 함께 기술하는 조밀한 캡션을 제공하며 근거 설정을 위한 공간 메타데이터로 보강되어 있다. 평가한 Video-LLM 백본 전반에서 BiScopeNet은 대응하는 지도 학습 기준선보다 행동, 손 역할, 객체 인식을 향상시키며, BiScopeCap에서 평가된 구성 중 가장 강력한 종합 성능을 달성한다.

원문 초록

Our objective is to enhance VLMs ability to distinguish the roles of the left and right hands in egocentric actions. We introduce sub-action detection, a task that requires models to explicitly recognise the left- and right-hand roles and their manipulated objects within an ongoing high-level action. To address this challenge, we propose BiScopeNet, a framework that augments existing video-LLMs without modifying their vision encoders or language models. BiScopeNet incorporates two components: FocusAlign, a gated text-guided attention-based module that selectively aligns video features with textual context to emphasise action-relevant cues, and MetaLoss, a masked, object-weighted loss that prioritises visually grounded terms. To supervise sub-action detection, we introduce BiScopeCap-100K, a large-scale video-level dataset curated from existing egocentric datasets, providing dense captions that jointly describe high-level actions, left/right-hand roles, and manipulated objects, enriched with spatial metadata for grounding. Across the evaluated Video-LLM backbones, BiScopeNet improves action, hand-role, and object recognition over the corresponding supervised baselines, achieving the strongest aggregate performance among the evaluated configurations on BiScopeCap.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.16056v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.