arXiv:2610.13776v1 cs.CV

READ: 충실한 비디오 기여도 분석을 위한 선택적 스캔 판독

READ: Reading the Selective Scan for Faithful Video Attribution

Magdalena Trędowicz, Piotr Kubaty, Arkadiusz Lewicki, Jacek Tabor, Łukasz Struski

제출 2026-10-09

한국어 초록

선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.

원문 초록

Selective state-space models are an efficient approach to long-sequence video modeling. However, their recurrent computation makes it difficult to determine which video tokens drive a prediction. Existing attribution methods often require additional backward passes or repeated model evaluations, making them substantially more expensive than the forward inference they aim to explain. In this work, we introduce READ, a parameter-free attribution method for selective state-space models that unrolls the recurrence at the position read by the classifier. READ traces the contribution accumulated in the recurrent state back to the video tokens that contribute to the final prediction. By anchoring attribution at the classifier's readout, it produces a single spatiotemporal relevance map from which frame- and region-level relevance can be obtained directly. Despite requiring only one forward pass, READ achieves competitive faithfulness and localisation compared with substantially more expensive attribution methods. Experimental results show that READ avoids the systematic relevance biases of existing methods while recovering meaningful temporal and class-specific structure across datasets and backbones. More broadly, our results show that the recurrence underlying selective state-space models is not only an efficient mechanism for inference, but also a direct source of interpretable evidence for their predictions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13776v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19889v5cs.CV공통 태그 Action Recognition, Video Understanding

수술 도구-조직 상호작용 인식을 위한 잠재 행동 유도 비디오-언어 특징 학습

Latent-Action-Guided Video-Language Feature Learning for Surgical Instrument-Tissue Interaction Recognition

도구-조직 간 상호작용을 인식하는 것은 맥락 인식 수술 AI에 필수적입니다. 비전-언어(vision-language) 모델은 비디오 특징(feature)을 텍스트 기반 행동 설명과 정렬함으로써 수술 표현에 의미적 구조를 주입하는 자연스러운 방법을 제공합니다. 그러나 사전학습(pre-training)된 인코더는 공간적 일관성이 부족할 수 있으며, 전역적 의미 정렬이 정밀한 시공간적 표현을 보장하지는 않습니다. 프레임 간 특징 변화를 분석한 결과, 의미 정렬이 차원성을 증가시키지만 차원이 더 크게 증가한다고 해서 인식이 반드시 향상되는 것은 아니며, 지배적인 변화가 상호작용 영역에 얼마나 강하게 국소화되는지에서도 인코더마다 차이가 있음을 발견했습니다. 이러한 발견에 착안하여, 프레임 간 변화를 잠재 행동으로 압축하고 엔드투엔드 비디오-언어 정렬 과정에서 다음 프레임 특징을 예측하는 \ours{}를 제안합니다. 추가적인 공간 또는 모션 어노테이션 없이도, \ours{}는 평가 환경에서 주요 특징 변화의 상호작용 그라운딩(grounding)과 시간 방향 민감도를 향상시킵니다. 나아가 행동 용량과 예측 강도가 인코더 및 삼중항(triplet) 구성요소 전반의 인식에 미치는 영향을 규명합니다. 대규모 비디오 사전학습이 없는 이미지 인코더를 사용하여, \ours{}는 V-JEPA2/2.1 대비 더 빠른 추론(inference)과 더 적은 INT4 정확도 저하를 보이면서 경쟁력 있는 인식 성능을 달성합니다.

arXiv:2610.01461v1cs.AI공통 태그 Action Recognition, Video Understanding

NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기

NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video

우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.

arXiv:2610.00069v1cs.CV공통 태그 Action Recognition, Video Understanding

시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크

A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.

arXiv:2609.27560v1cs.MM공통 태그 Action Recognition, Video Understanding

시각적 품질이 오도할 때: 렌더링 아바타 왜곡 하의 의도 인식

When Visual Quality Misleads: Intent Recognition under Rendered Avatar Distortions

아바타 스트리밍 시스템은 흔히 이미지 및 비디오 품질 평가(IQA/VQA) 지표로 평가되며, 시각적 충실도를 의사소통 성공의 대리 지표로 암묵적으로 간주한다. 우리는 깨끗한(pristine) 조건과 기하학적·광도(photometric)·시간적·복합 왜곡 14가지에 걸친 렌더링 3D 아바타에 대한 통제된 행동 연구를 통해 이 가정을 검증한다. 59명의 참가자가 지각된 행동, 응답 확신도, 시각적 품질에 대해 2,688건의 판단을 제공했다. 이 데이터셋에서 Misleading Quality(오도적 품질)를, 평균 이상의 지각 품질은 유지하지만 행동 인식 정확도는 평균 이하인 왜곡 렌더링으로 정의한다. 또한 인식 정확도와 확신도를 결합한 행동 목표인 Intent Quality Score(IQS)를 도출한다. 126개의 왜곡 콘텐츠–조건 셀 중 31개(24.6%)가 Misleading Quality를 보였으며, 시간적·기하학적 왜곡이 각각 50.0%, 31.1%로 가장 높은 비율을 나타냈다. 결과는 왜곡 유형이 외관과 의사소통에 서로 다르게 영향을 미치는 품질–정확도 분리(quality–accuracy dissociation)를 드러낸다. 24개의 직접 채점 IQA/VQA 지표와 세 가지 지도 학습 특징 회귀 기준선에 걸쳐 IQS와의 정렬(alignment)은 제한적이었고, $\lambda=0.5$에서 최상의 leave-one-content-out 기준선은 PLCC $=0.4435$에 도달했다. 이 통제된 프로토콜 하에서 시각적 충실도만으로는 아바타 의사소통에 불충분하며, 의도 인식(intent-aware) 품질 평가와 스트리밍 목표를 동기 부여한다.

arXiv:2609.28049v1cs.CV공통 태그 Action Recognition, Video Understanding

프롬프트, 탐침, 학습, 아니면 주석? 아마추어 환경에서의 단일 카메라 스포츠 영상 이해

Prompt, Probe, Train, or Annotate? Single-camera sports video understanding in amateur settings

영상 이해는 보통 큐레이션된 단일 배우 또는 전문적으로 촬영된 클립에서 벤치마크되며, 그곳에서의 높은 점수는 모델이 배포에 충분히 견고하다는 증거로 흔히 해석된다. 아마추어 팀 스포츠는 그 가정을 검증하기에 유용하고 대체로 검증되지 않은 영역이다. 2024–25년만 해도 미국에서 800만 명 이상의 학생이 학교 스포츠에 참여했으며, 그 거의 전부가 고정된 단일 카메라 이상으로 촬영되지 않았고, 프레임 안에 여러 후보 행위자가 밀집해 있으며 운영자나 두 번째 각도에 의지할 여지가 없다. 배구를 사례로, 일반 영상 및 월드 모델 벤치마크에서의 우수한 성능이 영상이 이토록 혼란스러울 때 신뢰할 수 있는 선수별 귀속으로 이어지는지, 경기 구간 탐지에서 누가 무엇을 했는지 명명하기까지의 연쇄적 과업을 통해 영상을 통계로 바꾸는 과정에서 묻는다. 네 가지 접근(최신 비전-언어 모델에 대한 프롬프트 및 에이전트적 추론, 소형 학습 전문가를 갖춘 고전적 컴퓨터 비전, 자기지도 영상 월드 모델, 수동 주석)을 모든 단계에서, 게시된 벤치마크가 사용하지 않는 조건에서 촬영된, 사람이 라벨링한 접촉 46,648건이 있는 아마추어 경기 66경기로 평가한다. 어느 단일 패러다임도 모든 단계에서 우승하지 못하며, 정적 단일 프레임 컴퓨터 비전은 동작이나 정체성(identity)이 관련된 어느 단계에서도 경쟁력이 없다. 프롬프트 모델은 경기를 잘 분절하지만, 훨씬 작은 학습 모델이 훨씬 적은 비용의 일부로 접촉 포착에서 이기며, 스포츠 자체 규칙이 픽셀이 회복할 수 없는 랠리 결과를 복원한다. 정체성은 모든 자동화 접근이 어려워하는 지점이다. 등번호는 한 번도 보이지 않으면 시간적 추론이 회복할 수 없는 정적 사실이며, 반복적인 운동 패턴인 스포츠 동작과 달리 시간적 모델이 활용할 수 있는 것이다. 그래서 전체론적 추론은 이벤트 검출을 개선하지만 정체성은 변하지 않는다. 각 접근이 비용을 정당화하는 지점과 배구를 넘어 아마추어 스포츠로 무엇이 전이되는지로 마무리한다.

arXiv:2609.25862v1cs.CL공통 태그 Action Recognition, Video Understanding

아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험

Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting

본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.