arXiv:2610.00069v1 cs.CV

시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크

A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

Vivek Chavan, Jörg Krüger

제출 2026-09-04

저자 비고

arXiv Comments

Accepted for oral and poster presentation at the ACVR Workshop, ECCV 2026. Non-archival abstract; not published in the workshop proceedings. 8 pages, 1 figure

한국어 초록

장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.

원문 초록

Long-horizon ego/exo data contains rich procedural evidence, but are redundant, noisy, and costly to process or retain. We propose a compact framework that converts continuous multimodal workplace video into a structured Procedural State Memory, implemented as a Work Environment Model (WEM). Inspired by event segmentation theory, we detect boundaries using changes in visual context, location, motion, narration, gaze/object interaction, and optional exocentric workspace evidence, rather than fixed windows or visual novelty alone. Each segment is abstracted into an evidence-linked event card containing actor, interval, location, action, objects/tools, pre/post state, confidence, and provenance. These event cards incrementally update the WEM, enabling compact, auditable documentation and retrieval under on-premise privacy constraints. We instantiate the design with frozen DINOv2 and VJEPA-2 encoders and a local language model, and outline evaluation criteria for segmentation quality, memory compression, retrieval fidelity, and long-horizon QA.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00069v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23601v1cs.CV공통 태그 Retrieval, Action Recognition, Video Understanding

PREM: 장시간 비디오 이해를 위한 접두 문맥 기반 순환 메모리

PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding

장시간 비디오 이해(long-video understanding)는 엄격한 토큰(token) 예산 하에서 일시적인 시각적 증거를 포착해야 하지만, 기존 방법들은 프레임을 압축하거나, 메모리 토큰을 추가하거나, 내부 키-값(KV) 캐시를 변경한다. 본 논문에서는 고정된(frozen) 비전-언어 모델(VLM)을 위한 메모리 토큰이 필요 없는 프레임워크인 접두 문맥 기반 순환 메모리(Prefix-Steered Recurrent Memory, PREM)를 제안한다. PREM은 비디오 수집(ingestion)과 질의 응답을 분리한다: 순환 작성기(recurrent writer)가 시각적 스트림을 256 KiB 크기의 컴팩트한 다중 슬롯 연상 상태(multi-slot associative state)로 증류(distill)하는 동안, 질문 조건부 판독기(question-conditioned readout)는 프리필(prefill) 과정에서 메모리에서 유래한 키/값(K/V) 조향(steering) 변조를 기존의 비시각적 프롬프트 접두 문맥에 추가한다. 이를 통해 추가적인 프롬프트 토큰이나 디코딩 순환(recurrence) 없이 한 번 작성하고 여러 번 질의하는(write-once, query-many) 추론이 가능해진다. 오프라인 및 스트리밍 종료 시점(end-of-stream) 설정에서 6개의 장시간 비디오 벤치마크(benchmark)에 걸쳐, PREM은 평가된 모든 시각 예산 수준에서 고정(frozen) 베이스라인을 일관되게 능가한다. 16프레임으로 제한된 예산 하에서, PREM은 Qwen2.5-VL-3B에서 매크로 평균 정확도를 3.06% 향상시키며, 행동 반의어 식별(action antonym identification)에서 11.0%, 국소화된 니들 검색(localized needle retrieval)에서 9.9%의 향상을 보인다. 이러한 향상은 백본(backbone) 파라미터의 0.24%만을 튜닝하고, 최대 GPU 메모리 오버헤드 0.03 GiB만을 필요로 한다.

arXiv:2610.02181v3cs.CV공통 태그 Retrieval, Video Understanding

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.13776v1cs.CV공통 태그 Action Recognition, Video Understanding

READ: 충실한 비디오 기여도 분석을 위한 선택적 스캔 판독

READ: Reading the Selective Scan for Faithful Video Attribution

선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.

arXiv:2610.01461v1cs.AI공통 태그 Action Recognition, Video Understanding

NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기

NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video

우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.

arXiv:2610.00973v1cs.CV공통 태그 Retrieval, Video Understanding

개념 기반 도메인 적응: 건초더미에서 추상적인 바늘 찾기

Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack

과학교사들은 화면에 나타나는 내용을 묘사하기보다는 자신이 가르치고자 하는 추상적인 개념을 검색어로 사용하여 다큐멘터리 발췌본을 찾는 경우가 많습니다. 이러한 사용 사례는 질의어가 관찰 가능한 사건을 기술한다고 주로 가정하는 기존 언어 기반 비디오 모먼트 검색(video moment retrieval) 방법의 한계를 드러냅니다. 반면 교육용 검색은 기저의 과학적 원리를 구체화하는 시각적 현상을 검색해야 합니다. 본 연구에서는 이를 간결한 교육과정 개념을 시간적으로 희소한 다큐멘터리 근거에 그라운딩(grounding)해야 하는 '건초더미 속 추상적 바늘 찾기' 문제인 '개념-예시 비디오 검색(concept-to-example video retrieval)'으로 정의하고 탐구합니다. 이러한 추상화 격차를 해소하기 위해, 우리는 2-타워 비전-언어(vision-language) 모델을 개념 수준 검색에 적응시키기 위한 3단계 프레임워크인 개념 기반 도메인 적응(Concept-Driven Domain Adaptation, CDDA)을 제안합니다. CDDA는 개념을 중간 의미 앵커로 취급합니다. 즉, 먼저 교과서 및 교사용 지도서의 예시-개념 쌍을 통해 텍스트 임베딩 공간을 구조화한 뒤, 동결된 시각 인코더 환경에서 이러한 개념 인식 기하 구조를 다큐멘터리 시각 정보로 전이하고, 마지막으로 희소한 시각적 개념 지도(supervision)를 통해 두 인코더를 결합 적응시킵니다. 기하학적 관점에서 이러한 단계적 정렬(alignment)은 텍스트-개념 및 비전-개념 간 각도 격차를 줄임으로써, 사전학습 모델의 구체적인 이미지 묘사 정렬을 보존하는 동시에 개념 수준의 적응을 촉진합니다. 선별된 중학교 물리 검색 벤치마크에서 CDDA는 Qwen3-VL-Embedding-2B를 포함한 여러 경쟁력 있는 멀티모달 베이스라인보다 더 우수한 교육 지향적 개념 검색 성능을 달성하는 동시에, 적응 후에도 구체적인 이미지-텍스트 매칭 성능을 유지했습니다.

arXiv:2609.28086v1cs.LG공통 태그 Retrieval, Video Understanding

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.