arXiv:2607.01437v1 cs.CV

How Much Future Helps? A Controlled Study of Future-Privileged Supervision for Causal Egocentric Gaze Estimation

Jia Li, Wenjie Zhao, Fnu Atisri, Sanskriti Aripineni, Shijian Deng, Jon E. Froehlich, Yuhang Zhao, Yapeng Tian

제출 2026-07-01

한국어 초록

1인칭 시점(Egocentric) 시선 추정은 미래 프레임에 접근하여 전체 비디오를 처리하는 모델을 사용해 주로 연구되어 왔으나, 실제 응용에서는 엄격하게 인과적인 온라인 예측이 요구된다. 이러한 불일치는 핵심적인 질문을 제기한다: 미래 컨텍스트는 본질적으로 시선 추정에 유용한 신호를 제공하는가? 만약 그렇다면, 학습 중 인과적 모델을 최적으로 감독하기 위해 얼마나 많은 미래 look-ahead가 필요한가? 이를 조사하기 위해, 우리는 학습 중 조정 가능한 look-ahead 수평선에 접근하지만 추론 시에는 제거되는 미래 인식 브랜치를 포함하는 통제된 프레임워크를 제안한다. 이 설계는 추론 아키텍처를 고정되고 엄격하게 인과적으로 유지하면서 미래 컨텍스트의 영향을 분리한다. EGTEA Gaze+와 Ego4D에 걸쳐, 미래 특권 감독이 인과적 시선 예측을 일관되게 향상시켜 그 유용성을 확인하였다. 그러나 성능 향상은 look-ahead가 길어질수록 단조롭게 증가하지 않고, 제한된 시간적 범위 내에서 최고점에 도달한다. 구체적으로, 최적 성능은 EGTEA Gaze+에서 약 1.7--3.3초의 미래 컨텍스트($H{\in}[5, 10]$)에, Ego4D에서 2.7초($H{=}10$)에 해당한다. 본 결과는 경량 인과적 모델이 미래 인식 신호를 효과적으로 흡수할 수 있음을 보여주며, 실시간 1인칭 시점 시선 모델링을 위한 실용적인 지침을 제공한다.

원문 초록

Egocentric gaze estimation is commonly studied using models that process the full video with access to future frames, while real-world applications require strictly causal, online prediction. This discrepancy raises key questions: Does future context inherently provide valuable signals for gaze estimation? If so, how much future look-ahead optimally supervises a causal model during training? To investigate, we propose a controlled framework featuring a future-aware branch that accesses a tunable look-ahead horizon during training but is discarded at inference. This design isolates the impact of future context while keeping the inference architecture fixed and strictly causal. Across EGTEA Gaze+ and Ego4D, we find that future-privileged supervision consistently improves causal gaze prediction, confirming its utility. However, performance gains do not increase monotonically with longer look-ahead, but rather peak within a bounded temporal regime. Specifically, optimal performance corresponds to roughly 1.7--3.3 seconds of future context ($H{\in}[5, 10]$) on EGTEA Gaze+ and 2.7 seconds ($H{=}10$) on Ego4D. Our results demonstrate that lightweight causal models can effectively absorb future-aware signals, providing practical guidance for real-time egocentric gaze modeling.

요약

1인칭 시점(egocentric) 시선 추정에서 오프라인 모델과 실시간 인과적 추론 간의 불일치를 해소하기 위해, 학습 중에는 미래 프레임에 접근하는 future-aware branch를 활용하되 추론 시에는 제거하는 ECOGaze 프레임워크를 제안한다. EGTEA Gaze+와 Ego4D 실험에서 미래 특권 감독(future-privileged supervision)이 인과적 시선 예측 성능을 일관되게 향상시키며, 최적 효과는 약 1.7~3.3초의 제한된 미래 컨텍스트 범위에서 나타남을 확인했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01437v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13776v1cs.CV공통 태그 Action Recognition, Video Understanding

READ: 충실한 비디오 기여도 분석을 위한 선택적 스캔 판독

READ: Reading the Selective Scan for Faithful Video Attribution

선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.

arXiv:2610.01461v1cs.AI공통 태그 Action Recognition, Video Understanding

NextMe-800: 수개월의 1인칭 시점 비디오로부터 개인의 행동 예측하기

NextMe-800: Anticipating Personal Behavior from Months of Egocentric Video

우리는 종종 야심 차게 계획을 세우지만 습관적으로 행동하며, 실제로 어떻게 행동할지 알았더라면 다르게 계획했을지 사후에 반추하곤 합니다. 사후 판단(hindsight)은 과거의 결정에 귀중한 통찰을 제공하지만, 우리는 흔히 선택의 순간에 이러한 사후 판단을 시뮬레이션할 수 있기를 바라곤 합니다. 만약 시스템이 개인의 과거 이력으로부터 타당한 행동 궤적을 생성할 수 있다면, 이러한 미리보기는 사람들이 더 현실적인 계획을 세우고 더 나은 정보를 바탕으로 결정을 내리는 데 도움이 될 수 있습니다. 본 연구에서는 한 명의 자원봉사자로부터 126일에 걸쳐 1Hz 이미지, 시선, 오디오를 기록하고 원자 단위 행동부터 주요 활동까지 5단계의 계층적 추상화 수준으로 캡션을 작성한 약 800시간 분량의 1인칭 데이터셋인 NextMe-800을 소개합니다. 우리는 개인화된 행동 예측(action anticipation)을 개방형 어휘(open-vocabulary) K단계 시퀀스 예측 문제로 정의하고, NextMe-800과 다인칭 EgoLife 데이터셋을 결합하여 1,500개 평가 지점으로 구성된 NextAct 벤치마크를 구축합니다. 임베딩 기반의 소프트 편집 거리(soft edit distance)를 지표로 활용하여, 추상화 수준과 예측 기간(horizon) 전반에 걸쳐 다양한 모델이 개인의 행동을 얼마나 잘 예측할 수 있는지 평가합니다. NextMe-800과 NextAct는 1인칭 시점의 관찰로부터 개인의 행동을 얼마나 먼 미래까지 예측할 수 있는지 연구하기 위한 수개월 분량의 자원 및 평가 프레임워크를 제공합니다.

arXiv:2610.00069v1cs.CV공통 태그 Action Recognition, Video Understanding

시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크

A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction

장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.

arXiv:2609.27560v1cs.MM공통 태그 Action Recognition, Video Understanding

시각적 품질이 오도할 때: 렌더링 아바타 왜곡 하의 의도 인식

When Visual Quality Misleads: Intent Recognition under Rendered Avatar Distortions

아바타 스트리밍 시스템은 흔히 이미지 및 비디오 품질 평가(IQA/VQA) 지표로 평가되며, 시각적 충실도를 의사소통 성공의 대리 지표로 암묵적으로 간주한다. 우리는 깨끗한(pristine) 조건과 기하학적·광도(photometric)·시간적·복합 왜곡 14가지에 걸친 렌더링 3D 아바타에 대한 통제된 행동 연구를 통해 이 가정을 검증한다. 59명의 참가자가 지각된 행동, 응답 확신도, 시각적 품질에 대해 2,688건의 판단을 제공했다. 이 데이터셋에서 Misleading Quality(오도적 품질)를, 평균 이상의 지각 품질은 유지하지만 행동 인식 정확도는 평균 이하인 왜곡 렌더링으로 정의한다. 또한 인식 정확도와 확신도를 결합한 행동 목표인 Intent Quality Score(IQS)를 도출한다. 126개의 왜곡 콘텐츠–조건 셀 중 31개(24.6%)가 Misleading Quality를 보였으며, 시간적·기하학적 왜곡이 각각 50.0%, 31.1%로 가장 높은 비율을 나타냈다. 결과는 왜곡 유형이 외관과 의사소통에 서로 다르게 영향을 미치는 품질–정확도 분리(quality–accuracy dissociation)를 드러낸다. 24개의 직접 채점 IQA/VQA 지표와 세 가지 지도 학습 특징 회귀 기준선에 걸쳐 IQS와의 정렬(alignment)은 제한적이었고, $\lambda=0.5$에서 최상의 leave-one-content-out 기준선은 PLCC $=0.4435$에 도달했다. 이 통제된 프로토콜 하에서 시각적 충실도만으로는 아바타 의사소통에 불충분하며, 의도 인식(intent-aware) 품질 평가와 스트리밍 목표를 동기 부여한다.

arXiv:2609.28049v1cs.CV공통 태그 Action Recognition, Video Understanding

프롬프트, 탐침, 학습, 아니면 주석? 아마추어 환경에서의 단일 카메라 스포츠 영상 이해

Prompt, Probe, Train, or Annotate? Single-camera sports video understanding in amateur settings

영상 이해는 보통 큐레이션된 단일 배우 또는 전문적으로 촬영된 클립에서 벤치마크되며, 그곳에서의 높은 점수는 모델이 배포에 충분히 견고하다는 증거로 흔히 해석된다. 아마추어 팀 스포츠는 그 가정을 검증하기에 유용하고 대체로 검증되지 않은 영역이다. 2024–25년만 해도 미국에서 800만 명 이상의 학생이 학교 스포츠에 참여했으며, 그 거의 전부가 고정된 단일 카메라 이상으로 촬영되지 않았고, 프레임 안에 여러 후보 행위자가 밀집해 있으며 운영자나 두 번째 각도에 의지할 여지가 없다. 배구를 사례로, 일반 영상 및 월드 모델 벤치마크에서의 우수한 성능이 영상이 이토록 혼란스러울 때 신뢰할 수 있는 선수별 귀속으로 이어지는지, 경기 구간 탐지에서 누가 무엇을 했는지 명명하기까지의 연쇄적 과업을 통해 영상을 통계로 바꾸는 과정에서 묻는다. 네 가지 접근(최신 비전-언어 모델에 대한 프롬프트 및 에이전트적 추론, 소형 학습 전문가를 갖춘 고전적 컴퓨터 비전, 자기지도 영상 월드 모델, 수동 주석)을 모든 단계에서, 게시된 벤치마크가 사용하지 않는 조건에서 촬영된, 사람이 라벨링한 접촉 46,648건이 있는 아마추어 경기 66경기로 평가한다. 어느 단일 패러다임도 모든 단계에서 우승하지 못하며, 정적 단일 프레임 컴퓨터 비전은 동작이나 정체성(identity)이 관련된 어느 단계에서도 경쟁력이 없다. 프롬프트 모델은 경기를 잘 분절하지만, 훨씬 작은 학습 모델이 훨씬 적은 비용의 일부로 접촉 포착에서 이기며, 스포츠 자체 규칙이 픽셀이 회복할 수 없는 랠리 결과를 복원한다. 정체성은 모든 자동화 접근이 어려워하는 지점이다. 등번호는 한 번도 보이지 않으면 시간적 추론이 회복할 수 없는 정적 사실이며, 반복적인 운동 패턴인 스포츠 동작과 달리 시간적 모델이 활용할 수 있는 것이다. 그래서 전체론적 추론은 이벤트 검출을 개선하지만 정체성은 변하지 않는다. 각 접근이 비용을 정당화하는 지점과 배구를 넘어 아마추어 스포츠로 무엇이 전이되는지로 마무리한다.

arXiv:2609.28414v1cs.CV공통 태그 Prediction, Video Understanding

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.