arXiv:1606.04637

Ego-Surfing: Person Localization in First-Person Videos Using Ego-Motion Signatures

Ryo Yonetani, Kris M. Kitani, Yoichi Sato

제출 2016-06-15

원문 초록

We envision a future time when wearable cameras are worn by the masses and recording first-person point-of-view videos of everyday life. While these cameras can enable new assistive technologies and novel research challenges, they also raise serious privacy concerns. For example, first-person videos passively recorded by wearable cameras will necessarily include anyone who comes into the view of a camera -- with or without consent. Motivated by these benefits and risks, we developed a self-search technique tailored to first-person videos. The key observation of our work is that the egocentric head motion of a target person (ie, the self) is observed both in the point-of-view video of the target and observer. The motion correlation between the target person's video and the observer's video can then be used to identify instances of the self uniquely. We incorporate this feature into the proposed approach that computes the motion correlation over densely-sampled trajectories to search for a target individual in observer videos. Our approach significantly improves self-search performance over several well-known face detectors and recognizers. Furthermore, we show how our approach can enable several practical applications such as privacy filtering, target video retrieval, and social group clustering.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Clustering

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2609.28086v1cs.LG공통 태그 Retrieval, Clustering

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

arXiv:2609.28437v1cs.CV공통 태그 Retrieval, Video Retrieval

MultiVENT-Raw: 원시 동영상 검색 및 추론 벤치마크

MultiVENT-Raw: A Benchmark for Retrieval and Reasoning over Raw Videos

온라인 정보는 점점 더 동영상 형식으로 소비되고 있다. 이 중 상당 부분은 원시 동영상(raw video) 형태로, 휴대폰·핸드헬드 카메라·CCTV로 촬영된 연속 영상이 소셜 미디어 플랫폼과 콘텐츠 공유 서비스에 바로 업로드되는 것이다. 전문적이거나 아마추어가 편집한 영상은 대본화된 발화, 자막(chyron), 그래픽, 메타데이터 등 주제를 맥락화하는 요소를 담는 경우가 많지만, 원시 동영상에는 일반적으로 이런 것이 없어 정보 검색(information retrieval)과 기계 이해(machine understanding)에 훨씬 더 어려운 매체가 된다. 이 분야의 진전을 돕기 위해 우리는 MultiVENT-Raw를 공개한다. 이는 주로 원시 동영상 약 12만 개(총 5,300시간 이상)로 이루어진 다국어 컬렉션으로, 130개의 이벤트와 222개의 이벤트 중심 쿼리와 짝지어져 있으며, 관련 동영상에 대한 사람이标注한 관련성 판정과 사람이 추출한 핵심 사실을 포함한다. MultiVENT-Raw는 검색(retrieval) 과제—쿼리 이벤트와 관련된 컬렉션 내 동영상을 식별하는 것—와 생성(generation) 과제—이벤트 관련 동영상을 대상 사용자를 위한 일관된 보고서로 요약하는 것—를 모두 지원한다. MultiVENT-Raw에서 강력한 베이스라인을 벤치마킹한 결과, 최신 멀티모달 모델 중 일부에게도 두 과제 모두 여전히 도전적임을 보였다.

arXiv:2609.22562v1cs.CV공통 태그 Retrieval, Clustering

AdaMerge: 다중 벡터 시각적 문서 검색을 위한 튜닝 불필요 패치 압축

AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval

ColPali 및 ColNomic과 같은 다중 벡터 시각적 문서 검색(Visual Document Retrieval, VDR) 모델은 각 문서를 수백에서 수천 개의 패치 수준 임베딩(embedding)으로 표현하여 높은 정확도를 달성하지만, 상당한 저장 공간과 지연 시간 비용을 초래합니다. 기존 압축 방법은 중요하지 않은 패치를 가지치기(pruning)하거나 유사한 패치를 클러스터로 병합합니다. 최근 최고 성능의 병합 방법인 PtM(Prune-then-Merge)은 고압축 환경에서 가지치기 전용 베이스라인을 일관되게 능가하지만, 그리드 탐색을 통해 데이터셋(dataset)별 클러스터 예산 m을 튜닝해야 합니다. 본 연구에서는 계층적 군집화에 의해 생성된 병합-코사인 시퀀스가 병합 가능한 중복성과 두드러진 신호를 구분하는 급격한 절벽(cliff)을 보이며, 이 절벽의 위치가 14개 데이터셋의 11,000개 이상 문서에 걸쳐 좁은 대역에 집중되어 있음을 관찰했습니다. 이는 병합 경계를 데이터셋별로 튜닝하는 대신 문서별로 탐지할 수 있음을 시사합니다. 이러한 관찰을 바탕으로, 우리는 (i) 병합-코사인 궤적에 대한 갭 분석을 통해 각 문서 자체의 절벽을 탐지하고, (ii) 두드러진 신호를 보존하기 위해 어텐션(attention) 가중 클러스터 중심을 구축하는 플러그 앤 플레이 압축 방법인 AdaMerge를 제안합니다. 긴 문서 벤치마크인 ViDoRe-V2(4개 데이터셋, 2개 백본)에서 AdaMerge는 전체 작동 범위에 걸쳐 튜닝된 PtM을 유의미하게 능가하며(p < 10^-4), 모든 병합 방법이 이미 거의 무손실에 가까운 짧은 문서 벤치마크 ViDoRe-V1(10개 데이터셋, 2개 백본)에서는 데이터셋별 튜닝 없이도 튜닝된 PtM과 동등한 성능을 달성합니다. AdaMerge는 문서당 약 10ms만 추가하며, 모든 데이터셋과 백본에서 공유되는 단 하나의 전역 하이퍼파라미터(hyperparameter)만을 가집니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.