arXiv:1412.4174

A Framework for Shape Analysis via Hilbert Space Embedding

Sadeep Jayasumana, Mathieu Salzmann, Hongdong Li, Mehrtash Harandi

제출 2014-12-13

원문 초록

We propose a framework for 2D shape analysis using positive definite kernels defined on Kendall's shape manifold. Different representations of 2D shapes are known to generate different nonlinear spaces. Due to the nonlinearity of these spaces, most existing shape classification algorithms resort to nearest neighbor methods and to learning distances on shape spaces. Here, we propose to map shapes on Kendall's shape manifold to a high dimensional Hilbert space where Euclidean geometry applies. To this end, we introduce a kernel on this manifold that permits such a mapping, and prove its positive definiteness. This kernel lets us extend kernel-based algorithms developed for Euclidean spaces, such as SVM, MKL and kernel PCA, to the shape manifold. We demonstrate the benefits of our approach over the state-of-the-art methods on shape classification, clustering and retrieval.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02521v1cs.CV공통 태그 Retrieval, Clustering

공간 메모리 지능: 이해 기반 장기 메모리를 통한 월드 모델 고도화

Spatial Memory Intelligence: Endowing World Models with Understanding-Driven Long-Term Memory

장편 비디오 생성 및 월드 모델(world model)은 사용자 행동과 이전 메모리를 조건으로 미래 관측을 예측함으로써 대화형 엔터테인먼트와 체화된 시뮬레이션(embodied simulation) 분야에서 강력한 잠재력을 보여주었습니다. 그러나 메모리 시퀀스가 길어지고 그 구조가 점차 복잡해짐에 따라 장거리 공간적 문맥을 관리하는 일이 점점 더 까다로워지고 있으며, 이는 보다 지능적이고 체계적인 메모리 관리 전략을 필요로 합니다. 본 연구에서는 멀티모달 대규모 언어 모델(MLLM)의 발전하는 공간 추론 능력과 통합 모델이라는 더 넓은 비전을 기반으로, 장편 비디오 월드 모델의 공간 메모리 관리에 이해 모델(understanding model)을 체계적으로 적용한 최초의 프레임워크인 공간 메모리 지능(Spatial Memory Intelligence, SMI)을 제안합니다. SMI는 공간 클러스터링(spatial clustering), 클러스터 내 희소화(within-cluster sparsification), 행동 인식 검색(action-aware retrieval), 신뢰성 인식 필터링(reliability-aware filtering)이라는 네 가지 유기적인 기본 연산을 도입합니다. 다양한 베이스라인, 벤치마크, 월드 모델 백본에 걸친 광범위한 실험을 통해 SMI의 효과와 일반화 성능을 입증하였으며, 메모리 희소성, 생성 안정성, 공간적 일관성 전반에서 포괄적인 향상을 달성했습니다.

arXiv:2609.28086v1cs.LG공통 태그 Retrieval, Clustering

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.