OPML: A One-Pass Closed-Form Solution for Online Metric Learning
원문 초록
To achieve a low computational cost when performing online metric learning for large-scale data, we present a one-pass closed-form solution namely OPML in this paper. Typically, the proposed OPML first adopts a one-pass triplet construction strategy, which aims to use only a very small number of triplets to approximate the representation ability of whole original triplets obtained by batch-manner methods. Then, OPML employs a closed-form solution to update the metric for new coming samples, which leads to a low space (i.e., $O(d)$) and time (i.e., $O(d^2)$) complexity, where $d$ is the feature dimensionality. In addition, an extension of OPML (namely COPML) is further proposed to enhance the robustness when in real case the first several samples come from the same class (i.e., cold start problem). In the experiments, we have systematically evaluated our methods (OPML and COPML) on three typical tasks, including UCI data classification, face verification, and abnormal event detection in videos, which aims to fully evaluate the proposed methods on different sample number, different feature dimensionalities and different feature extraction ways (i.e., hand-crafted and deeply-learned). The results show that OPML and COPML can obtain the promising performance with a very low computational cost. Also, the effectiveness of COPML under the cold start setting is experimentally verified.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보수적 피험자 불변 EMG 기반 제스처 인식
Conservative Subject Invariant EMG-based Gesture Recognition
교차 피험자 일반화는 표면 근전도(sEMG) 기반 제스처 인식에서 근본적인 과제로 남아 있다. 심층 학습(deep learning) 방법이 피험자 내 성능을 향상시켰지만, 이러한 방법들은 피험자별 데이터에 의존하는 경우가 많으며 불변성과 판별력 사이의 균형을 맞추는 데 어려움을 겪는다. 본 연구에서는 피험자 불변 sEMG 제스처 인식을 위한 보수적 다목적 학습 프레임워크를 제안한다. 제안된 모델은 제스처 분류(classification), 그래디언트(gradient) 역전을 통한 적대적 피험자 혼동, 그리고 판별적이고 피험자 불변적인 표현을 장려하기 위한 트리플릿 기반 메트릭 학습을 공동으로 최적화하는 멀티헤드 아키텍처를 채택한다. 최적화 안정성을 높이기 위해, 학습 중 보조 목적 함수들의 상대적 크기에 따라 이를 동적으로 균형 조정하는 Lipschitz 영감 적응적 가중치 메커니즘을 도입한다. 제안된 방법은 두 벤치마크 데이터셋(UCI EMG(36명 피험자, 6가지 제스처) 및 NinaPro DB5(10명 피험자, 10가지 제스처))에서 평가된다. UCI EMG 데이터셋에서 본 방법은 최신 방법이 보고한 78.2%와 비교하여 84.48%의 정확도를 달성한다. NinaPro DB5에서는 41.30% 대비 61.44%의 정확도를 달성하며, 이는 49%의 상대적 향상에 해당한다. 또한 제안된 프레임워크는 교차 피험자 예측 분산을 줄이고 보다 구조화된 잠재 표현을 생성한다. 이러한 결과는 적응적 다목적 최적화를 통해 불변성과 판별력을 공동으로 강제하는 것이 sEMG 기반 제스처 인식 시스템에서 보다 안정적인 학습과 향상된 교차 피험자 일반화로 이어짐을 시사한다.
계층적 정규화를 통한 정확하고 결정적인 패치 디스크립터 검색
Exact and Deterministic Patch Descriptor Retrieval via Hierarchical Normalization
우리는 데이터베이스의 소수 항목만 평가하면서도 전체 벡터 전수 탐색과 증명상 동일한 정확 최근접 이웃을 반환하는 패치 디스크립터 검색 방법을 제시한다. 이 방법은 결정적으로 동작한다: 동일한 (데이터베이스, 쿼리) 쌍은 실행 순서, 스레드 수, 하드웨어와 무관하게 항상 동일한 결과를 낸다. 이는 HNSW와 IVF-PQ 같은 근사 최근접 이웃(ANN) 접근법과 대비되는데, ANN은 정확성을 속도와 교환하며 실행마다 다른 결과를 반환할 수 있다. 핵심 메커니즘은 계층적 정규화(HN)이다. HN은 정규화 전 특징 벡터를 K차원 주요 성분(노름 sqrt(1-alpha))과 (128-K)차원 부차 성분(노름 sqrt(alpha))으로 분할하는 정규화 방식이다. 부차 성분의 내적은 alpha로 제한되므로(규정된 노름에 대한 Cauchy-Schwarz), 주요 유사도에 alpha를 더한 값은 전체 유사도에 대한 허용 가능한 상한이다. 검색은 모든 항목에 대해 K차원 주요 성분을 스캔한 뒤, 가지치기할 수 없는 항목에만 전체 128차원 평가를 적용한다—증명상 정확한 분기-한정(branch-and-bound) 스캔이다. UBC 패치 데이터셋의 notredame 분할에서 HN-수정 HardNet을 학습하고 trevi와 halfdome에서 평가한다. 캐시 최적화된 Structure-of-Arrays 레이아웃과 K=8, alpha=1/32 설정에서 검색은 전수 128차원 검색 대비 13.7배(trevi) / 12.7배(halfdome) 속도 향상을 달성하며, 전체 평가가 필요한 항목은 0.4%에 불과하다. K=16, alpha=1/8에서는 trevi 기준 FPR@95가 0.0062에서 0.0064로 상승하고, 7.2배 속도 향상을 달성하며, 항목의 98.8%가 전체 평가를 건너뛴다.
HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models
순서 유사성을 통한 확장 가능하고 해석 가능한 표현 정렬
Scalable and Interpretable Representation Alignment with Ordinal Similarity
표현 유사성 평가는 표현 학습(Representation learning)에 있어 근본적인 요소입니다. 그러나 기존 지표(metrics)는 변동하는 기준선(baselines)으로 인해 해석 가능성이 결여되어 있고, 이상치(outliers)에 대한 강건성(robustness)이 부족하며, 대규모 데이터셋(dataset)에서는 계산적으로 처리가 불가능하여 휴리스틱 근사(heuristic approximations)에 의존해야 한다는 중대한 한계를 겪고 있습니다. 이를 해결하기 위해 우리는 순서 유사성(ordinal-similarity) 프레임워크를 개발했으며, 이는 트리플릿(TSI) 및 쿼드러플릿(QSI) 유사성 지수(Similarity Indices)로 구체화됩니다. 이 프레임워크는 순서 관계(ordinal relationships)의 일관성을 정량화하여 정렬(alignment)을 측정합니다. 우리는 이 공식이 본질적으로 해석 가능하며, 이상치에 강건하고, 계산적으로 효율적임을 이론적으로 입증했습니다. 마지막으로, 우리는 TSI와 상호 최근접 이웃(Mutual Nearest Neighbors)으로 측정되는 지역 이웃 정렬(local neighborhood alignment) 사이의 형식적 동등성을 확립했습니다. 실험적으로 우리는 이러한 속성들을 검증했으며, 순서 유사성이 정렬을 측정할 수 있는 확장 가능한 접근 방식을 제공하여 실무자들이 표현(representations)을 더 잘 이해하고 설계할 수 있도록 함을 보여주었습니다.
Self-supervised Latent Space Optimization with Nebula Variational Coding
Attributes Shape the Embedding Space of Face Recognition Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.