Unveiling the Potential: Harnessing Deep Metric Learning to Circumvent Video Streaming Encryption
원문 초록
Encryption on the internet with the shift to HTTPS has been an important step to improve the privacy of internet users. However, there is an increasing body of work about extracting information from encrypted internet traffic without having to decrypt it. Such attacks bypass security guarantees assumed to be given by HTTPS and thus need to be understood. Prior works showed that the variable bitrates of video streams are sufficient to identify which video someone is watching. These works generally have to make trade-offs in aspects such as accuracy, scalability, robustness, etc. These trade-offs complicate the practical use of these attacks. To that end, we propose a deep metric learning framework based on the triplet loss method. Through this framework, we achieve robust, generalisable, scalable and transferable encrypted video stream detection. First, the triplet loss is better able to deal with video streams not seen during training. Second, our approach can accurately classify videos not seen during training. Third, we show that our method scales well to a dataset of over 1000 videos. Finally, we show that a model trained on video streams over Chrome can also classify streams over Firefox. Our results suggest that this side-channel attack is more broadly applicable than originally thought. We provide our code alongside a diverse and up-to-date dataset for future research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보수적 피험자 불변 EMG 기반 제스처 인식
Conservative Subject Invariant EMG-based Gesture Recognition
교차 피험자 일반화는 표면 근전도(sEMG) 기반 제스처 인식에서 근본적인 과제로 남아 있다. 심층 학습(deep learning) 방법이 피험자 내 성능을 향상시켰지만, 이러한 방법들은 피험자별 데이터에 의존하는 경우가 많으며 불변성과 판별력 사이의 균형을 맞추는 데 어려움을 겪는다. 본 연구에서는 피험자 불변 sEMG 제스처 인식을 위한 보수적 다목적 학습 프레임워크를 제안한다. 제안된 모델은 제스처 분류(classification), 그래디언트(gradient) 역전을 통한 적대적 피험자 혼동, 그리고 판별적이고 피험자 불변적인 표현을 장려하기 위한 트리플릿 기반 메트릭 학습을 공동으로 최적화하는 멀티헤드 아키텍처를 채택한다. 최적화 안정성을 높이기 위해, 학습 중 보조 목적 함수들의 상대적 크기에 따라 이를 동적으로 균형 조정하는 Lipschitz 영감 적응적 가중치 메커니즘을 도입한다. 제안된 방법은 두 벤치마크 데이터셋(UCI EMG(36명 피험자, 6가지 제스처) 및 NinaPro DB5(10명 피험자, 10가지 제스처))에서 평가된다. UCI EMG 데이터셋에서 본 방법은 최신 방법이 보고한 78.2%와 비교하여 84.48%의 정확도를 달성한다. NinaPro DB5에서는 41.30% 대비 61.44%의 정확도를 달성하며, 이는 49%의 상대적 향상에 해당한다. 또한 제안된 프레임워크는 교차 피험자 예측 분산을 줄이고 보다 구조화된 잠재 표현을 생성한다. 이러한 결과는 적응적 다목적 최적화를 통해 불변성과 판별력을 공동으로 강제하는 것이 sEMG 기반 제스처 인식 시스템에서 보다 안정적인 학습과 향상된 교차 피험자 일반화로 이어짐을 시사한다.
계층적 정규화를 통한 정확하고 결정적인 패치 디스크립터 검색
Exact and Deterministic Patch Descriptor Retrieval via Hierarchical Normalization
우리는 데이터베이스의 소수 항목만 평가하면서도 전체 벡터 전수 탐색과 증명상 동일한 정확 최근접 이웃을 반환하는 패치 디스크립터 검색 방법을 제시한다. 이 방법은 결정적으로 동작한다: 동일한 (데이터베이스, 쿼리) 쌍은 실행 순서, 스레드 수, 하드웨어와 무관하게 항상 동일한 결과를 낸다. 이는 HNSW와 IVF-PQ 같은 근사 최근접 이웃(ANN) 접근법과 대비되는데, ANN은 정확성을 속도와 교환하며 실행마다 다른 결과를 반환할 수 있다. 핵심 메커니즘은 계층적 정규화(HN)이다. HN은 정규화 전 특징 벡터를 K차원 주요 성분(노름 sqrt(1-alpha))과 (128-K)차원 부차 성분(노름 sqrt(alpha))으로 분할하는 정규화 방식이다. 부차 성분의 내적은 alpha로 제한되므로(규정된 노름에 대한 Cauchy-Schwarz), 주요 유사도에 alpha를 더한 값은 전체 유사도에 대한 허용 가능한 상한이다. 검색은 모든 항목에 대해 K차원 주요 성분을 스캔한 뒤, 가지치기할 수 없는 항목에만 전체 128차원 평가를 적용한다—증명상 정확한 분기-한정(branch-and-bound) 스캔이다. UBC 패치 데이터셋의 notredame 분할에서 HN-수정 HardNet을 학습하고 trevi와 halfdome에서 평가한다. 캐시 최적화된 Structure-of-Arrays 레이아웃과 K=8, alpha=1/32 설정에서 검색은 전수 128차원 검색 대비 13.7배(trevi) / 12.7배(halfdome) 속도 향상을 달성하며, 전체 평가가 필요한 항목은 0.4%에 불과하다. K=16, alpha=1/8에서는 trevi 기준 FPR@95가 0.0062에서 0.0064로 상승하고, 7.2배 속도 향상을 달성하며, 항목의 98.8%가 전체 평가를 건너뛴다.
HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models
순서 유사성을 통한 확장 가능하고 해석 가능한 표현 정렬
Scalable and Interpretable Representation Alignment with Ordinal Similarity
표현 유사성 평가는 표현 학습(Representation learning)에 있어 근본적인 요소입니다. 그러나 기존 지표(metrics)는 변동하는 기준선(baselines)으로 인해 해석 가능성이 결여되어 있고, 이상치(outliers)에 대한 강건성(robustness)이 부족하며, 대규모 데이터셋(dataset)에서는 계산적으로 처리가 불가능하여 휴리스틱 근사(heuristic approximations)에 의존해야 한다는 중대한 한계를 겪고 있습니다. 이를 해결하기 위해 우리는 순서 유사성(ordinal-similarity) 프레임워크를 개발했으며, 이는 트리플릿(TSI) 및 쿼드러플릿(QSI) 유사성 지수(Similarity Indices)로 구체화됩니다. 이 프레임워크는 순서 관계(ordinal relationships)의 일관성을 정량화하여 정렬(alignment)을 측정합니다. 우리는 이 공식이 본질적으로 해석 가능하며, 이상치에 강건하고, 계산적으로 효율적임을 이론적으로 입증했습니다. 마지막으로, 우리는 TSI와 상호 최근접 이웃(Mutual Nearest Neighbors)으로 측정되는 지역 이웃 정렬(local neighborhood alignment) 사이의 형식적 동등성을 확립했습니다. 실험적으로 우리는 이러한 속성들을 검증했으며, 순서 유사성이 정렬을 측정할 수 있는 확장 가능한 접근 방식을 제공하여 실무자들이 표현(representations)을 더 잘 이해하고 설계할 수 있도록 함을 보여주었습니다.
Radar Pulse Deinterleaving with Transformer Based Deep Metric Learning
Metric Learning with Progressive Self-Distillation for Audio-Visual Embedding Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.