Construct Informative Triplet with Two-stage Hard-sample Generation
원문 초록
In this paper, we propose a robust sample generation scheme to construct informative triplets. The proposed hard sample generation is a two-stage synthesis framework that produces hard samples through effective positive and negative sample generators in two stages, respectively. The first stage stretches the anchor-positive pairs with piecewise linear manipulation and enhances the quality of generated samples by skillfully designing a conditional generative adversarial network to lower the risk of mode collapse. The second stage utilizes an adaptive reverse metric constraint to generate the final hard samples. Extensive experiments on several benchmark datasets verify that our method achieves superior performance than the existing hard-sample generation algorithms. Besides, we also find that our proposed hard sample generation method combining the existing triplet mining strategies can further boost the deep metric learning performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향
Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion
각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.
보수적 피험자 불변 EMG 기반 제스처 인식
Conservative Subject Invariant EMG-based Gesture Recognition
교차 피험자 일반화는 표면 근전도(sEMG) 기반 제스처 인식에서 근본적인 과제로 남아 있다. 심층 학습(deep learning) 방법이 피험자 내 성능을 향상시켰지만, 이러한 방법들은 피험자별 데이터에 의존하는 경우가 많으며 불변성과 판별력 사이의 균형을 맞추는 데 어려움을 겪는다. 본 연구에서는 피험자 불변 sEMG 제스처 인식을 위한 보수적 다목적 학습 프레임워크를 제안한다. 제안된 모델은 제스처 분류(classification), 그래디언트(gradient) 역전을 통한 적대적 피험자 혼동, 그리고 판별적이고 피험자 불변적인 표현을 장려하기 위한 트리플릿 기반 메트릭 학습을 공동으로 최적화하는 멀티헤드 아키텍처를 채택한다. 최적화 안정성을 높이기 위해, 학습 중 보조 목적 함수들의 상대적 크기에 따라 이를 동적으로 균형 조정하는 Lipschitz 영감 적응적 가중치 메커니즘을 도입한다. 제안된 방법은 두 벤치마크 데이터셋(UCI EMG(36명 피험자, 6가지 제스처) 및 NinaPro DB5(10명 피험자, 10가지 제스처))에서 평가된다. UCI EMG 데이터셋에서 본 방법은 최신 방법이 보고한 78.2%와 비교하여 84.48%의 정확도를 달성한다. NinaPro DB5에서는 41.30% 대비 61.44%의 정확도를 달성하며, 이는 49%의 상대적 향상에 해당한다. 또한 제안된 프레임워크는 교차 피험자 예측 분산을 줄이고 보다 구조화된 잠재 표현을 생성한다. 이러한 결과는 적응적 다목적 최적화를 통해 불변성과 판별력을 공동으로 강제하는 것이 sEMG 기반 제스처 인식 시스템에서 보다 안정적인 학습과 향상된 교차 피험자 일반화로 이어짐을 시사한다.
계층적 정규화를 통한 정확하고 결정적인 패치 디스크립터 검색
Exact and Deterministic Patch Descriptor Retrieval via Hierarchical Normalization
우리는 데이터베이스의 소수 항목만 평가하면서도 전체 벡터 전수 탐색과 증명상 동일한 정확 최근접 이웃을 반환하는 패치 디스크립터 검색 방법을 제시한다. 이 방법은 결정적으로 동작한다: 동일한 (데이터베이스, 쿼리) 쌍은 실행 순서, 스레드 수, 하드웨어와 무관하게 항상 동일한 결과를 낸다. 이는 HNSW와 IVF-PQ 같은 근사 최근접 이웃(ANN) 접근법과 대비되는데, ANN은 정확성을 속도와 교환하며 실행마다 다른 결과를 반환할 수 있다. 핵심 메커니즘은 계층적 정규화(HN)이다. HN은 정규화 전 특징 벡터를 K차원 주요 성분(노름 sqrt(1-alpha))과 (128-K)차원 부차 성분(노름 sqrt(alpha))으로 분할하는 정규화 방식이다. 부차 성분의 내적은 alpha로 제한되므로(규정된 노름에 대한 Cauchy-Schwarz), 주요 유사도에 alpha를 더한 값은 전체 유사도에 대한 허용 가능한 상한이다. 검색은 모든 항목에 대해 K차원 주요 성분을 스캔한 뒤, 가지치기할 수 없는 항목에만 전체 128차원 평가를 적용한다—증명상 정확한 분기-한정(branch-and-bound) 스캔이다. UBC 패치 데이터셋의 notredame 분할에서 HN-수정 HardNet을 학습하고 trevi와 halfdome에서 평가한다. 캐시 최적화된 Structure-of-Arrays 레이아웃과 K=8, alpha=1/32 설정에서 검색은 전수 128차원 검색 대비 13.7배(trevi) / 12.7배(halfdome) 속도 향상을 달성하며, 전체 평가가 필요한 항목은 0.4%에 불과하다. K=16, alpha=1/8에서는 trevi 기준 FPR@95가 0.0062에서 0.0064로 상승하고, 7.2배 속도 향상을 달성하며, 항목의 98.8%가 전체 평가를 건너뛴다.
HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models
QC-GAN: 고충실도 음성 향상을 위한 매개변수 효율적인 쿼터니언 Conformer GAN
QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement
본 논문에서는 쿼터니언(Quaternion) Conformer 생성자와 MetricGAN 기반 학습을 결합한 매개변수 효율적인 음성 향상 프레임워크인 Quaternion Conformer GAN (QC-GAN)을 제안합니다. 해밀턴 곱(Hamilton product)은 구조화된 가중치 공유를 통해 크기(magnitude)와 위상(phase)을 인코딩하여, 층(layer) 매개변수의 수를 줄이면서 그 상호 의존성을 보존합니다. 지각적 품질을 극대화하기 위해 근사 지각 평가 점수를 최적화하는 메트릭 학습(metric-learning) 판별자(discriminator)를 사용했습니다. VoiceBank+DEMAND 데이터셋에서 QC-GAN은 단 0.89M개의 매개변수로 음성 품질 지각 평가(PESQ) 점수 3.48을 달성했으며, 이는 모델 크기가 절반 미만임에도 불구하고 최첨단(state-of-the-art) 모델과 대등한 성능을 제공합니다. 35K 매개변수 변형 모델은 PESQ 점수 3.23을 달성하여, 현저히 적은 매개변수로 기존 방법론을 능가했습니다. DNS-Challenge 3 데이터셋에 대한 평가를 통해 실제 환경 조건에 대한 일반화 성능이 추가로 확인되었습니다.
순서 유사성을 통한 확장 가능하고 해석 가능한 표현 정렬
Scalable and Interpretable Representation Alignment with Ordinal Similarity
표현 유사성 평가는 표현 학습(Representation learning)에 있어 근본적인 요소입니다. 그러나 기존 지표(metrics)는 변동하는 기준선(baselines)으로 인해 해석 가능성이 결여되어 있고, 이상치(outliers)에 대한 강건성(robustness)이 부족하며, 대규모 데이터셋(dataset)에서는 계산적으로 처리가 불가능하여 휴리스틱 근사(heuristic approximations)에 의존해야 한다는 중대한 한계를 겪고 있습니다. 이를 해결하기 위해 우리는 순서 유사성(ordinal-similarity) 프레임워크를 개발했으며, 이는 트리플릿(TSI) 및 쿼드러플릿(QSI) 유사성 지수(Similarity Indices)로 구체화됩니다. 이 프레임워크는 순서 관계(ordinal relationships)의 일관성을 정량화하여 정렬(alignment)을 측정합니다. 우리는 이 공식이 본질적으로 해석 가능하며, 이상치에 강건하고, 계산적으로 효율적임을 이론적으로 입증했습니다. 마지막으로, 우리는 TSI와 상호 최근접 이웃(Mutual Nearest Neighbors)으로 측정되는 지역 이웃 정렬(local neighborhood alignment) 사이의 형식적 동등성을 확립했습니다. 실험적으로 우리는 이러한 속성들을 검증했으며, 순서 유사성이 정렬을 측정할 수 있는 확장 가능한 접근 방식을 제공하여 실무자들이 표현(representations)을 더 잘 이해하고 설계할 수 있도록 함을 보여주었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.