Subject-based Non-contrastive Self-Supervised Learning for ECG Signal Processing
원문 초록
Extracting information from the electrocardiography (ECG) signal is an essential step in the design of digital health technologies in cardiology. In recent years, several machine learning (ML) algorithms for automatic extraction of information in ECG have been proposed. Supervised learning methods have successfully been used to identify specific aspects in the signal, like detection of rhythm disorders (arrhythmias). Self-supervised learning (SSL) methods, on the other hand, can be used to extract all the features contained in the data. The model is optimized without any specific goal and learns from the data itself. By adapting state-of-the-art computer vision methodologies to the signal processing domain, a few SSL approaches have been reported recently for ECG processing. However, such SSL methods require either data augmentation or negative pairs, which limits the method to only look for similarities between two ECG inputs, either two versions of the same signal or two signals from the same subject. This leads to models that are very effective at extracting characteristics that are stable in a subject, such as gender or age. But they are not successful at capturing changes within the ECG recording that can explain dynamic aspects, like different arrhythmias or different sleep stages. In this work, we introduce the first SSL method that uses neither data augmentation nor negative pairs for understanding ECG signals, and still, achieves comparable quality representations. As a result, it is possible to design a SSL method that not only captures similarities between two inputs, but also captures dissimilarities for a complete understanding of the data. In addition, a model based on transformer blocks is presented, which produces better results than a model based on convolutional layers (XResNet50) with almost the same number of parameters.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
양성 쌍 기하학의 중요성: 시각적 표현의 대조 학습을 위한 최적 수송
Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations
대조 자기지도학습(contrastive self-supervised learning)은 동일한 이미지의 여러 증강된 뷰(view)로부터 표현을 학습하여 뛰어난 성능을 달성해 왔습니다. 그러나 기존의 대부분 방법들은 독립적으로 샘플링된 확률적 증강을 사용하여 양성 쌍(positive pair)을 구성하므로, 시맨틱 콘텐츠를 변형시키고 데이터 분포의 본질적인 기하학(geometry)을 무시할 수 있습니다. 본 연구에서는 기하학적으로 일관된 양성 샘플을 생성하는, 표현의 대조 학습을 위한 최적 수송(optimal transport) 인식 프레임워크인 OTCLR을 제안합니다. 무작위로 증강된 두 뷰를 직접 대조하는 대신, 엔트로피 최적 수송 변위 보간(entropic optimal-transport displacement interpolation)을 통해 원본 이미지와 증강 변형 사이의 중간 뷰들을 구성합니다. 이렇게 수송 보간된 샘플들은 공간적 분포 기하학을 명시적으로 모델링하면서 이미지 구조를 더욱 잘 보존하는 양성 뷰 역할을 합니다. 매끄러운 표현 학습을 더욱 촉진하기 위해, 수송 보간된 뷰들이 끝점 이미지들과 일관성을 유지하도록 유도하는 보조 Sinkhorn 정규화 항을 평가합니다. 제안된 방법은 인코더 아키텍처를 수정하지 않고도 표준 대조 학습 파이프라인에 통합될 수 있습니다. 여러 벤치마크 데이터셋에 대한 실험을 통해, 본 접근법이 기존 증강 기반 대조 학습 베이스라인에 비해 표현 품질과 전이학습 성능을 향상시킴을 보여줍니다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
Self-Supervised Learning for Multimedia Recommendation
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.