A Supervised Contrastive Learning Pretrain-Finetune Approach for Time Series
원문 초록
Foundation models have recently gained attention within the field of machine learning thanks to its efficiency in broad data processing. While researchers had attempted to extend this success to time series models, the main challenge is effectively extracting representations and transferring knowledge from pretraining datasets to the target finetuning dataset. To tackle this issue, we introduce a novel pretraining procedure that leverages supervised contrastive learning to distinguish features within each pretraining dataset. This pretraining phase enables a probabilistic similarity metric, which assesses the likelihood of a univariate sample being closely related to one of the pretraining datasets. Subsequently, using this similarity metric as a guide, we propose a fine-tuning procedure designed to enhance the accurate prediction of the target data by aligning it more closely with the learned dynamics of the pretraining datasets. Our experiments have shown promising results which demonstrate the efficacy of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TimeLitmus: 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 위한 진단 벤치마크
TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.
장꼬리 심전도 부정맥 진단을 위한 각도 Gaussian 지도 대조 학습
Angular Gaussian Supervised Contrastive Learning for Long-Tailed Electrocardiogram Arrhythmia Diagnosis
장꼬리 라벨 분포는 심전도(ECG) 부정맥 진단에서 심층 학습의 신뢰성을 저하시키며, 특히 임상적으로 중요하지만 희귀한 이상 소견에서 두드러진다. 기존의 재균형화 및 로짓 조정 방법은 주로 클래스 빈도를 다루면서 ECG 클래스 간 방향 의존적 형태학적 가변성은 간과한다. 본 연구는 장꼬리 다중 라벨 ECG 진단을 위한 각도 Gaussian 지도 대조 학습(Angular Gaussian Supervised Contrastive Learning, AG-SCL)을 제안한다. AG-SCL은 세 가지 구성 요소를 통합 프레임워크로 결합한다: 단위 정규화 임베딩(embedding) 상에서 완전 공분산 클래스 불확실성을 모델링하는 각도 Gaussian 대조 분기, 고정된 빈도 기반 마진 대신 유계 라벨-상태별 사전(prior) 보정을 학습하는 적응형 로짓 조정(Adaptive Logit Adjustment), 그리고 7-25 Hz QRS 우세 대역을 보호하면서 형태 보존 뷰를 생성하는 꼬리 인식(tail-aware) 증강. 해당 방법은 공개 PTB-XL 벤치마크와 141명의 피험자로부터 수집한 1317시간 기록으로 구성된 야간 ECG 데이터셋에서 평가되었다. AG-SCL은 두 데이터셋 모두에서 최고의 매크로 수준 성능을 달성했다. PTB-XL에서 균형 정확도 0.838, 민감도 0.709, 특이도 0.968, 평균 평균 정밀도(mAP) 0.495, FPR 5%에서의 TPR 0.778을 얻었다. Noc-ECG에서는 해당 값이 각각 0.918, 0.889, 0.947, 0.488, 0.900이었다. 가장 큰 향상은 희귀하거나 형태학적으로 불안정한 리듬 클래스에서 나타났으며, ablation 연구는 완전 공분산 모델링, 적응형 로짓 조정, 꼬리 인식 증강의 기여를 확인했다. AG-SCL은 사전 보정과 이방성(anisotropic) 표현 학습을 결합함으로써 장꼬리 ECG 진단을 개선하며, 임상적으로 관련 있는 특이도를 유지하면서 희귀 부정맥에 대한 민감도를 향상시킨다. 코드는 https://github.com/Open-EXG/AG-SCL-for-Long-Tailed-ECG 에서 이용 가능하다.
STEP: 시간적·교육적 궤적 모델링을 통한 경력 경로 추천
STEP: Career-Path Recommendation via Temporal and Educational Trajectory Modeling
경력 경로는 수십 년에 걸친 기술 습득, 역할 전환, 교육 투자를 담고 있으며, 이를 대규모로 이해하는 것은 인력 계획, 노동 시장 정책, 취업 추천의 근간이 된다. 이력서는 경력 경로에 관한 풍부한 정보 원천으로, 업무 경험, 교육, 기술에 대한 상세한 설명을 포함한다. 그러나 비정형적이고 이질적이며 다국어로 작성되는 특성으로 인해 대규모 체계적 분석이 오랫동안 어려웠다. 대규모 언어 모델(LLM)의 등장으로, 비정형 이력서에서 시간적·교육적 신호를 포함한 풍부한 경력 궤적 데이터를 추출하는 것이 가능해졌으며, 이는 경력 경로 추천에 새로운 기회를 열어준다. 이 기회를 활용하여, 우리는 STEP(Sequential Trajectory of Employment Prediction)을 제안한다. STEP은 경력 궤적에서 다음 직업을 예측하기 위해 시간적·교육적 신호를 활용하는 새로운 경력 경로 추천 시스템이다. STEP은 시간적 역학을 모델링하기 위한 시간 감쇠 게이트 순환 유닛(GRU) 셀, 교육 수준에 조건화된 Feature-wise Linear Modulation(FiLM), 그리고 다음 직업 예측을 위한 관련 특징 선택에 어텐션 기반 시퀀스 풀링을 통합한다. STEP의 내부 직업 표현을 개선하기 위해, 우리는 ROUTE를 소개한다. ROUTE는 먼저 비지도 노이즈 제거 오토인코딩을 통해 다국어 인코더를 경력 도메인에 적응시키고, 이후 가이드된 부정 샘플 선택을 활용한 지도 대조적 미세조정을 수행하는 2단계 대조 학습 절차이다. 우리는 공개 제공 중인 JobHop 데이터셋의 개선 버전을 포함한 4개의 경력 궤적 데이터셋에서 STEP을 평가하고, 다음 직업 예측에서 최신 기준 모델들을 능가함을 보인다. 재현 가능한 경력 궤적 연구를 지원하기 위해 데이터셋과 코드는 공개 배포된다.
A Better Alternative to Piecewise Linear Time Series Segmentation
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting Codes
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.