PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07031v1cs.LG

CF-JEPA: 시계열 표현 학습을 위한 비대칭 인코더 활용을 통한 마스크 프리 순방향 예측

CF-JEPA: Mask-free forward prediction with asymmetric encoder utilization for time-series representation learning

시계열 표현 학습을 위한 자기지도 학습(SSL)은 양성 또는 음성 쌍을 구성하는 데 어려움을 겪는 대조적 방법(contrastive methods)과 시계열 신호의 시간적 연속성을 단절시키는 마스킹 기반 방법이라는 두 가지 패러다임이 지배적입니다. 결합 임베딩 예측 아키텍처(JEPA)는 원본 입력을 재구성하는 대신 표현 공간에서 예측함으로써 유망한 대안을 제공합니다. 그러나 기존 시계열 JEPA 변형들은 여전히 마스킹에 의존하므로 그 연속성 문제를 그대로 안고 있습니다. 크롭 기반 순방향 JEPA(CF-JEPA)는 마스킹을 다중 지평 순방향 예측으로 대체하는 혁신적인 마스크 프리 프레임워크로 제안됩니다: 무작위 크롭은 컨텍스트 뷰로 사용되며, 단기, 중기, 장기 미래 표현이 순방향 시간 방향으로 예측되어 시계열 데이터의 고유한 시간적 순서를 학습 신호로 직접 활용합니다. 또한 단일 학습 실행에서 생성된 온라인 인코더와 지수 이동 평균(EMA) 타겟 인코더 사이에 강력한 비대칭성이 확인되었습니다: 온라인 인코더는 더 고계급(higher-rank)의 식별 특징을 발달시키는 반면, EMA 타겟 인코더는 더 매끄럽고 저계급(lower-rank)의 시간적 특징을 발달시킵니다. 이러한 비대칭성을 활용하여, 분류는 온라인 인코더에 할당되고 예측 또는 이상 탐지는 EMA 타겟 인코더에 할당되어, 추가적인 학습 비용 없이 다변량 예측 평균 제곱 오차(MSE)를 27% 감소시켰습니다. 126개의 캘리포니아 대학교 리버사이드(UCR) 및 26개의 이스트 앵글리아 대학교(UEA) 분류 데이터셋, 8개의 전력 변압기 온도 예측 벤치마크, 그리고 핵심 성과 지표(KPI)/Yahoo 이상 탐지 전반에 걸쳐, CF-JEPA는 자기지도 기준 모델 중 UCR 및 UEA에서 가장 높은 평균 정확도와 순위를 달성했으며, 단변량 예측 및 k-최근접 이웃(k-nearest neighbors) 점수 기반 이상 탐지에서 2위를 차지했습니다.