PyTorchKR Papers

최신 논문

총 665편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02704v1cs.AI

대규모 환경에서의 레이블 효율적 시계열 분류: 반사실적 귀속을 적용한 이중 스트림 OSSE-LSTM

Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution

시계열 데이터는 산업 장비, 웨어러블 기기, 전력망, 임상 모니터 등에서 엄청난 규모로 끊임없이 생성되지만, 주석 작업은 여전히 수작업에 의존하며 비용이 많이 들고 전문가를 필요로 합니다. 따라서 대규모 시계열 분석의 결정적인 병목은 데이터 양이 아니라 레이블의 양이며, 실무자가 마주하는 질문은 구체적입니다. 즉, 분류기가 실용성을 갖추려면 클래스당 몇 개의 예시에 레이블을 지정해야 하는가입니다. 본 연구에서는 레이블 공간이 고정되어 사전에 알려져 있으며, 클래스당 단 K개의 레이블된 예시만으로 결정 규칙을 구성해야 하는 조건에서 이 문제를 직접 탐구합니다. 우리는 데이터셋별 커널 튜닝 없이도 다중 스케일 모티프 추출을 수행하는 Squeeze-and-Excitation 재보정 결합 Omni-Scale CNN과, 전역적 시간적 맥락을 포착하는 양방향 LSTM을 결합한 에피소드식 메트릭 학습(metric learning) 프레임워크인 Dual-Stream OSSE-LSTM을 제안합니다. 두 스트림은 독립적으로 정규화된 후 프로토타입 지향 임베딩으로 융합됩니다. 또한 소수의 레이블로부터 도출된 결정은 설명 가능해야 하므로, 개별 분류기 로짓 대신 타깃 클래스와 반대 클래스 간의 프로토타입 마진을 귀속시키고 그 결과 맵을 인코더 업데이트 없이 테스트 시점 프로토타입 개선을 위한 소프트 마스크로 재사용하는 반사실적 통합 그래디언트(C-IG)를 도입합니다. 19개의 단변량 UCR 데이터셋에서 OSSE-LSTM은 모든 서포트 크기에서 가장 높은 평균 정확도와 데이터셋별 승수를 달성했으며, 해당 범위 전반에 걸쳐 정확도가 0.36%포인트 범위(96.36-96.72%) 내에서 안정적으로 유지되었습니다. 가장 낮은 성능의 구성조차 비교 대상 기준선 모델이 임의의 K에서 기록한 최고 결과(93.99%)를 상회합니다.

arXiv:2506.08641v3cs.LG

시계열 분류를 위한 사전학습 Vision Transformer 표현력 개방

Unlocking Pretrained Vision Transformers for Time Series Classification

비전 모델을 시계열 분석에 적응시키는 것은 매력적이지만, 분류에서는 기존의 모든 접근법이 전용 시계열 파운데이션 모델(TSFM)에 미치지 못하고 있다. 본 연구에서는 Time Vision Transformer(TiViT)를 제안하며, 이는 대규모 이미지 데이터셋으로 사전학습된 동결(frozen) Vision Transformer(ViT)의 표현력을 시계열 분류에 성공적으로 끌어내는 최초의 프레임워크이다. TiViT는 OpenCLIP 모델의 은닉 표현을 활용하여 파인튜닝 없이 최신(state-of-the-art) 성능을 달성한다. TiViT 표현의 구조를 탐구한 결과, 내재 차원(intrinsic dimension)이 높은 ViT 중간 층이 시계열 분류에 가장 효과적임을 확인하였다. 또한 TiViT와 TSFM 표현 공간 간 정렬(alignment)을 평가하였고, 강한 상호 보완성을 확인하였으며, 특징 연결(concatenation)을 통해 추가적인 성능 향상을 얻었다. 마지막으로, TiViT의 ViT 백본을 동결 해제하여 시계열에 대한 지속적 사전학습(continual pretraining) 및 TSFM과의 대조적 정렬(contrastive alignment)을 수행하고, 경량 TiViT 변형의 성능을 향상시켰다. 우리의 결과는 비전 파운데이션 모델의 도메인 및 태스크 적응에 대한 새로운 방향을 제시한다. 코드는 https://github.com/ExplainableML/TiViT 에서 제공된다.

arXiv:2502.04131v2cs.LG공식 코드 · Papers with Code

구조는 정보다: 부분 관측 동역학 시스템에서의 기계학습을 위한 구조적 식별 가능성 매핑

Structure is information: structural identifiability mappings for machine learning with partially observed dynamical systems

시계열 분류에 현대 기계학습을 성공적으로 적용하는 일은 종종 사용 가능한 학습 데이터의 품질과 양의 한계로 인해 어려움을 겪는다. 이러한 한계를 극복하기 위해, 매개변수화된 기계론적(mechanistic) 동역학 모델 형태의 영역 지식을 활용할 수 있으며, 시계열 관측을 미리 정의된 동역학 시스템 클래스의 사례로 표현할 수 있다. 동역학 모델이 영역별 변수와 그 역학적 상호작용 측면에서 해석 가능하다면 학습 과정 역시 해석 가능해지고, 모델러는 희소하고 불규칙하게 샘플링된 데이터를 자연스럽게 다룰 수 있다. 그러나 동역학 모델의 내부 과정은 종종 부분적으로만 관측된다. 이로 인해 주어진 시계열 관측을 가장 잘 설명하는 특정 모델 실현(realization)이 무엇인지에 대한 모호성이 생길 수 있다. 이 문제는 문헌에서 잘 알려져 있으며, 이러한 문제를 갖는 동역학 모델은 구조적으로 식별 불가능(structurally unidentifiable)하다고 부른다. 구조적으로 식별 불가능한 동역학 모델에 대한 지식을 무시한 채 분류기를 학습하면 분류 성능에 부정적인 영향을 줄 수 있다. 이 문제를 해결하기 위해 구조적 식별 가능성(structural identifiability) 분석을 사용하여 동일한 시스템 출력과 연관된 매개변수 구성을 명시적으로 연관 짓는다. 분류기 학습에 이렇게 도출된 관계를 사용하면, 생의학(biomedical) 영역의 여러 예제 모델에서 이 방법이 분류기가 보지 못한 데이터에 일반화하는 능력을 크게 향상시킴을 보인다. 이 효과는 학습 인스턴스 수가 제한적일 때 특히 두드러진다. 우리 결과는 기계학습 커뮤니티가 상대적으로 적은 관심을 기울여 온 주제인 구조적 식별 가능성의 중요성을 보여준다.

arXiv:2402.13822v2cs.CV

MSTAR: Multi-Scale Backbone Architecture Search for Timeseries Classification

Most of the previous approaches to Time Series Classification (TSC) highlight the significance of receptive fields and frequencies while overlooking the time resolution. Hence, unavoidably suffered from scalability issues as they integrated an extensive range of receptive fields into classification models. Other methods, while having a better adaptation for large datasets, require manual design and yet not being able to reach the optimal architecture due to the uniqueness of each dataset. We overcome these challenges by proposing a novel multi-scale search space and a framework for Neural architecture search (NAS), which addresses both the problem of frequency and time resolution, discovering the suitable scale for a specific dataset. We further show that our model can serve as a backbone to employ a powerful Transformer module with both untrained and pre-trained weights. Our search space reaches the state-of-the-art performance on four datasets on four different domains while introducing more than ten highly fine-tuned models for each data.

arXiv:2502.15637v2cs.LG공식 코드 · Papers with Code

Mantis: Lightweight Foundation Model for Time Series Classification

While foundation models have revolutionized various domains, their application to time series classification remains rather under-explored, with existing literature predominantly focused on forecasting. To bridge this gap, we introduce \textbf{Mantis}, a transformer-based foundation model pre-trained exclusively on synthetic data via self-supervised contrastive learning. We demonstrate that effective tokenization is critical to unlocking the full potential of transformers, proposing a novel token generator unit. Furthermore, we introduce an enhanced test-time methodology that bridges the performance gap between Mantis and strong specialized approaches by leveraging intermediate-layer representations, self-ensembling, and cross-model embedding fusion. Extensive experiments demonstrate that Mantis establishes a new state-of-the-art, outperforming existing foundation models across four diverse dataset collections covering various application domains.