RocketPFN: 문맥 내 학습을 통한 정확한 시계열 분류
RocketPFN: Accurate Time Series Classification via In-Context Learning
한국어 초록
우리는 랜덤 합성곱 특징 추출(Rocket)과 사전학습된 표 형식 파운데이션 모델(TabPFN v2.5)을 이용한 문맥 내 분류를 결합한, 학습이 필요 없는 시계열 분류 파이프라인 RocketPFN을 소개한다. 92개의 UCR 데이터셋(30회 리샘플링 프로토콜)에서 RocketPFN은 목표 데이터에 대한 학습 없이도, 폴드당 중앙값 추론 시간 30초로 UCR 아카이브에서 가장 강력한 공개 방법인 HC2와 평균 정확도에서 동등한 성능을 보였다(둘 다 0.900, Wilcoxon p=0.50). 또한 HC2 앙상블의 모든 개별 분류기를 유의미하게 능가한다. UEA(20개 데이터셋)에서도 차이는 통계적으로 유의하지 않다. 별도의 비교에서 TSC 파운데이션 모델들을 살펴보면, 동일한 다운스트림 분류기와 결합했을 때 MOMENT, Mantis, MantisV2 모두 더 적은 추출 특징과 학습된 파라미터 없이도 RocketPFN에 유의미하게 뒤처졌다(각 경우 p<0.001). 이는 해당 인코더들이 UCR 학습 샘플을 포함하는 코퍼스에서 사전학습된 경우에도 동일하게 성립한다. 우리는 이 두 단계 파이프라인을 제로샷 TSC 파운데이션 모델 평가를 위한 기준점으로 제안한다.
원문 초록
We introduce RocketPFN, a training-free pipeline for time series classification that combines random convolutional feature extraction (Rocket) with in-context classification via a pretrained tabular foundation model (TabPFN v2.5). On 92 UCR datasets (30-resample protocol), RocketPFN matches HC2, the strongest published method on the archive, in mean accuracy (both 0.900, Wilcoxon p=0.50), with no training on the target data and a median inference time of 30 seconds per fold. It also significantly outperforms every individual classifier in the HC2 ensemble. On UEA (20 datasets) the difference is likewise not statistically significant. A separate comparison concerns TSC foundation models: when paired with the same downstream classifier, MOMENT, Mantis, and MantisV2 are all significantly outperformed by RocketPFN using fewer extracted features and no learned parameters (p<0.001 in each case). This holds even when the encoders were pretrained on corpora that include the UCR training samples. We propose this two-stage pipeline as a reference point for evaluating zero-shot TSC foundation models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21786v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크
SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data
정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.
BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장
BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics
생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.
중고 전자기기의 다중 시계열 가격 예측을 위한 심층 학습 대 통계 모델: 체계적 벤치마크
Deep Learning vs. Statistical Models for Multi-Horizon Price Forecasting of Second-Hand Electronics: A Systematic Benchmark
중고 전자기기의 재판매 가격 예측은 가격 책정 오류가 곧바로 위험으로 이어지는 구독 기반 플랫폼에 매우 중요합니다. 구조화된 금융 시장과 달리 중고 전자기기는 높은 변동성, 희소한 매물 등록 이력, 비정규 가격 역학을 보이지만, 이 영역에 대한 체계적인 시계열 벤치마크(benchmark)는 존재하지 않습니다. 본 논문에서는 중고 전자기기 가격 예측을 위한 통계 및 심층 학습(deep learning) 예측 모델의 첫 다중 시계열(multi-horizon) 벤치마크를 제시합니다. 폴란드 온라인 마켓플레이스의 일별 가격 매물 대규모 데이터셋(2022년 1월부터 2025년 3월까지, 100개 이상의 스마트폰 및 노트북 모델)을 사용하며, 고전적 기법(ARIMA, ETS, Theta), 순환 및 합성곱 네트워크(LSTM, TCN), 현대 심층 아키텍처(N-BEATS, N-HiTS, TFT, PatchTST, Informer)를 포괄하는 11개 모델을 1일부터 365일까지 6개 예측 구간(horizon)에 걸쳐 평가합니다. 세 가지 상호보완적 평가 프로토콜은 궤적 적합도, 단발성(one-shot) 종단점 정확도, 시계열 간 전이(cross-horizon transfer)를 측정합니다. N-BEATS는 30일 이후에서 가장 낮은 MAPE를 달성하여 365일에서 8.51%에 도달했으며, 이는 최고 성능 통계 기준선(baseline)의 14.94% 대비 43% 감소한 수치입니다. 단기 예측 구간(1-7일)에서는 모든 모델이 약 0.72% MAPE로 수렴하며 나이브 기준선도 경쟁력을 유지합니다. 365일 기준으로 학습된 단일 N-BEATS 모델은 더 짧은 모든 예측 구간으로 일반화되어 구간별 맞춤형 모델의 필요성을 없앱니다. 또한 N-BEATS와 N-HiTS는 뛰어난 하이퍼파라미터 안정성을 보여줍니다.
MARTA: a model for the automatic phonemic grouping of the parkinsonian speech
토론
이 논문과 연결된 포럼 글이 아직 없습니다.