PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.20024v2cs.LG

지역난방 네트워크의 제로샷 열부하 예측을 위한 TabPFN-TS 및 Chronos-2의 체계적 평가

Systematic Evaluation of TabPFN-TS and Chronos-2 for Zero-Shot Heat Load Forecasting in District Heating Networks

지역난방 에너지 허브는 효율적인 운영 스케줄링을 위해 신뢰할 수 있는 열부하 예측을 필요로 합니다. 과거 데이터로 학습(training)된 예측 모델(model)은 네트워크가 발전함에 따라 재학습이 필요할 수 있습니다. 따라서 제로샷(zero-shot) 시계열 파운데이션 모델과 문맥 내 예측(in-context forecasting)은 유망한 대안을 제시합니다. 즉, 반복적인 재학습 대신 최근 관측값으로부터 추론(inference) 시점에 적응할 수 있습니다. 본 연구는 독일의 두 지역난방 네트워크에서 확률적 열부하 예측을 위해 TabPFN-TS와 Chronos-2를 체계적으로 평가하고, 이를 학습된 베이스라인들과 비교합니다. 기본 모델이 시계열 데이터가 아닌 합성 표 형식(tabular) 데이터만으로 사전학습(pre-training)된 TabPFN-TS가 복잡한 지역난방 동역학을 포착할 수 있는지 평가합니다. 선정된 운영 주간을 대상으로 공변량 선택, 컨텍스트 길이, 시간 해상도, 예측 구간(forecast horizon)을 분석하고, 선정된 구성을 1년 전체에 걸쳐 평가하며, 네트워크 간 전이(cross-network transfer)를 평가합니다. 주요 벤치마크(benchmark)는 완벽한 기상 예보를 가정하며, 별도의 민감도 분석에서는 사후적 기상 예측을 사용합니다. 12주 롤링 컨텍스트와 외기 온도를 활용한 1시간 단위 24시간 예측이 간결한 구성을 제공하며, 더 긴 컨텍스트 윈도우(context window)가 정확도를 향상시키지는 않습니다. 연간 전체 벤치마크에서 두 시계열 파운데이션 모델(TSFM) 모두 결정론적 정확도에서 학습된 모든 베이스라인을 능가합니다. Chronos-2가 가장 우수한 결정론적 점수를 달성하고 TabPFN-TS가 그 뒤를 바짝 따릅니다. 주요 데이터셋(dataset)에서 두 모델의 CVRMSE 값은 각각 12.48%와 13.07%입니다. Chronos-2는 두 네트워크 모두에서 더 낮은 연속 순위 확률 점수(CRPS)를 달성하며, TabPFN-TS 역시 근접한 성능을 유지합니다. TSFM 기반 다중 해상도 잔차 수정 예측기(Multi-Resolution Residual-Correction Forecaster)는 1시간 단위 기본 예측과 단기 고해상도 수정을 결합합니다. 직접적인 고해상도 예측과 비교했을 때, 이는 12시간 기간 동안의 총 열 수요 및 기록된 예측 시간 전반에서 오차를 전반적으로 줄입니다.

arXiv:2603.10254v3cs.LG

인과 구조 통합을 통한 TabPFN의 합성 데이터 생성 개선

Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

TabPFN의 자기회귀적 합성 데이터 생성 시 특징 순서가 인과 구조와 충돌하면 허위 상관관계가 발생하는 문제를 지적하고, DAG 인식 조건화(DAG-aware conditioning)와 PDAG 기반 전략을 통해 파라미터 업데이트 없이 추론 시점에 인과 구조를 주입하는 방법을 제안한다. CSuite 벤치마크 등 다양한 실험에서 DAG 인식 조건화가 합성 데이터 품질과 평균 처치 효과(ATE) 보존을 개선함을 보였다.

arXiv:2606.30452v1cs.LG

표 형식 기업 데이터와 공개 벤치마크 간의 차이 탐구

Exploring Differences Between Tabular Enterprise Data and Public Benchmarks

공개 표 형식(tabular) 벤치마크와 실제 기업 데이터 간의 통계적 특성 차이를 분석한 연구로, EGI-Bench(557개 기업 과제)와 OS-Tabular 등 276개 공개 벤치마크를 비교한 결과 기업 데이터는 문자열 피처 비중이 높고, 피처 반복성이 강하며, 클래스 불균형과 공변량 드리프트가 심한 것으로 나타났다. TabPFN, TabICL 등 공개 벤치마크에서 우수한 성능을 보이는 최신 모델들이 기업 데이터에서는 비튜닝 Random Forest에도 뒤처지는 반면, 문자열을 기본 지원하는 ConTextTab은 기업 데이터에서 강세를 보여, 기업급 특성을 반영한 새로운 벤치마크 구축이 필요함을 강조한다.

arXiv:2606.21776v1cs.LG

합성 시계열 분류 데이터셋을 위한 인과적 방향성 비순환 그래프 사전

A Causal DAG Prior for Synthetic Time-Series Classification Datasets

Prior-data fitted Network는 학습 사전(prior)이 유도하는 사후 예측분포(posterior predictive)를 학습한다. 따라서 이 패러다임을 다변량 시계열 분류에 적용하려면 시간적 구조를 갖춘 완전한 레이블 데이터셋을 생성하는 합성 생성기가 필요하다. 우리는 두 가지 모달리티(표 형식 속성과 시계열)에 걸친 유형화된 노드들 위의 무작위로 샘플링된 방향성 비순환 그래프(DAG)로 각 데이터셋을 합성하는 인과적 사전(prior)을 제안한다. 이는 채널, 시간 단계, 레이블에 걸친 교차 모달 인과 구조를 갖는 다변량 다중 클래스 시계열 분류(TSC) 데이터셋을 네이티브하게 생성하며, 기존 합성 사전이 다루지 않은 영역이다. 사전(prior)을 검증하기 위해 최소한의 수정으로 TabPFN v2.5를 파인튜닝하고 TabPFN의 운용 영역 내 75개 UCR/UEA 데이터셋에서 평가한다. 우리 생성기로 파인튜닝한 모델은 수정되지 않은 업스트림 모델과 동일 사전의 표 형식 전용 ablation 모두를 유의하게 능가한다(ROC-AUC 기준 Wilcoxon signed-rank $p=3.0\times 10^{-8}$). 이는 교차 모달 시간적 구조의 기여를 분리하여 보여준다.

arXiv:2606.12917v1cs.LG

TabPFN 내부 계산의 위치: 어텐션 헤드 기능의 인과적 국소화

Where Computation Lives Inside TabPFN: Causal Localisation of Attention Head Function

TabPFN 2.5의 특징별 어텐션 헤드가 계층 간에 계산을 분배하는 방식을 인과적으로 분석한 결과, 작업 복잡도에 따라 지배적인 계층이 이동하는 특정 헤드가 다른 헤드보다 2~5배 더 중요한 시간적 특화가 관찰되었다. 또한 문맥 의존적 어텐션을 사용하는 TabPFN의 문맥 내 학습 메커니즘으로 인해 대조적 활성화 조정을 통한 추론 시간 제어가 불가능함을 확인했다.

arXiv:2606.07416v1cs.LG

대기 플라즈마 분사에서 비행 중 입자 특성의 비디오 기반 예측

Video-Based Prediction of In-Flight Particle Characteristics in Atmospheric Plasma Spraying

대기 플라즈마 분사(APS)는 널리 사용되는 코팅 공정으로, 비행 중 입자의 온도와 속도가 코팅 품질에 강한 영향을 미칩니다. 그러나 이러한 입자 특성은 운영 중에 연속적으로 모니터링하기 어렵기 때문에, 비침습적 데이터 기반 진단 방법의 개발이 필요합니다. 본 연구에서는 APS에서 비행 중 입자 특성을 추정하기 위해 플라즈마 플룸(plume)의 고속 비디오 관측의 예측 잠재력을 조사합니다. 우리는 세 가지 다른 비디오 기반 특징(feature) 표현을 소개하고, TabPFN, 합성곱 신경망(CNN), 랜덤 포레스트, 그래디언트 부스팅, 서포트 벡터 회귀, XGBoost를 포함한 고전적 회귀 베이스라인을 사용하여 이를 평가합니다. 63번의 APS 분사 실행에서 얻은 126개의 라벨링된 분사 전후 비디오 녹화에 대해 그룹화된 Leave-One-Out 교차 검증(validation)을 사용하여 실험을 수행했습니다. 엔지니어링된 특징(feature) 실험에서 TabPFN은 온도 예측에 대해 가장 일관된 성능을 달성했으며, 결합된 특징 표현을 사용하여 R2 = 0.86에 도달했습니다. CNN 모델은 속도 예측에서 특히 더 강력한 성능을 보였으며, R2 0.81을 달성했습니다. 또한, 사전 학습된(pretrained) CNN을 사용하여 원본 비디오 프레임에서 직접 작동하는 모델을 평가했으며, 회귀 헤드가 있는 사전 학습된 CNN이 온도와 속도에 대해 각각 R2 0.90과 0.82로 최고 성능을 달성함을 발견했습니다. 결과는 비디오 기반 플룸 정보가 비침습적 APS 진단 및 실시간 공정 모니터링을 위한 유망하고 확장 가능한 기반을 제공함을 보여줍니다.