PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28122v1stat.ML

NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process

NPBoost: Neural Processes with Gradient-Boosted Fixed Effects

Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.

arXiv:2607.11896v1cs.LG

OmniPMNet: 옴니-쿼리 신경 프로세스를 통한 이산 및 격자 PM10 예보 연결

OmniPMNet: Bridging discrete and gridded PM10 forecasts via omni-query neural processes

미세먼지(PM10) 예보는 특히 강한 먼지 폭풍 시기에 관측소 단위 정확도와 연속적인 공간 분포를 모두 요구한다. 화학 수송 모델(CTM)은 격자 예보를 제공하지만 국지적 편향을 남기는 반면, 그래프 신경망(GNN)은 단기 예측 시점에서 모니터링 관측소를 잘 추적하지만 격자 출력을 생성하지 못한다. 여기서 우리는 공유 공간 표현 내에서 이 두 예보 유형을 조정하는 합성곱 조건부 신경 프로세스(ConvCNP) 기반 융합 모델인 OmniPM-Net을 제시한다. 지형 인식 가우시안 집합 합성곱은 불규칙한 GNN 관측소 예보를 정규 격자로 올리고, 다중 스케일 공간 소스 어텐션(SSA) 모듈이 이를 Copernicus Atmosphere Monitoring Service(CAMS) 예보와 혼합한다. 공유 옴니-쿼리 리드아웃은 이 표현을 108시간 구간에 걸쳐 관측소나 격자 셀에서 일관된 PM10 예측으로 디코딩한다. 2024년 전체를 대상으로 중국 전역 1,618개 대기질 모니터링 관측소에서 평가한 결과, OmniPM-Net은 더 강한 GNN 기준선의 관측소 수준 정확도와 일치하면서(평균 절대 오차 21.14 대 22.00 ug/m3) CAMS 평균 절대 오차를 30% 감소시켰고, 이산 GNN이 제공하지 못하는 격자 분포를 동시에 제공한다. 가장 뚜렷한 개선은 고농도 꼬리 영역에서 나타났다. 90백분위 MAE는 GNN 대비 9%, CAMS 대비 25% 감소했으며, 먼지 사건 기간 동안 범주형 탐지 기술을 개선하면서 진화하는 공간 궤적을 추적한다.

arXiv:2606.01172v3cs.LG

푸리에 변환과 볼테라 급수를 통한 신경 프로세스 재고찰

Revisiting Neural Processes via Fourier Transform and Volterra Series

유한하고 불규칙하게 샘플링된 측정값으로부터 미지의 잠재 함수를 모델링하는 것은 과학 및 공학 전반에 걸쳐 반복적으로 등장하는 도전 과제이다. 신경 프로세스(Neural Processes, NPs)는 확률론적 함수 모델 계열로, 특히 변환 등변성(translation equivariance)과 같은 도메인 특화 대칭성을 갖출 때 샘플 효율성과 일반화를 향상시켜 유망한 해결책이 된다. 그러나 기존의 변환 등변 NP에는 두 가지 한계가 있다: (i) 비선형성을 포함한 범용 구성요소를 단순히 쌓아올려 유도되는 함수 클래스가 불명확해지고 해석 가능성이 제한되며; (ii) 합성곱 설계는 지역적 수용 필드와 입력을 조밀한 균일 격자에 임베딩해야 하는 필요성으로 인해 제약을 받는 반면, 어텐션 기반 대안은 이러한 제약을 제거하지만 관측 수에 대해 이차적인 비용이 발생한다. 우리는 두 가지 기여를 통해 이 두 문제를 모두 해결한다. 첫째, 볼테라 전개(Volterra expansion)를 사용하여 연속적인 변환 등변 연산자를 고차 합성곱의 합으로 근사함으로써, 분석적 투명성을 제공하는 동시에 1차 합성곱을 통한 효율적인 계산을 가능하게 한다. 둘째, 불규칙하게 샘플링된 점들에 직접 작동하고 근사적으로 전역적인 수용 필드를 달성하며 관측 수에 대해 선형적으로 확장되는 주파수 도메인 파라미터화 방법인 집합 푸리에 합성곱(set Fourier convolutions, SFConvs)을 도입한다. 이러한 아이디어를 기반으로, 비선형성과 함께 SFConv 블록을 쌓은 SFConvCNPs와 볼테라 공식을 통합한 SFVConvCNPs, 두 가지 조건부 NP(CNPs)를 제안한다. 합성 및 실세계 데이터셋에 대한 실험을 통해 최신 기준 모델 대비 제안 방법의 효과를 입증한다.

arXiv:2607.04190v1cs.LG

기상 다운스케일링을 위한 합성곱 신경 프로세스 탐구

Exploring Convolutional Neural Processes for Weather Downscaling

ConvCNP(합성곱 조건부 신경 프로세스)를 활용해 ERA5-Land의 약 11km 해상도 일 최고기온 데이터를 스위스 전역에서 약 1km 해상도로 통계적 다운스케일링하는 방법을 연구하며, 고해상도 지형 특징(swisstopo DHM25)을 결합한 최적 모델이 쌍선형 보간 대비 CRPS 스킬 점수 0.524, 평균 절대 오차 1.31°C를 달성해 예측 오차를 절반 이상 감소시켰다. 에이블레이션 실험에서 고도 MLP가 필수 구성 요소임이 확인되었고, 격자 외 관측소 데이터에 대한 제로샷 적용과 불확실성 보정 과신은 실용 배포를 위해 해결해야 할 핵심 과제로 지적되었다.