PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26905v1cs.LG

CORE-STACK+: 심층 스택 일반화를 위한 메타 학습

CORE-STACK+: Meta-Learning for Deep Stacked Generalization

이질적인 비전 백본(CNN, ViT, 하이브리드)을 스택하는 것은 정확도, 보정(calibration), 견고성을 위한 사실상의 표준이지만, 서로 맞물린 두 가지 병리가 그 이득을 제한한다. 예측 공간 다중공선성(prediction-space multicollinearity)은 메타 학습기의 Gram 행렬 조건을 악화시켜 가중치 분산을 키우고, 얇은 매니폴드 위에서 취약한 해법을 만든다. 보정 붕괴(calibration collapse)는 단순 선형 스택을 통해 구성 모델의 miscalibration을 누적 증폭하므로, 모델을 더 추가하면 기대 보정 오차(ECE)가 나빠질 수 있다. 기존 대안인 릿지 정규화, 탐욕적 선택, model soups, SWAG는 이 문제들 중 최대 하나만 다루며, 이질적 예측 풀에서 conditioning과 calibration을 동시에 겨냥하는 방법은 없다. 우리는 CORE-STACK+를 제안한다. 네 가지 구성 요소를 갖는 사전조건화(preconditioning) 파이프라인으로, (i) Pearson 상관으로는 보이지 않는 비선형 모델 간 의존을 제거하는 커널화 중복 필터(Centered Kernel Alignment, CKA [23] 사용), (ii) 앙상블 통계에 대한 샘플별 어텐션을 학습하는 1.5만 미만 매개변수의 미분 가능 메타-특징 게이트, (iii) Marchenko-Pastur 신호-잡음 분해에서 유도한 스펙트럼 적응형 Ridge 페널티 $\lambda^{\star}=lmax(\hat{C})/\mathrm{SNR}(\hat{C})$로 중첩 교차 검증을 제거, (iv) inverse-RMSE 휴리스틱을 대체하는 Laplace 근사 베이지안 블렌더이다. 우리는 예측 공간 중복과 메타 학습기 용량을 처음으로 공동 반영하는 PAC-Bayes 초과 위험(excess-risk) 상계를 증명한다. 여섯 벤치마크에서 CORE-STACK+는 ImageNet-1K top-1 +1.8%, ImageNet-C mCE -4.2, ADE20K mIoU +0.9, COCO AP +1.3을 달성하면서 유지 모델 수를 35–57% 줄이고 추론 FLOPs를 최대 41% 감소시킨다. ECE는 사후 온도 스케일링(post hoc temperature scaling) 없이도 깊은 앙상블 대비 2.1배 개선된다.