PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05791v1stat.ML

리스트 복호 가능 코드를 활용한 부스팅

Boosting with List-Decodable Codes

XOR 폐쇄 성질을 만족하는 개념 클래스에서 Freund(1995)의 라운드 복잡도 하한을 우회하는 새로운 부스팅 알고리즘을 제시하며, 부스팅과 리스트 복호 가능 코드(list-decodable codes) 간의 연결을 통해 기존 $O(\log(1/\varepsilon)/\gamma^2)$ 대신 $O(\log(1/\varepsilon))$회의 약한 학습기 호출만으로 강한 학습을 달성한다.

arXiv:2606.17567v1cs.LG

잔차 직교화를 통한 부스팅에서의 학습기 중복성 감소

Reducing Learner Redundancy in Boosting via Residual Orthogonalization

순차적 잔차 적합(sequential residual fitting)은 표준 부스팅 프레임워크의 기반이지만, 상관관계가 있는 오차 구성 요소를 반복적으로 방문함으로써 본질적으로 학습기 중복성(learner redundancy)을 야기합니다. 이러한 병목 현상을 해결하기 위해, 우리는 잔차 적합에서 잔차 직교화(residual orthogonalization)로의 전환을 제안하고 SCBoost를 소개합니다. 우리의 프레임워크는 스펙트럼 잔차 투영(Spectral Residual Projection, SRP)과 공분산 정규화 가중치(Covariance-Regularized Weighting, CRW)라는 두 가지 상호 보완적인 메커니즘을 통해 중복성을 해결합니다. 학습(training) 동안, SRP는 각 잔차 타겟을 과거 예측 부분공간의 직교 여공간에 투영하여, 후속 학습기가 새로운 경험적 혁신(novel empirical innovations)만을 포착하도록 강제합니다. 집계 과정에서, CRW는 명시적인 공분산 페널티를 사용하여 검증(validation) 세트에서 앙상블 가중치를 최적화하여 잔존 상관관계를 완화합니다. 이론적으로, 우리는 SRP가 정확한 가법적 잔차 에너지 분해(additive residual-energy decomposition)를 생성함을 증명하는 유한 표본 기하학적 특성화를 제공합니다. 또한, 등방성 노이즈(isotropic-noise) 가정 하에, 우리는 이 투영이 유효 신호 대 잡음비(Signal-to-Noise Ratio)를 개선하는 조건을 엄밀하게 확립합니다. 10개의 벤치마크 데이터셋에 걸친 광범위한 실험을 통해 SCBoost가 정확도(accuracy)와 F1 점수에서 특히 강력한 즉시 사용 가능한 성능(out-of-the-box performance)을 발휘함을 입증합니다. 이 연구는 기하학적 관점을 통해 부스팅을 재해석하며, 명시적 중복성 제어가 더 효율적인 앙상블(ensemble) 아키텍처를 향한 합리적이고 필요한 단계임을 시사합니다.