적은 것으로 더 달성하기: 텐서 최적화 기반 앙상블 방법
Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method
한국어 초록
앙상블 학습은 약한 학습기(weak learner)를 활용해 강한 학습기(strong learner)를 만드는 방법이다. 그러나 많은 수의 기저 학습기(base learner)를 얻으려면 상당한 시간과 계산 자원이 필요하다. 따라서 소수의 기저 학습기만으로 다수의 기저 학습기로 보통 얻는 성능을 달성하는 방법을 연구하는 것은 의미가 있다. 이를 달성하려면 앙상블 과정에서 분류 성능과 일반화 능력을 모두 향상시키는 것이 필수적이라고 본다. 모델 정확도를 높이기 위해 각 약한 기저 학습기를 더 효율적으로 통합해야 한다. 서로 다른 기저 학습기는 클래스마다 예측 정확도가 다르게 나타남이 관찰된다. 이를 활용하기 위해 신뢰도 텐서 $\tilde{\mathbfΘ}$를 도입하며, $\tilde{\mathbfΘ}_{rst}$는 $t$번째 기저 분류기가 실제로 클래스 $s$에 속하는 샘플을 클래스 $r$에 할당할 때 부여하는 신뢰도의 정도를 나타낸다. 우리 지식 범위 내에서, 서로 다른 클래스에 걸친 기저 분류기 성능 평가를 제안한 것은 이번이 처음이다. 제안한 신뢰도 텐서는 클래스마다 각 기저 분류기의 강점과 약점을 보완하여, 더 적은 수의 기저 학습기로 우수한 결과를 달성할 수 있게 한다. 일반화 성능을 높이기 위해 마진 개념을 활용한 매끄럽고 부분 볼록(partially convex) 목적 함수를 설계하여 강한 학습기를 더 변별력 있게 만든다. 또한 손실 함수의 그래디언트 행렬에서 각 열 원소의 합이 0임이 증명되어, 그래디언트 기반 방법으로 제약 최적화 문제를 풀 수 있다.
원문 초록
Ensemble learning is a method that leverages weak learners to produce a strong learner. However, obtaining a large number of base learners requires substantial time and computational resources. Therefore, it is meaningful to study how to achieve the performance typically obtained with many base learners using only a few. We argue that to achieve this, it is essential to enhance both classification performance and generalization ability during the ensemble process. To increase model accuracy, each weak base learner needs to be more efficiently integrated. It is observed that different base learners exhibit varying levels of accuracy in predicting different classes. To capitalize on this, we introduce confidence tensors $\tilde{\mathbfΘ}$, where $\tilde{\mathbfΘ}_{rst}$ signifies the degree of confidence that the $t$-th base classifier assigns the sample to class $r$ while it actually belongs to class $s$. To the best of our knowledge, this is the first time an evaluation of the performance of base classifiers across different classes has been proposed. The proposed confidence tensor compensates for the strengths and weaknesses of each base classifier in different classes, enabling the method to achieve superior results with a smaller number of base learners. To enhance generalization performance, we design a smooth and partially convex objective function that leverages the concept of margin, making the strong learner more discriminative. Furthermore, it is proved that in the gradient matrix of the loss function, the sum of each column's elements is zero, allowing us to solve a constrained optimization problem using gradient-based methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2408.02936v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
베이지안 회귀, 트리 앙상블 및 Shapley 값을 통합한 역학 데이터의 비선형성을 넘어선 발견과 추론
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.
ContextRefine-CLIP for EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2025
Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
iBitter-Stack: A Multi-Representation Ensemble Learning Model for Accurate Bitter Peptide Identification
EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
EnsembleCI: Ensemble Learning for Carbon Intensity Forecasting
토론
이 논문과 연결된 포럼 글이 아직 없습니다.