합성 모델 생성을 통한 거의 최적인 해석 가능 모델의 확장 가능한 메타러닝을 향하여
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
한국어 초록
결정 트리(decision tree)는 해석 가능성 덕분에 금융 및 의료와 같이 위험도가 높은 분야에서 널리 사용된다. 본 연구는 결정 트리의 메타러닝(meta-learning)을 가능하게 하는 합성 사전학습 데이터를 생성하는 효율적이고 확장 가능한 방법을 소개한다. 우리의 접근법은 거의 최적인 결정 트리를 합성적으로 샘플링하여 대규모의 현실적인 데이터셋을 생성한다. MetaTree 트랜스포머 아키텍처를 사용하여, 우리는 이 방법이 실제 데이터로 사전학습하거나 계산 비용이 큰 최적 결정 트리를 사용하는 것과 비교할 만한 성능을 달성함을 보인다. 이 전략은 계산 비용을 크게 줄이고, 데이터 생성의 유연성을 향상시키며, 해석 가능한 결정 트리 모델에 대한 확장 가능하고 효율적인 메타러닝으로 가는 길을 연다.
원문 초록
Decision trees are widely used in high-stakes fields like finance and healthcare due to their interpretability. This work introduces an efficient, scalable method for generating synthetic pre-training data to enable meta-learning of decision trees. Our approach samples near-optimal decision trees synthetically, creating large-scale, realistic datasets. Using the MetaTree transformer architecture, we demonstrate that this method achieves performance comparable to pre-training on real-world data or with computationally expensive optimal decision trees. This strategy significantly reduces computational costs, enhances data generation flexibility, and paves the way for scalable and efficient meta-learning of interpretable decision tree models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기
MotherTree: Meta-learning on synthetic data improves decision tree training
기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
How Good Are Synthetic Requirements ? Evaluating LLM-Generated Datasets for AI4RE
DIP: Unsupervised Dense In-Context Post-training of Visual Representations
Episode-specific Fine-tuning for Metric-based Few-shot Learners with Optimization-based Training
Meta-learning how to Share Credit among Macro-Actions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 3 figures, Neurips 2025 GenAI in Finance Workshop