기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.
결정 트리(decision tree)는 해석 가능성 덕분에 금융 및 의료와 같이 위험도가 높은 분야에서 널리 사용된다. 본 연구는 결정 트리의 메타러닝(meta-learning)을 가능하게 하는 합성 사전학습 데이터를 생성하는 효율적이고 확장 가능한 방법을 소개한다. 우리의 접근법은 거의 최적인 결정 트리를 합성적으로 샘플링하여 대규모의 현실적인 데이터셋을 생성한다. MetaTree 트랜스포머 아키텍처를 사용하여, 우리는 이 방법이 실제 데이터로 사전학습하거나 계산 비용이 큰 최적 결정 트리를 사용하는 것과 비교할 만한 성능을 달성함을 보인다. 이 전략은 계산 비용을 크게 줄이고, 데이터 생성의 유연성을 향상시키며, 해석 가능한 결정 트리 모델에 대한 확장 가능하고 효율적인 메타러닝으로 가는 길을 연다.
시공간적 또는 인구통계학적 변수와 같은 계층화 요인이 존재하는 환경에서의 분류를 위해 Simultaneous Latent Budget Trees라는 확률적 머신러닝 프레임워크를 제안한다. 자식 노드를 동시 혼합 모델의 잠재 구성 요소로 해석하는 모델 기반 분할 규칙을 통해 조건부 분할을 최적화하며 신경망 관점에서 최소제곱법으로 파라미터를 추정한다.
전통적인 의사결정 트리 모델은 수치 변수에만 의존하여 고차원 데이터 처리에 어려움을 겪는 경우가 많으며, 텍스트 정보를 효과적으로 통합하는 능력이 제한적이다. 이러한 한계를 해결하기 위해 본 연구는 금융 데이터와 텍스트 자료를 통합하여 중소기업(SME) 신용 평가를 개선하도록 설계된 포괄적 프레임워크인 통합 다변량 분할 트리(integrated multivariate segmentation tree, IMST)를 제안한다. 이 방법은 세 가지 핵심 단계로 구성된다: (1) 행렬 분해(matrix factorization)를 통해 텍스트 데이터를 수치 행렬로 변환, (2) Lasso 회귀를 사용하여 두드러진 재무 특성을 선택, (3) Gini 지수 또는 엔트로피(entropy)를 기반으로 다변량 분할 트리를 구성하고, 모델 복잡도를 제어하기 위해 weakest-link 가지치기(pruning)를 적용한다. 1,428개 중국 중소기업 데이터셋을 기반으로 한 실험 결과, IMST는 88.9%의 정확도를 달성하여 기준선 의사결정 트리(87.4%)와 서포트 벡터 머신(support vector machine), 신경망(neural network) 등 기존 모델을 능가했다. 또한 제안 모델은 해석 가능성과 계산 효율성이 우수하며, 더 간결한 구조와 향상된 위험 탐지 능력을 보였다.
의사결정 트리는 해석 가능한 if-then 규칙을 생성하지만, 비관련 조건(IRCs)을 포함한다. 이러한 IRCs는 트리 분할의 구조적 메커니즘에서 발생하며, 최신 최적 희소 트리 유도 알고리즘에서도 지속된다. 기존 IRC 삭제 방법은 이 구조적 메커니즘을 간과하므로, 원래 트리를 지나치게 느슨하게 보존하여 신뢰성을 유지하지 못하거나, 지나치게 엄격하게 적용하여 의미 있는 단순화를 달성하지 못한다. 본 연구는 IRC의 근본 메커니즘과 관련된 정리와 명제를 확립함으로써 신뢰할 수 있는 IRC 삭제의 이론적 기반을 제공한다. 핵심 발견은 이진 분할이 부모 노드에 비해 각 가지에서 클래스 비율을 반대 방향으로 이동시킨다는 점이다. 구체적으로, 한 가지에서 클래스-1 비율이 증가하면 형제 가지에서 클래스-0 비율의 증가가 필수적으로 따르며, 이에 따라 C1-link와 C0-link가 생성된다. 이 구조적 사실에 기반하여, 우리는 구조적 IRC 삭제 프레임워크를 제안한다. 각 리프를 기준으로, 리프 클래스 비율을 증가시키는 링크는 매칭되고, 반대 리프 클래스 비율을 증가시키는 링크는 불일치한다. 이러한 불일치 링크는 구조적으로 의심스러운 IRC 후보로 표시된다. 이를 즉시 삭제하는 대신, 프레임워크는 예측 신뢰성을 평가하여 그들의 관련성을 엄격하게 진단한다. 구조적으로 및 경험적으로 비관련한 조건은 선택적으로 삭제하고, 삭제 시 규칙의 신뢰성을 저하시킬 조건은 엄격히 보호한다. 실험 결과는 제안된 프레임워크가 원래 트리의 신뢰성을 희생하지 않으면서 상당한 규칙 단순화를 달성함을 확인한다.
최근 일련의 연구들은 개별 의사결정 트리를 분할(split)에 연관된 공학적 특징들에 대한 선형 모델로 재구성하여 오라클 부등식과 특징 중요도 재해석의 길을 열었지만, 노드별로 특징 맵을 인덱싱할 때 포레스트가 유도하는 통합된 기하학적 객체가 무엇인지의 문제는 미해결로 남겨두었다. 본 논문은 그 객체를 연구한다. KPP는 포레스트의 노드별로 특징 맵을 인덱싱하며, 각 좌표를 제곱 유클리드 경로 등거리 임베딩(squared-Euclidean path-isometric embedding)의 성분으로 변환하는 경로 메트릭으로 가중치를 부여한다. KPP는 비대각 그람(Gram) 행렬을 가지며 메트릭을 내포하는 단일 노드 인덱싱 표현 아래 네 가지 핵심 요소를 통합한다: 예측, 정확한 가산적 귀인(additive attribution), KPP 메트릭 상의 결정론적 립시츠(Lipschitz) 강건 반경, 그리고 고정, 정직(honest), 또는 교차 적합(cross-fit) 조건화 하에서의 회귀 및 분류에 대한 균일한 라데마허(Rademacher) 위험 경계. 모든 확률적 보장은 표현을 조건으로 하며 세 가지 명시적 조건화 체계 하에서 서술된다; 강건 반경 보장은 원시 입력의 노름이 아닌 KPP 메트릭에서 결정론적이다. 회귀와 분류 모두에 대한 빠른 수렴률 개선에 관한 추측은 미해결 문제로 제시되며 정리로 주장되지 않는다.
ML 모델의 예측을 설명하기 위한 기존 해석 가능성 쿼리 언어 FOIL의 표현력 부족 및 평가 복잡도 문제를 해결하고자, 귀추적·대조적·거리 기반 설명 등 다양한 설명 개념을 균일하게 표현할 수 있는 선언적 쿼리 언어 ExplAIner와 최적화 지향 단편 Opt-FOIL을 제안한다. ExplAIner의 평가 문제는 불리언 계층(Boolean hierarchy)에 속하며, Opt-FOIL의 계산 문제는 $\mathrm{FP}^{\mathrm{NP}}$ 내에서 해결 가능함을 증명하여 SAT 솔버를 활용한 효율적인 XAI 쿼리 평가의 이론적 기반을 마련했다.
설명 가능한 AI(XAI)에서 결정 트리(decision tree)의 신뢰성을 보장하기 위해, 대수적 모델 카운팅(AMC)에서 영감을 받아 최적 및 근최적 결정 트리의 전체 가설 공간을 세미링(semiring) 위의 합-곱 연산으로 통합 분석하는 프레임워크인 Algebraic Decision Tree Counting(ADTC)을 제안한다. 동적 프로그래밍 알고리즘을 통해 이중 지수 복잡도를 O*(n^O(Δ))로 줄이고, 모델 행동 텐서(model behavior tensor)를 도입하여 정확도·크기·공정성 간의 트레이드오프를 포함한 Rashomon 집합의 전역적 프로파일을 효율적으로 구성함을 실제 데이터셋 실험으로 검증하였다.
기존 그래디언트 부스팅 프레임워크를 벡터 입력 목적함수로 확장하여, 다중 클래스 분류의 다항 로지스틱 로그-우도처럼 각 관측값이 클래스별 점수 벡터를 필요로 하는 경우에 대각 근사 Hessian 대신 실제 Hessian을 활용하는 알고리즘을 제안한다. 이 방법은 히스토그램 기반 결정 트리에서 효율적으로 동작하며, XGBoost·LightGBM·CatBoost 등 기존 프레임워크의 근사 방식보다 최적화 측면에서 더 정확한 리프 값 갱신을 가능하게 한다.
분류 및 회귀 트리(CART)의 다양한 불순도 기준을 브레그만 발산(Bregman divergence) 관점에서 통합해, 최소제곱·포아송 편차·쿨백-라이블러형 손실 등 지수족 모델의 노드 대표값·불순도·분할 규칙을 볼록 함수의 공통 프레임워크로 표현합니다. 생성 볼록 함수의 기하학적 성질이 불순도 감소와 재귀 분할 안정성에 미치는 영향을 분석하고 일관성 결과를 제시하며, 시뮬레이션과 실데이터에서 Bregman Trees와 CART를 비교합니다.
이 연구는 무작위 결정 트리 및 포레스트 회귀 알고리즘에서 데이터를 분할하기 위해 공변량의 일반적인 선형 조합으로 구성된 특징을 사용하는 것의 통계적 함의를 연구합니다. 확률 기하학의 무작위 테셀레이션 이론을 사용하여, 우리는 이러한 특징을 따라 사선 분할을 허용하는 효율적으로 생성된 무작위 트리 및 포레스트 추정량 클래스에 대한 이론적 분석을 제공합니다. 우리는 이러한 추정량을 사선 Mondrian 트리 및 포레스트라고 부르는데, 그 이유는 트리가 공변량의 선형 조합에서 특징 집합을 먼저 선택한 다음, 이러한 특징을 따라 데이터를 계층적으로 분할하는 Mondrian 프로세스를 실행하여 생성되기 때문입니다. 차원 축소를 위한 다중 인덱스 모델의 유연한 함수 클래스에 대해 이차 리스크 상한과 수렴 속도를 얻습니다. 여기서 출력은 입력 도메인의 저차원 관련 특징 부분공간에 의존한다고 가정합니다. 결과는 이러한 추정량의 리스크가 특징 선택에 어떻게 의존하는지 강조하고, 데이터가 분할되는 선택된 특징과 실제 관련 특징 부분공간 사이의 오차에 대해 리스크가 얼마나 강인한지 정량화합니다. 점근적 분석은 또한 사선 Mondrian 추정량이 관련 특징 부분공간의 차원에 대해 미니맥스 최적 수렴 속도를 얻기 위해 추정된 관련 특징 집합이 만족해야 하는 수렴 속도에 대한 조건을 제공합니다. 또한, 축 정렬 Mondrian 트리(특징이 공변량 집합으로 제한됨)의 리스크에 대한 하한을 얻어, 각 트리 노드에서 데이터를 분할하는 데 사용되는 공변량에 대한 분포에 어떻게 가중치가 부여되든 관계없이 이러한 추정량이 일반적인 리지 함수에 대해 준최적임을 증명합니다.
회귀 트리는 기계 학습에서 가장 해석 가능하면서도 표현력이 뛰어난 모델 클래스 중 하나입니다. 역사적으로 탐욕적 귀납(greedy induction)은 성능이 우수한 회귀 트리를 구성하는 데 주류 접근법이었습니다. 동적 프로그래밍(dynamic programming)과 분기 한정(branch-and-bound)에 기반한 최적 방법들이 존재하지만, 일반 선형 회귀 트리에 대해서는 탐욕적 접근법보다 훨씬 우수한 성능을 달성하는 경우가 많음에도 불구하고 계산 비용이 과도하게 큽니다. 최근 연구에서는 특화된 룩어헤드(lookahead) 전략이 주로 분류 환경에서 준최적 성능을 유지하면서 실행 시간을 극적으로 개선할 수 있음을 보였습니다. 본 연구에서는 룩어헤드 방식의 탐색 전략과 그람 행렬(Gram matrix)의 효율적인 랭크-1 숄레스키(Cholesky) 업데이트를 결합하여 준최적의 희소 구간선형 회귀 트리를 위한 새로운 알고리즘을 개발합니다. 본 방법이 계산 효율성, 예측 정확도, 희소성(sparsity) 간의 유리한 균형을 달성하며 현재 최신 기술 대비 확장성이 현저히 우수함을 이론적·실증적으로 모두 입증합니다.