arXiv:2611.19471v1 stat.ME

랜덤 포리스트 해석: 대리 모델과 규칙 추출 방법 비교

Interpreting Random Forests: Comparing Surrogate Models and Rule Extraction Methods

Lea L. Mairh\"ofer, Jonathan B. Krause, Bj\"orn-Hergen Laabs, Silke Szymczak

제출 2026-11-17

한국어 초록

랜덤 포리스트(RF)는 예측 성능이 높은 경우가 많지만 앙상블 구조를 해석하기는 어려울 수 있다. 대리 모델과 규칙 추출 방법으로 해석 가능한 근사를 얻을 수 있으나, 연구 질문에 맞는 방법을 고를 근거는 아직 부족하다. 회귀 및 분류를 위한 시뮬레이션 설정 11개와 벤치마크 데이터셋 67개에서 RF 해석 방법 12종을 비교했다. 예측 위주의 참조 모델로는 의사결정 트리를 사용했다. RF와의 예측 유사도 및 구조 유사도, 모델 복잡도, 예측 성능, 실행 시간을 평가했다. 시뮬레이션에서는 실제로 영향을 주는 변수와 잡음 변수를 구분할 수 있어 설명 가능성도 평가했다. 모든 목적에서 가장 우수한 방법은 없었다. 회귀에서는 SLIM이 예측 유사도나 테스트 데이터 성능에서 전반적으로 가장 높은 결과를 보였다. 성능이 비슷한 경우 선형 모델이 선형 효과를 더 간단하게 전역적으로 해석할 수 있게 했다. 분류에서는 inTrees가 전체 벤치마크에서 가장 우수했으며 CTree와 OC-CART도 유용한 대안이었다. ART는 일관되게 가장 간결한 표현을 만들었다. 회귀에서 NH와 SIRUS는 구조 유사도가 높았다. 분류 시뮬레이션에서는 MRT가 RF의 변수 사용을 가장 비슷하게 재현했다. 예측 위주 순위에서 높은 방법이 구조를 가장 잘 설명하지는 않을 수 있음을 보여 준다. 일부 접근법은 결과 변수 유형의 제약, 실행 시간 제한, 방법별 실패로 결과를 얻지 못한 경우가 있었다. 방법을 고를 때 성능과 함께 이 제약도 고려해야 한다. 따라서 결과 변수 유형, 예상 데이터 구조, 해석 목적에 따라 방법을 선택해야 한다. 예측 유사도만으로 RF를 설명하기는 어려우므로 구조 유사도와 모델 복잡도를 함께 살펴야 한다.

원문 초록

Random forests (RFs) often achieve high prediction performance, but their ensemble structure can be difficult to interpret. Surrogate models and rule extraction methods offer interpretable approximations, yet guidance on selecting an appropriate method for a specific research question remains limited. We compared 12 methods for interpreting RFs, with a decision tree as a prediction-oriented reference, across 11 simulation settings and 67 benchmark datasets for regression and classification. Evaluation addressed prediction and structural similarity to the RF, model complexity, prediction performance, and runtime. Simulations additionally assessed explainability using known effect and noise variables. No method performed best across all objectives. For regression, SLIM provided the strongest general performance for prediction similarity or performance on test data, while a linear model offered a simpler global interpretation of linear effects when performance was comparable. For classification, inTrees achieved the strongest overall benchmark performance, with CTree and OC-CART providing useful alternatives. ART consistently produced the most compact representations. NH and SIRUS offered strong structural similarity for regression, while MRT most closely reproduced RF variable usage in the classification simulations, illustrating that prediction-oriented rankings do not necessarily identify the best structural explanation. Outcome-type restrictions, runtime limits, and method-specific failures reduced result availability for several approaches and should be considered alongside performance when selecting a method. Method selection should therefore be guided by the outcome type, anticipated data structure, and intended interpretability objective. Prediction similarity alone is insufficient for explaining an RF and should be considered jointly with structural similarity and model complexity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19471v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.