PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10615v1stat.ML

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2607.21817v1stat.ME

희소하고 불규칙한 반응 궤적을 위한 종단 랜덤 포레스트

Longitudinal Random Forests for Sparse and Irregular Response Trajectories

종단 연구는 종종 희소하고 불규칙하며 시간 간격이 균등하지 않은 시점에서 데이터를 수집한다. 이러한 이질성은 종종 대상자별 공변량에 의해 유발되지만, 기존 방법들은 스칼라 종점 값으로 제한되어 있어 근본적인 반응 궤적을 완전히 간과해 왔다. 우리는 적응형 노드별 종단 궤적 추정을 갖춘 트리 기반 앙상블 기계학습을 활용하는 새로운 종단 랜덤 포레스트(Longitudinal Random Forest, LRF) 프레임워크를 제안한다. LRF 프레임워크는 다섯 가지 방법론적 기여를 한다. 각 대상자의 개별 반응 궤적을 포착하면서 동시에 노드 내 상관, 노드 간 이질성, 비선형 및 상호작용적 공변량 효과를 수용한다. 크기 가중 페널티를 반영하면서 궤적 분리를 극대화하는 새로운 궤적 기반 분할 기준을 도입한다. LRF-PACE(Principal Analysis by Conditional Expectation)와 LRF-adaptiveLMM(적응형 선형 혼합효과 모델)이라는 두 가지 변형을 제공하며, 각각 비모수적 및 준모수적 노드별 스무더를 사용하면서 공변량 효과를 데이터 기반 방식으로 학습한다. 고전적인 궤적 기반 순열 변수 중요도 측정(PVIM)과 새로 제안한 유한 차 상호작용 빈도 카운트를 모두 사용하여 공변량에 대한 포괄적 해석을 제공하며, 새로운 대상자에 대한 전체 궤적 예측뿐만 아니라 기존 대상자에 대한 미래 궤적 예측도 수행한다. 광범위한 시뮬레이션 연구를 통해 LRF가 심각한 희소성 하에서도 여러 경쟁 방법들보다 우수한 성능을 달성함을 보여준다. LRF 프레임워크의 실용적 의의는 다섯 가지 중요한 임상 질문에 답할 수 있는 능력에 있다.

arXiv:2105.07610v5stat.ML공식 코드 · Papers with Code

교차 클러스터 가중 포레스트

Cross-Cluster Weighted Forests

생물학적 응용을 위한 신뢰할 수 있는 머신러닝 알고리즘을 구축하려면 서로 다른 출처, 배치, 분포, 또는 연구로 인한 데이터 이질성에 적응해야 한다. 우리는 'Cross-Cluster Weighted Forest'(CCWF)를 제안한다. 이는 특징 분포의 이질성을 명시적으로 활용하는 앙상블 접근법으로, 데이터가 자연스럽게 클러스터링될 수 있는 경우 표준 Random Forest보다 더 정확하고 더 일반화 가능한 예측기를 생성한다. CCWF는 RF 아키텍처를 외부 비지도 층, 지도 하위 과제, 그리고 앙상블로 일반화한다. 구체적으로는 학습 데이터의 비지도 클러스터링, 각 클러스터에 Random Forest를 적합시키는 것, 그리고 클러스터 간 일반화 가능성을 보상하는 스택드 회귀 가중치를 통해 포레스트를 결합하는 것을 포함한다. 우리는 해석적으로 다룰 수 있는 포레스트 모델에 대한 이론적 분석을 제공하며, 클러스터 기반 앙상블이 전체 데이터에 단일 포레스트를 학습하는 것보다 점근적으로 더 정확함을 보인다. 이 이득은 바이어스 감소에 의해 주도된다. 시뮬레이션에서 CCWF는 데이터 생성 체제와 결과 모델 전반에 걸쳐 견고함을 보인다. 또한 데이터 분할 및 앙상블 가중 전략이 우리 방법의 이점에 미치는 영향을 탐구한다. 마지막으로, 우리는 접근법을 자연스럽게 클러스터로 나눌 수 있는 암 분자 프로파일링 및 유전자 발현 데이터셋에 적용한다. 시뮬레이션과 실제 데이터 예시 모두에서, 우리의 접근법이 고전적인 Random Forest를 30-40%의 여유로 능가함을 보여주며, 이는 우리의 이론적 결과와 일치한다. 전반적으로, CCWF가 여러 도메인 또는 하위 집단에 걸친 데이터에 대해 통계적으로 타당한 예측 알고리즘을 제공함을 보인다. 이러한 구조는 생물학적 응용에서 흔하다.

arXiv:2606.18853v3stat.ML

분할 경로의 커널: 트리 앙상블을 위한 통합 표현

Kernel of Partition Paths: A Unified Representation for Tree Ensembles

최근 일련의 연구들은 개별 의사결정 트리를 분할(split)에 연관된 공학적 특징들에 대한 선형 모델로 재구성하여 오라클 부등식과 특징 중요도 재해석의 길을 열었지만, 노드별로 특징 맵을 인덱싱할 때 포레스트가 유도하는 통합된 기하학적 객체가 무엇인지의 문제는 미해결로 남겨두었다. 본 논문은 그 객체를 연구한다. KPP는 포레스트의 노드별로 특징 맵을 인덱싱하며, 각 좌표를 제곱 유클리드 경로 등거리 임베딩(squared-Euclidean path-isometric embedding)의 성분으로 변환하는 경로 메트릭으로 가중치를 부여한다. KPP는 비대각 그람(Gram) 행렬을 가지며 메트릭을 내포하는 단일 노드 인덱싱 표현 아래 네 가지 핵심 요소를 통합한다: 예측, 정확한 가산적 귀인(additive attribution), KPP 메트릭 상의 결정론적 립시츠(Lipschitz) 강건 반경, 그리고 고정, 정직(honest), 또는 교차 적합(cross-fit) 조건화 하에서의 회귀 및 분류에 대한 균일한 라데마허(Rademacher) 위험 경계. 모든 확률적 보장은 표현을 조건으로 하며 세 가지 명시적 조건화 체계 하에서 서술된다; 강건 반경 보장은 원시 입력의 노름이 아닌 KPP 메트릭에서 결정론적이다. 회귀와 분류 모두에 대한 빠른 수렴률 개선에 관한 추측은 미해결 문제로 제시되며 정리로 주장되지 않는다.

arXiv:2607.08554v1cs.AI

CommuniWave: 도시 커뮤니티 내 일시적 비공식 행동의 정도를 정량화하는 머신러닝 모델

CommuniWave:A Machine Learning Model for Quantifying the Degree of Temporary Informal Behavior in Urban Communities

도시 관리자와 설계자에게 있어, 복잡성과 불확실성에 직면한 영토적 회복탄력성(territorial resilience)을 강화하기 위해 도시 커뮤니티의 기능적 속성을 개선하는 것은 매우 중요하다. 현재 커뮤니티 계획은 주로 하향식(top-down) 접근 방식을 따르며, 주민들의 비공식 행동을 정량화할 효과적인 지표가 부족하여 원래 계획과의 갈등이 빈번하게 발생한다. 본 연구에서는 도시 커뮤니티 내 비공식 행동의 정도(DIB, Degree of Informal Behavior)를 효율적으로 탐지하고 정량화하기 위해 설계된 머신러닝 모델인 CommuniWave를 소개한다. 이 모델은 mmaction2 기반의 행동 포착 네트워크(BCN, Behavior Capture Net), 자체 개발한 YOLOv10 모델(YLX), 그리고 랜덤 포레스트를 활용한 행동 평가 모델(BEM, Behavior Eval Model)을 통합한다. 최종적으로 거리 영상으로부터 DIB 변동 차트를 생성함으로써, 이 모델은 동적 모니터링을 가능하게 하여 도시 관리자가 커뮤니티의 전반적인 회복탄력성을 강화하기 위한 정밀한 의사결정을 지원한다.

arXiv:2607.05187v2cs.LG

SMART: 디지털 회로에서의 확률적 트랜지스터 노화 및 공정 변동의 신속 분석을 위한 머신러닝 및 몬테카를로 프레임워크

SMART: A Machine Learning and Monte Carlo Framework for Rapid Analysis of Stochastic Transistor Aging and Process Variation in Digital Circuits

CMOS 기술이 딥 나노미터 영역으로 스케일링됨에 따라, 바이어스 온도 불안정성(BTI, Bias Temperature Instability)과 공정 변동(PV, Process Variation)의 결합된 확률적 효과로 인해 디지털 회로의 신뢰성이 점점 더 위협받고 있다. 계산 집약적인 시뮬레이션이나 방대한 룩업 테이블에 의존하는 기존 신뢰성 분석 방법들은 대규모 설계에 효율적으로 확장되지 못해 설계 공간 탐험에 심각한 병목 현상을 초래한다. 이를 해결하기 위해, 우리는 신속하고 고충실도의 신뢰성 분석을 가능하게 하는 머신러닝(ML)과 몬테카를로 시뮬레이션을 통합한 새로운 프레임워크 SMART를 제안한다. SMART는 랜덤 포레스트(Random Forest) 회귀를 활용하여 시간이 많이 소요되는 원자 모델 매개변수 추출을 우회하고 게이트 지연 분포를 직접 예측한다. 특히 이 모델은 베이지안 최적화(Bayesian Optimization)를 통한 하이퍼파라미터 자동 튜닝을 활용하여 다양한 라이브러리에 걸쳐 최대의 예측 강건성을 보장한다. ISCAS85 벤치마크 회로에 대한 실험적 검증 결과, SMART는 최신 기법 대비 분석 시간을 94.54% 단축하면서도 평균 정확도 오류 1.63%라는 놀라운 성능을 유지함을 보인다. 계산 복잡도를 오프라인 학습 단계로 전환함으로써, 제안된 프레임워크는 탄력적이고 신뢰성을 고려한 디지털 시스템 설계를 위한 확장 가능하고 정확한 솔루션을 제공한다.

arXiv:2607.02124v1cs.LG

Predictive Conformal Slip Monitoring: An Empirical Evaluation of Rolling Split Conformal Prediction for Pre-Incident Traction Loss Detection

Conventional traction control architectures intervene only after the adhesion limit of a tire has already been breached. This paper investigates whether Rolling Split Conformal Prediction , monitoring the volatility of non-conformity residuals from a per-driver Random Forest model of expected slip behavior , can serve as a statistically grounded pre-incident warning signal, ahead of gross traction loss. Unlike an earlier internal draft of this work, the evaluation reported here corrects a confound in the slip proxy (vehicle speed is included as an explicit model feature, not left implicit in the target's denominator), uses every racing lap for each driver rather than only the fastest lap, and is scored against real, timestamped incident labels extracted from FIA Race Control Messages and track-limits lap deletions rather than narrated post-hoc. The result is negative: across 19 drivers and 55,563 test-phase telemetry samples, the rolling-volatility detector achieves a mean precision of essentially 0.0 and mean recall of 0.0 against 14 ground-truth incidents, while flagging on average 15.3% of all samples as anomalous , too high a false-alarm rate for any early-warning use. A static 95th-percentile threshold baseline performs no better in any way that would justify the added complexity of the conformal-volatility formulation. Residual autocorrelation diagnostics show the split-conformal exchangeability assumption is violated for every driver (Ljung-Box p < 0.001, n = 19/19), which is one plausible driver of the high false-alarm rate. We report this as a methodologically rigorous negative finding, diagnose its likely causes, and outline what a genuinely predictive version of this approach would require.

arXiv:2606.31594v1cs.CR

Comparative Analysis of Machine Learning based Intrusion Detection in Realistic IoT Networks

MQTT, CoAP, RTSP 등 다양한 프로토콜을 사용하는 78개 에뮬레이션 IoT 기기로 구성된 Gotham2025 데이터셋을 활용해 Random Forest, XGBoost, Logistic Regression, Naive Bayes, Deep Neural Network 5가지 머신러닝 알고리즘 기반 침입 탐지 시스템(IDS)을 비교 분석했다. 실험 결과 Random Forest 분류기가 F1-score 0.99로 가장 우수한 성능을 달성했다.

arXiv:2606.30837v1cs.LG

A Stationary-Distribution Theory for Triplet-Based Plateau Search in Random Forest Ensemble-Size Selection

The number of trees is a central computational parameter in Random Forests: increasing it reduces finite-ensemble variability but increases training and prediction cost. Plateau-based tuning adapts this parameter through local comparisons of out-of-bag scores at a geometric triplet of tree counts. After the remaining hyperparameters have stabilized, however, the central triplet point need not converge to a deterministic value; instead, it fluctuates around a stationary regime. This paper develops a stationary-distribution theory for this process. The central ensemble size $B_t$ is modeled as a birth-death Markov chain on a geometric grid, and its stationary distribution is derived through local balance. Under a leading centered folded-normal approximation, equilibrium equations are obtained for the original update rule and a symmetric modified variant, implying that the stationary center $B_*=O(\varepsilon^{-2})$ as $\varepsilon\downarrow 0$. The stationary spread is also characterized. A local Gaussian approximation and a Fokker-Planck interpretation give grid-level variance constants. After conversion to the ensemble-size scale, $σ_{B,*}=O(\varepsilon^{-2})$, while the variance is $O(\varepsilon^{-4})$. The leading relative spread is independent of $\varepsilon$ and controlled by the scale factor and update rule. These results interpret plateau-based Random Forest tuning as a stochastic process rather than a deterministic stopping rule.

arXiv:2606.29053v1cs.LG

커널 피셔 판별 분석 기반 트리 앙상블 분류기: KFDA Forest

A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest

일반적으로 앙상블 분류기는 단일 분류기보다 정확도가 높다. 본 연구에서는 KFDA를 적용한 트리 기반 앙상블 방법인 커널 피셔 판별 분석 포레스트(KFDA Forest)를 제안한다. 다양성을 높이기 위해 부트스트랩을 사용하며, 변수 집합을 무작위로 K개의 부분 집합으로 나눈다. 분류 정확도를 높이기 위해 각 부분 집합에 대해 KFDA를 수행한다. KFDA는 클래스 간 거리를 최대화하는 동시에 클래스 내 거리를 최소화한다. 또한 KFDA는 입력 공간을 커널 특징 공간으로 변환할 수 있어—이를 흔히 회전(rotation)이라 부르며, 차원 축소를 수행하는 것이 아니라—커널 트릭을 사용하여 비선형 데이터 구조의 분류 문제에도 적용할 수 있다. 새로운 특징 축과 KFDA 투영이 평행하기 때문에 기본 분류기로 결정 트리를 사용한다. 제안된 방법을 기존 앙상블 방법과 비교하기 위해 UCI 및 KEEL 저장소의 실제 데이터셋에 적용한다.

arXiv:2606.20874v1cs.LG

크리오패시 증후군의 머신러닝 분류: 포괄적 비교 연구

Machine Learning Classification of Cryopathy Syndromes: A Comprehensive Comparative Study

크리오패시 증후군은 진단 범주 간에 검사실 패턴이 자주 겹치고 일부 진단이 드문 경우가 있어 분류가 어렵다. 이로 인해 크라이오글로불린 관련 검사의 일상적 해석이 어려워지고 전문가 판단에 대한 의존도가 높아진다. 본 연구의 목적은 검사실 데이터로부터 크리오패시 증후군을 자동 분류하기 위한 머신러닝 접근법을 개발·비교하고, 임상 의사결정 지원을 위한 실용적 전략을 찾는 것이었다. 방법: 14개 진단 범주에 배정된 2,686명 환자의 검사실 기록을 분석했다. 데이터셋에는 인구통계학적 변수, 크라이오글로불린 측정값, 침전 검사, 그리고 혈구응집소 및 용혈소 적가가 포함되었다. 데이터 전처리에는 정제, 인코딩, 결측치 대체(imputation), 정규화, 그리고 임상적으로 정보를 반영한 상호작용 특징 구성이 포함되었다. Random Forest, Gradient Boosted Trees, Multi-Layer Perceptron, 소프트 보팅(soft-voting) 앙상블, Synthetic Minority Over-sampling Technique(SMOTE)을 이용한 클래스 균형화, 계층적 분류, 기간 인식(period-aware) 모델, 표적 이진 분류기, 확률 보정(probability calibration)을 포함해 12가지 모델링 전략을 평가했다. 성능은 계층화된 train-test 평가와 계층화 5-fold 교차검증으로 평가했다. 주요 지표는 매크로 평균 F1 점수, 정확도(accuracy), Top-3 정확도, 기대 보정 오차(expected calibration error)였다. 뚜렷한 클래스 불균형과 진단 간 임상적 중첩으로 인해 전체 과제는 어려운 것으로 나타났다. 최고의 다중 클래스 성능은 Random Forest와 Gradient Boosted Trees의 소프트 보팅 앙상블이 달성했다. 교차검증은 균형화된 Random Forest 모델의 안정적인 성능을 확인했다. 트리 기반 방법은 신경망 모델보다 일관되게 우수한 성능을 보였다. 특징 공학(feature engineering)은 판별력을 향상시켰으며, 가장 정보가 풍부한 예측 변수는 크라이오글로불린 기반 파생 상호작용 특징에서 나왔다.

arXiv:2512.11081v2stat.ML

랜덤 포레스트에서 국소적으로 중요한 부호가 있는 특징 및 상호작용의 증명 가능한 복구

Provable Recovery of Locally Important Signed Features and Interactions from Random Forest

특징 및 상호작용 중요도(FII) 방법은 복잡한 예측 모델에서 입력 변수와 그 상호작용의 관련성을 평가하기 위해 지도 학습에서 필수적입니다. 개인 맞춤형 의학과 같은 많은 도메인에서는 전반적인 특징 중요도를 요약하는 전역 점수보다는 개별 예측에 대한 국소적 해석이 종종 요구됩니다. 랜덤 포레스트(RF)는 이러한 설정에서 널리 사용되며, 기존의 해석 가능성 방법은 일반적으로 모델 특화 통찰을 제공하기 위해 트리 구조와 분할 통계량을 활용합니다. 그러나 RF에 대한 국소적 FII 방법의 이론적 이해는 여전히 제한적이어서, 개별 예측에 대한 높은 중요도 점수를 해석하는 방법이 불분명합니다. 우리는 의사결정 경로를 따라 특징의 빈번한 동시 발생을 식별하여 전역 패턴과 주어진 테스트 포인트에 특정한 경로에서 관찰된 패턴을 결합하는 새로운 국소적이고 모델 특화적인 FII 방법을 제안합니다. 우리는 우리의 방법이 국소적 스파이크 희소(LSS) 모델 하에서 실제 국소 신호 특징과 그 상호작용을 일관되게 복구하며, 또한 크거나 작은 특징 값이 예측을 주도하는지 여부를 식별한다는 것을 증명합니다. 우리는 시뮬레이션 연구와 실제 데이터 예제를 통해 우리의 방법과 이론적 결과의 유용성을 입증합니다.

arXiv:2410.24145v3stat.ML공식 코드 · Papers with Code

원형 데이터에 대한 투영 랜덤 포레스트와 준비 예측

Projected random forests and conformal prediction of circular data

우리는 원형 반응 변수를 갖는 회귀 문제에 준비 예측 기법을 적용하여, 데이터 교환 가능성 가정 하에 임의의 원형 예측 모델에 대해 적응형 호 길이와 유한 표본 커버리지 보장을 갖는 예측 집합을 생성합니다. 선형 반응 변수를 위해 설계된 기존 예측 모델의 높은 성능을 활용하여, 임의의 선형 반응 회귀 모델을 원형 반응 변수에 적합한 모델로 변환하는 일반적인 투영 절차를 분석합니다. 이 투영 절차에서 랜덤 포레스트를 기본 모델로 사용할 경우, 예측 집합 구성 시 별도의 보정 샘플이 필요 없도록 랜덤 포레스트의 OOB(Out-of-Bag) 메커니즘을 활용합니다. 합성 및 실제 데이터셋에서 결과적으로 도출된 투영 랜덤 포레스트 모델은, 기존의 두 가지 대안 모델이 생성한 분할 준비 예측 집합보다 더 짧은 중앙값 호 길이를 가지는 더 효율적인 OOB 준비 예측 집합을 생성합니다.