커널 피셔 판별 분석 기반 트리 앙상블 분류기: KFDA Forest
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
한국어 초록
일반적으로 앙상블 분류기는 단일 분류기보다 정확도가 높다. 본 연구에서는 KFDA를 적용한 트리 기반 앙상블 방법인 커널 피셔 판별 분석 포레스트(KFDA Forest)를 제안한다. 다양성을 높이기 위해 부트스트랩을 사용하며, 변수 집합을 무작위로 K개의 부분 집합으로 나눈다. 분류 정확도를 높이기 위해 각 부분 집합에 대해 KFDA를 수행한다. KFDA는 클래스 간 거리를 최대화하는 동시에 클래스 내 거리를 최소화한다. 또한 KFDA는 입력 공간을 커널 특징 공간으로 변환할 수 있어—이를 흔히 회전(rotation)이라 부르며, 차원 축소를 수행하는 것이 아니라—커널 트릭을 사용하여 비선형 데이터 구조의 분류 문제에도 적용할 수 있다. 새로운 특징 축과 KFDA 투영이 평행하기 때문에 기본 분류기로 결정 트리를 사용한다. 제안된 방법을 기존 앙상블 방법과 비교하기 위해 UCI 및 KEEL 저장소의 실제 데이터셋에 적용한다.
원문 초록
In general, an ensemble classifier is more accurate than a single classifier. In this study, we propose an ensemble classifier called the kernel Fisher discriminant analysis forest (KFDA Forest), which is a tree-based ensemble method that applies KFDA. To promote diversity, bootstrap is used, and variable sets are randomly divided into K subsets. KFDA is performed on each subset to increase classification accuracy. KFDA maximizes the distance between classes while minimizing the distance within classes. KFDA can also be applied to classification problems in a nonlinear data structure using the kernel trick because it can transform the input space into a kernel feature space, commonly named a rotation, rather than performing a dimensionality reduction. Because new feature axes and KFDA projections are parallel, decision trees are used as a base classifier. To compare the proposed method with existing ensemble methods, we apply these to real datasets from the UCI and KEEL repositories.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29053v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JevForest: 예산 제약 특징 획득을 위한 경로 투표
JevForest: Path Voting for Budgeted Feature Acquisition
제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
Verbalized Particle Posterior: 자연어 가설에 대한 베이지안 추론
Verbalized Particle Posterior: Bayesian Inference over Natural Language Hypotheses
언어화된 머신러닝(VML)은 LLM이 f(x; θ)로 평가하는 자연어 프롬프트로 모델을 매개변수화한다. 이 프레임워크는 해석 가능하지만, 불확실성에 대한 측도 없이 단일 가설에 고정되며, 동일한 데이터에 대한 최적화 실행마다 그 가설이 크게 달라진다. 우리는 언어화된 학습을 베이지안 추론 문제로 다루는 Verbalized Particle Posterior(VPP)를 제안한다. 자연어 가설의 집단을 입자로 유지하고, Metropolis-Hastings(VPP-MH) 또는 Sequential Monte Carlo(VPP-SMC)로 갱신하며, 베이지안 모델 평균화로 예측한다. 두 알고리즘 모두 LLM을 블랙박스로 취급하며, logits나 gradient에 접근할 필요가 없다. 독특한 결과가 뒤따른다. 고전적 베이지안 학습에서는 모델 선택이 사후분포 밖에 있지만, VPP에서는 모델 구조와 매개변수가 단일 언어 공간을 공유하며, 사후분포가 둘 다에 걸쳐 분포한다. 우리는 회귀, 분류, 규칙 발견 벤치마크에서 VPP를 평가한다. 모든 벤치마크에서 단일 VML 실행보다 개선되며, 대부분에서 독립적 VML 실행들의 오라클 최적 앙상블과 동등하거나 그를 초과하고, VML이 가끔 발생시키는 치명적인 단일 실행 실패를 제거한다. 각 입자가 사람이 읽을 수 있는 가설이므로, 사후분포 자체가 독자가 검사할 수 있는 대상이 되어, 데이터가 어떤 설명을 지지하고 어떤 것을 배제했는지 평문으로 확인할 수 있다.
2단계 PRO-임상 스태킹을 통한 두경부암 연하장애 위험 층화
Dysphagia Risk Stratification in Head and Neck Cancer via Two-Stage PRO-Clinical Stacking
연하장애는 두경부암(head and neck cancer, HNC) 치료의 심각한 후유증이지만, 생존자 관리(survivorship care)에서 위험 환자를 적시에 식별하는 것은 여전히 어렵다. 확정적 평가는 Dynamic Imaging Grade of Swallowing Toxicity(CTCAE-DIGEST)로 촬영하는 videofluoroscopic imaging에 의존하며, 이는 검증되었지만 전문 장비, 숙련된 인력, 상당한 환자 부담을 필요로 하여 감시(surveillance)에서의 일상적 사용을 제한한다. 반면 환자 보고 결과(patient-reported outcomes, PRO)는 저비용·확장 가능하며 임상 방문 시 쉽게 수집할 수 있어, 추가 평가가 필요할 수 있는 환자를 식별하는 매력적인 대안 신호가 된다. 그러나 PRO 응답을 실행 가능한 중재로 전환하는 명확한 임상 프레임워크는 아직 발전 중이다. 특히 환자의 자가 보고 증상 부담이 언제 치료 강화(escalation of care)를 유발해야 하는지에 대한 불확실성이 남아 있다. 본 연구는 단일 방문 PRO-임상 예측 프레임워크를 수립하고, videofluoroscopic imaging 없이 PRO 응답과 구조화된 임상 변수를 사용하여 삼킴 장애 위험을 예측하는 임상적으로 해석 가능한 2단계 스태킹(stacking) 모델을 도입함으로써 이 공백을 해소한다. 제안된 프레임워크는 통합되고 해석 가능한 위험 평가 모델 내에서 환자 보고 증상과 임상 요인의 독립적 기여를 정량화한다. 우리의 결과는 개별 MDADI 응답이 복합 또는 전역 요약 점수가 포착하는 것을 넘어서는 예측 정보를 포함함을 보여주며, 해석 가능성 분석은 삼킴 장애와 관련된 증상 패턴과 임상 위험 요인을 밝힌다. 종합하면, 이러한 결과는 HNC 생존자 관리에서 연하장애 위험 층화를 위한 실용적이고 영상 없는 접근법으로서 구조화된 PRO-임상 통합의 사용을 뒷받침한다.
Ensemble learning for alcoholism classification using EEG signals
토론
이 논문과 연결된 포럼 글이 아직 없습니다.