arXiv:1701.04355

Classification of MRI data using Deep Learning and Gaussian Process-based Model Selection

Hadrien Bertrand, Matthieu Perrot, Roberto Ardon, Isabelle Bloch

제출 2017-01-16

원문 초록

The classification of MRI images according to the anatomical field of view is a necessary task to solve when faced with the increasing quantity of medical images. In parallel, advances in deep learning makes it a suitable tool for computer vision problems. Using a common architecture (such as AlexNet) provides quite good results, but not sufficient for clinical use. Improving the model is not an easy task, due to the large number of hyper-parameters governing both the architecture and the training of the network, and to the limited understanding of their relevance. Since an exhaustive search is not tractable, we propose to optimize the network first by random search, and then by an adaptive search based on Gaussian Processes and Probability of Improvement. Applying this method on a large and varied MRI dataset, we show a substantial improvement between the baseline network and the final one (up to 20\% for the most difficult classes).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26624v2stat.ML공통 태그 Model Selection, Gaussian Processes

희소 가우시안 프로세스 회귀에서의 기저 함수 선택

On Basis Function Selection for Sparse Gaussian Process Regression

희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.

arXiv:2609.27930v1stat.ME공통 태그 Model Selection, Gaussian Processes

가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크

Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate

우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.

arXiv:2607.23896v1cs.AI공통 태그 Model Selection, Gaussian Processes

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2607.13413v1cs.LG공통 태그 General Classification, Model Selection

통계적 이점이 비용을 정당화하는가? 구조화 데이터 분류에서 KAN과 MLP의 실증 비교

Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

본 연구는 구조화된 표 형식 데이터 분류 작업에서 Kolmogorov-Arnold Networks(KAN)와 Multi-Layer Perceptrons(MLP) 간의 실증적 벤치마크 비교를 제시한다. 함수 근사 아키텍처의 대안으로 KAN에 대한 관심이 커지고 있다는 점에 영감을 받아, 이진, 다중 클래스, 다중 레이블, 순서형 문제에 걸친 12개의 공개 데이터셋에서 즉시(out-of-the-box) 성능을 평가했다. 두 모델 모두 표준화된 전처리, 아키텍처, 고정 하이퍼파라미터 설정 하에서 학습했으며, 성능은 테스트 정확도와 F1-Score, 대응 가설 검정, 효과 크기 분석으로 평가했다. 결과는 KAN이 이진 및 다중 클래스 영역에서 통계적으로 MLP보다 우수한 성능을 보이며, 모든 데이터셋에서 유의미한 전체적 우위를 달성함을 보여준다. 그러나 관찰된 중간 효과 크기(d = -0.46)는 중요한 비용-편익 고려를 제기한다. KAN은 적응형 스플라인 기반 매핑을 통해 우수한 일반화를 제공하지만, 이 우위는 MLP 기준선 대비 매개변수 및 계산 복잡도가 상당히 더 높다는 대가를 수반한다. 이러한 결과는 KAN이 높은 정밀도가 요구되는 응용에 선호되는 선택이며, MLP는 자원이 제한된 환경에서 견고하고 효율적인 옵션으로 남아 있음을 시사한다. 향후 연구는 이러한 아키텍처 선택 기준을 더욱 정교화하기 위해 추가 데이터 모달리티로 이 분석을 확장해야 한다.

arXiv:2606.21641v2cs.LG공통 태그 General Classification, Gaussian Processes

하이퍼파라미터 최적화에서 LLM은 언제 가치가 있을까? 표 데이터 예산 일치 연구: 웜 스타트는 모델이 아닌 기본 설정

When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model

대규모 언어 모델(LLM)은 사전 지식으로 탐색을 "웜 스타트(warm-start)"하는 하이퍼파라미터 최적화(HPO) 조언자로 제안되어 왔으며, 매우 적은 수의 평가에서도 강력한 구성을 제안한다. 우리는 8개의 PMLB 표(tabular) 벤치마크에서 예산 일치(budget-matched), 다중 시드(multi-seed) 프로토콜 아래 그 주장을 검증하며, 공유된 하나의 탐색 공간에서 LLM 조언자(LLM-OptFlow)를 네 가지 고전적 기준선(무작위 탐색, Optuna-TPE, 가우스 과정 베이지안 최적화, successive halving)과 비교한다. 8×5=40개 (태스크, 시드) 단위에 대해 쌍체 검정(paired test)과 부트스트랩 95% 신뢰구간(CI)을 산출한다. 결과는 주의를 환기시킨다. 조언자의 강력한 첫 번째 제안점은 LLM 출력이 아니다: 기존 LLM-HPO 시스템과 마찬가지로 루프는 고정된 기본 설정으로 시딩되어, 어떤 모델 호출 전에 평가되며, 이것만으로도 평균 best-CV 88.7%에 도달한다. 이는 시험한 일곱 조언자 모델 전체에서 0.01 pp 이내로 동일하다. LLM 자체의 제안은 그 시드 대비 교차 검증(cross-validation) 정확도를 +0.40 pp만 높이고, 홀드아웃(held-out) 테스트에서는 아무 이득도 없다(LLM-Default = -0.01 pp, p = 0.92). 동일한 시드를 고전적 탐색에 부여하면 겉보기 우위는 무너진다: 시드가 주어진 무작위 탐색 대비 2회 평가에서 +0.20 pp 앞서지만, 5회에서는 동률이고, 12회에서는 뒤진다(-0.37 pp). 시드 없이는 고전적 탐색이 12회 평가에서 조언자와 동률이 되고, 40회 평가에서 이긴다(+0.6~+0.8 pp, p <= 1e-4). LLM 고유의 두 가지 행동만 남는다: 단일 태스크(vehicle)에서의 탐험(exploration) 실패, 그리고 정확도를 바꾸지 않으면서 낭비된 연산의 ~33%를 제거하는 규칙 기반 신뢰도 필터. 권고는 겸손하다: 표 HPO에서는 합리적인 기본 설정으로 고전적 탐색을 시드하라; LLM 조언자는 측정 가능한 일반화 이득을 더하지 않으며, 소수의 평가 이내에 따라잡힌다. 우리는 하네스와 모든 통계를 재현하는 스크립트를 공개한다.

arXiv:2606.20874v1cs.LG공통 태그 General Classification, Model Selection

크리오패시 증후군의 머신러닝 분류: 포괄적 비교 연구

Machine Learning Classification of Cryopathy Syndromes: A Comprehensive Comparative Study

크리오패시 증후군은 진단 범주 간에 검사실 패턴이 자주 겹치고 일부 진단이 드문 경우가 있어 분류가 어렵다. 이로 인해 크라이오글로불린 관련 검사의 일상적 해석이 어려워지고 전문가 판단에 대한 의존도가 높아진다. 본 연구의 목적은 검사실 데이터로부터 크리오패시 증후군을 자동 분류하기 위한 머신러닝 접근법을 개발·비교하고, 임상 의사결정 지원을 위한 실용적 전략을 찾는 것이었다. 방법: 14개 진단 범주에 배정된 2,686명 환자의 검사실 기록을 분석했다. 데이터셋에는 인구통계학적 변수, 크라이오글로불린 측정값, 침전 검사, 그리고 혈구응집소 및 용혈소 적가가 포함되었다. 데이터 전처리에는 정제, 인코딩, 결측치 대체(imputation), 정규화, 그리고 임상적으로 정보를 반영한 상호작용 특징 구성이 포함되었다. Random Forest, Gradient Boosted Trees, Multi-Layer Perceptron, 소프트 보팅(soft-voting) 앙상블, Synthetic Minority Over-sampling Technique(SMOTE)을 이용한 클래스 균형화, 계층적 분류, 기간 인식(period-aware) 모델, 표적 이진 분류기, 확률 보정(probability calibration)을 포함해 12가지 모델링 전략을 평가했다. 성능은 계층화된 train-test 평가와 계층화 5-fold 교차검증으로 평가했다. 주요 지표는 매크로 평균 F1 점수, 정확도(accuracy), Top-3 정확도, 기대 보정 오차(expected calibration error)였다. 뚜렷한 클래스 불균형과 진단 간 임상적 중첩으로 인해 전체 과제는 어려운 것으로 나타났다. 최고의 다중 클래스 성능은 Random Forest와 Gradient Boosted Trees의 소프트 보팅 앙상블이 달성했다. 교차검증은 균형화된 Random Forest 모델의 안정적인 성능을 확인했다. 트리 기반 방법은 신경망 모델보다 일관되게 우수한 성능을 보였다. 특징 공학(feature engineering)은 판별력을 향상시켰으며, 가장 정보가 풍부한 예측 변수는 크라이오글로불린 기반 파생 상호작용 특징에서 나왔다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.