소규모 데이터셋을 이용한 머신러닝 기반 예측적 무기 합성: 유체역학적 직경이 제어된 Cu 나노입자 사례 연구
Predictive Inorganic Synthesis based on Machine Learning using Small Data sets: a case study of Hydrodynamic Diameter-controlled Cu Nanoparticles
한국어 초록
Cu 나노입자(Cu NPs)는 광범위한 적용 가능성을 가지지만, 그 합성은 반응 매개변수의 미세한 변화에 민감하다. 이러한 민감성은 실험적 최적화가 시간과 자원을 많이 소모한다는 특성과 결합되어, 재현 가능하고 크기가 제어된 합성을 달성하는 데 있어 중대한 과제를 제기한다. 머신러닝(ML)은 재료 연구에서 유망성을 보이고 있지만, 그 적용은 대규모 고품질 실험 데이터셋의 부족으로 인해 종종 제한된다. 본 연구는 25회의 합성으로 이루어진 소규모 데이터셋을 사용하여 Cu 나노입자의 DLS 기반 유체역학적 직경을 예측하기 위해 ML을 탐구한다. 실험 데이터셋을 구성하는 동안 매개변수 공간을 효율적으로 포괄하기 위해 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling)이 사용된다. 앙상블 회귀 모델은 제한된 데이터셋에도 불구하고 양호한 예측 성능으로 유체역학적 직경을 성공적으로 예측한다. 정량적 회귀에는 고유한 DLS 기반 유체역학적 직경이 필요하므로, 회귀 모델은 단일 모드(mono-modal) DLS 분포로 제한되며, 이를 보완하는 분류 모델이 정량적 예측이 적용 가능한 합성 조건을 식별한다. 동등한 아웃오브샘플(out-of-sample) 검증을 사용했을 때, ML 모델과 DoE 모델은 비슷한 일반화 성능을 보였다. 최종 앙상블 모델은 DoE 모델의 0.60에 비해 R2=0.74를 달성했으며, 전체 합성 매개변수 공간을 유지함으로써 합성 가이드에 더 적합함을 보였다. 또한, 큰 입자와 작은 입자를 구분하기 위해 랜덤 포레스트와 LLM을 모두 사용하는 분류 모델이 평가되었다. 이러한 분류 모델은 다소 낮은 예측 성능만을 보였으며, 이는 이 소규모 데이터셋이 복잡한 LLM의 역량을 완전히 활용하기에는 불충분함을 나타낸다. 전반적으로, 본 연구는 신중하게 선별된 소규모 데이터셋이 견고한 고전적 ML과 결합될 때 Cu 나노입자의 합성을 효과적으로 지원할 수 있음을 보여주며, 실험실 규모 연구에서는 LLM과 같은 복잡한 모델이 제한적인 이점을 제공할 수 있음을 강조한다.
원문 초록
Cu NPs have a broad applicability, yet their synthesis is sensitive to subtle changes in reaction parameters. This sensitivity, combined with the time- and resource-intensive nature of experimental optimization, poses a major challenge in achieving reproducible and size-controlled synthesis. While ML shows promise in materials research, its application is often limited by scarcity of large high-quality experimental data sets. This study explores ML to predict the DLS-derived hydrodynamic diameter of Cu NPs using a small data set of 25 syntheses. Latin Hypercube Sampling is used to efficiently cover the parameter space while creating the experimental data set. Ensemble regression models successfully predict hydrodynamic diameters with good predictive performance given the limited dataset. Since quantitative regression requires a unique DLS-derived hydrodynamic diameter, the regression model is restricted to mono-modal DLS distributions, while a complementary classification model identifies synthesis conditions for which quantitative prediction is applicable. Using equivalent out-of-sample validation, the ML and DoE models showed comparable generalization. The final ensemble model achieved an R2=0.74 compared to 0.60 for the DoE model, while retaining the complete synthesis parameter space, making it better suited for synthesis guidance. Additionally, classification models using both random forests and LLMs are evaluated to distinguish between large and small particles. These classification models exhibited only modest predictive performance, indicating that this small dataset is insufficient to fully exploit the capabilities of complex LLMs. Overall, this study demonstrates that carefully curated small data sets, paired with robust classical ML, can effectively support the synthesis of Cu NPs and highlights that for lab-scale studies, complex models like LLMs may offer limited benefits.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크
SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data
정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.
JevForest: 예산 제약 특징 획득을 위한 경로 투표
JevForest: Path Voting for Budgeted Feature Acquisition
제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.
Seer: 학습 속도 곡선을 위한 최대가능도 회귀
Seer: Maximum Likelihood Regression for Learning-Speed Curves
본 연구는 머신러닝 성능 모델링에 초점을 맞춥니다. 본 학위논문에서는 분류 학습 성능에 대한 실증적 관측값을 생성한 뒤, 이를 활용해 통계 모델을 구축하는 시스템인 Seer를 소개합니다. 구축된 모델은 목표 수준을 달성하는 데 필요한 학습 예제 수와 무제한의 학습 예제가 주어졌을 때 달성 가능한 최대 정확도를 예측하는 데 활용할 수 있습니다. Seer는 1) 분류 학습을 위한 최적의 제약 조건과 가장 유용한 파라미터를 구현한 모델, 2) 최대가능도(maximum-likelihood) 모델을 효율적으로 찾는 알고리즘, 3) 세 가지 실제 도메인 데이터를 통해 이러한 모델링의 실용적인 적용 가능성을 입증함으로써 기존 기술을 발전시킵니다. 논문의 전반부에서는 분류 학습 성능에 대한 우수한 최대가능도 모델이 갖추어야 할 요건을 개괄합니다. 이어서 이러한 모델에 적합한 설계 선택지를 탐색합니다. 이러한 모델 간의 선택은 비선형 프로그래밍(nonlinear programming) 문제이지만, 적절한 문제 제약 조건을 활용함으로써 효율적인 반복 알고리즘으로 해결할 수 있는 비선형 회귀(nonlinear regression) 문제로 단순화됩니다. 논문의 후반부에서는 대두 질병, 심장병, 청각 이상 도메인에서 수행된 약 100건의 실험을 설명합니다. 테스트 결과 Seer가 학습 성능을 규명하는 데 매우 뛰어나며, 학습 성능 예측에서도 가능한 최고 수준의 성능을 보이는 것으로 나타났습니다. 마지막으로 특정 상황에 적합한 회귀 모델 선택을 위한 권장 사항을 제시하고 향후 연구 방향을 명시합니다.
가우시안 프로세스 분할을 갖는 트리의 디리클레 프로세스 혼합: 사후 수축률을 갖춘 베이지안 비모수 프레임워크
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
우리는 트리-매개변수 쌍에 대해 디리클레 프로세스(Dirichlet process) 사전분포를 두는 회귀 트리의 베이지안 비모수 혼합 모델을 제안한다. 이 모델은 데이터 기반으로 앙상블 크기를 선택할 수 있게 하며, CART, BART, 랜덤 포레스트, 부스팅을 하나로 통합한다. 각 종단 노드 내 가우시안 프로세스(GP)의 사후 예측분포에 기반한 새로운 분할 규칙은 유연하고 매끄러운 결정 경계를 생성한다. 주목할 만하게도, GROW/PRUNE 이동에 대한 Metropolis–Hastings 비율에서 GP 밀도가 정확히 상쇄되어 계산적 실현 가능성이 보장된다. 사후 예측 추론을 위한 정확한 깁스 샘플러(Gibbs sampler)는 무작위 트리 순회를 통해 불확실성을 전파한다. 병렬 MPI 구현은 독립적인 트리 업데이트를 여러 프로세서에 분산하여 적정 수준의 속도 향상을 달성한다. 우리는 항등식 $h(\Theta)=0$을 통해, 참 회귀 함수의 연속성만을 가정하고 모형 오지정(misspecification)을 허용하면서 헬링거(Hellinger) 거리에서 $n^{-1/4}$ 속도의 사후 일치성을 증명한다. Friedman 벤치마크에서의 시뮬레이션은 거의 명목 수준에 가까운 커버리지(가우시안 0.94, 코시 0.92)를 보였으며, 고차원 노이즈와 두꺼운 꼬리 분포에도 강건했고 BART와 배깅된 CART보다 우수한 성능을 보였다. QSAR 독성, 범죄, 리보플라빈, 밀 유전체학, 대기질 데이터에 대한 적용은 신뢰할 수 있는 신용구간과 자동 희소성을 확인해 준다. 이 DP 혼합 모델은 정직한 불확실성 정량화를 갖춘 도전적인 회귀 문제에 대해 원리에 기반하고 강건하며 이론적으로 뒷받침되는 대안을 제공한다.
NPBoost: 그래디언트 부스팅 고정 효과를 갖는 Neural Process
NPBoost: Neural Processes with Gradient-Boosted Fixed Effects
Neural Process(NP)는 모델 기반 메타러너로, 확률적 과정(stochastic process)을 암묵적으로 학습하고 작은 컨텍스트 집합으로부터 새 과제에 적응한다. NP의 대부분 확장은 신경망 아키텍처 개선에 초점을 맞춘다. 우리는 대신 메타학습과 혼합효과(mixed-effects) 모델이 공유하는 계층적 해석에서 동기를 받은 확장을 개발한다. 구체적으로 Neural Process Boosting(NPBoost)을 제안하며, 구조화된 반응 변동성을 과제 간 공유되는 트리 부스팅 고정 효과와 과제 간 확률적 변동을 포착하는 NP 임의 효과로 분해한다. 부스팅 알고리즘으로 두 구성요소를 공동 학습하도록 하며, 이 과정에서 NP는 잔차적인 과제별 구조를 학습하고 트리 앙상블은 과제 간 공통 패턴을 추정한다. 합성 및 실제 표 형식(tabular) 메타학습 문제 전반에서, 공유 구조에 불연속성이나 부스팅된 트리가 효과적으로 표현할 수 있는 기타 불규칙 패턴이 있을 때 이 분해는 표준 NP보다 성능이 개선된다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
15 pages (+16 pages SI), 5 figures (+16 SI), 4 tables (+11 SI)