희소 MoE 언어 모델에서 같은 토큰 id라도 라우터 상태와 생성 전문가는 과제 맥락, 궤적 이력, 추론 노력 모드를 여전히 구분하며, 이 잔여 라우팅 구조를 활용한 RAD(Routing Agreement Decoding)는 답 문자열 파싱·투표 없이 앵커 구간 MoE 라우팅 밀도로 다중 롤아웃을 선택한다. 10개 희소 MoE 구성과 수학·GPQA·코드 6개 데이터셋에서 Majority 투표와 대등하거나 소폭 우세하고, 정확한 문자열 투표가 어려운 코드 pass@1과 SWE-bench Verified 패치 선택에도 동일한 원리로 적용된다.
전통적인 머신러닝(ML) 모델 평가는 계산 비용에 관계없이 가능한 최대 정확도를 달성하는 것에 초점을 맞춘다. 본 논문에서는 높은 확률로 허용 가능한 수준의 정확도에 도달하는 데 필요한 경사하강법 스텝의 총 횟수로 명시적으로 정의되는 계산 노력(computational effort)에 기반하여 성능을 평가하는 방향으로 패러다임 전환을 제안한다. Koza가 유전 프로그래밍(Genetic Programming)을 위해 처음 도입한 계산 노력 개념을 바탕으로, 이 지표를 경사하강법으로 학습되는 모든 ML 모델로 확장한다. 나아가, 이 노력을 최소화하는 것이 새로운 형태의 자동 머신러닝(AutoML)으로 기능함을 입증한다. 11개의 다양한 ML 모델과 5개의 표준 분류 데이터셋에 걸쳐 이를 평가함으로써, 그래디언트 기반 학습의 동역학에 대한 중요한 인사이트를 도출한다. 연구 결과, 최적 하이퍼파라미터는 비정상적으로 큰 학습률을 일관되게 선호하는 것으로 나타났다. 핵심적으로, 이러한 큰 학습률이 가능하게 하는 빠르고 공격적인 손실 지형 탐색은 슈퍼컨버전스(superconvergence)와 같은 현상에서 볼 수 있듯이 일반화를 촉진할 뿐만 아니라, 학습을 위한 기대 계산 노력을 통계적으로도 최소화함을 입증한다. 또한, 최적 탐색 전략에서 뚜렷한 상전이(phase transition)를 확인한다: 낮은 정확도 목표에서는 단일 학습 실행으로 충분하지만, 모델의 성능 한계에 도달하기 위해서는 수많은 독립적이고 짧은 재시작을 수행하는 방향으로 극적인 전환이 필요하다. 마지막으로, 이 노력 기반 패러다임이 모델 선택을 위한 강건한 프레임워크를 제공함을 보여준다. 이를 통해 실무자들은 주어진 목표 정확도에 대해 서로 다른 모델이 인식하는 문제의 난이도에 기반하여 최적 알고리즘을 선택하거나, 고정된 경사하강법 스텝 예산 내에서 달성 가능한 정확도를 최대화할 수 있다.
현대 기계학습 시스템에서의 선택적 앙상블은 제한된 평가 예산 하에서 유망한 모델 후보를 고르는 것을 요구하며, 하류 작업은 종종 정확도, 견고성, 추론과 같은 역량에 대해 부분적인 선호만을 명시한다. 이 설정은 부분적으로 명시된 선형 선호 하의 순차적 의사결정 문제를 자연스럽게 야기한다. 이를 허용 가능한 트레이드오프가 다면체 선호 원뿔로 표현되는 선호 지향 다목적 밴딧(PDMOB)으로 형식화한다. 이 형식화를 바탕으로 표준 파레토 최적성과 단일 가중치 스칼라화를 특수한 경우로 환원하는 Pareto $C$-최적성을 도입한다. 이어서 탐험을 안내하기 위해 방향성 신뢰 구간을 유지하는 선호 지향 상한 신뢰 경계(PrefUCB) 알고리즘을 제안한다. 지표 기반 및 간극 가중 후회를 모두 분석하고, 두 기준 모두에 대해 인스턴스 의존적 로그 경계를 수립하며, 고전적 특수 경우에서 수평선 $T$에 대한 최적 로그 의존성을 회복한다. 대규모 사전학습 모델 선택적 앙상블 작업과 기관 투자 의무 하의 온라인 자산 배분 실험을 통해 방법의 효과를 검증한다.
Predicting High-Risk Colorectal Polyps in African Americans Using Pre-Colonoscopy Clinical Features: Machine Learning Model Development and Temporal Validation
고급 대장 결장 용종의 위험 계층화는 일반적으로 대장내시경 및/또는 병리학적 소견에 의존한다. 그러나 대장내시경 전에 확보되는 비침습적 특징이 더 높은 위험에 있는 환자를 식별하는 데 도움이 될 수 있는지에 대한 관심이 커지고 있다. 이러한 접근법은 대장내시경 자원이 제한된 상황에서 고위험 용종을 가질 가능성이 가장 높은 개인에 대한 감시를 우선시함으로써 임상 의사결정을 향상시킬 수 있으며, 저위험 환자에서 불필요한 시술을 줄일 가능성도 있다. 중요하게는, 비침습적이고 시술 전 정보의 사용은 특히 대장내시경 자원이 제한되거나 불균등하게 배분된 환경에서 위험 계층화에 대한 보다 공평한 접근을 촉진하는 데 도움이 될 수도 있다. 우리는 다양하고 주로 아프리카계 미국인으로 구성된 도시 코호트에서, 비침습적이고 대장내시경 전 인구통계학적, 임상적, 행동적 특징만을 사용하여 고위험 대장 결장 용종을 예측하는 머신러닝 모델을 개발하고 외부 검증하는 것을 목표로 했다. 우리는 Howard University Hospital에서 대장내시경을 받은 환자의 인구통계학, 생활습관, 동반질환 데이터를 사용하여 고위험 대장 결장 용종 예측을 위한 신경망(neural networks), 랜덤 포레스트(random forest), 서포트 벡터 머신(SVM), 나이브 베이즈(Naive Bayes), 로지스틱 회귀(logistic regression), 의사결정나무(decision trees), k-최근접 이웃(KNN), XGBoost 등 여러 머신러닝 모델을 개발하고 검증하기 위해 후향적 코호트 연구를 수행했다. 고위험 용종(HRP)은 융모성(villous) 또는 관융모성(tubullovillous) 선종, 고등급 이형성증(high-grade dysplasia), 크기가 10mm 이상인 용종, 및/또는 시술당 3개 이상의 용종 존재로 정의되었다; 그 외 모든 사례는 저위험 용종(LRP)으로 분류되었다. 데이터셋에는 2015-2022년의 4,681명의 환자가 내부 검증에 사용되었고, 2023-2024년의 1,562명의 환자가 외부 검증에 사용되었다.
권선형 회전자 동기 전동기(WRSM)는 희토류(REE)에 대한 의존성을 제거하는 강력한 대안으로 부상하였다. 그러나 WRSM 설계는 수많은 기하학적 및 전자기 매개변수의 동시 최적화가 필요하며, 기존 유한요소 해석(FEA)의 높은 계산 비용은 방대한 매개변수 공간의 신속한 탐험을 심각하게 제한한다. 문헌에는 머신러닝 기반 서로게이트 모델링 연구가 있으나, 일반적으로 제한된 수의 모델만 비교하고, 심층 학습 아키텍처는 배제하며, WRSM에 특화된 포괄적인 벤치마크를 제공하지 않는다. 본 연구에서는 WRSM 토크 및 전동기 효율 예측을 위해 4가지 서로 다른 알고리즘 계열에 속하는 총 8개의 머신러닝 및 심층 학습 모델의 성능을 체계적으로 비교하였다. Motor-CAD 시뮬레이션 환경에서 라틴 하이퍼큐브 샘플링(LHS)으로 생성된 3351개 표본의 데이터셋 상에서, 각 모델은 10개의 서로 다른 난수 시드 값으로 학습되었으며 Optuna 하이퍼파라미터 최적화를 통해 튜닝되었다. 기존 문헌과 달리, 본 연구는 FT 트랜스포머와 같은 최근 심층 학습 아키텍처를 포함한 넓은 모델 스펙트럼, 다중 시드 재현성 프로토콜, 그리고 계산 비용-정확도 상충관계에 대한 파레토 분석을 함께 제시한다. 결과는 신경망 기반 모델이 트리 기반 모델보다 체계적으로 우수한 성능을 보인다는 것을 밝혔다. FT-Transformer 모델은 R^2 = 0.9928로 최고의 단일 모델 정확도를 달성하였으며, 0.33밀리초 만에 예측을 생성하여 FEA 대비 여러 자릿수의 속도 향상을 얻었다. 모델 성능은 R^2, MAE, RMSE, MAPE 지표를 사용하여 다차원적으로 평가되었다.
특이 학습 이론(singular learning theory)은 손실 특이점의 기하학을 통해 심층 네트워크의 복잡도를 규명한다. 지역 학습 계수(LLC, local learning coefficient)는 Watanabe의 실 로그 정준 임계값(RLCT, $λ$)의 표준 추정량으로, SGLD를 통해 이 기하학을 통합 베이지안 스칼라로 판독하며, 작업별 보정과 체크포인트당 $10^4$-$10^6$회의 순전파-역전파가 필요하다. 우리는 Dead-Direction Signatures(DDS)를 도입한다. 이는 특이 구조에 대한 저비용 폐형식 스펙트럴 판독의 한 계열로, 각각은 선택된 층에서 네트워크의 활성화 행렬 또는 샘플별 그래디언트 Fisher-Gram을 읽으며, SGLD 사후(posterior) 체인을 스펙트럴 선형대수로 대체한다. 이 판독은 임의의 특이 최솟값에서 활성화 측과 Fisher 측 스펙트럼 사이의 구조적 상관을 예측하는 dead-direction 프레임워크와, 단일 고유값 모니터로는 얻을 수 없는 rank-곱적 부피 항등식에 기반한다: 활성 부피(active-volume) $\log\det^{+}(G)$ 기울기는 dead directions의 개수를 세며, $r \in \{1,2,3,4\}$에 걸쳐 rank-deficit $r$을 추적한다($r{=}2,3,4$에서 기울기 비 $2.0, 3.1, 4.0$ vs 예측값 $2,3,4$), 여기서 최소 고유값은 rank에 무감(rank-blind)하다. 폐형식 $λ$를 갖는 축소 rank 회귀(reduced-rank regression)에서, 보정된 LLC는 평균 $99\%$로 $λ$를 복원하고 DDS 관측량은 프레임워크가 예측한 부호에서 rank로 이를 추적한다; 비선형 modular-addition 트랜스포머에서는 프로토콜 예산에서 보정된 LLC가 rank-flat한 반면, DDS는 열여덟 자릿수의 크기에 걸쳐 $d_{\mathrm{model}}$을 분리한다. LLC의 통합 사후 판독을 보완하여, DDS는 네트워크의 dead directions에 대한 방향적·층-국소적 접근 수단을 제공하며, 이는 활성화 및 그래디언트 스펙트럼으로부터 폐형식으로 판독된다.
정책은 다양한 조건에서 작동해야 하지만, 단일 정책은 종종 보수적이고 완전 적응적 방식은 복잡해질 수 있다. 우리는 맥락적 동적 시스템에서 제로샷 일반화를 연구하고, 소스 맥락에서 타깃 맥락으로의 일반화 격에 대한 상한을 제공하는 성능 중심의 방향성 작업 비유사도—부호 있는 발산(signed divergence)—을 제안한다. 부호 있는 발산은 소스 정책 클래스가 일반화되는 시점을 보증하는 $\varepsilon$-허용 집합($\varepsilon$-tolerance sets)을 유도하며, 작업 공간 복잡도(task-space complexity)에 대한 구체적인 개념, 즉 모든 타깃 맥락이 최대 $\varepsilon$의 일반화 격을 넘지 않도록 필요한 소스 맥락의 최소 개수를 제공한다. 성능에 대한 완만한 국소 매끄러움 가정 하에서, 유도된 허용 집합은 작업 공간 복잡도에 대한 보증된 내부/외부 공(inner/outer balls)과 인스턴스 의존적 부피 상한을 허용한다. 유한 오라클(finite-oracle) 설정에서 소스 선택은 집합 덮개(set cover) 문제로 환원되며, 탐욕(greedy) 전략은 표준 $H(n)$ 근사 보증을 그대로 물려받는다. 선형-이차 조절기(LQR) 컨트롤러를 사용하는 질량-스프링-댐퍼(Mass-Spring-Damper) 시스템과 심층 강화학습 컨트롤러를 사용하는 비선형 CartPole 시스템을 통해, 탐욕 선택이 균등(uniform) 또는 무작위(random) 기준선보다 더 적은 정책으로 동일한 $\varepsilon$-커버리지를 달성함을 보인다. 우리 접근법은 성능 기반 작업 유사도 측정과 단순한 정책으로 일반화 가능한 제어를 구축하기 위한 실용적 보증을 제공한다.
손실 함수와 옵티마이저의 선택은 이후 모델 학습을 형성하는 중요한 결정이다. 그러나 자동화된 아키텍처 탐색 파이프라인(AutoML)은 최적 페어링 선택으로부터 훨씬 더 큰 이득을 얻으며, 그 반대도 마찬가지이다. 본 논문은 이질적인 아키텍처 풀에 단일 레시피로 충분한지, 아니면 구조적으로 다양한 모델마다 최적 페어링이 달라지는지를 조사한다. LEMUR 이질적 아키텍처 풀에 제시된 기본 모델과 6개 이미지 분류 데이터셋(CelebA-Gender, CIFAR-10, CIFAR-100, ImageNette, MNIST, SVHN) 전반에 걸쳐, 6개 옵티마이저(SGD+모멘텀, Adam, AdamW, RMSprop, Adagrad, Adadelta)와 3개 손실 함수—교차 엔트로피(CEL), 음의 로그 가능도(NLL), 그리고 최근 유전적으로 진화된 NGL 손실—의 $3 \times 6 = 18$개 조합 전체에 대한 체계적인 실증 연구를 수행한다. 18개 손실-옵티마이저 구성은 LEMUR 풀에서 가져온 33개 호환 기본 아키텍처 각각에 적용되어, 소스 수준 주입 파이프라인으로 완전 자동 생성된 594개 변형을 산출했으며, 고정된 하이퍼파라미터 하에서 평가되어 관측된 정확도 차이가 오직 손실-옵티마이저 페어링에 기인함을 보장했다. 결과는 단일 페어링이 보편적으로 최적이 아님을 확인한다. Adam 또는 AdamW와 함께한 교차 엔트로피는 아키텍처 계열과 데이터셋 전반에서 가장 견고한 선택이다. NGL은 표준 합성곱 분류기에서 CEL의 경쟁력 있는 대안이지만, 적응형 옵티마이저와 페어링될 때만 그렇다; SGD 또는 누적 기반 방법과 함께하면 상당히 성능이 저하된다. Adagrad와 Adadelta는 손실 함수와 관계없이 고정 하이퍼파라미터 하에서 지속적으로 저조한 성능을 보여, 학습률 튜닝에 대한 민감성을 부각한다. 이러한 발견은 NNGPT Framework 내 손실-옵티마이저 선택을 위한 실행 가능한 지침을 제공한다.
크리오패시 증후군은 진단 범주 간에 검사실 패턴이 자주 겹치고 일부 진단이 드문 경우가 있어 분류가 어렵다. 이로 인해 크라이오글로불린 관련 검사의 일상적 해석이 어려워지고 전문가 판단에 대한 의존도가 높아진다. 본 연구의 목적은 검사실 데이터로부터 크리오패시 증후군을 자동 분류하기 위한 머신러닝 접근법을 개발·비교하고, 임상 의사결정 지원을 위한 실용적 전략을 찾는 것이었다. 방법: 14개 진단 범주에 배정된 2,686명 환자의 검사실 기록을 분석했다. 데이터셋에는 인구통계학적 변수, 크라이오글로불린 측정값, 침전 검사, 그리고 혈구응집소 및 용혈소 적가가 포함되었다. 데이터 전처리에는 정제, 인코딩, 결측치 대체(imputation), 정규화, 그리고 임상적으로 정보를 반영한 상호작용 특징 구성이 포함되었다. Random Forest, Gradient Boosted Trees, Multi-Layer Perceptron, 소프트 보팅(soft-voting) 앙상블, Synthetic Minority Over-sampling Technique(SMOTE)을 이용한 클래스 균형화, 계층적 분류, 기간 인식(period-aware) 모델, 표적 이진 분류기, 확률 보정(probability calibration)을 포함해 12가지 모델링 전략을 평가했다. 성능은 계층화된 train-test 평가와 계층화 5-fold 교차검증으로 평가했다. 주요 지표는 매크로 평균 F1 점수, 정확도(accuracy), Top-3 정확도, 기대 보정 오차(expected calibration error)였다. 뚜렷한 클래스 불균형과 진단 간 임상적 중첩으로 인해 전체 과제는 어려운 것으로 나타났다. 최고의 다중 클래스 성능은 Random Forest와 Gradient Boosted Trees의 소프트 보팅 앙상블이 달성했다. 교차검증은 균형화된 Random Forest 모델의 안정적인 성능을 확인했다. 트리 기반 방법은 신경망 모델보다 일관되게 우수한 성능을 보였다. 특징 공학(feature engineering)은 판별력을 향상시켰으며, 가장 정보가 풍부한 예측 변수는 크라이오글로불린 기반 파생 상호작용 특징에서 나왔다.
보존 법칙, Hamiltonian 형식, 대칭과 같은 물리 구조 사전정보(prior)는 올바를 때 과학적 기계학습(scientific machine learning)을 개선할 수 있지만, 잘못 명시되면 예측을 악화시킬 수 있다. 기존 방법은 보통 선택된 구조를 강제하거나 부드러운 페널티를 조정하지만, 사전정보를 부과할지 여부, 얼마나 강하게 부과할지, 어떤 사전정보를 사용할지, 후보 법칙의 어떤 부분집합이 성립하는지를 결정하는 보정된 규칙 없이 수행한다. 우리는 이 문제를 비제약 추정량(unconstrained estimator)의 구조 위반 블록에 대한 수축(shrinkage)으로 다루는 폐형식(closed-form) 프레임워크인 SPADE(Structure-Prior Adaptive Decision Estimation)를 제안한다. SPADE는 하나의 정확한 명세 검정(specification test)과 하나의 추정량(estimand)을 사용한다. 검정은 데이터가 사전정보를 뒷받침하는지 결정하고, Stein-불편 James-Stein 수축은 $O(σ^2/n)$ 오라클 보장으로 강제 강도를 설정하며, 게이트(gate)는 검정이 이를 인증할 때만 하드 사전정보에 확정(commit)한다. 동일한 검정은 비중첩 제약 패밀리에서 부분집합 발견을 위한 일관된 중첩 구조 선택과 Benjamini-Hochberg 통제를 제공한다. 선형 부분공간 사전정보, 저수지 보존 법칙, Duffing 역학에 대한 비선형 Hamiltonian 사전정보에 걸쳐 SPADE는 오라클을 추적하고, 신경망 기준선(baseline)을 능가하며, 올바른 사전정보 regret을 $10.3\%$에서 $2.6\%$로 줄이고, 풀이 횟수의 $1/71$로 교차 검증(cross-validation)과 일치하며, 정확한 구조를 $100\%$ 정확도로 선택하고, 통제된 false relaxation으로 부분 법칙을 복원한다.
폐루프 자동 연구(Closed-loop Auto Research)는 자동화된 머신러닝을 고정 데이터셋 피팅에서 연구 워크플로우 변경으로 확장하며, 언어 모델 에이전트가 표현(representation)과 모델 코드를 편집하고 외부 증거를 획득한다. 분자 속성 예측은 다수의 소규모 엔드포인트에 걸쳐 있다. 우리는 이 행동 공간이 해당 개선을 선택한 검증 신호를 넘어 일반화되는 개선을 산출하는지 묻는다. 우리는 강력한 기준선 대비 각 이득을 하나의 축에 귀속시키는 파일 수준 어블레이션 잠금 하에 특징, 모델, 외부 증거라는 세 가지 자동 연구 축을 분리한다. 세 가지 벤치마크 스위트의 36개 엔드포인트에 걸쳐, 탐색이 레이블을 한 번도 읽지 않은 홀드아웃 테스트에서 선택된 각 구성을 한 번 평가한다. 각 엔드포인트의 최선 검증 축을 취하는 라우팅 파이프라인은 0.013, 0.011, 0.042의 양의 홀드아웃 이득에 도달하며, 전이 가능한 축은 스위트별로 다르다: TDC에서는 데이터, Polaris에서는 모델, MoleculeNet에서는 특징과 모델이다. 가장 큰 모델 탐색 이득은 검증에서 0.041에서 테스트에서 0.003으로 감소하고, 큐레이션된 데이터는 0.022에 도달하지만 테스트에서는 -0.019를 보이며, 이는 두 가지 비전이(non-transfer) 특성이다. 큐레이션된 외부 데이터는 홀드아웃 CYP2C9-substrate 성능을 0.17, 반감기(half-life)를 0.08 향상시키며, 테스트 구조의 64~89%와 겹치는 동일 출처 파일을 거부하는 오염 필터를 통해 허용되지만, 이는 전이에 필요하나 충분하지는 않다. 매칭된 시험의 자동화된 머신러닝 제어군은 에이전트의 코드 수준 모델 개입을 재현하지 못해 0.042 대비 0.006에 그쳤으며, 파이프라인은 공유 학습 분할에서 8400만 매개변수 사전학습된 3D 모델과 경쟁력을 유지한다. 실험은 분자 속성 예측 범위에 머물지만, 발견과 홀드아웃 인증의 분리는 홀드아웃 지표의 프록시를 최적화하는 모든 폐루프 시스템에 적용되는 도메인 무관한 교훈이다.
어떤 단일 시장 전략도 항상 이기는 것은 아니다. 모멘텀, 평균 회귀(mean reversion), 리스크 통제, 이벤트 기반 규칙은 각각 시장 조건이 변함에 따라 성공하거나 실패할 수 있다. 대규모 언어 모델(LLM)에 시장 행동을 직접 생성하도록 요청하는 대신, 우리는 에이전트가 프로그램적 전략 라이브러리 중에서 선택하는 실행 가능한 의사결정 패러다임을 연구한다. 각 전략은 시장 관측을 행동으로 매핑하는 코드 모듈로 구현된다. 우리는 적응형 프로그램적 전략 선택을 위한 시뮬레이션 기반 프레임워크인 MetaPS를 제안한다. MetaPS는 후보 전략을 시뮬레이션 또는 백테스트된 시장에서 롤아웃하고, 특정 전략이 더 나은 미래 결과로 이어지는 상태를 식별하며, 이러한 상태-전략 쌍을 지도 미세조정 데이터로 변환한다. 추론 시에는 시뮬레이터를 더 이상 조회하지 않는다. MetaPS는 현재 시장 상태와 후보 전략 컨텍스트만을 관측하고, 적합한 전략 프로그램을 선택하며, 선택된 프로그램이 최종 행동을 생성한다. 다중 주식 거래와 통제된 상품 교환 샌드박스에서의 실험은 MetaPS가 0.8B에서 9B 파라미터에 이르는 모델 규모 전반에서 일관되게 개선됨을 보여준다. MetaPS는 고정 전략 베이스라인, 직접 의사결정 에이전트, 프롬프트 기반 API LLM 에이전트를 능가하며, 여러 설정에서 소형 미세조정 모델이 더 강력한 API 모델보다 나은 성능을 내기도 한다. 이러한 결과는 시장 시뮬레이션이 적응적이고 해석 가능하며 실행 가능한 전략 선택을 학습하기 위한 확장 가능하고 표적화된 감독을 제공할 수 있음을 보여준다.
생성형 AI 튜터는 실시간 맞춤형 학습 지원을 제공하지만, 새로운 교육 불평등을 만들기도 한다. 프리미엄 AI 서비스에 접근할 수 있는 학생들은 무료 또는 저비용 서비스에 국한된 학생들보다 더 명확한 설명, 더 개인화된 안내, 더 나은 비계(scaffolding)를 받을 수 있다. 이 문제에 대응하기 위해, 우리는 형평성 인식 모델 라우팅 프레임워크인 FairTutor를 제안하며, 이는 교육학적 동기를 갖춘 다중 에이전트 오케스트레이션을 통해 비용 효율적인 AI 튜터링을 달성한다. FairTutor는 쿼리 분석, 교육학적 계획, 저비용 모델 생성, 평가자 가이드 비판 및 수정, 프리미엄 AI 모델로의 선택적 에스컬레이션을 결합한다. 우리는 프리미엄 접근과 예산 제약 튜터링 간의 품질 차이를 측정하는 접근 등급 AI 교육(AIED) 이점 격차(Advantage Gap)와, 수학, 읽기, 쓰기, 과학, 언어 학습에 걸친 벤치마크인 TutorAccessEval을 도입한다. 실증 평가에 따르면 FairTutor는 프리미엄 교육학적 품질의 97.1%(하한 조정 Likert 척도)를 달성하면서 서빙 비용을 71.6% 절감한다. 민감도 분석은 조정 가능한 비용-품질 파레토 프론티어를 보여주며, 이를 통해 FairTutor를 다양한 학생 집단의 요구에 맞게 맞춤 설정할 수 있다.
변동하는 재생에너지원, 발전 가능(dispatchable) 유닛, 저장 장치, 그리고 감축 가능(curtailable) 수요를 결합한 마이크로그리드의 실시간 오케스트레이션은 엄격한 제어 마감시한 하에서 조합적 배치(dispatch) 및 연합(coalition) 형성 문제를 반복적으로 해결해야 한다. 본 논문에서는 각 제어 슬롯의 배치 문제를 BDIx(Belief-Desire-Intention extended) 에이전트가 2차 무제약 이진 최적화(QUBO) 문제로 formulation하고, 양자, 양자 영감(quantum-inspired), 및 고전 솔버 포트폴리오로 이를 해결하는 양자 보조 에이전틱 분산 인공지능(DAI) 프레임워크를 제안한다. 솔버 선택은 코디네이터 에이전트의 1차 에이전틱 숙고(deliberation) 행동으로 격상된다. 솔버 지연시간에 대한 학습된 믿음(belief)이 유지되며, 각 슬롯에서 현재 숙고 마감시한을 충족할 것으로 예상되는 솔버 의도(intention)가 확정(commit)된다. 또한, 저장 에이전트가 할인된 미래 피크 가치로 에너지 가격을 책정하는 믿음 기반 저장 가치 평가 메커니즘을 도입하여, 그렇지 않으면 근시안적인(per-slot) 최적화에 시간 간(intertemporal) 정보를 주입한다. 이 프레임워크는 광전(PV), 풍력, 배터리, 발전기(genset), 수요 반응(demand-response) 자산을 갖춘 계통 연계(grid-connected) 마이크로그리드의 24시간 시뮬레이션에서 평가되며, Quantum Approximate Optimization Algorithm(QAOA)은 statevector 시뮬레이션으로 실행되고 각 슬롯마다 tabu search, simulated annealing, binary particle swarm optimization, greedy descent, exhaustive enumeration과 벤치마크된다. 숙고 마감시한 누락은 0건이며, 확정된 배치는 모든 슬롯에서 정확한 최적해를 달성하고, 실현 일일 비용 146.24 EUR는 정확한 하한과 일치하며, 재생에너지 활용률 97.83%, 미공급 에너지 0이다. 저장 가치 평가 메커니즘을 비활성화하면 일일 비용은 152.75 EUR로 4.5% 증가한다.
건강 데이터의 프라이버시, 민감도 및 공유 제한에 동기를 얻어, 데이터가 컴퓨팅 노드 간에 완전히 공유되거나 통합될 수 없는 연합 학습(federated learning) 설정 내에서 베이지안 혼합 모델의 추론(inference)을 위한 포괄적인 파이프라인을 제시합니다. 우리는 합의 몬테카를로(Consensus Monte Carlo, CMC) 접근 방식을 채택하며, 여기서 MCMC 알고리즘은 각 데이터 사일로 내에서 독립적으로 실행되어 국소 사후 분포를 추정하고, 이를 집계하여 전체 데이터에 대한 사후 분포를 근사화합니다. Rabinovich, Angelino 및 Jordan (2015) [1]의 변분 CMC 접근 방식은 집계 단계를 변분 추론(variational inference) 문제로 프레임화하지만, 혼합 모델에 대한 그들의 적용은 클러스터 수와 주요 혼합 파라미터가 알려져 있다고 가정합니다. 우리의 주요 방법론적 기여는 다음과 같습니다: (i) 켤레성(conjugacy)을 요구하지 않고 클러스터 수와 모든 모델 파라미터를 추론하는 과적합 베이지안 혼합 모델로의 변분 CMC 확장; (ii) 모든 클러스터가 각 국소 데이터셋(dataset)에 나타나지 않는 사일로 간 설정에 적합한 새로운 클러스터 매칭 알고리즘; (iii) 다양한 연합 학습 제약 조건에 맞춰진 집계 단계를 위한 여러 추론 전략; (iv) 실제로 이들 중에서 선택하기 위한 가이드라인입니다. 포괄적인 시뮬레이션 연구는 이 프레임워크를 검증하고 최첨단 연합 학습 대안들과 비교할 수 있게 합니다. 특히, 국소 데이터셋의 구성이 데이터 내의 기본 클러스터링 구조를 반영할 때, 우리의 접근 방식은 통합 데이터에 적용된 표준 MCMC보다 더 큰 정확도로 작은 클러스터를 복구할 수 있음을 보여줍니다. 우리는 대규모 전자 건강 기록 데이터에 이 프레임워크를 적용하여 영국 노년 인구의 다중 동반 질환 패턴을 식별합니다.
요인 모델(factor models)은 저계수 신호를 추출하고 공분산을 추정하기 위해 고차원 데이터를 분석하는 대중적인 접근법입니다. 이들은 공분산 행렬을 저계수 성분과 대각 성분의 합으로 분해합니다. 핵심 문제는 잠재 차원(latent dimension) $k$를 선택하는 방법으로, 이는 요인 모델이 근사적으로만 성립하고 신호 대 잡음 비율이 낮은 시나리오에서 특히 어렵습니다. 베이지안 과적합 요인 모델은 $k$에 대한 상한을 지정하고, 불필요한 성분을 효과적으로 제거하기 위해 구조화된 수축 사전분포(shrinkage priors)에 의존합니다. 이러한 접근법들은 대중적이고 효과적이지만 계산 비용이 많이 듭니다. 우리는 잠재 요인의 스펙트럼 추정과 주요 하이퍼파라미터의 적응형 경험적 베이지안(empirical Bayes) 보정을 기반으로, 타당한 불확실성 정량화(uncertainty quantification)를 제공하는 훨씬 빠른 \texttt{EigenBayes} 접근법을 제안합니다. 결과적으로 도출된 사후 분포(posterior distribution)는 결과(outcomes) 간에 인수분해되며 해석적으로 다루기 쉬워 마르코프 연쇄 몬테카를로(Markov chain Monte Carlo)를 우회할 수 있습니다. 우리는 \texttt{EigenBayes}가 각 결과와 잠재 차원의 신호 대 잡음 비율에 적응하면서, 불필요한 잠재 성분을 0으로 수축시킴을 보입니다. 우리는 유리한 점근적 성질(asymptotic properties)을 확립하고 수치 실험 및 유전체학 응용에서 강력한 실증적 성능을 입증하며, 여기서 EigenBayes는 최신 수준의 대안들(state-of-the-art alternatives)보다 우수한 성능을 보입니다.
고성능 신경망을 개발하고 벤치마킹하는 데 많은 노력이 집중되었지만, 실무자에게 알려진 데이터셋 속성이 어떻게 효율적인 모델 선택을 안내할 수 있는지에는 덜 주목해 왔습니다. 신경망 모델은 일반적으로 수천 개의 클래스가 있는 데이터셋에서 평가되지만, 많은 실제 애플리케이션은 10개 미만의 클래스를 포함합니다. 연구가 부족하지만 일반적인 이 설정을 해결하기 위해, 우리는 데이터 측면 속성에 기반한 분류 난이도 측정치를 개발하고, 기존 접근 방식이 덜 효과적인 소수 클래스 데이터셋에 대해 이것이 어떻게 더 효율적인 모델 선택을 가능하게 하는지 보여줍니다. 우리는 이 현상을 "소수 클래스 구별성(few-class distinctiveness)"이라고 명명합니다. 우리의 메트릭은 반복적인 학습 및 테스트보다 6배에서 29배 더 빠르게 모델과 데이터셋을 비교할 수 있게 합니다. 이 통찰을 활용하여, 우리는 가장 작게 발표된 모델보다 더 아래로 스케일링된 모델 계열을 확장하여, 유사한 정확도로 더 큰 효율성을 달성했습니다. 예를 들어, 모바일 로봇 작업에서 YOLOv5-nano보다 최대 42% 더 작은 모델을 구현했습니다. 자원이 제한된 애플리케이션을 목표로, 우리는 모바일 로봇, 드론 및 IoT 시나리오에 걸쳐 소수 클래스 모델 선택을 시연하며, 성능을 희생하지 않으면서 효율성의 실질적 이득을 강조합니다.
조건부 평균 처치 효과(CATEs)는 개인 맞춤형 의학(personalized medicine)에서 처치 결정의 핵심입니다. 경쟁 위험 설정(competing risks settings)에서 생존 데이터(survival data)를 통해 CATE를 추정하면, 대안적인 사건 유형을 적절히 고려하여 특정 관심 사건에 대한 처치 효과를 환자별로 평가할 수 있습니다. 동반 질환(comorbidities)이 존재하는 경우, 경쟁하는 사망 원인이 치료적 이익을 교란(confound)시킬 수 있으므로 이러한 구분은 필수적입니다. 이진 처치(binary treatment)가 있는 우측 중단 생존 시간(right-censored survival times)에 초점을 맞춰, 고정 시점에서 관심 사건의 절대 위험(absolute risk)에 대한 공변수 조건부 차이로 정의되는 CATE를 조사합니다. 이를 위해 경쟁 위험 시나리오에서 CATE 추정을 위해 기계 학습 알고리즘을 적용한 메타 학습기(meta-learners)를 연구합니다. 위험 모델링을 위해 Cox 회귀(Cox regression) 또는 랜덤 생존 포레스트(random survival forests)를, 직접 CATE 모델링을 위해 엘라스틱 넷 회귀(elastic net regression) 또는 랜덤 포레스트(random forests)를 결합한 6가지 메타 학습기를 체계적으로 비교합니다. 모델 선택(model selection)에 대한 실용적인 지침을 제공하기 위해, 위험도(hazard) 복잡성, 처치 이질성(treatment heterogeneity), 처치 배정(treatment assignment), 사건 유형 분포 및 중단(censoring)이 다른 다양한 시뮬레이션 설정에서 성능을 평가합니다. 실제 적용을 돕기 위해 고려된 모든 접근 방식을 구현하는 R 패키지인 crsurvlearners를 제공합니다.
이진 데이터 분해는 널리 사용되지만, 실수값 기반 방법은 이산성을 무시하고 해석하기 어려운 인수를 생성한다. 불리언 행렬 분해(BooMF)는 이진 행렬을 논리적 AND와 OR 연산을 통해 두 개의 저랭크 이진 행렬로 분해함으로써, 데이터를 해석 가능한 패턴들의 불리언 논리합으로 표현한다. 암 유전체학에서 BooMF는 회전 또는 가산 분해와 달리 종양 진화를 유도할 수 있는 협조적 특징(feature) 변화를 식별할 수 있다. 기존 BooMF 방법들은 대부분 휴리스틱하고 탐욕적이며, 초기화(initialization)에 민감하고 지역 최적해에 빠지기 쉬우며, 원칙적인 모델(model) 선택이나 불확실성 정량화를 지원하지 않는다. 본 연구에서는 희소성(sparsity) 유도 사전분포를 갖는 완전 켤레 생성 모델(generative model)인 베이지안 불리언 행렬 분해(BBMF)를 제안한다. BBMF는 불리언 제약을 적용하고, 일관된 불확실성 정량화를 갖는 해석 가능한 잠재 인수를 생성하며, 폐쇄형 완전 조건부를 통한 깁스 샘플링을 허용한다. 암 진화는 종종 전장유전체 중복 이후 불안정성과 선택이 뒤따르는 등 광범위하고 거의 동시적인 염색체 수 변화를 수반하기 때문에, 불리언 분해는 가산 모델보다 이러한 패턴을 더 자연스럽게 포착한다. 염색체 팔 증폭의 존재/부재를 나타내는 항목으로 구성된 다발성 골수종의 팔 수준 복제수 변이 데이터에 적용한 결과, BBMF는 환자 하위집단과 반복적으로 공동 변이된 염색체 팔을 연결하는 소수의 해석 가능한 바이클리크를 발견하여 종양 이질성에 대한 간결하고 생물학적으로 의미 있는 요약을 제공하며, 복잡한 이진 데이터에서 이산 잠재 구조를 발견하는 BBMF의 유용성을 입증한다.
LLM 라우팅 평가가 정적 벤치마크와 고정 정답 중심이라 실제 사용자 선호를 충분히 반영하지 못한다는 한계를 보완하기 위해, RouteJudge는 동일 모델 풀과 예산 제약 하에서 여러 라우팅 전략이 선택한 응답을 익명 쌍대 비교로 평가하고 그 선호도를 라우터 수준 의사결정에 귀속하는 공개 온라인 플랫폼을 제공한다. 라우팅의 벤치마크 로딩, 쿼리 표현, 예산 인식 평가, 방법 비교를 표준화하는 ORBIT 툴박스를 함께 공개해 연구자가 일관된 프로토콜로 라우터를 개발·검증한 뒤 RouteJudge 온라인 선호도 평가에 제출할 수 있게 한다.