Consensus-based Interpretable Deep Neural Networks with Application to Mortality Prediction
원문 초록
Deep neural networks have achieved remarkable success in various challenging tasks. However, the black-box nature of such networks is not acceptable to critical applications, such as healthcare. In particular, the existence of adversarial examples and their overgeneralization to irrelevant, out-of-distribution inputs with high confidence makes it difficult, if not impossible, to explain decisions by such networks. In this paper, we analyze the underlying mechanism of generalization of deep neural networks and propose an ($n$, $k$) consensus algorithm which is insensitive to adversarial examples and can reliably reject out-of-distribution samples. Furthermore, the consensus algorithm is able to improve classification accuracy by using multiple trained deep neural networks. To handle the complexity of deep neural networks, we cluster linear approximations of individual models and identify highly correlated clusters among different models to capture feature importance robustly, resulting in improved interpretability. Motivated by the importance of building accurate and interpretable prediction models for healthcare, our experimental results on an ICU dataset show the effectiveness of our algorithm in enhancing both the prediction accuracy and the interpretability of deep neural network models on one-year patient mortality prediction. In particular, while the proposed method maintains similar interpretability as conventional shallow models such as logistic regression, it improves the prediction accuracy significantly.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
결측을 신호로: 임상 시계열 예측을 위한 채널 독립 스펙트로그램 학습
Missingness as Signal: Channel-Independent Spectrogram Learning for Clinical Time Series Prediction
집중치료실에서의 임상 시계열 예측은 이질적인 생리학적 변수와 정보적 결측(informative missingness)으로 인해 여전히 어려운 과제이다. 측정값의 존재 또는 부재는 임상적 의사결정과 환자 중증도를 반영할 수 있으며, 따라서 결측은 단순한 데이터 아티팩트가 아닌 예측 신호로 기능할 수 있다. 본 연구는 임상 다변량 시계열 예측을 위한 결측 스트림을 갖춘 채널 독립 스펙트로그램 프레임워크인 CISM을 제안한다. CISM은 각 임상 변수를 변수별 시간-주파수 스펙트로그램으로 변환하고, 변수 정렬 인코딩(variable-aligned encoding)을 통해 변수 정체성을 보존하며, 명시적 결측 스트림을 스펙트로그램 표현과 정렬한다. MIMIC-IV에서 도출된 원내 사망률 태스크에 대한 실험 결과, CISM은 비교 대상인 시계열, 결측 인식, 비전, 시간-주파수 기반선 중 가장 높은 평균 AUROC(0.7225), AUPRC(0.3308), F1(0.3808)을 달성하였다. ablation 연구에서는 관측 패턴이 의미 있는 정보 신호를 제공함을 추가로 보여준다. 픽셀 수준 마스크 주입(pixel-level mask injection)은 일반 스펙트로그램 입력 대비 성능을 향상시키며 이러한 예측 가치의 상당 부분을 회복한다. 정렬된 결측 스트림은 AUROC와 AUPRC 모두에서 추가적이고 보완적인 성능 향상에 기여한다. 이러한 결과는 임상 시계열 예측에서 관측 패턴을 구조화된 신호로 모델링하는 것의 중요성을 부각한다.
지정가 주문서 예측을 위한 추론-연산 프런티어
The Inference-Compute Frontier for Limit Order Book Prediction
우리는 FI-2010에서 지정가 주문서 예측에 대한 경험적 추론-연산 프런티어를 규명한다. 저연산 및 중연산 모델에 적합시킨 멱법칙은, 해당 적합에서 가장 큰 예산의 $56$--$2{,}515$배에 달하는 연산량을 가진, 제외된 MLPLOB 방식의 믹서 계열까지 외삽된다. 아홉 개의 폴드와 다섯 개의 예측 수평선에 걸쳐, 실현된 목표 프런티어에서 통합 $R^2$는 $0.934$이며 상수 종점 외삽보다 RMSE가 59\% 낮고, 제외된 모든 운용점에서는 $0.731$이다. 측정된 지연 시간은 더 약한 관계를 보이며 모델 계열의 순위를 바꾼다. 따라서 우리는 연산을 조밀한 시간 및 특징 혼합에 집약하도록 FastBiNLOB을 설계한다. H120은 다섯 개의 시드 모두에서 네 개의 수평선 중 두 개에서 발표된 최첨단 macro-F1을 능가한다. 우리의 CPU/MPS 프로토콜에서 H96은 W128 MLPLOB 기준 대비 중앙값 지연 시간을 23.6\% 줄이고, H120은 TLOB에서 착안한 이중 축 어텐션 기준 대비 60.2\% 줄인다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포
Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
Ψ-Resilience: 1차원 위상학적 신호를 통한 모델에 독립적인 특징 중요도
$Ψ$-Resilience: Model-Free Feature Importance from 1D Topological Signals
우리는 1차원 위상학적 신호(topological signal)를 통해 데이터 자체로부터 직접 설명을 도출하는 모델-프리(model-free) 특징 중요도 기법인 Ψ-Resilience를 소개한다. 본 방법은 클래스 조건부 밀도(class-conditional density)를 추정하고, 특징 축을 따라 이들의 점별 절대 차이를 계산하여 클래스 불일치 지형(class-disagreement landscape)을 구성한다. 이후, 이 1차원 신호의 0차원 퍼시스턴스(0-dimensional persistence)는 사용자가 설정한 로버스트성 스케일(robustness scale)까지의 교란에도 생존하는 위상적 특징들만을 집계하는 resilience 함수(functional)를 정의한다. 이를 통해 기저의 1차원 지형과 그 퍼시스턴스를 통해 본질적으로 검증 가능한(auditable), 맥락에 강건한(context-robust) 중요도 점수를 얻을 수 있다. 우리는 본 방법을 합성 데이터셋과 실제 데이터셋 모두에서 평가한다. 정답(ground-truth) 중요도가 명시된 합성 생성기(synthetic generator)에서, Ψ-Resilience는 특징의 순위를 높은 충실도로 복원하며, 최대 0.8의 스피어만 순위 상관계수(Spearman rank correlation)를 달성하고 SHAP 및 상호정보량(mutual information)을 포함한 다수의 특징 중요도 기법들과 경쟁력 있는 성능을 보인다. 정답이 알려지지 않은 실제 데이터셋에서는, 본 기법이 이들 방법과 최대 0.9의 상관계수로 일치하는 결과를 보인다. 이러한 결과는 Ψ-Resilience가 예측 모델에 의존하지 않고도 특징 중요도에 대한 엄밀한 분포 수준의 검증을 가능하게 하는 안정적인 설명 기법임을 보여준다.
AI 기반 열 인지형 데이터 센터 용량 계획
AI-driven Thermal-aware Data Center Capacity Planning
대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.