고차원 멀티오믹스 데이터가 증가함에 따라 인간 질환의 복잡성을 포착할 수 있는 고급 통합 모델이 요구된다. 그래프 기반 딥러닝 통합 모델은 유망함에도 불구하고 소규모 환자 코호트와 고차원 특징에 어려움을 겪으며, 오믹스 간 관계를 모델링하지 않은 채 독립적인 특징 선택을 적용하는 경우가 많다. 또한 기존의 그래프 기반 오믹스 모델은 동종 그래프에 초점을 맞추어, 다양한 구조를 포착하기 위한 여러 유형의 노드와 에지가 부족하다. 우리는 암 진단을 개선하기 위한 오믹스 통합용 이종 그래프 어텐션 네트워크(HeteroGATomics)를 제안한다. HeteroGATomics는 멀티 에이전트 시스템을 통해 멀티모달 특징 선택을 수행하여 각 오믹스 모달리티별로 특징 및 환자 유사도의 전용 네트워크를 생성한다. 이후 이 네트워크들을 하나의 이종 그래프로 결합하여 오믹스별 전체론적 표현을 학습하고 모달리티 간 예측을 통합한다. 세 가지 암 멀티오믹스 데이터셋에 대한 실험에서 HeteroGATomics는 암 진단의 대부분의 평가 지표에서 기준 방법들을 능가한다. 독립적인 유방암 코호트에 대한 외부 검증은 이 방법의 일반화 가능성을 추가로 보여 주며, 여기서 HeteroGATomics는 모든 평가 지표에서 그래프 기반 멀티오믹스 통합 방법들을 능가한다. 더욱이 HeteroGATomics는 진단 결과에 기여하는 중요한 바이오마커를 식별함으로써 해석 가능성을 높인다.
전문가 혼합(Mixtures of experts, MoE)은 혼합 비율과 각 구성 요소의 밀도가 모두 예측 변수에 의존하는 조건부 혼합 모델로, 이질적인 데이터의 회귀, 분류, 모델 기반 클러스터링에 널리 사용된다. 예측 변수가 많거나 서로 상관되어 있을 때 최대 가능도(maximum likelihood)로 MoE를 적합하면 불안정해지며, 때로는 적합 자체가 불가능해지기도 한다. 본 논문에서는 전문가가 일반화 선형 모델(generalized linear model) 계열에 속하는 MoE에서 매개변수 추정과 특징 선택을 동시에 수행하는 정규화 최대 가능도 프레임워크를 제안하며, 이는 가우시안, 푸아송, 다항(multinomial) 반응을 하나의 공식으로 포괄한다. 게이팅 네트워크와 전문가 모두에서 $\ell_1$ 페널티를 통해 희소성을 유도하고, 페널티가 적용된 로그 가능도는 근접 뉴턴-EM(proximal Newton-EM) 알고리즘으로 최대화하며, 이 알고리즘의 M-step은 폐쇄형 좌표 상승(coordinate-ascent) 업데이트를 갖는 가중 Lasso 문제로 귀착된다. 기존의 페널티 적용 MoE 절차와 달리, 이 알고리즘은 페널티에 대한 국소 이차 근사도, 어떠한 행렬 역변환도 필요로 하지 않으며, 임계값 처리(thresholding) 없이도 정확히 희소한 추정치를 반환하고, 근접 뉴턴 방식의 변형은 매 반복마다 페널티 목적 함수가 단조 증가함을 보장한다. 시뮬레이션 데이터와 다섯 개의 실제 데이터셋에서 제안한 방법은 실제 희소성 지지집합(support)을 복원하였으며, 최신 정규화 MoE와 견줄 만하고 종종 더 우수한 예측 및 클러스터링 정확도를 보였다. 개발한 알고리즘의 소스 코드와 문서는 Github(https://github.com/nv-thin/GLM-RMoE)에 공개되어 있다.
잠재 이진 베이지안 신경망(LBBNN)을 발전시킨 ISLaB는 공변량이 임의의 후속 레이어로 직접 스킵하거나 모델에서 완전히 제외될 수 있도록 하여, 표준 LBBNN 대비 네트워크 밀도를 99% 이상 감소시키면서도 높은 예측 정확도와 불확실성 정량화를 유지한다. 핵심 기여는 활성 경로(active path) 개념의 도입으로, 사후(post hoc) 외부 도구 없이 이론적 보증이 있는 전역·지역 설명 가능성을 LBBNN 프레임워크 내에 직접 내장하며, MNIST에서 단 935개의 가중치로 97% 정확도를 달성해 신경망 압축 분야의 최신 성능에 도달했다.
디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.
머신러닝(ML)은 가설 없는(hypothesis-free) 위험 및 보호 요인 발견을 위해 역학 및 의료 연구에서 인기를 얻고 있습니다. ML은 비선형성과 상호작용을 발견하는 데 강점이 있지만, 신뢰할 수 있는 추론(inference)의 부재로 인해 이러한 강점이 저해됩니다. Shapley 값은 특징의 효과에 대한 국소적 측정치를 제공하지만, 이러한 효과에 대한 타당한 불확실성 정량화가 일반적으로 부족하여 통계적 추론을 불가능하게 만듭니다. 우리는 이러한 한계를 해결하기 위해 전용 베이지안 희소 회귀 모델(model)과 개선된 트리 기반 규칙 생성기, 그리고 Shapley 값 귀속을 결합한 RuleSHAP 프레임워크를 제안합니다. RuleSHAP는 비선형 및 상호작용 효과의 탐지를 제공하며, 개별 수준에서의 불확실성 정량화를 핵심 기여로 포함합니다. 우리는 이 프레임워크 내에서 한계 Shapley 값을 계산하기 위한 효율적인 공식을 유도합니다. 우리는 고콜레스테롤혈증과 고혈압에 대한 여러 효과를 탐지하고 추론하기 위해 역학 코호트 데이터에 RuleSHAP를 적용했으며, 여기에는 연령, 성별, 인종, BMI 및 포도당 수준과 같은 특징 간의 비선형 상호작용 효과가 포함됩니다. 결론적으로, 우리는 시뮬레이션 데이터를 통해 프레임워크의 타당성을 입증합니다.