Based on Graph-VAE Model to Predict Student's Score
원문 초록
The OECD pointed out that the best way to keep students up to school is to intervene as early as possible [1]. Using education big data and deep learning to predict student's score provides new resources and perspectives for early intervention. Previous forecasting schemes often requires manual filter of features , a large amount of prior knowledge and expert knowledge. Deep learning can automatically extract features without manual intervention to achieve better predictive performance. In this paper, the graph neural network matrix filling model (Graph-VAE) based on deep learning can automatically extract features without a large amount of prior knowledge. The experiment proves that our model is better than the traditional solution in the student's score dataset, and it better describes the correlation and difference between the students and the curriculum, and dimensionality reducing the vector of coding result is visualized, the clustering effect is consistent with the real data distribution clustering. In addition, we use gradient-based attribution methods to analyze the key factors that influence performance prediction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
고정된 확산 없는 고정점: 수렴하는 테스트 시점 연산을 위한 암시적 신경 층
Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation
암시적 그래프 신경망(IGNN)은 노드 표현을 그래프 신경 연산자의 고정점(fixed point)으로 정의하여 실질적으로 무한한 깊이의 전파, 반복(iteration) 독립적인 매개변수화, 유연한 테스트 시점 연산(test-time computation)을 가능하게 합니다. 그러나 이러한 이점은 평형점이 유일하며 고정점 반복을 통해 도달할 수 있는지 여부에 달려 있습니다. 기존의 구조들은 이러한 보장을 얻기 위해 순환 업데이트에 제약을 가하는 경우가 많아 평형 상태에서 사용 가능한 변환을 제한했습니다. 이는 핵심적인 질문을 제기합니다: IGNN이 평형 정식화의 고유한 강점을 유지하면서 더 풍부한 엣지 의존적 변환을 통해 표현력을 얻을 수 있을까요? 본 논문에서는 적응형 신경 층(neural-sheaf) 전파를 갖춘 준동차(subhomogeneous) 심층 평형 아키텍처인 SheafDEQ를 소개합니다. 학습된 행렬 값 층 제한 사상(sheaf restriction map)은 이웃한 표현들을 정렬, 혼합 또는 반전시킬 수 있습니다. 완만한 정칙성 조건 하에서, SheafDEQ가 임의의 양의 초기 상태로부터 고정점 반복을 통해 전역적으로 도달 가능한 유일한 평형점을 가짐을 증명합니다. 나아가 축약성(contractivity)은 유계된 통신 지연(staleness) 하에서도 수렴을 보장합니다. 본 연구는 반복적인 비국소적 집계가 필요한 분산 추론(inference) 태스크와 연결 재구성이 점차 커뮤니티 간 상호작용을 선호하게 되는 커뮤니티 탐지 태스크에서 SheafDEQ를 평가합니다. SheafDEQ는 Sums, MNIST Terrain, Coordinates 태스크 및 연결성이 점차 이종친화적(heterophilic)으로 변하는 커뮤니티 탐지에서 암시적 베이스라인보다 향상된 성능을 보입니다. 또한 SheafDEQ는 평형 보장이 없는 순환 모델들과 비교해도 경쟁력을 유지합니다. 연속 반복 진단 결과 유한 구간(finite-horizon) 대조군과 달리 100회 반복까지 잔차가 감소하고 테스트 정확도가 유지됨을 확인하였으며, 지연 업데이트 실험에서는 유계된 통신 지연에 대해 낮은 민감도를 나타냈습니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
LatentFlow: 분자 그래프 신경망의 잠재 공간 분석을 위한 시각 분석
LatentFlow: Visual Analytics for Latent Space Analysis in Molecular Graph Neural Networks
화학자와 재료 과학자들은 분자의 성질과 반응 결과를 예측하기 위해 그래프 신경망(GNN)과 같은 머신러닝 모델을 점점 더 많이 사용하고 있다. 예측 성능을 넘어, 이러한 모델이 잠재 공간, 즉 분자의 임베딩(embedding) 내부에서 화학 정보를 어떻게 조직하는지 이해하는 것이 중요하다. 잠재 공간 분석은 모델 동작을 진단하고, 학습된 임베딩이 의미 있는 화학적 관계를 반영하는 방식으로 조직되어 있는지 평가하는 데 도움이 된다. 불행히도, 기존 방법들은 층과 다양한 모델 상태(예: 학습 에포크, 모델 구성, 입력 데이터)에 걸친 잠재 공간 분석을 제한적으로만 지원하여, 이러한 잠재 공간이 모델 전반에 걸쳐 어떻게 진화하는지 또는 화학적 개념과 어떻게 연관되는지 이해하기 어렵다. 우리는 분자 GNN의 잠재 공간을 분석하기 위해 도메인 전문가와 협력하여 개발한 시각 분석 시스템인 LatentFlow를 제시한다. LatentFlow는 임베딩을 클러스터로 그룹화하고, 수정된 Sankey 다이어그램을 사용하여 층과 모델 상태에 걸쳐 이러한 클러스터가 어떻게 변하는지 추적함으로써 잠재 공간의 탐험을 지원한다. 해석을 지원하기 위해 LatentFlow는 이러한 클러스터를 대표 분자와 그들의 공유 부분구조에 연결하고, 과학자들이 자신의 도메인 지식을 도입하여 잠재 공간에서 발견된 패턴과 비교할 수 있게 한다. 우리는 두 가지 사례 연구를 통해 LatentFlow를 평가한다. 결과는 LatentFlow가 과학자들이 잠재 공간이 어떻게 진화하는지 이해하고, 의미 있는 분자 패턴을 식별하며, 모델 동작을 더 잘 해석하도록 돕는다는 것을 보여준다.
공변 직접 분자 힘 학습을 통한 그래프 이론적 신경망 분할: 플럭셔널 계에서 결합 클러스터 정확도 AIMD 실현
Graph-Theoretic Neural Network Fragmentation with Covariant Direct Molecular Force Learning: Enabling Coupled-Cluster Accuracy AIMD for Fluxional Systems
복잡하고 플럭셔널(fluxional)한 화학 계에 대한 정확한 ab initio 분자 동역학(AIMD) 시뮬레이션은 상관 전자 구조 방법의 높은 계산 스케일링으로 인해 심각하게 제한된다. 이 병목을 극복하기 위해, 우리는 기계학습과 통합된 견고한 그래프 이론적 분자 분할 프레임워크를 제시하며, 이를 통해 결합 클러스터(coupled cluster) 정확도로 Hartree-Fock 이후 핵력을 직접 모델링한다. 학습된 에너지 표면에 대한 자동 미분이 link-atom Jacobian에서 어려움을 겪을 수 있는 한계를 우회하여, 본 접근법은 핵력 벡터를 직접 예측한다. 이 벡터들을 단편(fragment) 고정 관성 주축에 투영함으로써, 회전·병진·치환 불변성을 자연스럽게 보존하는 공변(covariant) 기술자(descriptor)를 확립한다. 이 방법론은 학습 가능 매개변수를 한 자릿수 이상 줄이는 벡터값 학습 프로토콜을 통해 탁월한 매개변수 효율을 달성하며, 비지도 미니배치 k-means 공간 테셀레이션 알고리즘이 참조 구성(configuration)의 10%에서 20%만을 사용하여 매우 대표적인 학습 데이터베이스를 구성한다. 우리는 고도로 플럭셔널한 용매화 Zundel 양이온 H_{13}O_6^+에 대해 이 프레임워크를 엄격하게 검증했다. 완전히 기계학습으로 예측된 AIMD 궤적은 방사형 분포 함수(radial distribution function)와 속도 자기상관(velocity autocorrelation) 파워 스펙트럼을 포함한 복잡한 동역학적 특징과 핵심 구조적 특성을 성공적으로 재현했다. 궁극적으로, 이 확장 가능하고 체계적으로 개선 가능한 프레임워크는 고수준 상관 파동함수 이론과 장시간 스케일 반응성 샘플링 사이의 격차를 메우며, 현대 화학 동역학 시뮬레이션에서 LLM에서 영감을 받은 고급 전이학습(transfer learning)의 기반을 마련한다.
HierarchicalDAEW: H&E 조직병리학으로부터 다중 섹션 공간 유전자 발현 예측을 위한 증거적 불확실성을 갖춘 도메인 인식 엣지 가중 그래프 합성곱
HierarchicalDAEW: Domain-Aware Edge-Weighted Graph Convolution with Evidential Uncertainty for Multi-Section Spatial Gene Expression Prediction from H&E Histology
공간 전사체학(spatial transcriptomics) 분석은 여전히 비용이 많이 들고 기술적으로 까다로워, 전사체 전체 프로파일링을 전문 환경에만 국한시키고 일상적인 임상 적용을 막고 있다. H&E 조직병리학으로부터 공간적으로 분해된 유전자 발현을 예측하면 이 격차를 메울 수 있지만, 현재 방법들은 대체로 기저 조직 구조를 무시하고 예측을 얼마나 신뢰할 수 있는지 거의 정량화하지 않는다. 우리는 HierarchicalDAEW를 제안하며, 이는 두 격차를 모두 해결하는 이중 그래프 아키텍처이다. spot 그래프에서는 도메인 인식 엣지 가중 합성곱 연산자가 Leiden 클러스터링에서 도출된 도메인 간, 도메인 내, 경계 엣지에 대해 별도의 투영을 학습하여, 모델이 조직 이질성을 암묵적 신호가 아니라 명시적 구조적 신호로 다루게 한다. 두 번째 유전자 수준 그래프는 STRING-DB의 단백질-단백질 상호작용 사전(prior)과 조직 특이적 공발현을 학습된 어텐션 게이팅으로 융합하여, 랜드마크 유전자 집합에서 더 넓은 유전자 패널로 예측을 전파한다. 신뢰성은 증거적 불확실성 추정(evidential uncertainty estimation)으로 처리되며, 동일한 조건에서 Monte Carlo 드롭아웃보다 훨씬 더 잘 보정된 신뢰구간을 산출한다. 유방, 대장, 전립선, 소뇌 조직에 걸친 6개의 human Visium 섹션과 13개의 공개 베이스라인을 대상으로 한 결과, HierarchicalDAEW는 실측 발현과 가장 강한 상관을 달성했으며, 다중 시드 재현성 검증과 위치적 지름길을 배제하는 음성 대조군에서도 이득이 유지된다. Ablation은 도메인 인식 엣지 유형화와 계층적 깊이가 모두 이 개선에 필요함을 추가로 확인했으며, 보정된 불확실성 추정은 임상 조치 전 병리의사 검토를 위해 낮은 신뢰도 예측을 식별한다.
LATTICE: 다중모달 공간 오믹스 통합을 위한 그래프 자기지도 학습
LATTICE: Graph Self-Supervised Learning for Multimodal Spatial Omics Integration
공간 해상도 오믹스 연구에서는 전사체(transcriptomic) 및 후성유전체(epigenomic) 분석을 점점 더 결합하고 있지만, 하위 분석은 여전히 단일 모달리티 파이프라인으로 수행되는 경우가 많다. 본 논문은 LATTICE(Latent Alignment of Tissue-level and Transcriptomic Information for Cross-modal Embedding)를 제안한다. 이는 조화화된 다중모달 특징으로부터 spot 수준 표현을 학습하는 그래프 기반 자기지도 프레임워크이다. LATTICE는 Visium spot당 다섯 개의 정렬된 모달리티 블록을 통합한다: Visium RNA, scMultiome RNA, scMultiome ATAC, spatial ATAC, spatial CUT&Tag. 이러한 모달리티는 통합된 격자(lattice) 표현 안에서 공간 전사체 측정값, 단일세포로 추론한 조절 활성, in situ 크로마틴 및 히스톤 상태를 포착한다. LATTICE는 공간 이웃 그래프를 구성하고, 마스킹 재구성, 교차 모달 정렬, 공간 평활성 목표를 사용해 TransformerConv 인코더를 학습한다. 비식별화된 임상 협력 기관의 사유 11-샘플 흑색종 코호트(총 54,912 spots)에서 LATTICE는 안정적인 최적화 동작, 분석 시드 간 재현 가능한 임베딩, 모든 샘플에 걸친 완전한 다중모달 통합을 보였다. Visium RNA 단독에 scMultiome RNA를 추가하면 11회 실행 전반에서 Space Ranger 클러스터와의 일치도가 크게 향상되었다(조정 랜드 지수[ARI] +0.157, 정규화 상호정보량[NMI] +0.143, 공간 연속성 +0.174). 추가 모달리티는 공간 연속성과 다중모달 유틸리티 점수(MUS)를 더욱 개선했지만, 때로는 RNA 유래 참조 라벨과의 일치도를 낮추기도 했으며, 이는 학습된 임베딩이 전사체 유사성만을 넘어서는 크로마틴 및 조절 구조를 포착했기 때문으로 보인다. 이러한 결과는 LATTICE를 다중모달 공간 오믹스 통합을 위한 실용적이고 경험적으로 뒷받침되는 프레임워크로 자리매김하는 동시에, 더 강한 지도(supervision)와 더 넓은 외부 벤치마킹의 필요성을 부각한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.