PyTorchKR Papers

최신 논문

총 3,895편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13444v1cs.LG

그래프 신경망과 자기 학습을 이용한 노드 속성 네트워크 클러스터링

Clustering Node Attributed Networks with Graph Neural Networks and Self Learning

노드 속성과 네트워크 구조를 모두 활용하는 비지도 그래프 신경망(GNN) 기반의 자기 학습 프레임워크를 통해 노드 속성 네트워크 클러스터링을 수행한다. 합성 데이터에서는 네트워크나 속성만 고려한 기존 알고리즘보다 우수한 성능을 보이며, 실제 데이터에서도 최신 방법과 경쟁력 있는 결과를 달성한다.

arXiv:2606.13119v1cs.LG

MP3: 시공간 예측을 위한 다중 주기 패턴 사전학습

MP3: Multi-Period Pattern Pre-training forSpatio-Temporal Forecasting

공간-시간 예측에서 유사한 입력이 다른 미래를 초래하는 시간적 신기루 문제를 해결하기 위해, 다중 주기 패턴 학습을 기반으로 한 MP3 사전학습 플러그인을 개발했다. 이 방법은 기존 STGNN 백본에 통합되어 5개의 실제 데이터셋에서 평균 MAE 4.7% 및 RMSE 5.0%의 성능 향상을 달성했다.

arXiv:2606.12867v1cs.LG

SMGFM: 멀티모달 속성 그래프를 위한 스펙트럴 멀티모달 그래프 사전학습

SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

멀티모달 속성 그래프(MAG)에서 구조 유도 의미와 모달 고유 의미의 차이를 해결하기 위해, 그래프 주파수 변이를 사전 지식으로 활용하여 신호를 주파수 대역으로 분해하고 토폴로지 조건부 라우팅을 수행하는 스펙트럴 멀티모달 그래프 사전학습(pre-training) 프레임워크인 SMGFM을 제안한다. 이 방법은 다양한 MAG 데이터셋에서 그래프 및 모달 수준 작업에 대해 최첨단 성능을 달성했다.

arXiv:2606.12863v1cs.LG

멀티모달 그래프 네거티브 러닝

Multimodal Graph Negative Learning

멀티모달 속성 그래프에서 노드별 브랜치 의미 불균형으로 인한 편향 전파 문제를 해결하기 위해, 노드가 속하지 않을 클래스를 학습시키는 그래프 인식 네거티브 러닝 프레임워크인 GraphMNL을 제안한다. 해당 방법은 Grocery 및 Reddit M 데이터셋에서 각각 72.47% 정확도와 76.60 F1 점수를 기록하며 최고 성능을 달성했다.

arXiv:2606.12687v1cs.LG

예측은 귀속이 아니다: 그래프 기반 신경 마케팅 믹스 모델에서 디코더 우회 현상의 국소화

Forecasting Is Not Attribution: Localizing Decoder Bypass in Graph-Based Neural Marketing Mix Models

마케팅 믹스 모델(MMM)에서 낮은 예측 오차가 귀속(attribution)의 신뢰성을 보장하지 않는다는 문제를 지적하고, 디코더가 그래프를 우회하는 현상을 방지하는 DICE-MMM 진단 및 학습 프레임워크를 제시한다. 이 방법은 그래프 복구와 예측 정확도를 분리하여 평가함으로써 기존 방법보다 안정적인 그래프 복구 성능을 달성한다.

arXiv:2606.12673v1cs.LG

노드 재구성 기반 제로샷 일반화 그래프 이상 탐지 프레임워크

A Zero-shot Generalized Graph Anomaly Detection Framework via Node Reconstruction

데이터셋 특정 의존성으로 인한 일반화 한계를 극복하기 위해 AlignGAD라는 제로샷 일반화 그래프 이상 탐지 프레임워크를 제안한다. 글로벌 통합, 클러스터링, 노드 불일치 점수 모듈을 통해 이질적 특징을 정렬하고 재구성 불일치를 측정하여 볼 수 없는 타겟 그래프에서의 효과를 입증했다.

arXiv:2606.12651v1cs.LG

물리 인식 보조 손실이 GNN 합성 가능성 필터의 분포 외 일반화를 개선한다

Physics-Aware Auxiliary Losses Improve Out-of-Distribution Generalization of a GNN Synthesizability Filter

기존 통계 기반 합성 가능성 필터의 분포 외(OOD) 성능 저하 문제를 해결하기 위해, 그래프 신경망(GNN)에 물리적 사전 지식을 보조 손실로 추가했습니다. 이를 통해 OOD 일반화 성능을 통계적으로 유의미하게 개선하면서도 분포 내 성능은 유지하는 결과를 확인했습니다.

arXiv:2606.12494v1cs.LG

Net-Ev$^2$: 네트워크 이벤트 진화를 위한 생성형 시뮬레이터

Net-Ev$^2$: A Generative Simulator for Network Event Evolution

네트워크 이벤트의 구조적 속성과 의미를 동시에 모델링하는 기존 방법의 한계를 극복하기 위해, Net-Ev$^2$는 구조 안내 마스크 사전학습과 위상 인식 디퓨전 프로세스를 결합한 생성형 시뮬레이터를 제안한다. 이 방법은 자연어 이벤트 입력만으로 네트워크 토폴로지를 보존하며 이벤트 전파를 시뮬레이션할 수 있어 최신 수준의 성능과 강력한 일반화 능력을 보인다.

arXiv:2606.12077v1cs.LG

멀티스케일 리저버 역학과 그래뉼러 볼 앵커 그래프 최적화를 이용한 효율적인 시계열 클러스터링

Efficient Time Series Clustering from Multiscale Reservoir Dynamics with Granular-Ball Anchoring Graph Optimization

시계열 클러스터링은 클러스터링 유효성과 계산 효율성 사이의 본질적인 상충 관계로 인해 여전히 어려운 문제로 남아 있습니다. 유사도 기반 방법은 쌍별 거리 계산으로 인한 이차 복잡도 문제를 겪는 반면, 심층 학습 기반 접근법은 일반적으로 비용이 많이 드는 반복 학습과 다수의 학습 가능한 파라미터에 의존합니다. 본 논문에서는 MSRGC-Net, 즉 멀티스케일 리저버 컴퓨팅, 그래뉼러 볼 기반 앵커 그래프 구성, 그리고 컨센서스 학습을 통합하는 효율적인 시계열 클러스터링 프레임워크를 제안합니다. MSRGC-Net은 역전파 없이 원본 시계열에서 멀티스케일 시간 표현을 추출하기 위해 학습 불필요(training-free) 리저버 컴퓨팅 패러다임을 채택하여, 계산 오버헤드를 크게 줄입니다. 결과 표현의 내재 구조를 포착하기 위해, 그래뉼러 볼 컴퓨팅을 사용하여 밀도 일치 영역을 통해 데이터 분포를 적응적으로 모델링함으로써, 컴팩트하고 견고한 앵커 그래프 표현을 생성합니다. 또한, 멀티스케일 리저버 표현을 효과적으로 정렬하고 시간 스케일 간의 상보적 정보를 통합하기 위해 컨센서스 기반 앵커 그래프 최적화 전략을 도입합니다. 널리 사용되는 단변량 및 다변량 벤치마크 데이터셋에 대한 광범위한 실험을 통해, MSRGC-Net이 우수한 계산 효율성을 유지하면서도 클러스터링 성능 면에서 최신 기법(state-of-the-art)을 일관되게 능가함을 입증합니다.

arXiv:2606.11946v1cs.DB

뉴로-관계 프로그램: 구조화 데이터에 대한 쿼리와 신경 계산의 통합

Neuro-Relational Programs: Unifying Queries and Neural Computation over Structured Data

관계형 데이터베이스에 대한 심층 학습의 기존 접근법은 그래프 신경망(GNN)과 같은 신경 모델을 데이터베이스의 그래프 표현에 적용한다. 최근 접근법은 대신 데이터베이스를 직접 다루며, 튜플에 임베딩을 연관시키고 쿼리 메커니즘을 확장하여 임베딩과 관계형 내용을 함께 처리한다. 이러한 발전에 영감을 받아, 우리는 각 사실에 수치 벡터 임베딩이 부여된 관계형 데이터베이스를 위한 선언적 쿼리 언어인 뉴로-관계 프로그램(NRP)을 제안한다. NRP는 임베딩을 결합·집계·변환하는 연산으로 Datalog 스타일 규칙을 확장하여, 단일 형식 체계 안에서 관계형 추론과 학습 가능한 신경 구성요소를 교차한다. 이를 통해 관계형 데이터에 대한 신경 계산의 일반적 접근이 가능해지며, NRP는 학습 가능한 구성요소를 갖는 쿼리 계획이면서 동시에 관계 구조가 내장된 신경 아키텍처로도 읽을 수 있다. NRP의 자연스러운 구문적 단편은 기존 아키텍처와 쿼리 형식 체계를 특수 사례로 포괄한다. 0-원 NRP는 비적응적 쿼리 알고리즘에 대응하고, 단항 NRP는 GNN 스타일 메시지 패싱을 일반화하며 Deep Homomorphism Networks를 정확히 포착한다. 이 연결은 row-id를 갖는 데이터베이스 위의 frontier-guarded NRP까지 확장한다. 렐루-FFN 변환을 갖는 비제한 NRP의 표현력은 FOCQ로 특성화되는데, FOCQ는 실수 가중 구조 위에서 해석되는 계수를 포함한 일계논리의 확장이며, 순서가 있는 데이터베이스 위의 uniform TC$^0$와의 정확한 연결을 이끌어낸다. 이러한 결과를 종합하면 NRP는 관계형 데이터에 대한 쿼리와 신경 계산을 위한 포괄적인 선언적 프레임워크로 자리매김한다.

arXiv:2606.11870v1cond-mat.mtrl-sci

불확실성 인식 신경망을 이용한 자성 재료 물성 모델링

Modelling magnetic material properties with uncertainty-aware neural networks

머신러닝은 넓은 조성 및 구조 설계 공간을 탐색함으로써 신규 재료 발견을 가속하는 데 점점 더 널리 적용되고 있다. 그러나 고품질 데이터의 부족과 분포 밖(out-of-distribution) 예측이 빈번히 필요하다는 점은 상당한 불확실성을 초래하며, 이에 따라 모델 신뢰성 평가가 필수적이다. 본 연구에서는 영구 자석 연구 맥락에서 모델 신뢰도를 평가하는 수단으로서 불확실성 정량화(uncertainty quantification)를 조사한다. 첫 번째 연구에서는 고유 자성 특성을 예측하기 위해 고전적 및 현대적 머신러닝 모델을 벤치마크하고, 그 불확실성 추정의 품질에 초점을 맞춘다. 예측 불확실성을 추정하기 위한 실용적 전략으로 가우시안 음의 로그-가능도(negative log-likelihood) 손실과 드롭아웃 기반 베이지안 근사를 적용한다. 두 번째 연구에서는 불확실성 추정을 위한 이러한 아키텍처 특성을 더 복잡한 과제, 즉 그래프 신경망(graph neural network)을 사용해 미세구조 정보로부터 보자력(coercivity)을 예측하는 작업으로 이전한다. 이 두 연구는 불확실성 정량화가 예측의 신뢰성을 높일 뿐만 아니라 서로 다른 모델링 과제 간에도 전이 가능함을 보여준다.

arXiv:2606.11674v1cs.SD

SpAArSIST: 효율적이고 신뢰할 수 있는 스푸핑 방지를 위한 희소화된 AASIST

SpAArSIST: Sparsified AASIST for Efficient and Reliable Anti-Spoofing

우리는 자기지도 학습(SSL) 기반 스푸핑 방지(anti-spoofing)를 위해 널리 사용되는 AASIST 그래프 풀링(pooling) 백엔드의 배포 지향적 개선안인 SpAArSIST를 제안합니다. 공개 구현체의 중복 연산에서 착안하여, 학습 가능한 풀링과 스택 노드 어텐션(attention)을 명시적이고 가벼운 선택지로 대체했습니다: 분리된 학습 및 추론(inference) 그래프 풀링 비율 $(k_{\mathrm{tr}},k_{\mathrm{inf}})$, 크기 기반 노드 스코어링, 그리고 그래프 노드의 평균 집계입니다. 최상의 전체 구성(rank 1)은 백엔드 연산량을 20.7% (195.045M $\rightarrow$ 154.706M MACs) 감소시키고 모델 크기를 4.1% (611.8k $\rightarrow$ 586.4k params) 줄이는 동시에, In-the-Wild 데이터셋에서의 도메인 외(OOD) 견고성을 2.82% EER 및 0.078 minDCF(기존 4.64% 및 0.133)로 개선했으며, ASVspoof5에서도 경쟁력 있는 성능을 유지했습니다. 또한, 균형 잡힌 배포 지향적 모델 선택을 지원하기 위해 정확도, 보정(calibration), 연산량을 요약하는 복합 선택 점수를 제공합니다.

arXiv:2606.11663v1cs.SI

그래프 어텐션 네트워크와 혼합 밀도 네트워크를 이용한 확률적 급여 예측

Probabilistic Salary Prediction with Graph Attention Networks and a Mixture Density Network

정확한 급여 예측은 현대 노동 시장에서 고용주와 구직자 간의 정보 격차를 해소하는 데 필수적입니다. 기존 접근법은 주로 단일 점 추정치를 산출하며, 위치, 직업, 산업과 같은 직무 속성을 독립적인 범주형 특징으로 취급합니다. 이는 실제 보상 데이터의 본질적인 불확실성과 다중 모드성(multi-modality), 그리고 임금 기준을 지배하는 풍부한 계층적 및 의미적 유사성 관계를 무시하는 문제가 있습니다. 본 논문에서는 이러한 두 가지 제한 사항을 동시에 해결하는 통합 프레임워크인 GAT-MDN을 제안합니다. 세 가지 속성 도메인 각각에 대해, 엣지가 (i) 계층적 부모-자식 포함 관계와 (ii) 사전 학습된 Sentence-Transformer에서 파생된 가중치 유사성 연결을 인코딩하는 도메인별 그래프를 구성합니다. 엣지 특징을 인식하는 어텐션(edge-feature-aware attention)을 갖는 병렬 그래프 어텐션 네트워크(GAT)는 이러한 다중 관계형 그래프에서 풍부하고 문맥에 민감한 노드 표현을 학습합니다. 그 후 우선순위 기반 계층적 선택 모듈은 누락되거나 상위 수준의 속성을 적절히 처리하는 복합 특징 벡터를 조립하며, 혼합 밀도 네트워크(MDN) 헤드는 이 벡터를 가우시안 혼합 모델(GMM)의 파라미터로 매핑하여 전체 조건부 급여 분포를 도출합니다. 100만 개 이상의 기록을 포함하는 실제 네덜란드 구인 게시 데이터셋에 대한 광범위한 실험을 통해, GAT-MDN이 음의 로그 가능도(NLL)와 평균 제곱 오차(MSE) 측면 모두에서 그래프를 사용하지 않는 MLP-MDN 기준선(baseline)을 유의미하게 능가함을 입증했습니다.

arXiv:2606.11640v1cs.LG

TAROT: 퓨샷 테이블 데이터 학습을 위한 LLM 사전 그래프의 작업 적응형 정제

TAROT: Task-Adaptive Refinement of LLM-prior Graphs for Few-shot Tabular Learning

퓨샷(few-shot) 테이블 데이터 학습은 주석(annotation) 비용이 높고 새로운 작업에 대한 충분한 샘플 수집이 어려운 실제 애플리케이션에 비용 효율적인 접근 방식을 제공합니다. 기존의 전통적인 방법과 대규모 언어 모델(LLM) 기반 방법은 퓨샷 시나리오에서 효과성을 입증했습니다. 그러나 전통적인 방법은 레이블이 없는 데이터나 생성된 데이터에 대한 추가 학습(training)이 필요하므로 상당한 계산 오버헤드가 발생합니다. 또한, 원시 테이블 데이터를 LLM에 직접 입력하는 LLM 기반 방법은 프라이버시 및 규정 준수에 대한 우려를 야기합니다. 더 중요한 것은, 두 패러다임 모두 의미론적 그래프(semantic graph)를 구성하기 위한 구조적 및 의미론적 사전 정보(prior)를 제공하는 특징(feature) 간의 의미론적 관계를 대부분 간과한다는 점입니다. 의미론적 그래프는 퓨샷 시나리오에서 의미 있는 특징 간 상호작용을 모델링하는 데 필수적입니다. 본 논문에서는 TAROT를 제안합니다. TAROT는 그래프 신경망(GNN) 기반 프레임워크로, 이 사전 정보로부터 작업 적응형 의미론적 그래프를 구성하고 정제(refinement)하여 구조적 및 의미론적 사전 정보를 인코딩함으로써 퓨샷 테이블 데이터 학습에서의 예측 성능을 향상시킵니다. TAROT는 먼저 통합 의미론적 테이블 노드 인코더(Unified Semantic Tabular Node Encoder, USTNE)를 통해 이질적인 테이블 데이터를 통합된 노드(node) 의미 표현으로 인코딩합니다. 그런 다음, 작업 설명과 특징 이름을 기반으로 특징 간의 의미론적 관계를 추론하도록 LLM에 프롬프트를 주어 의미론적 그래프를 구성합니다. LLM의 환각(hallucination)으로 인해 발생하는 구조적 노이즈를 완화하기 위해, TAROT는 작업 적응형 의미론적 그래프 정제(Task-adaptive Semantic Graph Refinement)를 도입하여 가짜이거나 작업과 무관한 엣지를 제거하고 누락된 작업 관련 엣지를 추가함으로써 그래프 구조를 다운스트림 목적에 정렬합니다. 마지막으로, GNN은 정제된 그래프에서 메시지 전달(message passing)을 수행하여 예측을 위해 작업 관련 의미론적 의존성을 포착합니다. 다양한 퓨샷 테이블 데이터 학습 벤치마크(benchmark)에 대한 광범위한 실험을 통해 TAROT의 우수한 성능을 입증하였으며, 이를 통해 해당 분야에서 최첨단(SOTA) 접근 방식으로 자리매김했습니다.

arXiv:2606.11605v1cs.LG

대규모 언어 모델을 활용한 물리학 기반 증류 신경망을 통한 제조 공정-특성 예측 모델링

Physics-Distilled Neural Network enabled by Large Language Models for Manufacturing Process-Property Predictive Modeling

제조 분야에서 공정-특성 관계를 예측하는 것은 종종 높은 실험 비용과 복잡한 '블랙박스' 모델의 제한된 해석 가능성으로 인해 어려움을 겪습니다. 본 논문은 데이터가 부족한 상황에서 높은 정확도의 예측을 달성하도록 설계된 새로운 지식 증류 프레임워크를 제안합니다. 이 프레임워크는 대규모 언어 모델(LLM)을 통해 과학 문헌에서 체계적으로 추출된 해석적 물리학 선행 지식(priors)을 특권 교사 모델(privileged teacher model)에 통합합니다. 우리는 엄격한 설정점(setpoints)이나 정적 및 고주파 시계열 서명의 조합을 나타내는 입력 변수 간의 복잡한 물리적 의존성을 포착하기 위해 그래프 마스킹 어텐션(Graph-Masked Attention) 층을 사용합니다. 이 특권 지식은 추론을 위해 경량화된 학생 예측기(student predictor)로 증류됩니다. 프레임워크의 타당성과 견고성은 5가지 다양한 제조 공정에 걸친 포괄적인 실험을 통해 평가됩니다. 작은 데이터셋 크기를 고려하여 통계적 신뢰성을 보장하기 위해, 반복 K-겹 교차 검증(repeated K-fold cross-validation) 기법을 사용하여 모델의 안정성과 일반화를 정량화합니다. 결과는 제안된 프레임워크가 평가된 모든 영역에서 일관되게 높은 예측 정확도를 달성함을 나타냅니다. 가장 중요한 것은, 아키텍처가 LLM에서 파생된 해석적 선행 지식이 최적이거나 완전하지 않은 시나리오에서도 견고한 예측 성능을 유지함으로써 상당한 내결함성(fault tolerance)을 보여준다는 점입니다. 또한, 학생 예측기는 6000 Hz를 초과하는 추론 주파수를 달성하여 표준 산업용 하드웨어에서 실시간 엣지 배포(edge deployment)를 용이하게 합니다. 이 연구는 데이터가 제한된 환경에서 이론 물리학과 실시간 산업 모니터링 사이의 격차를 해소하기 위한 확장 가능한 솔루션을 제공합니다.

arXiv:2606.11583v1cs.LG

황금 교사를 넘어: LLM-GNN 공동 교수법을 통한 그래프 학습 강화

Beyond the Golden Teacher: Enhancing Graph Learning through LLM-GNN Co-teaching

텍스트 속성 그래프(TAGs)는 인용 네트워크, 소셜 미디어, 전자상거래와 같은 실제 애플리케이션의 기반이 됩니다. TAGs에서의 퓨샷 그래프 학습은 어렵습니다: 클래스당 소수의 레이블만 있고 나머지 그래프는 주석이 달리지 않기 때문에, GNN이나 LLM 모두 단독으로는 잘 학습할 수 없습니다. GNN은 토폴로지를 읽지만 콜드 노드에서 실패하고, LLM은 텍스트를 읽지만 텍스트가 모호한 노드에서 실패합니다. 기존 LLM-GNN 방법들은 모두 동일한 방식을 따릅니다: 하나의 모델을 황금 교사로 지정하고 그 출력(예: 특징 또는 의사 레이블)을 사용하여 다른 모델을 감독합니다. 우리는 희소 감독 하에서는 이 황금 교사 가정이 깨진다고 주장합니다: 어느 모델도 황금 교사가 아니며, 그렇게 취급하면 맹점이 학생 모델로 전이됩니다. 따라서 우리는 묻습니다: 어느 모델도 황금 교사로 지정하지 않고도 효과적인 그래프 학습을 수행할 수 있을까요? 우리는 LLM-GNN 공동 교수법(Co-Teaching)으로 답합니다. 이는 어느 모델도 교사로 고정되지 않는 양방향 공동 교수법 프레임워크입니다. GNN과 LLM은 아키텍처별 작은 손실(small-loss) 기준에 따라 가장 확신 있는 의사 레이블을 교환하고, 매 라운드마다 둘 다 업데이트됩니다. 감독 신호는 궤적에서 추출됩니다: 노드가 라운드 t에서 모델 간 모순에서 라운드 t+1의 모델 간 일치로 이동할 때마다, 동일한 입력에 대한 LLM의 두 답변이 DPO 학습을 위한 선호 쌍(과거의 모순되는 자신 < 새로운 동료가 보증한 자신)을 형성합니다. 우리는 이를 라운드 기반 의사 레이블 선호 최적화(RPL-PO)라고 부릅니다. 6개의 벤치마크에서 LLM-GNN 공동 교수법은 GNN-as-Judge 및 모든 이전 방법을 일관되게 능가하며, Cora에서 7.86%, ogbn-arxiv에서 7.73%의 절대적인 3샷 성능 향상을 보였습니다; 개선 사항은 5샷 및 제로샷 데이터셋 간 전이로 이어집니다. 오류 구조 분석은 황금 교사 가정을 포기하는 것이 어려운 샘플에서 LLM의 그래프 학습 능력을 실질적으로 향상시킴을 추가로 보여줍니다.

arXiv:2606.11562v1cs.LG

GraphInfer-Bench: 그래프 상에서의 LLM 추론 능력 벤치마킹

GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs

그래프 분석은 단일 레코드에서 조회하거나 경로를 따라 검색할 수 없는 답을 요구하는 많은 응용 분야의 기반을 둡니다: 자금 세탁 조직, 약물 재목적화, 사용자 선호도, 과학적 주제는 모두 노드와 그 이웃을 함께 고려하여 추론됩니다. 우리는 LLM이 이러한 그래프 추론을 수행할 수 있는지 여부를 평가하는 벤치마크인 GraphInfer-Bench를 소개합니다: 이는 어떤 단일 노드에도 포함되지 않고 경로를 통해 검색되지 않는 개방형 답변을 생성하는 것입니다. 기존의 그래프 질의응답 프로토콜은 이 능력을 테스트할 수 없습니다: 알고리즘 시뮬레이션, 노드 분류, 단일 노드 설명, KG-QA, GraphRAG는 모두 하나의 노드나 경로에서 검색 가능한 답변을 가능하게 합니다. GraphInfer-Bench는 설명(영역이 무엇인지)과 비교(영역이 어떻게 다른지)를 따라 5가지 작업을 정의하며, 각 작업은 정답이 단일 노드에 존재하지 않도록 구성되었습니다. 이 릴리스는 6개의 실제 그래프에 걸쳐 42,000개의 샘플을 포함하며, 자동으로 생성되고 4계층 품질 관리 프로토콜을 통해 선별되었습니다. 우리는 동일한 작업에 대해 4가지 방법 계열을 평가합니다: 그래프-토큰 정렬 모델, 제로샷 최첨단 폐쇄형 LLM, Graph2Text 지도 미세조정, 그리고 구조적 참조로서의 순수 GNN입니다. 어떤 방법 계열도 격차를 해소하지 못했습니다. 그래프-토큰 정렬은 설명 작업(관계형, 주제)을 부분적으로 처리하지만 비교 작업에서는 실패합니다. 최첨단 LLM은 LLM 기반 방법 중 이상치 탐지와 커뮤니티 분할에서 앞서지만 마스크된 노드 예측에서는 뒤처집니다. Graph2Text SFT는 설명 측면에서 가장 강력한 LLM 기반 방법이지만 비교에서는 최첨단 LLM에 뒤처집니다. 모든 작업에 걸쳐, 순수 GNN은 가장 강력한 LLM 기반 방법과 대등하거나 이를 능가하며, 커뮤니티 탐지에서 가장 큰 마진으로 앞섭니다. GraphInfer-Bench는 그래프 추론이 특정 아키텍처의 속성이 아니라 해결되지 않은 능력 격차임을 드러냅니다.

arXiv:2606.11508v1cs.LG

멀티태스크 ADME 속성 예측을 위한 확률적 대조적 사전학습

Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction

흡수, 분포, 대사, 배설(ADME) 속성의 정확한 예측은 신약 개발에 매우 중요하지만, ADME 종점(endpoints)은 노이즈가 많고 상호 의존적이며 데이터가 부족한 경우가 많아 여전히 어려운 문제로 남아 있습니다. 우리는 화학 특화 자기 지도 학습(self-supervision)과 대조적 상호 정보 기계 학습(contrastive mutual information machine learning, cMIM)을 결합한 분자 그래프 트랜스포머(graph-transformer) 사전학습 프레임워크를 제안합니다. 본 방법은 분자 그래프를 잠재 변수로 인코딩하고 그래프 유래 잠재 코드에서 SMILES 문자열을 재구성하며, 도메인 특화 자기 지도 화학 작업을 통해 대조적 목적 함수(contrastive objective)를 보강합니다. 이러한 작업을 별도로 조정된 손실(loss) 가중치를 가진 보조 정규화기로 취급하는 대신, 재구성, 대조적 판별, 화학 특화 감독을 단일 확률적 잠재 변수 목적 함수 내의 단위 가중치 로그 확률 인자로 공식화합니다. 미세조정(fine-tuning)을 위해, 작업별 다층 퍼셉트론(multilayer perceptron) 헤드를 갖춘 멀티태스크 GNN 리드아웃 아키텍처를 제안하여, 공유 표현 학습을 유지하면서 네거티브 전이(negative transfer)를 완화하고 이질적이며 비선형인 작업 관계 모델링을 개선합니다. Biogen, ExpansionRX, ChEMBL-MT 데이터셋 전반에서, 결과적으로 생성된 Contrastive KERMT 사전학습은 KERMT 기준선(baseline) 대비 각각 7.6%, 9.9%, 9.5% 향상된 성능을 보였습니다(유의미하게 개선된 종점 평균). 사전학습 말뭉치에 ADME 인접 분자를 추가하면 전이 성능이 더욱 향상되며, 대조적 구성 요소는 화학적으로 의미 있는 잠재 이웃을 더욱 명확하게 구분합니다.

arXiv:2606.11382v1cs.LG

GLACIER: 분자 특성 예측을 위한 멀티모달 스튜던트-티처 파운데이션 모델

GLACIER: A Multimodal Student-Teacher Foundation Model for Molecular Property Prediction

심층 학습 모델은 수십억 개의 후보 화합물 중에서 맞춤형 특성을 가진 분자의 발견을 용이하게 합니다. 그러나 최첨단 모델을 개발하고 배포하는 계산 부하는 지속적으로 증가하여 확장성을 제한합니다. 대부분의 대규모 모델은 본질적으로 단일 모달(unimodal)이며, 상호 보완적인 분자 데이터 모달리티를 활용할 잠재력을 간과합니다. 이러한 단점을 해결하기 위해, 본 논문은 표현을 활용한 화학적 추론 및 탐험을 위한 그래프-언어 정렬(GLACIER) 모델을 소개합니다. 이는 분자 그래프, SMILES 문자열, 물리화학적 디스크립터를 통합하여 풍부한 분자 임베딩(embedding)을 학습하는 스튜던트-티처 프레임워크입니다. 우리의 프레임워크는 세 단계로 구성됩니다: (1) 100,000개의 약물 유사 분자에 대해 세 개의 스튜던트 인코더를 사전학습(pre-training)합니다: 분자 그래프용 메시지 전달 신경망, SMILES 문자열용 트랜스포머 기반 인코더, 물리화학적 디스크립터용 다층 퍼셉트론입니다. (2) 새로운 핀슬러 기하학 인식 모듈을 사용하여 이러한 스튜던트 모달리티를 융합하며, (3) 대조 학습(contrastive learning)을 통해 MiniMol 및 MolFormer를 포함한 대규모 티처 모델로부터 상호 보완적인 지식을 단일 경량화 모델로 증류(distillation)합니다. 우리는 GLACIER가 복잡한 분자 특성 예측 작업에서 높은 예측 성능과 계산 효율성을 제공하는 견고한 프레임워크임을 입증합니다. 우리의 코드는 https://github.com/eemokey/glacier에서 공개적으로 제공됩니다.

arXiv:2606.12153v1cs.CV

TopoCap: 단안 영상-애니메이션 변환을 위한 토폴로지 무관 모션 프라이어 학습

TopoCap: Learning Topology-Agnostic Motion Priors for Monocular Video-to-Animation

생성형 3D 에셋의 폭발적 증가는 애니메이션에 대한 막대한 수요를 만들었지만, 현재의 모션 캡처(motion capture) 방법은 여전히 취약하여 종별 특화 템플릿(예: SMPL)에 제한되거나 노동 집약적인 수동 리깅(rigging)을 요구한다. 본 논문은 TopoCap을 소개하는데, 이는 단안 비디오에서 모션을 추출하고 테스트 시점 최적화 없이 이족보행 동물부터 육각보행 동물(hexapod) 및 무생물 객체에 이르는 임의의, 보지 못한 골격 토폴로지를 가진 캐릭터에 리타겟팅(retargeting)할 수 있는 최초의 통합 프레임워크이다. 핵심 통찰은 골격 구조는 조합적(combinatorial)이고 이산적(discrete)인 반면, 모션의 기저 물리는 연속적이고 저차원 매니폴드(manifold)를 차지한다는 것이다. 이 통찰을 2단계 생성 파이프라인을 통해 구현한다. 먼저, 이질적인 운동학적 체인(kinematic chain)을 공유된 고정 길이 잠재 코드(latent code)로 압축하는 Graph CVAE를 사용하여 범용 모션 매니폴드(Universal Motion Manifold)를 학습한다. 타깃 리그(rig)의 구조적 임베딩(embedding)으로 디코더를 명시적으로 조건화함으로써, 모션 역학(motion dynamics)과 골격 토폴로지를 분리(disentangle)한다. 둘째, 비디오-애니메이션 변환을 조건부 flow matching 문제로 취급하여, 시각적 특징으로부터 이러한 토폴로지 무관 코드를 예측한다. 이 일반화된 프라이어를 학습하기 위해 Objaverse-XL에서 큐레이션한 대규모 데이터셋 Mobjaverse를 소개한다. 5,000개 이상의 고유 골격 토폴로지와 200만 프레임으로 구성되며, 기존 데이터셋의 구조적 다양성을 두 자릿수(order of magnitude) 초과한다. 광범위한 실험은 \MethodMotion이 인간 및 사족동물(quadruped) 벤치마크에서 전문(specialist) 모델을 능가하면서, 3D 생물의 롱테일(long tail)에 대해 제로샷(zero-shot) 리타겟팅을 가능하게 함을 보여준다. 데이터셋은 https://huggingface.co/datasets/duckduckplz/Mobjaverse 에서 공개적으로 이용 가능하다.