PyTorchKR Papers

최신 논문

총 3,895편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.25554v2cs.AI

PHGNet: 이종 시공간 예측을 위한 프로토타입 기반 초그래프 구축

PHGNet: Prototype-Guided Hypergraph Construction for Heterogeneous Spatiotemporal Forecasting

지능형 교통 시스템의 핵심 과제인 교통량 예측은 도시 교통 관리에서 결정적인 역할을 수행합니다. 정확한 교통량 예측은 복잡한 시공간적 의존성을 모델링하는 데 의존하지만, 교통 시스템 고유의 공간적 이질성으로 인해 이는 본질적으로 어려운 문제입니다. 상당한 발전에도 불구하고, 대부분의 기존 방법들은 여전히 쌍별(pairwise) 공간 의존성 모델링에 국한되어 있어 유사한 교통 패턴을 가진 노드 간의 동적인 고차 상호작용을 포착하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프로토타입 기반 초그래프(hypergraph) 구축에 기반한 새로운 시공간 예측 프레임워크인 PHGNet을 제안합니다. PHGNet의 핵심에서는 패턴이 유사한 노드들을 하이퍼에지에 적응적으로 할당하여 시간에 따라 변하는 구조를 가진 고차 상호작용을 포착하도록 프로토타입 학습 메커니즘을 설계했습니다. 동적 초그래프 구축의 신뢰성을 향상시키기 위해, 시간 일관적인 특징을 추출하는 글로벌-로컬 노드 표현 모듈을 추가로 개발했습니다. 예측 단계에서는 효율적인 병렬 디코딩을 지원하면서도 예측 정확도를 높이기 위해 반복적 잔차 정제(iterative residual refinement)와 시간 쿼리 어텐션(Temporal Query Attention)을 도입했습니다. 여러 실제 데이터셋을 활용한 광범위한 실험을 통해 PHGNet이 최신 기법들(state-of-the-art)에 비해 우수한 예측 성능을 달성함을 입증했습니다.

arXiv:2604.08295v4cs.AI

U-CECE: 개념적 반사실적 설명을 위한 범용 다중 해상도 프레임워크

U-CECE: A Universal Multi-Resolution Framework for Conceptual Counterfactual Explanations

AI 모델이 점차 복잡해짐에 따라 신뢰 구축을 위한 설명가능성(explainability)이 필수적이지만, 개념 기반 반사실적(counterfactual) 방법들은 여전히 표현력과 효율성 사이의 상충 관계(trade-off)에 직면해 있습니다. 기저 개념을 원자적 집합(atomic sets)으로 표현하는 것은 빠르지만 관계적 맥락을 놓치며, 완전한 그래프 표현은 더 충실하지만 NP-난해인 그래프 편집 거리(GED) 문제를 해결해야 합니다. 본 논문에서는 데이터 체제(data regime)와 연산 예산에 적응하는 개념적 반사실적 설명을 위한 통합형 모델 불가지론적(model-agnostic) 다중 해상도 프레임워크인 U-CECE를 제안합니다. U-CECE는 세 가지 수준의 표현력을 포괄합니다. 즉, 포괄적인 설명을 위한 원자적 개념, 단순한 상호작용을 위한 관계적 집합의 집합(sets-of-sets), 그리고 완전한 의미 구조를 위한 구조적 그래프입니다. 구조적 수준에서는 지도 학습 기반 그래프 신경망(GNN)을 활용하는 정밀도 지향 트랜스덕티브(transductive) 모드와 비지도 학습 기반 그래프 오토인코더(GAE)를 활용하는 확장 가능한 인덕티브(inductive) 모드를 모두 지원합니다. 구조적으로 상이한 CUB 및 Visual Genome 데이터셋에 대한 실험을 통해 각 수준별 효율성-표현력 상충 관계를 규명하였으며, 설문조사와 대규모 비전-언어 모델(LVLM) 기반 평가를 통해 CUB에서 검색된 구조적 반사실적 설명이 기준 결정론적 GED 기반 설명과 의미론적으로 동등하다고 평가되는 경우가 많고, 이를 능가하여 선호되기도 함을 입증했습니다.

arXiv:2312.11018v4cs.IR공식 코드 · Papers with Code

번들 추천을 위한 초그래프 강화 듀얼 합성곱 신경망

Hypergraph-Enhanced Dual Convolutional Network for Bundle Recommendation

번들 추천(Bundle recommendation)은 개별 아이템이 아닌 연관된 아이템들의 묶음을 순위화합니다. 번들 추천의 핵심 과제는 번들의 순위를 매기는 데 필요한 신호를 잃지 않으면서 사용자 선호도, 아이템 상호작용 및 번들 구성을 연결하는 것입니다. 본 연구에서는 사용자-번일, 사용자-아이템, 번들-아이템 상호작용과 사용자 내부 및 번들 내부 관계를 포함하는 완전 초그래프(complete hypergraph)를 구축하는 초그래프 강화 듀얼 합성곱 신경망(Hypergraph-Enhanced Dual Convolutional Neural Network, HED)을 제안합니다. HED는 완전 초그래프 전파를 사용자-번들 브랜치와 결합하여, 추천에 특화된 신호를 보존하는 동시에 아이템을 인식하는 고차 컨텍스트가 순위 산정에 반영되도록 합니다. NetEase 데이터셋에서 HED-128은 보고된 6개 지표 전반에 걸쳐 가장 강력한 기준선(baseline) 대비 5.04~6.97% 성능 향상을 달성했으며, Youshu에서는 HED-64가 1.87~4.56% 향상되었습니다. 절제 연구(ablation) 결과는 사용자-번들 브랜치와 유형 내부(intra-type) 관계 모두의 기여도를 뒷받침하며, 민감도 분석을 통해 주요 하이퍼파라미터의 안정적인 작동 범위를 확인했습니다. 또한 메모리 비용을 포함하여 완전 초그래프의 연산 트레이드오프를 정량화했습니다. 이러한 실증적 근거는 평가된 두 가지 번들 추천 데이터셋에서 HED의 우수성을 입증하는 동시에 자원 한계를 명확히 보여줍니다. 코드와 데이터셋은 논문 게재 시 공개될 예정입니다.

arXiv:2608.28733v2cs.RO

자기회귀 확산 모델을 통한 3D 장면 그래프 내 고수준 개념 생성

Generation of High-Level Concepts in 3D Scene Graphs via Autoregressive Diffusion

실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.

arXiv:2608.20980v2cs.LG

시공간 예측 벤치마크 데이터셋 및 모델에 대한 비판적 감사

A Critical Audit of Spatiotemporal Forecasting Benchmark Datasets and Models

그래프 신경망(GNN)은 시공간 예측(spatiotemporal forecasting)에 일상적으로 활용되고 있으나, 널리 사용되는 벤치마크 데이터셋 전반에서 일관되지 않은 성능을 보입니다. 본 연구에서는 벤치마크의 품질과 이로부터 도출된 결론의 강건성(robustness)을 평가하기 위해 데이터셋 특성과 기준선 모델에 대한 감사를 수행합니다. 고전 통계 도구를 활용하여 벤치마크 내 시공간 시차 의존성(spatiotemporal lagged dependencies)을 특성화하고, 시간 차분(temporal differencing)이 이러한 관계를 어떻게 변화시키며 모델 순위에 어떠한 영향을 미치는지 조사합니다. 이를 바탕으로 시간 선형 기준선을 재평가한 결과, 여러 벤치마크에서 GNN의 겉보기 성능 향상이 크게 감소했으며 다른 벤치마크에서는 GNN을 능가하기도 했습니다. GNN이 선형적인 노드별 신호를 추출하는 데 어려움을 겪는다는 점에 착안하여, 자기회귀 잔차(autoregressive residuals)를 공급했을 때 특히 비교통(non-traffic) 벤치마크에서 GNN의 성능이 향상됨을 확인했습니다. 마지막으로 통제된 합성 실험을 통해 GNN이 시간적 역학(temporal dynamics)과 공간 그래프 상호작용의 이질성에 민감하다는 점을 밝혔습니다. 종합적으로 본 연구 결과는 기준선 설정, 데이터 전처리, 시스템 이질성이 벤치마크 순위에서 도출되는 해석을 좌우함을 입증하며, 향후 GNN의 설계와 강건한 평가를 위한 통찰을 제공합니다.

arXiv:2605.23753v2cs.LG

SeedER: 효율적인 지식 그래프 검색을 위한 시드-확장-검색 기법

SeedER: Seed-Expand-Retrieve for Efficient Knowledge Graph Retrieval

지식 그래프(KG)는 관계형 지식을 풍부하게 표현하지만, 불규칙한 구조로 인해 검색에 어려움이 따릅니다. 에고 그래프(ego-graph) 확장은 급격히 증가하며, 조밀한 임베딩(dense embedding) 방식은 다중 홉(multi-hop) 합성 쿼리 처리에 한계를 보입니다. 여러 접근 방식에서는 대규모 언어 모델(LLM) 에이전트를 활용해 KG를 탐색하고 후보 노드를 분석하여 다음 탐색 위치를 결정합니다. 이러한 접근법은 표현력이 뛰어나지만 상당한 계산 및 메모리 비용을 초래할 수 있습니다. 반면, 본 연구에서는 구조를 보강하고 이웃 인지 특성을 반영하더라도 그래프 노드에 대해 사전 계산된 조밀한 임베딩이 일련의 지식 그래프 쿼리에 답하기 위해 그래프 크기에 필적하는 임베딩 차원을 요구할 수 있음을 이론적으로 보입니다. 이러한 한계는 특정 조건에서 쿼리 적응형 임베딩을 통해 극복할 수 있으며, 이를 수행할 수 있는 그래프 신경망(GNN) 변형들이 존재합니다. 그러나 GNN으로 전체 그래프를 처리하는 것 역시 상당한 메모리와 계산 비용을 발생시킬 수 있으며, 각 노드가 쿼리에 답하는지 여부를 나타내는 조밀한 정답 라벨이 필요합니다. 앵커 노드 주변의 단순한 $k$-홉 선택 또한 문제가 될 수 있습니다. 작은 $k$는 탐색 가능한 노드를 제한하며, 3이나 4와 같은 작은 $k$ 값에서도 $k$-홉 서브그래프는 크게 증가할 수 있습니다. 본 연구에서는 메모리와 계산 부담이 훨씬 적고, 1단계 검색기(first-stage retriever)로서 추론 시 CPU에서 실행 가능하며, 학습 중 한 번에 소수의 노드에 대한 피드백만 필요로 하는 그래프 트랜스포머(Graph Transformer) 및 강화학습 기반의 새로운 접근 방식을 고안합니다. 우리는 이 방식이 KG에서 정보를 검색하기 위해 LLM을 파인튜닝하는 방식들과 견줄 만한 성능을 보임을 입증합니다. 본 연구의 방법을 SeedER(Seed-Expand-Retrieve)이라 부르며, 적은 계산 자원으로도 실행 가능한 1단계 검색기로 주로 활용될 수 있도록 자리매김합니다.

arXiv:2610.02517v1cs.LG

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

arXiv:2609.30277v2cs.LG

고정된 확산 없는 고정점: 수렴하는 테스트 시점 연산을 위한 암시적 신경 층

Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation

암시적 그래프 신경망(IGNN)은 노드 표현을 그래프 신경 연산자의 고정점(fixed point)으로 정의하여 실질적으로 무한한 깊이의 전파, 반복(iteration) 독립적인 매개변수화, 유연한 테스트 시점 연산(test-time computation)을 가능하게 합니다. 그러나 이러한 이점은 평형점이 유일하며 고정점 반복을 통해 도달할 수 있는지 여부에 달려 있습니다. 기존의 구조들은 이러한 보장을 얻기 위해 순환 업데이트에 제약을 가하는 경우가 많아 평형 상태에서 사용 가능한 변환을 제한했습니다. 이는 핵심적인 질문을 제기합니다: IGNN이 평형 정식화의 고유한 강점을 유지하면서 더 풍부한 엣지 의존적 변환을 통해 표현력을 얻을 수 있을까요? 본 논문에서는 적응형 신경 층(neural-sheaf) 전파를 갖춘 준동차(subhomogeneous) 심층 평형 아키텍처인 SheafDEQ를 소개합니다. 학습된 행렬 값 층 제한 사상(sheaf restriction map)은 이웃한 표현들을 정렬, 혼합 또는 반전시킬 수 있습니다. 완만한 정칙성 조건 하에서, SheafDEQ가 임의의 양의 초기 상태로부터 고정점 반복을 통해 전역적으로 도달 가능한 유일한 평형점을 가짐을 증명합니다. 나아가 축약성(contractivity)은 유계된 통신 지연(staleness) 하에서도 수렴을 보장합니다. 본 연구는 반복적인 비국소적 집계가 필요한 분산 추론(inference) 태스크와 연결 재구성이 점차 커뮤니티 간 상호작용을 선호하게 되는 커뮤니티 탐지 태스크에서 SheafDEQ를 평가합니다. SheafDEQ는 Sums, MNIST Terrain, Coordinates 태스크 및 연결성이 점차 이종친화적(heterophilic)으로 변하는 커뮤니티 탐지에서 암시적 베이스라인보다 향상된 성능을 보입니다. 또한 SheafDEQ는 평형 보장이 없는 순환 모델들과 비교해도 경쟁력을 유지합니다. 연속 반복 진단 결과 유한 구간(finite-horizon) 대조군과 달리 100회 반복까지 잔차가 감소하고 테스트 정확도가 유지됨을 확인하였으며, 지연 업데이트 실험에서는 유계된 통신 지연에 대해 낮은 민감도를 나타냈습니다.

arXiv:2608.02709v2cs.LG

오버스쿼싱 탈출: 메시지 패싱 네트워크를 위한 주소 지정 가능하고 지지 인식형 전역 메모리

Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks

가상 노드(virtual node)는 오버스쿼싱(oversquashing)에 대응하는 자연스러운 수단으로, 긴 메시지 패싱 경로를 2-홉(two-hop) 전역 경로로 대체한다. 그러나 많은 노드가 하나의 전역 상태를 공유할 때, 이 지름길은 그 자체로 병목이 될 수 있다. 본 연구에서는 이러한 전역 메모리의 두 가지 속성을 다룬다. 첫째, 주소 지정 가능성(addressability)이다: 상수 마진(margin) 주소 코드와 이 마진을 증폭시키는 비선형성 하에서, 곱셈적 쓰기/읽기 맵은 $O(\log M)$ 차원의 주소 코드만으로 $M$개의 선택 가능한 메모리 행을 제공한다. 크로스 어텐션(cross-attention) 슬롯과 제약된 $ELU+1$ 쌍선형(bilinear) 메모리 모두 이 조건을 만족한다. 둘째, 지지 인식(support awareness)이다: 정규화된 크로스 어텐션에는 잠재 쿼리(latent query)가 참조로 사용할 수 있는 자기 키(self-key)가 없다. 학습된 전용 앵커(private anchor)가 이 참조를 제공하여 읽기 값을 유계로 유지하고, 매칭된 소스 질량(source mass)의 강도를 드러낸다. 우리는 Two-Radius와 Tree-NeighborsMatch의 여러 인스턴스에서 이러한 속성들의 장점을 입증한다: 두 가지 주소 지정 가능한 구현 모두 깊이 $5$까지 제어된 과제들을 해결하는 반면, 비슷하거나 더 큰 크기의 풀링된 VN은 약 $10.6\%$에 도달한다.

arXiv:2605.10247v2cs.LG

LLM에게 그래프를 보는 법 가르치기: 텍스트와 구조적 추론의 통합

Teaching LLMs to See Graphs: Unifying Text and Structural Reasoning

대규모 언어 모델(LLM)을 그래프 구조 데이터에 적용할 때는 일반적으로 텍스트 노드(node) 속성을 단일 토큰으로 압축한 뒤 GNN으로 추가 처리하는 다단계 파이프라인이 사용되며, 이 과정에서 대부분의 의미론적 내용이 손실됩니다. 본 논문에서는 사전학습된 LLM이 그래프 위상을 기본적으로 처리할 수 있도록 하여 이러한 병목 현상을 완전히 제거하는 그래프 트랜스포머 언어 모델(GTLM)을 소개합니다. GTLM은 기본 모델 대비 구조 관련 파라미터를 0.015%만 추가하면서 그래프 인식 어텐션(attention) 편향을 LLM의 어텐션 모듈에 직접 주입합니다. 학습(training)은 기본 모델의 LoRA 어댑터와 함께 구조 파라미터만을 업데이트합니다. 본 연구는 양방향 어텐션 접두 문맥(prefix)이 노드에 대해 순열 등변(permutation-equivariant)성을 가지며, 그래프가 없을 때는 GTLM이 사전학습된 모델과 정확히 동일하게 축소됨을 증명합니다. 전역적인 노드 순서가 없는 GTLM은 위치에 따른 성능 저하를 보이지 않으며 중간에서 길을 잃는 현상(lost in the middle)도 겪지 않습니다. 동일하게 학습된 일반 텍스트 기준선(baseline)의 성능이 무너지는 반면, needle-in-a-graph 정확도는 1,000토큰에서 64,000토큰까지, 그리고 학습 길이의 4배를 초과해도 안정적으로 유지됩니다. 포괄적인 평가 결과에 따르면, GTLM은 텍스트 속성 그래프 벤치마크, WebQSP 기반 GraphRAG, 분자 벤치마크에서 도메인 특화 SOTA 모델과 동등하거나 그 이상의 성능을 보였으며, GraphQA에서는 강력한 기준선 대비 유의미한 개선을 달성했습니다. 또한 GTLM의 어텐션 헤드가 암묵적으로 메시지 패싱(message passing)을 시뮬레이션하도록 학습됨을 보여주며, 이는 알고리즘 태스크에서의 강점을 설명합니다. 이러한 결과는 최소한으로 적응된 사전학습 LLM이 그래프 학습을 위한 범용 백본으로 기능할 수 있음을 시사합니다.

arXiv:2604.10800v2cs.SE

수정하기 전에 검증하라: 신뢰할 수 있는 다국어 코드 분석을 위한 에이전트 실행 그라운딩

Verify Before You Fix: Agentic Execution Grounding for Trustworthy Cross-Language Code Analysis

에이전트 파이프라인에 배포된 학습 기반 분류기는 근본적인 신뢰성 문제에 직면합니다. 예측은 검증된 결론이 아닌 확률적 추론이며, 관찰 가능한 증거에 기반한 그라운딩(grounding) 없이 이를 바탕으로 동작하면 다운스트림 단계 전반에서 복합적인 실패가 발생합니다. 소프트웨어 취약점 분석은 이러한 비용을 구체적이고 측정 가능하게 만듭니다. 본 연구에서는 엄격한 불변 조건(exploitability에 대한 실행 기반 확인 없이는 어떠한 수정 조치도 취하지 않음)에 의해 관리되는 세 가지 대규모 언어 모델(LLM) 기반 추론 단계—하이브리드 구조-의미론적 탐지, 실행 기반 에이전트 검증, 검증 인식 반복 수정—를 중심으로 구축된 통합 다국어 취약점 수명 주기 프레임워크를 통해 이 문제를 해결합니다. 다국어 일반화는 Java, Python, C++를 공유 구조 스키마로 정규화하는 범용 추상 구문 트리(uAST)와 학습된 양방향 게이팅을 통한 GraphSAGE 및 Qwen2.5-Coder-1.5B 임베딩의 하이브리드 융합을 통해 달성되며, 샘플별 가중치는 추가 비용 없이 본질적인 설명 가능성을 제공합니다. 이 프레임워크는 89.84-92.02%의 언어 내 탐지 정확도와 74.43-80.12%의 제로샷(zero-shot) 다국어 F1 점수를 달성하며, 12.27%의 총 실패율로 취약점의 69.74%를 엔드투엔드로 해결합니다. 소거 연구(Ablation)를 통해 필수성을 입증했습니다. uAST를 제거하면 다국어 F1이 23.42% 저하되며, 검증을 비활성화하면 불필요한 수정이 131.7% 증가합니다. 이러한 결과는 실행 기반 폐루프 추론이 신뢰할 수 있는 LLM 기반 에이전트 AI를 위한 원칙적이고 실질적으로 배포 가능한 메커니즘임을 보여줍니다.

arXiv:2603.19307v2cs.LG

사전 지식 기반 그래프 학습을 통한 이종 뇌 네트워크 내 서브네트워크 상호작용 탐색

Exploring Subnetwork Interactions in Heterogeneous Brain Network via Prior-Informed Graph Learning

기능적 서브네트워크 간의 복잡한 상호작용을 모델링하는 것은 정신 질환 진단 및 기능적 경로 식별에 매우 중요합니다. 그러나 기존 트랜스포머(Transformer) 기반 방법론들은 제한된 학습(training) 샘플 수로 인해 기저 서브네트워크의 상호작용을 학습하는 데 큰 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 사전 지식을 명시적으로 인코딩하여 학습 과정을 유도하는 사전 지식 기반 그래프 학습 프레임워크인 KD-Brain을 제안합니다. 구체적으로, 어텐션(attention) 쿼리에 의미론적 사전 지식을 주입하여 기능적 정체성을 바탕으로 서브네트워크 상호작용을 명시적으로 유도하는 Semantic-Conditioned Interaction 메커니즘을 설계합니다. 나아가, 학습된 상호작용 분포를 임상적 사전 지식과 정렬함으로써 모델(model) 최적화를 정규화하는 Pathology-Consistent Constraint를 도입합니다. 또한 KD-Brain은 광범위한 질환 진단 작업에서 최고 수준(state-of-the-art)의 성능을 달성하며, 정신의학적 병태생리학과 일치하는 해석 가능한 바이오마커를 식별합니다. 본 연구의 코드는 https://anonymous.4open.science/r/KDBrain 에서 확인할 수 있습니다.

arXiv:2602.01124v4cs.LG

ChronoSpike: 동적 그래프를 위한 적응형 스파이킹 그래프 신경망

ChronoSpike: An Adaptive Spiking Graph Neural Network for Dynamic Graphs

동적 그래프 표현 학습은 구조적 관계와 시간적 진화를 모두 포착해야 하지만, 기존 접근 방식은 핵심적인 트레이드오프에 직면해 있습니다. 어텐션(attention) 기반 방법은 O(T^2) 복잡도로 표현력을 제공하는 반면, 순환(recurrent) 아키텍처는 그래디언트(gradient) 병리 현상과 조밀한 상태 저장 문제로 어려움을 겪습니다. 스파이킹 신경망(SNN)은 이벤트 기반의 효율성을 제공하지만 순차적 전파, 이진 정보 손실(loss), 전역 컨텍스트가 결여된 국소 집계로 인해 제약을 받습니다. 본 논문에서는 채널별 멤브레인 동역학을 갖춘 학습 가능한 LIF 뉴런, 연속형 특징에 대한 멀티헤드 공간 어텐션 집계, 경량 트랜스포머(Transformer) 시간 인코더를 통합한 적응형 스파이킹 그래프 신경망인 ChronoSpike를 제안합니다. 이러한 설계를 통해 O(T.d)의 활성화/상태 메모리와 본 연구에서 평가된 기간 동안 작게 유지되는 노드(node)당 추가 O(T^2) 어텐션 텀만으로 세밀한 국소 모델링 및 장기 의존성 포착이 가능해집니다. ChronoSpike는 그래프 크기와 무관하게 105K개의 일정한 매개변수(parameter) 예산 내에서 순환 방식보다 3~10배 빠른 학습(training)을 달성하면서, 세 개의 대규모 벤치마크에서 12개의 최고 수준(SOTA) 베이스라인 대비 평균 2.0%의 Macro-F1 및 2.4%의 Micro-F1 성능 향상을 보입니다. 또한 멤브레인 전위의 유계성, 수축 인자 \r{ho}<1 하에서의 그래디언트 흐름 안정성, BIBO 안정성에 대한 이론적 보장을 제공합니다. 해석 가능성 분석 결과, 이질적인 시간 수용장과 83~88%의 희소성(sparsity)을 지닌 학습된 초두 효과(primacy effect)가 확인되었습니다. 코드는 다음 링크에서 공개되어 있습니다: https://github.com/Abrar2652/ChronoSpike

arXiv:2610.02647v1cs.CV

역동성 포착: 4D 표정 강도 데이터셋

Capturing Dynamics: The 4D Facial Expression Intensity Dataset

표정 강도(facial expression intensity)의 추정 및 분석은 정서적 소통과 인간-컴퓨터 상호작용(HCI)에서 중요한 역할을 합니다. 기존 연구는 주로 프레임 단위의 2D 표현으로부터 표정 강도를 탐지하고 추정하는 데 집중해 왔습니다. 그러나 실제 세계의 표정은 본질적으로 3D이자 시간적으로 연속적이므로, 이러한 한계는 표정을 포괄적으로 이해하는 데 제약이 됩니다. 본 논문에서는 4D 표정 강도 데이터셋(4D Facial Expression Intensity Dataset, 4DFEID)을 제안하여 표정 강도에 대한 인식을 연구합니다. 연구진은 매개변수 기반 얼굴 모델(parametric face model)을 활용하고 제어된 기하학적 변형을 적용하여 총 2,869개의 메시 시퀀스를 구축함으로써, 다양한 최고 강도(peak intensity)와 신원(identity) 속성을 지닌 4D 데이터 인스턴스를 생성했습니다. 또한 크라우드소싱 플랫폼을 통해 리커트 척도(Likert scale) 기반의 주관적 강도 인식 평가 데이터를 90,000건 이상 수집했습니다. 아울러 새로운 데이터셋에서 에피소드 강도 추정을 위한 베이스라인을 수립하고자 다양한 아키텍처와 집계 방식을 탐구하였으며, 시공간 그래프 모델(spatial-temporal graph models)이 기존의 프레임 집계 방식보다 일관되게 우수한 성능을 보임을 확인했습니다. 2D 정적 이미지에 의존하는 기존 데이터셋과 달리, 제안된 4D-FEID 데이터셋은 동적 3D 자극을 활용하여 표정 강도 인식을 연구할 수 있는 독창적이고 필수적인 자원을 커뮤니티에 제공합니다. 높은 충실도(fidelity)와 시공간적 일관성을 갖춘 얼굴 데이터를 제공함으로써, 4D-FEID는 더 미묘하고 자연스러운 표정 분석 연구를 위한 새로운 기반을 마련하고 정서 컴퓨팅(affective computing) 및 인간-컴퓨터 상호작용 분야의 기존 연구 공백을 해소합니다. 해당 데이터셋은 링크에서 이용할 수 있습니다.

arXiv:2610.02263v1eess.IV

ZAGNet: 환자 단위 폐 초음파 진단을 위한 구역 인식 그래프 집계 네트워크

ZAGNet: Zone-Aware Graph Aggregation Network for Patient-Level Lung Ultrasound Diagnosis

환자 단위 폐 초음파(LUS) 진단은 여러 해부학적 구역에 걸쳐 획득된 소견을 통합해야 하지만, 임상 검사에서는 구역이 누락되는 등 가변적이고 불완전한 스캔 프로토콜이 자주 발생합니다. 기존의 진단 인공지능 방법론들은 주로 개별 프레임이나 비디오 루프를 분석하며, 환자 단위 추론(inference)을 위해 구역 간 관계를 무시하는 최대 풀링(max pooling)이나 평균 풀링(mean pooling)과 같은 휴리스틱 집계 전략에 의존합니다. 본 논문에서는 시간적으로 추적된 병리 소견을 해부학적 구역 인접성으로 연결된 그래프 노드(node)로 표현하는 구역 인식 그래프 신경망(neural network)인 ZAGNet을 제안합니다. 그래프 트랜스포머(transformer) 네트워크는 인접한 폐 영역 전반에 걸쳐 문맥 정보를 전파하며, 가상 글로벌 노드는 그래프 수준의 특징을 집계하여 환자 단위 지도학습만으로 환자 단위의 폐 경화(consolidation) 및 흉막 삼출(pleural effusion)을 예측합니다. ZAGNet은 고정된 입력 형식이나 크기가 없는 그래프 구조 상에서 연산함으로써 누락된 구역을 유연하게 수용합니다. 전면, 후면 및 외측 흉부 영역에 걸쳐 4개에서 16개 구역으로 다양한 검사를 포함하는 714명의 대상자(20,256개 LUS 비디오 루프)로 구성된 다기관 데이터셋(dataset)에서 ZAGNet을 평가합니다. 폐 경화 진단에서 ZAGNet은 최대 풀링의 0.677 및 평균 풀링의 0.674에 비해 0.803의 AUC를 달성했습니다. 흉막 삼출의 경우 AUC가 최대 풀링의 0.804 및 평균 풀링의 0.815에서 0.893으로 향상되었습니다. 이는 폐 경화 및 흉막 삼출에 대해 각각 최대 19%와 11%의 향상을 나타냅니다. 이러한 결과는 그래프 기반의 구역 간 추론이 자동화된 환자 단위 LUS 평가를 위한 효과적이고 임상적으로 일관된 프레임워크를 제공함을 입증합니다.

arXiv:2609.05253v2cs.LG

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2606.19138v2cs.LG

INDEQS: 사전 지식을 활용한 신경 제어 미분 방정식

INDEQS: Informed Neural controlled Differential EQuationS

신경 제어 미분 방정식(NCDE)은 시계열 예측을 위한 강력한 연속 시간 프레임워크를 제공하지만, 표준 그래프 기반 확장은 방향성 그래프 구조가 사전에 알려진 환경에서도 일반적으로 데이터로부터만 공간 구조를 학습합니다. 본 논문에서는 서로 다른 아키텍처 위치에 방향성 그래프의 사전 지식을 통합하는 그래프 기반 NCDE 예측 방법의 수정안인 INDEQS(Informed Neural controlled Differential EQuationS)를 소개합니다. INDEQS는 그래프 노드 간 은닉 상태의 내부 혼합(inner mixing)과 벡터장과 제어 간의 외부 혼합(outer mixing)을 분리하며, 경량화된 그래프 제약 변형과 적응형 그래프 합성곱을 통해 데이터로부터 추가적인 그래프 연결을 학습하는 더 표현력이 뛰어난 변형을 모두 제공합니다. 그래프 사전 정보 활용이 예측에서 언제 유익한지 체계적으로 연구하기 위해, 알려진 실제 흐름 구조를 갖는 합성 시공간 데이터셋을 생성하는 방향성 그래프 상의 연속 이류 시뮬레이션을 고안했습니다. 그런 다음 수문 네트워크에서의 하천 유량 예측과 PeMS08 데이터셋에서의 교통 흐름 예측이라는 두 가지 실제 과제에서 INDEQS를 평가합니다. 합성 데이터 및 하천 유량 과제 전반에서, 외부 사전 지식 통합은 특히 더 큰 그래프에서 유사한 매개변수 수를 가진 미통합 NCDE 대비 평균 절대 오차(MAE)를 지속적으로 개선하는 반면, 내부 사전 지식 통합은 알려진 인접성에 대한 엄격한 준수가 요구될 때 보다 매개변수 효율적인 대안을 제공합니다. 이산 합성곱 디코더와 연속 시간 디코더의 비교를 통해 연속 디코더가 실제 과제에서 더 나은 정확도와 더 큰 시간적 유연성을 산출함을 추가로 보여줍니다. INDEQS 및 이류 시뮬레이션의 구현체는 https://github.com/mitchi1/indeqs 에서 이용할 수 있습니다.

arXiv:2605.18387v2cs.LG

장거리 일반화를 위한 그래프 계층적 순환

Graph Hierarchical Recurrence for Long-Range Generalization

그래프 신경망(GNN)과 그래프 트랜스포머는 표현력 있는 표현 학습(representation learning)과 표본 효율적인 귀납적 편향(inductive bias)을 결합하여 그래프 학습의 핵심 축으로 자리 잡았습니다. 그러나 예측이 멀리 떨어진 그래프 영역 간의 상관관계에 의존하는 경우 근본적인 한계가 여전히 존재합니다. 본 연구에서는 입력 그래프와 풀링된 계층적 추상화를 공동으로 다루는 새로운 프레임워크인 Graph Hierarchical Recurrence(GHR)를 통해 이러한 한계를 해결합니다. 또한 기존 모델들이 테스트 인스턴스에서 학습(training) 중에 관찰된 거리를 초과하는 상호작용을 요구하는 범위 외 일반화(out-of-range generalization) 조건에서 더욱 급격히 성능이 저하됨을 보입니다. 최소한의 설계에도 불구하고, GHR은 테스트된 모든 메시지 패싱 백본의 성능을 일관되게 강화하여 장거리 의존성에서 견고한 성능을 보이고, 특히 범위 외 영역에서 두드러진 개선을 달성합니다. 광범위한 장거리 벤치마크 전반에 걸쳐, GHR은 여러 태스크에서 최고 수준(SOTA) 또는 이에 준하는 결과를 달성하며, 관찰된 상호작용 범위를 넘어 그래프 모델을 확장하는 효과적인 메커니즘으로 계층적 순환을 확립합니다.

arXiv:2410.10464v3cs.LG

심층 그래프 네트워크에서의 정보 전파 역학

Information propagation dynamics in Deep Graph Networks

그래프는 분자 구조, 소셜 네트워크, 교통 네트워크 등 개체와 이들 간의 관계를 모델링하기 위한 매우 표현력이 뛰어난 추상화 방식입니다. 심층 그래프 네트워크(Deep Graph Networks, DGN)는 이러한 구조화된 정보를 효과적으로 처리하고 학습할 수 있는 일련의 심층 학습(deep learning) 모델군으로 부상했습니다. 그러나 DGN 내에서 효과적인 정보 전파 패턴을 학습하는 것은 정적 도메인과 (특징 및/또는 위상이 진화하는) 시계열 도메인 모두에서 모델의 능력에 큰 영향을 미치는 핵심적인 과제로 남아 있습니다. 이러한 문제를 고려하여, 본 학위논문은 동역학계(dynamical systems)로서의 설계에 초점을 맞추어 정적 및 동적 그래프를 위한 DGN 내 정보 전파의 역학을 연구합니다. 본 연구 전반에 걸쳐, 우리는 노드 간 장기 의존성을 전파 및 보존하고 불규칙하고 희소하게 샘플링된 동적 그래프로부터 복잡한 시공간 패턴을 학습하는 데 있어 제안된 아키텍처의 효과를 입증하는 이론적 및 실증적 증거를 제공합니다. 요약하자면, 본 학위논문은 그래프, 심층 학습, 동역학계 간의 교차점에 대한 포괄적인 탐험을 제공하여 그래프 표현 학습 분야에 대한 통찰과 진전을 제시하며, 보다 효과적이고 다재다능한 그래프 기반 학습 모델을 위한 길을 열어줍니다.

arXiv:2110.14961v4cs.LG공식 코드 · Papers with Code

상호작용하는 동적 시스템을 위한 회전-변위 로컬 좌표계

Roto-translated Local Coordinate Frames For Interacting Dynamical Systems

상호작용 모델링은 고도로 비선형적이며 시간에 따라 변하는 동작을 보이는 상호작용 객체 시스템, 즉 복잡한 동적 시스템(dynamical systems)을 학습하는 데 매우 중요합니다. 이러한 시스템의 상당 부분은 기하학적 그래프($\textit{geometric graphs}$), 즉 교통 상황의 차량과 같이 $\textit{임의로}$ 선택된 글로벌 좌표계 하에서 유클리드 공간에 위치한 노드(node)를 갖는 그래프로 정형화될 수 있습니다. 임의의 글로벌 좌표계에도 불구하고, 해당 동적 시스템을 지배하는 동역학은 회전 및 변위(translation)에 대해 불변이며, 이는 갈릴레이 불변성($\textit{Galilean invariance}$)으로도 알려져 있습니다. 이러한 불변성을 무시하면 일반화 성능이 저하되므로, 본 연구에서는 상호작용 동적 시스템의 기하학적 그래프에 회전-변위 불변성을 유도하기 위해 노드 객체별 로컬 좌표계(local coordinate frames)를 제안합니다. 또한, 로컬 좌표계를 통해 그래프 신경망(GNN)에서 비등방성 필터링(anisotropic filtering)을 자연스럽게 정의할 수 있습니다. 교통 상황, 3D 모션 캡처, 충돌 입자에 대한 실험을 통해 제안된 접근 방식이 최근 SOTA(state-of-the-art)를 여유 있게 능가함을 입증합니다.