PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13635v1cs.LG

PANDA: 사전 지식 기반 어텐션 이중 경로 아키텍처

PANDA: Prior-guided Attentional Dual-path Architecture

쌍별 상호작용(pairwise interaction)을 넘어 고차 관계(higher-order relation)를 모델링하기 위해 설계된 하이퍼그래프 신경망(Hypergraph Neural Network, HNN)은 일반적으로 고정된 구조적 가중치 또는 정규화된 어텐션에 의존한다. 고정 가중치는 이질적(heterophilic) 환경에서 잘못된 정보를 전파할 수 있으며, 정규화는 메시지 전달(message-passing) 프레임워크에서 하나의 송신자(sender)의 가중치를 높이면 동일한 집계 집합(aggregation set) 내 다른 송신자들의 가중치를 반드시 낮춰야 한다는 의미에서 어텐션 계수를 경쟁적으로 만든다. 본 연구의 주요 기여는 무방향 및 방향 설정 모두에 적용 가능한 2단계 메시지 전달 HNN을 위한 플러그인인 PANDA(Prior-guided AttentioNal Dual-path Architecture, 사전 지식 기반 어텐션 이중 경로 아키텍처)의 도입이다. 메인 경로(main path)는 학습된 수신자 정규화 어텐션과 구조적 인시던스(incidence) 사전 지식(prior) 사이를 보간(interpolate)하며, 비경쟁적인(정규화되지 않은) 보조 경로(auxiliary path)는 각 송신자가 자신만의 변환된 정보를 기여할 수 있도록 한다. 또한 고정된 구조적 계수를 사용할 경우, PANDA가 이전 연구들에서 채택된 특정 복소수 값 합성곱 연산자를 복원함을 보인다. 방향 및 무방향 설정에서 공간적(spatial) 및 스펙트럴(spectral) 방법을 포괄하는 네 가지 HNN에 걸쳐, PANDA를 적용하면 8개의 실세계 벤치마크 데이터셋에서 평균 5.18퍼센트포인트의 성능 향상을 얻는다. 코드는 https://github.com/jainris/panda 에서 확인할 수 있다.

arXiv:2605.25554v2cs.AI

PHGNet: 이종 시공간 예측을 위한 프로토타입 기반 초그래프 구축

PHGNet: Prototype-Guided Hypergraph Construction for Heterogeneous Spatiotemporal Forecasting

지능형 교통 시스템의 핵심 과제인 교통량 예측은 도시 교통 관리에서 결정적인 역할을 수행합니다. 정확한 교통량 예측은 복잡한 시공간적 의존성을 모델링하는 데 의존하지만, 교통 시스템 고유의 공간적 이질성으로 인해 이는 본질적으로 어려운 문제입니다. 상당한 발전에도 불구하고, 대부분의 기존 방법들은 여전히 쌍별(pairwise) 공간 의존성 모델링에 국한되어 있어 유사한 교통 패턴을 가진 노드 간의 동적인 고차 상호작용을 포착하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 프로토타입 기반 초그래프(hypergraph) 구축에 기반한 새로운 시공간 예측 프레임워크인 PHGNet을 제안합니다. PHGNet의 핵심에서는 패턴이 유사한 노드들을 하이퍼에지에 적응적으로 할당하여 시간에 따라 변하는 구조를 가진 고차 상호작용을 포착하도록 프로토타입 학습 메커니즘을 설계했습니다. 동적 초그래프 구축의 신뢰성을 향상시키기 위해, 시간 일관적인 특징을 추출하는 글로벌-로컬 노드 표현 모듈을 추가로 개발했습니다. 예측 단계에서는 효율적인 병렬 디코딩을 지원하면서도 예측 정확도를 높이기 위해 반복적 잔차 정제(iterative residual refinement)와 시간 쿼리 어텐션(Temporal Query Attention)을 도입했습니다. 여러 실제 데이터셋을 활용한 광범위한 실험을 통해 PHGNet이 최신 기법들(state-of-the-art)에 비해 우수한 예측 성능을 달성함을 입증했습니다.

arXiv:2312.11018v4cs.IR공식 코드 · Papers with Code

번들 추천을 위한 초그래프 강화 듀얼 합성곱 신경망

Hypergraph-Enhanced Dual Convolutional Network for Bundle Recommendation

번들 추천(Bundle recommendation)은 개별 아이템이 아닌 연관된 아이템들의 묶음을 순위화합니다. 번들 추천의 핵심 과제는 번들의 순위를 매기는 데 필요한 신호를 잃지 않으면서 사용자 선호도, 아이템 상호작용 및 번들 구성을 연결하는 것입니다. 본 연구에서는 사용자-번일, 사용자-아이템, 번들-아이템 상호작용과 사용자 내부 및 번들 내부 관계를 포함하는 완전 초그래프(complete hypergraph)를 구축하는 초그래프 강화 듀얼 합성곱 신경망(Hypergraph-Enhanced Dual Convolutional Neural Network, HED)을 제안합니다. HED는 완전 초그래프 전파를 사용자-번들 브랜치와 결합하여, 추천에 특화된 신호를 보존하는 동시에 아이템을 인식하는 고차 컨텍스트가 순위 산정에 반영되도록 합니다. NetEase 데이터셋에서 HED-128은 보고된 6개 지표 전반에 걸쳐 가장 강력한 기준선(baseline) 대비 5.04~6.97% 성능 향상을 달성했으며, Youshu에서는 HED-64가 1.87~4.56% 향상되었습니다. 절제 연구(ablation) 결과는 사용자-번들 브랜치와 유형 내부(intra-type) 관계 모두의 기여도를 뒷받침하며, 민감도 분석을 통해 주요 하이퍼파라미터의 안정적인 작동 범위를 확인했습니다. 또한 메모리 비용을 포함하여 완전 초그래프의 연산 트레이드오프를 정량화했습니다. 이러한 실증적 근거는 평가된 두 가지 번들 추천 데이터셋에서 HED의 우수성을 입증하는 동시에 자원 한계를 명확히 보여줍니다. 코드와 데이터셋은 논문 게재 시 공개될 예정입니다.