Program Classification Using Gated Graph Attention Neural Network for Online Programming Service
원문 초록
The online programing services, such as Github,TopCoder, and EduCoder, have promoted a lot of social interactions among the service users. However, the existing social interactions is rather limited and inefficient due to the rapid increasing of source-code repositories, which is difficult to explore manually. The emergence of source-code mining provides a promising way to analyze those source codes, so that those source codes can be relatively easy to understand and share among those service users. Among all the source-code mining attempts,program classification lays a foundation for various tasks related to source-code understanding, because it is impossible for a machine to understand a computer program if it cannot classify the program correctly. Although numerous machine learning models, such as the Natural Language Processing (NLP) based models and the Abstract Syntax Tree (AST) based models, have been proposed to classify computer programs based on their corresponding source codes, the existing works cannot fully characterize the source codes from the perspective of both the syntax and semantic information. To address this problem, we proposed a Graph Neural Network (GNN) based model, which integrates data flow and function call information to the AST,and applies an improved GNN model to the integrated graph, so as to achieve the state-of-art program classification accuracy. The experiment results have shown that the proposed work can classify programs with accuracy over 97%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 유도 공간 어텐션 기반 중첩 커뮤니티 탐지
Diffusion-Induced Spatial Attention Overlapping Community Detection
중첩 커뮤니티 탐지는 노드가 여러 구조적 또는 기능적 그룹에 동시에 속하는 네트워크를 모델링하는 데 필수적이다. 기존 그래프 신경망 접근법은 일반적으로 국소 메시지 패싱에 의존하는데, 이는 스무딩(smoothing)으로 인해 커뮤니티 경계를 흐릴 수 있으며 구조적으로 관련된 장거리 의존성의 표현을 제한한다. 본 논문에서는 영향력 확산 동역학에서 도출한 구조적 사전 분포(structural prior), 희소 멀티헤드 어텐션, 비음수 커뮤니티 소속도 학습을 결합한 딥러닝 프레임워크인 DISCO(Diffusion-Induced Spatial Attention Community Detection)를 제안한다. 이 사전 분포는 직접 인접한 이웃 너머의 후보 상호작용을 식별하고 구조적 근접도에 따라 어텐션에 편향을 부여하며, 베르누이-푸아송(Bernoulli-Poisson) 엣지 재구성 목적 함수는 노드 속성, 구조적 프로파일 또는 이 둘 모두로부터 중첩 커뮤니티를 추론할 수 있게 한다. 벤치마크 실험 결과, DISCO는 다양한 입력 구성에서 기존의 그래프 합성곱 및 그래프 어텐션 접근법과 대등한 성능을 보였다. 실용적 적용 가능성을 보이기 위해, 연속된 통신 네트워크 스냅샷에서 추론한 커뮤니티 할당 간의 변화가 해석 가능한 이상 징후 신호를 제공하는 사이버 보안 사용 사례를 개념 증명(proof-of-concept)으로 제시한다. 시간적 커뮤니티 유사도는 구조적 이탈을 식별하고, 노드 수준의 기여도는 이와 관련된 장치를 찾는 데 도움을 준다. 따라서 DISCO는 중첩 커뮤니티 탐지를 위한 유연한 방법이자 동적 네트워크의 구조적 변화를 분석하기 위한 기반을 제공한다.
Graph Attention Network를 이용한 토양 미세플astics 및 유기물의 공간 예측
Spatial Prediction of Soil Microplastics and Organic Matter Using Graph Attention Networks
토양 미세플astics 및 유기물의 정확한 추정은 생태계 건강을 평가하고 지속 가능한 토지 이용을 지원하는 데 필수적이다. 본 연구는 91개의 지리좌표가 부여된 토양 시료 간 공간적 의존성을 모델링하기 위해 Graph Attention Networks(GAT)를 사용하는 그래프 기반 심층 학습 접근법을 제시한다. 공간 좌표, 토양 특성, 토지 이용 데이터를 통합하여 지역적 상호작용을 포착하는 2층 GAT 아키텍처를 개발하였다. 최종 모델은 우수한 성능을 보였으며, 미세플astics에 대해 RMSE 625.06($R^2 = 0.87$), 유기물에 대해 0.43($R^2 = 0.91$)을 달성하였다. 그러나 교차 검증 결과 일반화 성능이 제한적임이 드러났으며, 이는 아마도 작은 표본 크기와 희소한 그래프 구조 때문인 것으로 보인다. 이러한 결과는 공간적 토양 예측에서 GAT의 잠재력을 보여주며, 밀집된 데이터셋과 개선된 그래프 연결성의 필요성을 강조한다.
SALT-GNN: 통계 인식 어텐션을 통한 자금세탁방지 그래프에서의 밀집 이웃 처리
SALT-GNN: Handling Dense Neighborhoods in Anti-Money Laundering Graphs via Statistics-Aware Attention
자금세탁은 금융 안정성을 위협하고 기관을 제재 위험에 노출시키므로, 자동화된 탐지에 대한 동기를 제공한다. 세탁 수법은 관계적 패턴을 통해 나타나는 경우가 많기 때문에, 그래프 신경망(GNN)이 자금세탁방지(AML)에 점점 더 많이 활용되고 있다. 그러나 AML GNN은 일반적으로 전체 F1 점수와 같은 집계 지표로 평가되며, 이는 운영상의 문제를 숨긴다: 고활동 수신 계좌에는 많은 수신 거래가 집중되어 의심스러운 신호를 격리하기 어렵고 조사 비용도 더 높아진다. 우리는 수신자 차수 계층화 평가(recipient-degree stratified evaluation)를 도입하여 수신자 컨텍스트 밀도에 따른 표준 AML 지표를 보고한다. 세 가지 데이터셋(HI-Small, HI-Medium, AMLSim-32k-5%)에 걸쳐, 이 평가는 밀집 수신자 컨텍스트에서의 일관된 성능 저하를 드러내며, 이를 세 가지 GNN 특성으로 추적한다: AML이 증폭시키는 두 가지 알려진 한계, 즉 (1) 멀티셋 비식별성(multiset non-discriminability)과 (2) 카디널리티 맹목성(cardinality blindness), 그리고 (3) 어텐션 특화 효과: 밀집 이웃에서 정규화된 어텐션이 약하지만 패턴과 관련된 다중 홉 신호를 약화시킨다. 이 진단을 바탕으로, 우리는 각 메시지 전달 층에서 차수 인식 통계 집계와 어텐션을 융합하는 경량 통계 인식 아키텍처인 SALT-GNN을 제안한다. 이를 통해 분포 및 카디널리티 정보가 후속 어텐션 단계에서 사용되는 노드 상태를 형성한다. 절제 실험은 밀집 컨텍스트 성능에서 융합 위치가 핵심 요인임을 지지한다. HI-Small 및 HI-Medium에서 SALT-GNN은 태스크 특화 그래프-트랜스포머 기준 모델 대비 최대 77% 적은 파라미터를 사용하면서 밀집 컨텍스트 F1 점수를 3-6점 향상시키고, AMLSim-32k-5%에서는 최고 차수 F1 점수를 16-20점 향상시킨다. 이 성능 향상은 트랜스포머 및 GAT 방식 어텐션 모두에서 유지되어, 그 이점이 특정 어텐션 연산자가 아닌 통계적 증거와 어텐션 증거가 융합되는 위치에서 비롯됨을 나타낸다.
Semantic tradeoff for heterogeneous graph embedding
Entity Resolution with Hierarchical Graph Attention Networks
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.