Anomaly-resistant Graph Neural Networks via Neural Architecture Search
원문 초록
In general, Graph Neural Networks(GNN) have been using a message passing method to aggregate and summarize information about neighbors to express their information. Nonetheless, previous studies have shown that the performance of graph neural networks becomes vulnerable when there are abnormal nodes in the neighborhood due to this message passing method. In this paper, inspired by the Neural Architecture Search method, we present an algorithm that recognizes abnormal nodes and automatically excludes them from information aggregation. Experiments on various real worlds datasets show that our proposed Neural Architecture Search-based Anomaly Resistance Graph Neural Network (NASAR-GNN) is actually effective.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구
How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression
그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.
NeuronSoup: 역전파 없이 진화하는 비동기 공유 뉴런 시간 그래프
NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
NeuronSoup를 제시한다. 이는 동기식 층별 처리를 공유 뉴런 풀을 통한 비동기·지연 매개 신호 전파로 대체하는 신경 계산 아키텍처이다. 네트워크의 각 경로는 가변적인 수의 중간 은닉 뉴런을 거쳐 하나의 입력 뉴런에서 하나의 출력 뉴런으로 연속값 신호를 라우팅한다. 은닉 뉴런은 경로 간 물리적으로 공유된다. 두 경로가 동일한 뉴런을 통과할 때, 두 번째 도달은 첫 번째가 남긴 누적 상태를 만나며, 신호 극성과 도달 시각에 따라 상보적 또는 상쇄적 간섭을 일으킨다. 전체 아키텍처—위상, 가중치, 지연, 연결성—는 14,602개 유전자로 구성된 평탄한 실수값 게놈 위에서 작동하는 유전 알고리즘으로 공진화된다. 입력으로 고정된 ResNet18 특징을 사용한 10클래스 MNIST 숫자 분류에서, 시스템은 266개의 은닉 뉴런(다중 경로에 걸쳐 156개 공유, 한 뉴런은 11개의 서로 다른 경로에 참여)을 통과하는 204개의 활성 경로로 구성된 네트워크를 진화시키며, 10,000세대 후 85.9% 테스트 정확도를 달성한다. 학습된 모델은 115 KB를 차지한다. 이 아키텍처가 현재 심층 학습의 근본적 한계를 해소한다고 주장한다. 미분 가능한 계산 그래프가 필요 없고, 샘플별로 계산 깊이를 적응시키며, 현재 아키텍처가 명시적으로 설계해야 하는 처리 경로 간 측면 상호작용을 발견한다. 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인 이유, CMA-ES가 이 규모에서 실패하는 이유, 그리고 인코더와 출력 구조를 교체함으로써 임의의 도메인으로 일반화하는 방법을 논의한다.
HiFi-LLP: 강건한 HW-NAS를 위한 신뢰도 기반 고충실도·저비용 지연 시간 예측기
HiFi-LLP: High-Fidelity, Low-Cost Latency Predictors with Confidence for Robust HW-NAS
심층 신경망(DNN)이 엣지 디바이스에 점점 더 많이 배포됨에 따라, HW 인식 압축 및 HW 인식 신경망 구조 탐색(HW-NAS)과 같은 하드웨어(HW) 인식 최적화 기법이 필수적이 되었다. 이러한 방법들은 효율적인 배포를 위해 DNN 아키텍처를 조정하는 데 목표 하드웨어의 실제 피드백에 의존한다. 탐색은 병렬화할 수 있지만, 하드웨어-인-더-루프(HIL)를 통한 지연 시간 측정은 순차적 특성으로 인해 병목 지점으로 남아 있다. 최근 접근법들은 비용이 많이 드는 HIL 피드백을 대체하기 위해 지연 시간 예측기를 활용하지만, 두 가지 과제가 지속된다: (1) 플랫폼별 예측기는 종종 수만 개의 샘플을 필요로 하며, (2) 부정확한 예측이 NAS 과정을 잘못 인도할 수 있다. 이를 해결하기 위해, 우리는 신뢰도 지표로 보강된 그래프 어텐션 네트워크 기반의 고충실도·저비용 지연 시간 예측기인 HiFi-LLP를 소개한다. HiFi-LLP는 LatBench 데이터셋의 6개 디바이스에 걸쳐 10% 정확도 범위 기준에서 기존 플랫폼별 예측기 대비 최대 9 퍼센트 포인트(p.p.) 높은 성능을 달성하며, 스피어만 순위 상관계수 최대 0.996을 달성한다. 나아가 신뢰도가 낮은 예측을 HIL로 라우팅하는 하이브리드 NAS 프레임워크를 제안하여, 경쟁력 있는 파레토 프론트를 유지하면서 일반적인 NAS 대비 최대 8.6배의 속도 향상을 달성한다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.