Dynamic Neural Graph Encoding of Inference Processes in Deep Weight Space
원문 초록
The rapid advancements in using neural networks as implicit data representations have attracted significant interest in developing machine learning methods that analyze and process the weight spaces of other neural networks. However, efficiently handling these highdimensional weight spaces remains challenging. Existing methods often overlook the sequential nature of layer-by-layer processing in neural network inference. In this work, we propose a novel approach using dynamic graphs to represent neural network parameters, capturing the temporal dynamics of inference. Our Dynamic Neural Graph Encoder (DNG-Encoder) processes these graphs, preserving the sequential nature of neural processing. Additionally, we also leverage DNG-Encoder to develop INR2JLS (Implicit Neural Representation to Joint Latent Space) for facilitate downstream applications, such as classifying Implicit Neural Representations (INRs). Our approach demonstrates significant improvements across multiple tasks, surpassing the state-of-the-art INR classification accuracy by approximately 10% on the CIFAR-100-INR.
요약
신경망의 가중치 공간(weight space)을 분석하는 기존 방법들이 추론(inference) 시 계층별 순차 처리 특성을 간과한다는 문제를 해결하기 위해, 동적 그래프(dynamic graph)로 신경망 파라미터를 표현하는 DNG-Encoder를 제안한다. 이를 기반으로 개발한 INR2JLS는 암묵적 신경 표현(INR, Implicit Neural Representation) 분류 과제에서 CIFAR-100-INR 기준 최신 기법 대비 약 10% 향상된 성능을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02166v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
엣지 프라이버시 그래프 생성기의 실증적 감사
Empirical Auditing of Edge-Private Graph Generators
본 연구에서는 공격을 통해 확인된 프라이버시 손실(privacy loss)에 대해 통계적으로 유효한 하한을 사용하여, 엣지 이웃(edge-neighbouring) 입력으로부터 생성된 출력이 구별 가능한 상태로 유지되는지 테스트함으로써 프라이버시 유출을 실증적으로 감사합니다. 본 프레임워크는 타깃 엣지를 둘러싼 기하학적 구조를 통해 직접 엣지(direct-edge), 국소 구조(local-structural), 그리고 GNN 기반 공격을 비교합니다. 두 개의 생성기와 두 개의 네트워크에 걸친 실험 결과, 프라이버시 유출은 메커니즘과 네트워크 모두에 의존적이며, 학습된 표현(learned representation)이 기존의 국소 통계로는 포착되지 않는 정보를 드러냄을 보여줍니다.
DualGNN: Dual Graph Neural Network for Multimedia Recommendation
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.