Decentralized Graph Neural Network for Privacy-Preserving Recommendation
원문 초록
Building a graph neural network (GNN)-based recommender system without violating user privacy proves challenging. Existing methods can be divided into federated GNNs and decentralized GNNs. But both methods have undesirable effects, i.e., low communication efficiency and privacy leakage. This paper proposes DGREC, a novel decentralized GNN for privacy-preserving recommendations, where users can choose to publicize their interactions. It includes three stages, i.e., graph construction, local gradient calculation, and global gradient passing. The first stage builds a local inner-item hypergraph for each user and a global inter-user graph. The second stage models user preference and calculates gradients on each local device. The third stage designs a local differential privacy mechanism named secure gradient-sharing, which proves strong privacy-preserving of users' private data. We conduct extensive experiments on three public datasets to validate the consistent superiority of our framework.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM 강화 그래프 신경망의 프라이버시 위험 감사
Auditing Privacy Risks in LLM-Enhanced Graph Neural Networks
최근 대규모 언어 모델(LLM)은 노드(node) 표현에 의미론적 정보를 풍부하게 더함으로써 그래프 신경망(GNN)을 발전시켰고, 이를 통해 상당한 성능 향상을 달성하는 LLM 강화 GNN(LLM-enhanced GNN)이 등장했습니다. 그러나 이러한 의미론적 강화가 프라이버시 위험에 어떤 영향을 미치는지는 여전히 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 본 연구는 (1) 데이터셋 준비, (2) 피해자 모델 학습(training), (3) 프라이버시 공격, (4) 위험 평가, (5) 방어 분석의 5단계로 구성된 통합 프레임워크를 통해 LLM 강화 GNN의 프라이버시 위험을 체계적으로 감사합니다. 구체적으로, 본 평가는 다양한 도메인에 걸친 10개의 텍스트 속성 그래프 데이터셋, 6가지 프라이버시 공격, 42가지 LLM 강화 GNN 구성, 그리고 3개의 최신 언어 모델 백본을 포괄합니다. 광범위한 실험 결과에 따르면, 유용성 향상에도 불구하고 LLM 강화 GNN은 평가된 공격 하에서 다양한 모델과 데이터셋 전반에 걸쳐 얕은 텍스트 표현 베이스라인보다 경험적으로 일관되게 더 큰 프라이버시 취약성을 나타냅니다. 추가 분석을 통해 LLM 강화 표현이 임베딩(embedding) 공간에서 링크, 레이블 및 멤버십 관련 신호를 더 뚜렷하게 구별할 수 있게 하여 추론(inference) 공격에 더 쉽게 악용될 수 있음을 보여줍니다. 마지막으로, 대표적인 방어 기법들을 평가하고 이러한 프라이버시 위험을 완화하는 효과를 검토합니다. 전반적으로 본 연구는 LLM 강화 GNN의 프라이버시 위험에 대한 체계적인 감사를 제공하며, 보다 안전하고 신뢰할 수 있는 그래프 학습 시스템을 개발하기 위한 통찰을 제시합니다.
GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
흑백의 이분법을 넘어: 그래프 기반 시맨틱 ID(GrIS)를 통한 시맨틱 및 협업 신호의 균형
Neither Black nor White: Balancing Semantic and Collaborative Signals with Graph-Informed Semantic IDs (GrIS)
생성형 추천을 위한 시맨틱 ID(Semantic ID, SID)에 관한 기존 연구들은 SID 구축을 표현 학습(representation learning) 문제로 취급하여, 아이템을 양자화된 잠재 공간으로 인코딩하고 코드를 읽어내는 방식을 취합니다. 본 논문에서는 이러한 관점이 본질적이지 않다고 주장합니다. SID 구축은 본질적으로 재귀적 클러스터링(recursive clustering) 문제이며, 이렇게 정의하면 클러스터링할 자연스러운 대상은 노드가 시맨틱 콘텐츠를 담고 에지가 협업 신호(collaborative signal)를 전달하는 그래프가 됩니다. 즉, SID 할당은 계층적 그래프 분할(hierarchical graph partition)이 됩니다. 이러한 재구성을 통해 기존 접근 방식을 대체하기보다는 포괄하는 통합 프레임워크인 그래프 기반 시맨틱 ID(Graph-Informed Semantic IDs, GrIS)를 도출합니다. RQ-VAE 및 RQ-KMeans는 그래프가 비어 있는 특수한 경우로 환원되며, 이는 콘텐츠 전용 양자화가 지금까지 하나로 뭉쳐져 있던 두 축인 그래프 구축과 재귀적 분할 알고리즘으로 이루어진 더 큰 설계 공간의 한 단면에 불과함을 보여줍니다. 본 연구에서는 두 가지 대조적인 구현체를 탐색합니다. 하나는 미분 가능한 그래프 풀링(pooling)을 통해 계층적 할당을 수행하는 RecDMoN이고, 다른 하나는 그래프 인식 아이템 표현과 그래프 재구성 목적 함수를 통해 RQ-VAE를 확장하는 RQ-GAE입니다. 여러 실제 데이터셋에서 GrIS는 협업 필터링(CF) 인식 최신 기술(SOTA) 대비 일관되게 향상된 성능을 보여주며, Hit@10에서 최대 +52%의 성능 향상을 달성합니다. 그래프 구축과 분할이 명시적이고 개별적으로 구성 가능한 컴포넌트이기 때문에, 두 축 중 어느 한쪽의 개선점이라도 결합하여 체계적으로 평가할 수 있습니다.
엣지 프라이버시 그래프 생성기의 실증적 감사
Empirical Auditing of Edge-Private Graph Generators
본 연구에서는 공격을 통해 확인된 프라이버시 손실(privacy loss)에 대해 통계적으로 유효한 하한을 사용하여, 엣지 이웃(edge-neighbouring) 입력으로부터 생성된 출력이 구별 가능한 상태로 유지되는지 테스트함으로써 프라이버시 유출을 실증적으로 감사합니다. 본 프레임워크는 타깃 엣지를 둘러싼 기하학적 구조를 통해 직접 엣지(direct-edge), 국소 구조(local-structural), 그리고 GNN 기반 공격을 비교합니다. 두 개의 생성기와 두 개의 네트워크에 걸친 실험 결과, 프라이버시 유출은 메커니즘과 네트워크 모두에 의존적이며, 학습된 표현(learned representation)이 기존의 국소 통계로는 포착되지 않는 정보를 드러냄을 보여줍니다.
Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류
Et Tu, Brute? Economic Misalignment in Personal AI Agents
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
Obliviate: 추천 시스템에서의 효율적 언러닝
Obliviate: Efficient Unlearning in Recommender Systems
머신 언러닝(machine unlearning)은 데이터 프라이버시 규제 맥락에서 점점 더 중요해지고 있으며, 특히 사용자 상호작용 데이터로 직접 학습되는 추천 시스템에서 그렇다. 본 연구의 목표는 요청된 상호작용 데이터와 그 하류 영향을 학습된 모델에서 제거하면서 추천 품질을 유지하고, 전체 재학습(full retraining)에 따르는 상당한 계산 비용 없이 이를 달성하는 것이다. 기존 접근법은 언러닝 완전성의 한계와 추천 성능 저하, 그리고 상당한 계산 오버헤드 등 여러 한계를 보인다. 본 논문에서는 추천 시스템을 위한 효율적인 2단계 언러닝 프레임워크인 Obliviate를 제안하며, 이는 높은 언러닝 완전성을 달성하면서도 좋은 유틸리티(utility)를 유지한다. 1단계에서는 Low-Rank Unlearning Adapter(LUA)를 도입하며, 이는 경량 헤시안 프록시를 사용하여 전체 파라미터가 아닌 국소적 저랭크 어댑터를 통해 곡률 인식(curvature-aware)적이고 효율적인 언러닝을 가능하게 한다. 2단계에서는 Locality-Aware Calibration(LAC)을 제안하며, 이는 경량 정제 단계로 어댑터 파라미터만 업데이트하여 랭킹 기반 목적 함수를 통해 언러닝을 강제하고 지식 증류를 통해 유틸리티를 유지함으로써 성능을 개선한다. 광범위한 실험 평가를 통해 Obliviate가 추천 품질의 최소한의 손실로 높은 수준의 망각(forgetting)을 달성하고 계산 비용을 크게 줄였음을 보여주며, 대규모 추천 시스템을 위한 실용적이고 확장 가능한 해결책을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.