arXiv:2608.25727v2 cs.LG

LLM 강화 그래프 신경망의 프라이버시 위험 감사

Auditing Privacy Risks in LLM-Enhanced Graph Neural Networks

Longzhu He, Zelang Wen, Chaozhuo Li, Sen Su

제출 2026-08-26

한국어 초록

최근 대규모 언어 모델(LLM)은 노드(node) 표현에 의미론적 정보를 풍부하게 더함으로써 그래프 신경망(GNN)을 발전시켰고, 이를 통해 상당한 성능 향상을 달성하는 LLM 강화 GNN(LLM-enhanced GNN)이 등장했습니다. 그러나 이러한 의미론적 강화가 프라이버시 위험에 어떤 영향을 미치는지는 여전히 거의 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 본 연구는 (1) 데이터셋 준비, (2) 피해자 모델 학습(training), (3) 프라이버시 공격, (4) 위험 평가, (5) 방어 분석의 5단계로 구성된 통합 프레임워크를 통해 LLM 강화 GNN의 프라이버시 위험을 체계적으로 감사합니다. 구체적으로, 본 평가는 다양한 도메인에 걸친 10개의 텍스트 속성 그래프 데이터셋, 6가지 프라이버시 공격, 42가지 LLM 강화 GNN 구성, 그리고 3개의 최신 언어 모델 백본을 포괄합니다. 광범위한 실험 결과에 따르면, 유용성 향상에도 불구하고 LLM 강화 GNN은 평가된 공격 하에서 다양한 모델과 데이터셋 전반에 걸쳐 얕은 텍스트 표현 베이스라인보다 경험적으로 일관되게 더 큰 프라이버시 취약성을 나타냅니다. 추가 분석을 통해 LLM 강화 표현이 임베딩(embedding) 공간에서 링크, 레이블 및 멤버십 관련 신호를 더 뚜렷하게 구별할 수 있게 하여 추론(inference) 공격에 더 쉽게 악용될 수 있음을 보여줍니다. 마지막으로, 대표적인 방어 기법들을 평가하고 이러한 프라이버시 위험을 완화하는 효과를 검토합니다. 전반적으로 본 연구는 LLM 강화 GNN의 프라이버시 위험에 대한 체계적인 감사를 제공하며, 보다 안전하고 신뢰할 수 있는 그래프 학습 시스템을 개발하기 위한 통찰을 제시합니다.

원문 초록

Large language models (LLMs) have recently advanced graph neural networks (GNNs) by enriching node representations with semantic information, giving rise to LLM-enhanced GNNs that achieve substantial performance gains. However, how such semantic enhancement affects privacy risks remains largely underexplored. To bridge this gap, we systematically audit the privacy risks of LLM-enhanced GNNs through a unified framework consisting of five stages: (1) dataset preparation, (2) victim model training, (3) privacy attack, (4) risk assessment, and (5) defense analysis. Specifically, our evaluation spans ten text-attributed graph datasets across diverse domains, six privacy attacks, 42 LLM-enhanced GNN configurations, and three more recent language-model backbones. Extensive experiments show that, despite their utility improvements, LLM-enhanced GNNs consistently exhibit greater empirical privacy vulnerability than shallow text representation baselines under the evaluated attacks across diverse models and datasets. Further analysis shows that LLM-enhanced representations exhibit more distinguishable link-, label-, and membership-related signals in the embedding space, making them more exploitable by inference attacks. Finally, we evaluate representative defenses and examine their effectiveness in mitigating these privacy risks. Overall, this work provides a systematic audit of privacy risks in LLM-enhanced GNNs and offers insights for developing more secure and trustworthy graph learning systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25727v2
  2. arXiv:2608.25727v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving, Adversarial Attack, Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.13733v1cs.CV공통 태그 Privacy Preserving, Adversarial Attack

KVeil: 학습 불가능한 비디오에 관한 ECCV 2026 LifeGenIP 챌린지 1위 솔루션

KVeil: First-Place Solution to ECCV 2026 LifeGenIP Challenge on Unlearnable Videos

개인화된 비디오 생성 기술의 급격한 발전으로 몇 개의 인물 얼굴 비디오만으로도 합성 비디오에서 해당 신원을 재현할 수 있게 되면서, 신원 프라이버시에 대한 심각한 우려가 제기되고 있습니다. 본 보고서에서는 제한적이고 감지할 수 없는 섭동(perturbation) 예산 내에서 무단 맞춤 제작(customization)으로부터 얼굴 비디오를 보호하는 것을 목표로 하는 학습 불가능한 비디오(Unlearnable Videos) 대상 ECCV 2026 LifeGenIP 챌린지의 두 단계 모두에서 1위를 차지한 솔루션을 제시합니다. 1단계(Phase 1)에서는 후속 비디오 표현이 참조 조건에 계속 의존하도록 유지하면서도 참조 조건이 전달하는 정보를 저하시키는 한 쌍의 상호보완적 손실인 참조 용량 붕괴(Reference Capacity Collapse)와 함께, 미지의 추론(inference) 조건 전반에서 강건성을 향상시키는 모션 유도 EOT(Motion-Guided EOT) 메커니즘을 도입합니다. 2단계(Phase 2)에서는 튜닝 기반 맞춤 제작과 미확인 생성 모델까지 추가로 고려합니다. 단일 섭동 내에서 두 가지 위협을 모두 해결하기 위해, 얼굴과 배경 영역을 분리하여 보호하는 2층(two-layer) 프레임워크를 설계하였으며, 전자에서는 합성 타깃 신원으로부터 구조 정렬 섭동을 구성하고 후자에서는 1단계의 화이트박스 교란을 강화합니다. 제안하는 방법은 화이트박스 참조 기반 맞춤 제작 환경에서 거의 완벽한 보호를 달성하며, 다른 맞춤 제작 패러다임, 다양한 모델 및 시간적 공격(temporal attack) 하에서도 여전히 효과적입니다. 두 솔루션 모두 최근 연구인 LETHE를 기반으로 구축되었습니다. 본 솔루션이 무단 맞춤 제작으로부터 얼굴 비디오를 보호하는 미래 연구에 영감을 주기를 기대합니다. 코드는 https://github.com/AntigoneRandy/KVeil 에서 이용할 수 있습니다.

arXiv:2610.13886v1cs.AI공통 태그 Adversarial Attack, Large Language Model

X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Large Language Model

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2610.10616v1cs.LG공통 태그 Privacy Preserving, Large Language Model

라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출

When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.