연합 학습에서 그래디언트 역전 공격의 실질적 실현 가능성
Practical Feasibility of Gradient Inversion Attacks in Federated Learning
한국어 초록
그래디언트 역전 공격(gradient inversion attack)은 연합 학습(Federated Learning)에서 심각한 프라이버시 위협으로 자주 제시되며, 최근 연구들은 유리한 실험 조건 하에서 점점 더 강력한 복원 결과를 보고하고 있습니다. 그러나 실제로 배포되는 현대적인 성능 최적화 시스템에서도 이러한 공격이 실현 가능한지는 여전히 불분명합니다. 본 연구에서는 이미지 기반 연합 학습을 대상으로 그래디언트 역전의 실질적 실현 가능성을 평가합니다. 우리는 최신 해상도와 표준 비전 아키텍처를 사용하여 이미지 분류(image classification) 및 객체 검출(object detection)을 포함한 여러 데이터셋과 작업에 걸쳐 체계적인 연구를 수행합니다. 연구 결과, 매우 제한적인 가정 하에서는 특정 레거시 또는 과도기적 구조에 대해 그래디언트 역전이 여전히 가능하지만, 현대적인 성능 최적화 모델은 시각적으로 유의미한 복원에 일관되게 저항하는 것으로 나타났습니다. 또한 보고된 성공 사례 중 상당수가 실제 학습(training) 파이프라인을 반영하지 않는 추론(inference) 모드 동작이나 아키텍처 단순화와 같은 상한(upper-bound) 설정에 의존한다는 점을 입증합니다. 종합하면, 우리의 연구 결과는 정직하지만 호기심 많은(honest-but-curious) 서버 가정 하에서 그래디언트 역전을 통한 고충실도 이미지 복원이 프로덕션 최적화 연합 학습 시스템에서 치명적인 프라이버시 위험을 초래하지 않으며, 실질적인 위험 평가는 진단 목적의 공격 설정과 실제 배포 환경을 신중하게 구분해야 함을 시사합니다.
원문 초록
Gradient inversion attacks are often presented as a serious privacy threat in federated learning, with recent work reporting increasingly strong reconstructions under favorable experimental settings. However, it remains unclear whether such attacks are feasible in modern, performance-optimized systems deployed in practice. In this work, we evaluate the practical feasibility of gradient inversion for image-based federated learning. We conduct a systematic study across multiple datasets and tasks, including image classification and object detection, using canonical vision architectures at contemporary resolutions. Our results show that while gradient inversion remains possible for certain legacy or transitional designs under highly restrictive assumptions, modern, performance-optimized models consistently resist meaningful reconstruction visually. We further demonstrate that many reported successes rely on upper-bound settings, such as inference mode operation or architectural simplifications which do not reflect realistic training pipelines. Taken together, our findings indicate that, under an honest-but-curious server assumption, high-fidelity image reconstruction via gradient inversion does not constitute a critical privacy risk in production-optimized federated learning systems, and that practical risk assessments must carefully distinguish diagnostic attack settings from real-world deployments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
KVeil: 학습 불가능한 비디오에 관한 ECCV 2026 LifeGenIP 챌린지 1위 솔루션
KVeil: First-Place Solution to ECCV 2026 LifeGenIP Challenge on Unlearnable Videos
개인화된 비디오 생성 기술의 급격한 발전으로 몇 개의 인물 얼굴 비디오만으로도 합성 비디오에서 해당 신원을 재현할 수 있게 되면서, 신원 프라이버시에 대한 심각한 우려가 제기되고 있습니다. 본 보고서에서는 제한적이고 감지할 수 없는 섭동(perturbation) 예산 내에서 무단 맞춤 제작(customization)으로부터 얼굴 비디오를 보호하는 것을 목표로 하는 학습 불가능한 비디오(Unlearnable Videos) 대상 ECCV 2026 LifeGenIP 챌린지의 두 단계 모두에서 1위를 차지한 솔루션을 제시합니다. 1단계(Phase 1)에서는 후속 비디오 표현이 참조 조건에 계속 의존하도록 유지하면서도 참조 조건이 전달하는 정보를 저하시키는 한 쌍의 상호보완적 손실인 참조 용량 붕괴(Reference Capacity Collapse)와 함께, 미지의 추론(inference) 조건 전반에서 강건성을 향상시키는 모션 유도 EOT(Motion-Guided EOT) 메커니즘을 도입합니다. 2단계(Phase 2)에서는 튜닝 기반 맞춤 제작과 미확인 생성 모델까지 추가로 고려합니다. 단일 섭동 내에서 두 가지 위협을 모두 해결하기 위해, 얼굴과 배경 영역을 분리하여 보호하는 2층(two-layer) 프레임워크를 설계하였으며, 전자에서는 합성 타깃 신원으로부터 구조 정렬 섭동을 구성하고 후자에서는 1단계의 화이트박스 교란을 강화합니다. 제안하는 방법은 화이트박스 참조 기반 맞춤 제작 환경에서 거의 완벽한 보호를 달성하며, 다른 맞춤 제작 패러다임, 다양한 모델 및 시간적 공격(temporal attack) 하에서도 여전히 효과적입니다. 두 솔루션 모두 최근 연구인 LETHE를 기반으로 구축되었습니다. 본 솔루션이 무단 맞춤 제작으로부터 얼굴 비디오를 보호하는 미래 연구에 영감을 주기를 기대합니다. 코드는 https://github.com/AntigoneRandy/KVeil 에서 이용할 수 있습니다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
v3: revised manuscript; expanded experiments; added new feasibility probe;