arXiv:2509.10367v2 cs.LG

불일치 기반 데이터셋 응축 관점

A Discrepancy-Based Perspective on Dataset Condensation

Tong Chen, Raghavendra Selvan

제출 2026-09-24

한국어 초록

유한 개의 원소로 이루어진 데이터셋 $\mathcal{T} = \{\mathbf{x}_i\}_{i = 1}^N$이 주어졌을 때, 데이터셋 응축(DC)의 목표는 ($M \ll N$)보다 훨씬 작은 합성 데이터셋 $\mathcal{S} = \{\tilde{\mathbf{x}}_j\}_{j = 1}^M$을 구성하여, $\mathcal{S}$에 대해 처음부터 학습한 모델이 $\mathcal{T}$에 대해 학습한 모델과 동등하거나 더 우수한 일반화 성능을 달성하도록 하는 것이다. DC의 최근 발전은 $\mathcal{T}$가 나타내는 데이터 분포를 축소된 점 집합으로 근사하는 문제와 밀접한 연관이 있음을 보여준다. 본 연구에서는 기존 DC 방법을 포괄하는 통합 프레임워크를 제시하고, DC의 과제 특정적 개념을 불일치(discrepancy) 개념을 이용한 보다 일반적이고 형식적인 정의로 확장한다. 불일치는 서로 다른 체제(regime)에서 확률 분포 간 거리를 정량화한다. 이 프레임워크는 DC의 목표를 일반화를 넘어 넓혀, 견고성(robustness), 프라이버시(privacy), 그 밖의 바람직한 성질과 같은 추가 목표를 수용한다.

원문 초록

Given a dataset of finitely many elements $\mathcal{T} = \{\mathbf{x}_i\}_{i = 1}^N$, the goal of dataset condensation (DC) is to construct a synthetic dataset $\mathcal{S} = \{\tilde{\mathbf{x}}_j\}_{j = 1}^M$ which is significantly smaller ($M \ll N$) such that a model trained from scratch on $\mathcal{S}$ achieves comparable or even superior generalization performance to a model trained on $\mathcal{T}$. Recent advances in DC reveal a close connection to the problem of approximating the data distribution represented by $\mathcal{T}$ with a reduced set of points. In this work, we present a unified framework that encompasses existing DC methods and extend the task-specific notion of DC to a more general and formal definition using notions of discrepancy, which quantify the distance between probability distribution in different regimes. Our framework broadens the objective of DC beyond generalization, accommodating additional objectives such as robustness, privacy, and other desirable properties.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.10367v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.21363v2cs.CV공통 태그 Privacy Preserving, Adversarial Robustness

눈앞에 숨기: 비전-언어 모델의 지리적 위치 프라이버시 유출 완화를 위한 디퓨전 기반 기법

Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models

멀티모달 대규모 추론 모델(MLRM)은 복잡한 시각적 이해에서 뛰어난 능력을 입증해 왔습니다. 그러나 바로 이러한 성능으로 인해 중요하면서도 아직 충분히 연구되지 않은 프라이버시 위협이 발생합니다. 공격자는 건축 양식, 식생, 조명 조건과 같은 미세한 시각적 단서에 대해 구조화된 추론을 수행함으로써, 일상적으로 공유된 사진으로부터 사용자의 지리적 위치를 정밀하게 추론하는 데 MLRM을 악용할 수 있습니다. 본 연구에서는 MLRM 기반의 지리적 위치 프라이버시 유출에 대한 체계적인 연구를 제시합니다. 먼저, 정교하게 제작된 탈옥(jailbreak) 프롬프트가 모델의 응답률을 100%까지 높일 수 있어 거부 기반 안전장치가 심각하게 불충분함을 밝힙니다. 나아가 공유 이미지에 인지하기 어려운 섭동(perturbation)을 주입하는 기존 방어 기법들은 픽셀 공간 최적화에 내재된 구조적 한계로 인해 블랙박스 전이 가능성이 저하되고 뚜렷한 시각적 아티팩트가 발생하는 문제가 있음을 확인합니다. 이러한 발견에 착안하여, 본 논문은 지리적 위치 프라이버시 유출에 대응하여 표적화된 선제적 방어를 제공하는 디퓨전(diffusion) 기반 프레임워크를 제안합니다. 제안하는 방법은 역방향 샘플링(reverse sampling) 과정에서 디퓨전 모델의 잠재 공간(latent space)에 섭동을 주입함으로써 고수준 시맨틱 표현에 직접 작용하며, 이를 통해 효과와 효용성 사이의 병목 현상을 구조적으로 해결합니다. 또한 GPS 좌표와 명시적으로 정렬된 모델인 GeoCLIP을 대리 모델(surrogate)로 활용하여 최적화를 그라운딩(grounding)함으로써, MLRM이 위치 추론에 악용하는 지리적 신호를 정확히 찾아내고 교란합니다. 이러한 표적 시맨틱 교란은 지각적 이미지 품질을 보존하면서도 훨씬 더 강력한 블랙박스 전이 가능성을 제공하여, 소셜 미디어 플랫폼에 매끄럽게 통합될 수 있도록 합니다. 코드는 https://github.com/RachelWolowitz/Hiding_in_plain_sight 에서 확인할 수 있습니다.

arXiv:2609.27022v1cs.CV공통 태그 Privacy Preserving, Adversarial Robustness

비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구

Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study

본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.

arXiv:2607.20890v3cs.LG공통 태그 Privacy Preserving, Adversarial Robustness

경량 연합 학습을 위한 정보 이론적 보안 집계: 드롭아웃 및 적대자에 강건

Information-Theoretically Secure Aggregation for Lightweight Federated Learning: Resilient to Dropouts and Adversaries

온디바이스 연합 학습(FL)은 스마트폰 및 IoT 노드와 같은 자원 제약이 있는 디바이스에서 프라이버시를 보존하면서 개인화된 모델 학습을 가능하게 한다. 통신 비용을 줄이기 위해 부호 기반 방법(예: signSGD)은 1비트 그래디언트를 전송한다. 그러나 그래디언트 부호를 노출하면 추론 공격에 취약해지며, 기존 보안 집계 방식은 이러한 방법과 호환되지 않거나 상당한 계산 및 통신 오버헤드를 발생시키는 경우가 많다. 우리는 부호 기반 FL에 맞춘 경량의 정보 이론적 보안 집계 프레임워크를 제안한다. 이 프레임워크는 단일 라운드 보안 곱셈을 통해 다수결(MV) 다항식을 안전하게 계산하며, 정직한 과반수 가정 하에서 종단 간 정보 이론적 보안을 보장하면서 서버에는 최종 집계된 부호만 공개한다. 효율성과 확장성을 높이기 위해 두 가지 핵심 기법을 도입한다. 첫째, 역형(inverse-form) 지수 축소는 유효 MV 다항식 차수를 절반으로 줄여 통신 및 계산 비용을 모두 낮춘다. 둘째, 단일 라운드 보안 곱셈을 제안하여 단 한 번의 온라인 통신만으로 선형 오프라인 복잡도와 저장 공간을 달성한다. 이들 기법을 결합하면 기존 방식 대비 온라인 통신을 최대 99.5%, 지연 시간을 최대 85.7% 줄인다. 또한 내재된 MDS 코드 기반 디코딩을 활용하여 드롭아웃과 적대적 행동 모두에 대한 강건성을 달성하며, 각각 최대 20.65% 및 10.74%의 정확도 향상을 얻는다. 전반적으로, 제안된 프레임워크는 부호 기반 FL에서 대규모, 저지연, 정보 이론적 보안 집계를 위한 실용적 기반을 마련한다.

arXiv:2607.12354v2cs.LG공통 태그 Privacy Preserving, Adversarial Robustness

정보 의존성 감소는 학습 데이터 프라이버시를 유발하지 않는다. 적대적으로 비견고(non-robust)한 특징이 그렇다

Reducing information dependency does not cause training data privacy. Adversarially non-robust features do

본 논문에서는 정보 의존성(information dependency, 암기(rote memorization)를 포함)이 이미지 재구성(reconstruction) 공격에 대한 학습 데이터 노출을 유발한다는 기존 견해에 도전한다. 광범위한 노출은 암기 없이도 지속될 수 있으며, 대신 적대적 견고성(adversarial robustness)과의 조절 가능한 연결에 의해 발생함을 보인다. 먼저 세 가지 놀라운 결과를 제시한다: (1) 이상화된 공격자 하에서 유출(leakage)을 평가하는 모델 역전 공격(MIA)에 의한 재구성을 억제하는 최근 방어 기법들은 정보 의존성의 표준 측정치(HSIC)를 감소시키지 않는다; (2) 학습 데이터셋을 최대한 암기하는 모델은 MIA 재구성에 견고(robust)하게 유지되며; (3) 표준 가정 하에서 최근 정보 이론적(information-theoretic) 경계가 임의로 강한 프라이버시 보장을 제공하는, 학습 픽셀의 97%를 보지 않고 학습된 모델도 여전히 MIA에 의해 치명적으로 재구성될 수 있다. 이러한 발견을 설명하기 위해, MIA 하의 프라이버시가 적대적 예제(adversarial examples) 문헌에서 ``비견고(non-robust)'' 특징(일반화 가능하지만 감지할 수 없고 불안정한 특징)이라고 부르는 것에서 비롯된다는 인과적 증거를 제공한다. 또한 최근 MIA 방어 기법들이 의도치 않게 모델을 이러한 특징 방향으로 이동시킴으로써 프라이버시 개선을 달성함을 보인다. 이 인과 관계를 확립하기 위해, 비견고한 특징을 의도적으로 학습하여 최첨단 방어 기법보다 우수한 재구성 방어와 더 높은 정확도를 모두 달성하는 학습(training) 체계인 Anti Adversarial Training(AT-AT)을 도입한다. 우리의 결과는 학습 데이터 노출에 대한 기존 이해를 수정하고 새로운 프라이버시-견고성 트레이드오프(tradeoff)를 드러낸다.

arXiv:2607.22386v1cs.CV공통 태그 Privacy Preserving, Adversarial Robustness

확산 모델을 위한 상관관계 인식 및 가우시안성 보존 강건 잠재 각도 워터마킹

Correlation-Aware and Gaussianity-Preserving Robust Latent Angular Watermarking for Diffusion Models

확산 모델을 위한 잠재 공간 워터마킹은 워터마크를 잠재 사전분포에 직접 내장하여, 모델 파라미터에 비침습적이고 생성 과정과 원활하게 통합되는 장점을 누린다. 그러나 잠재 가우시안성 위반 또는 잠 latent inversion 과정에서의 정상 및 악의적 교란(perturbation)에 대한 민감성으로 인해, 기존 방법은 워터마크 탐지 또는 제거 공격에 취약하다. 또한 간과된 문제는 워터마킹 후 i.i.d. 잠재 조건 위반으로, 이는 잠재 상관관계 저하와 생성 충실도 손실을 초래한다는 점이다. 이는 FID로 외부적으로 측정되었지만, 내부 상관관계 구조는 아직 엄밀하게 특성화되지 않았다. 위 문제를 해결하기 위해, 등방성(isotropic) 가우시안의 회전 불변성에 영감을 받아, 가우시안성을 보존하면서 불연속(disjoint) 잠재 요소 쌍 간의 대칭각(기준 쌍 대비 $\pmπ/2$)으로 워터마크 비트를 인코딩하는 \textit{Latent Angular Watermarking (LAW)}를 제안한다. 대칭각($π$-분리) 인코딩은 비트 값 간 기하학적 분리를 최대화하며, 디코딩 각도 오차 분산이 잠 latent 쌍의 노름에 비례함을, 즉 $\operatorname{var}(Δφ) \propto 1/ρ^2$임을 증명한다. 또한 워터마크 비트를 기하학적으로 가장 안정적인 잠 latent 차원에 고정하는 크기 기반(magnitude-driven) 변형 LAW-M를 제안하여 추가적인 강건성 향상을 얻는다. 이론적으로, 유도된 상관관계 저하에 대한 엄밀한 특성화를 제공하며, 워터마크가 삽입된 잠 latent의 자기상관(autocorrelation) 구조를 폐형(closed form)으로 유도하고, 상관관계가 고정된 $\pmπ/4$ 값을 갖는 희소하고 구조화된 비대각(off-diagonal) 요소 집합으로 제한됨을 증명한다.

arXiv:2607.13088v1cs.CR공통 태그 Privacy Preserving, Adversarial Robustness

실전 환경에서 LLM 보안: 엣지의 프라이버시 및 보안 과제

Securing LLMs in the Wild: Privacy and Security Challenges at the Edge

대규모 언어 모델(LLM)은 연구 환경에서 빠르게 실전 환경으로 이동하고 있으며, 기업 인프라, 개인 기기, 엣지 플랫폼에 배포되고 있다. 클라우드 배포는 확장 가능한 컴퓨팅을 제공하지만, 데이터 주권, 규정 준수, 지연 시간, 제3자 의존에 대한 우려가 조직들을 엣지 및 온프레미스 LLM으로 이끌고 있다. 이러한 전환은 새로운 보안 및 프라이버시 과제를 야기한다. 제한된 연산 및 메모리는 양자화, 가지치기, 모델 분할, 매개변수 효율적 적응을 포함한 공격적인 최적화를 강요하며, 각각은 취약점을 도입하고 위협 환경을 재편할 수 있다. 우리는 이러한 긴장을 보안-효율성 역설(Security-Efficiency Paradox)로 설명한다. 즉, 효율성을 높이는 메커니즘이 견고성을 약화시키거나, 새로운 공격 표면을 노출하거나, 프라이버시 위험을 증가시킬 수 있다. 우리는 압축이 안전성 정렬(alignment)을 어떻게 저하시킬 수 있는지, 분할 추론이 재구성 공격을 어떻게 가능하게 하는지, 지속적인 로컬 적응이 프라이버시 누출과 모델 드리프트를 어떻게 유발할 수 있는지 검토한다. 이러한 위험을 분석하기 위해, 메모리 벽(Memory Wall), 이차 벽(Quadratic Wall), 연산 벽(Compute Wall)이라는 세 가지 아키텍처 제약을 중심으로 구성된 배포 중심 분류체계를 도입한다. 우리는 불안전한 최적화가 피할 수 없게 되는 시점을 정량화하는 통합 제약 모델을 도출하고, 각 벽을 특정 공격 표면에 연결한다. 이 모델을 바탕으로, 작업 정확도, jailbreak 저항, 프라이버시를 에너지, 메모리, 지연 시간과 균형 맞추는 전체론적 지표인 Secure Operational Efficiency Score(SOES)를 제안하여, 실제 하드웨어 한계 하에서 엣지 LLM을 구성할 수 있게 한다. 또한 각 최적화 유발 취약점에 대한 실용적 의사결정 절차와 표적 완화 방안을 제시한다. 이러한 기여를 종합하면, 보안, 프라이버시, 효율성을 공동 평가하기 위한 공동 설계 프레임워크를 제공하며, 엣지 네이티브 지능 시스템을 보호하기 위한 기반을 마련한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.