섀도 모델이나 보류 평가셋 없이 수행하는 데이터셋 사용 추론
Dataset Usage Inference without Shadow Models or Held-out Data
한국어 초록
내 데이터가 머신러닝 모델 학습에 얼마나 사용되었을까? 데이터셋 사용 추론(DUI)은 어떤 데이터셋의 어느 비율이 모델 학습에 기여했는지를 추정함으로써 이 질문에 답하고자 한다. 그러나 기존 DUI 방법들은 실제로 충족되기 어려운 가정에 의존한다. 즉, 대상 모델을 모방하기 위해 비용이 많이 드는 섀도 모델(shadow model)을 학습시켜야 하며, 학습에 포함된 것이 확인된 샘플과 학습에서 제외된 것이 확인된 동일 분포의 보류 평가셋 모두에 대한 접근을 가정한다. 이러한 조건들로 인해 현재의 접근 방식은 현대의 대규모 모델과 실제 데이터 소유권 분쟁에 적용하기 어렵다. 우리는 이러한 제약을 제거하는 실용적인 DUI 프레임워크를 제안한다. 우리의 방법은 섀도 모델도, 실제 보류 평가셋도 필요로 하지 않는다. 대신 합성 비멤버 샘플(synthetic non-member sample)을 생성하고, 다양한 멤버십 신호를 추출하며, DUI를 혼합 비율 추정(mixture proportion estimation) 문제로 구성하여 후보 데이터셋의 어느 비율이 학습에 사용되었는지를 추정한다. 대규모 이미지 생성 모델에 대한 실험을 통해 우리의 방법이 데이터셋 사용량을 신뢰성 있게 정량화함을 보이며, 이는 데이터 소유자가 자신의 데이터가 모델 학습에 얼마나 사용되었는지를 파악할 수 있는 실용적인 도구를 제공한다.
원문 초록
How much of my data was used to train a machine learning model? Dataset Usage Inference (DUI) aims to answer this by estimating what fraction of a dataset contributed to a model's training. However, existing DUI methods rely on assumptions that rarely hold in practice: they require training expensive shadow models to imitate the target model, and they assume access to both known training samples and an in-distribution held-out set confirmed to be absent from training. These conditions make current approaches impractical for modern large models and real data ownership disputes. We introduce a practical DUI framework that removes these constraints. Our method requires neither shadow models nor real held-out data. Instead, it generates synthetic non-member samples, extracts diverse membership signals, and casts DUI as a mixture proportion estimation problem to estimate what share of the candidate dataset was used during training. Experiments on large image generative models show that our method reliably quantifies dataset usage, providing a practical tool for data owners to determine how much of their data was used to train a model.
요약
섀도 모델과 신뢰할 수 있는 보류 평가셋 없이도 후보 데이터셋의 학습 사용 비율을 추정하도록, 합성 비멤버 샘플 생성·멤버십 추론 특징 추출·혼합 비율 추정(MPE)을 결합한 NU-DUI 프레임워크를 제안한다. 확산·자기회귀 대규모 이미지 생성 모델 실험에서 멤버 비율을 신뢰성 있게 정량화하며, 섀도 모델 기반 기존 방식 대비 연산 비용을 수천 배 이상 줄인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26257v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입
MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching
플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.
라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.
눈앞에 숨기: 비전-언어 모델의 지리적 위치 프라이버시 유출 완화를 위한 디퓨전 기반 기법
Hiding in Plain Sight: A Diffusion-based Mitigation of Geolocation Privacy Leakage in Vision-Language Models
멀티모달 대규모 추론 모델(MLRM)은 복잡한 시각적 이해에서 뛰어난 능력을 입증해 왔습니다. 그러나 바로 이러한 성능으로 인해 중요하면서도 아직 충분히 연구되지 않은 프라이버시 위협이 발생합니다. 공격자는 건축 양식, 식생, 조명 조건과 같은 미세한 시각적 단서에 대해 구조화된 추론을 수행함으로써, 일상적으로 공유된 사진으로부터 사용자의 지리적 위치를 정밀하게 추론하는 데 MLRM을 악용할 수 있습니다. 본 연구에서는 MLRM 기반의 지리적 위치 프라이버시 유출에 대한 체계적인 연구를 제시합니다. 먼저, 정교하게 제작된 탈옥(jailbreak) 프롬프트가 모델의 응답률을 100%까지 높일 수 있어 거부 기반 안전장치가 심각하게 불충분함을 밝힙니다. 나아가 공유 이미지에 인지하기 어려운 섭동(perturbation)을 주입하는 기존 방어 기법들은 픽셀 공간 최적화에 내재된 구조적 한계로 인해 블랙박스 전이 가능성이 저하되고 뚜렷한 시각적 아티팩트가 발생하는 문제가 있음을 확인합니다. 이러한 발견에 착안하여, 본 논문은 지리적 위치 프라이버시 유출에 대응하여 표적화된 선제적 방어를 제공하는 디퓨전(diffusion) 기반 프레임워크를 제안합니다. 제안하는 방법은 역방향 샘플링(reverse sampling) 과정에서 디퓨전 모델의 잠재 공간(latent space)에 섭동을 주입함으로써 고수준 시맨틱 표현에 직접 작용하며, 이를 통해 효과와 효용성 사이의 병목 현상을 구조적으로 해결합니다. 또한 GPS 좌표와 명시적으로 정렬된 모델인 GeoCLIP을 대리 모델(surrogate)로 활용하여 최적화를 그라운딩(grounding)함으로써, MLRM이 위치 추론에 악용하는 지리적 신호를 정확히 찾아내고 교란합니다. 이러한 표적 시맨틱 교란은 지각적 이미지 품질을 보존하면서도 훨씬 더 강력한 블랙박스 전이 가능성을 제공하여, 소셜 미디어 플랫폼에 매끄럽게 통합될 수 있도록 합니다. 코드는 https://github.com/RachelWolowitz/Hiding_in_plain_sight 에서 확인할 수 있습니다.
GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.
확산 모델과 개념 형성
Diffusion Models and Concept Formation
인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.
MIRAGE: 동의 기반 복원을 지원하는 스마트 글래스의 전신旁관者(bystander) 프라이버시
MIRAGE: Full-Body Bystander Privacy for Smart Glasses with Consent-Based Restoration
스마트 글래스上的 동영상 녹화는 얼굴만 노출하는 것이 아니다. 연속 캡처는 보행(gait), 자세(posture), 실루엣(silhouette) 등을 포함한 전신 생체인식 특징을 드러내며, 이는 기존의 얼굴 익명화(face sanitization) 이후에도 사람 재식별(person re-identification, ReID)을 가능하게 한다. 우리는 전신 프라이버시를 강제하고, 합성적 전신 대체를 지원하며, 동의 기반 복원을 위해 암호화된 복구 자료를 보관하는 프라이버시 보호 스mart glasses용 3단 아키텍처인 MIRAGE를 제시한다. MIRAGE는 Raspberry Pi 5(스mart glasses 연산을 대체하는 CPU 전용 프록시), 동반 스martphone, 클라우드 생성형 백엔드에 구현했다. 선행 시스템과 비교할 때 MIRAGE는 완전히 보이는 신체를 정확히 검출하면서 AP 0.948, AR 0.976을 달성한다. 경계 상자(bounding box) 마스킹은 학습 기반 실루엣 ReID를 사실상 무작위 추측 수준으로 낮추며, Rank-1 정확도는 측정된 우연 수준 11.12%에 비해 10.86%이다. MIRAGE의 정화된 포즈 신호로 재학습한 적응형 적(adaptive adversary)에 대해서도 Rank-1 보행 식별 정확도는 90.25%에서 26.20%로 떨어져, 적의 식별 이점의 72.5%를 제거한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.