전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.
멤버십 추론 공격(membership-inference attack)은 학습 알고리즘의 출력과 타겟 개인(target individual)을 입력받아, 해당 개인이 학습 데이터의 멤버인지 아니면 동일한 분포에서 추출된 독립적인 샘플인지를 판별하려 시도한다. 성공적인 멤버십 추론 공격은 일반적으로 공격자가 학습 데이터가 추출된 분포에 대한 어느 정도의 지식을 가지고 있어야 하며, 이러한 지식은 흔히 해당 분포로부터의 독립적인 참조 샘플(reference sample) 집합을 통해 포착된다. 본 연구에서는 성공적인 공격에 필요한 최소한의 참조 샘플 수인 샘플 복잡도(sample complexity)를 조사함으로써, 공격자가 멤버십 추론을 위해 얼마나 많은 정보를 필요로 하는지를 연구한다. 우리는 이 문제를 가우시안 평균 추정(Gaussian mean estimation)이라는 기본적인 설정에서 연구한다. 이 설정에서 학습 알고리즘은 $d$차원의 가우시안 분포 $\mathcal{N}(μ,Σ)$로부터 $n$개의 샘플을 받아, $\mathbb{E}[\|\hatμ- μ\|^2_Σ]\leq ρ^2 d$를 만족하는 오차 범위 내에서 $\hatμ$를 추정하려 한다. 우리의 결과는 이러한 설정에서 멤버십 추론을 수행할 때, 완전한 정보를 가진 공격자(fully informed attacker)와 경쟁할 수 있는 어떠한 공격을 수행하기 위해서도 $Ω(n + n^2 ρ^2)$개의 샘플이 필요할 수 있음을 보여준다. 우리의 결과는 공격자가 때때로 모델 학습에 사용된 샘플 수보다 훨씬 더 많은 샘플을 필요로 한다는 것을 처음으로 보여준다. 이 결과는 실무에서 사용되는 모든 공격이 $O(n)$개의 샘플만을 사용하는 제한된 형태를 가지며 $ω(n)$개의 샘플로부터는 이득을 얻을 수 없기 때문에, 실무적으로 중요한 함의를 갖는다. 따라서 이러한 공격들은 멤버십 추론의 가능성을 과소평가하고 있을 수 있으며, 분포에 대한 정보를 쉽게 얻을 수 있는 경우 더 나은 공격이 가능할 수도 있다.
멤버십 추론 공격(Membership Inference Attack, MIA)은 데이터로부터 학습된 모델이나 통계량을 통해 학습(training) 데이터 내 민감한 정보가 유출되는지를 경험적으로 평가하기 위해 널리 사용되는 방법입니다. 멤버십 추론(MI) 취약성은 특정 샘플이 학습 데이터에 포함되어 있었는지를 예측하려는 이진 분류기를 통해 평가되는 경우가 많습니다. MIA의 효과를 평가하기 위해 더 큰 데이터셋(dataset)의 무작위 분할을 사용하여 여러 그림자 모델(shadow model)을 학습시킵니다. 그림자 모델을 학습시킨 후에는 해당 그림자 모델을 확보한 모든 샘플에 대해 MI 취약성을 평가할 수 있습니다. MI 취약성을 신뢰성 있게 평가하려면 수많은 그림자 모델이 필요하지만, 이는 계산적으로 불가능할 수 있습니다. 따라서 실제로는 개별 샘플 수준의 취약성을 보고하는 대신 여러 샘플에 걸쳐 집계된 값을 보고하는 경우가 많습니다. 본 논문에서는 전형적인 MIA 평가 파이프라인에서 두 가지 핵심적인 약점을 입증합니다. 첫째, 고정된 상위 집합(superset)에서 그림자 데이터셋을 샘플링하면 유한 표본 바이어스(bias)가 발생하여 취약성 추정치가 부풀려짐을 보입니다. 둘째, 매우 낮은 위양성률(false positive rate, FPR) 영역에서 흔히 사용되는 방식인 여러 개인에 걸친 MIA 점수를 연결하여 진양성률(true positive rate, TPR)을 평가하는 방식이 샘플별 FPR 전반에 걸쳐 보정(calibration)되지 않음을 보입니다. 이 두 가지 약점 모두에 대해 가장 단순한 근사 형태에서는 추가 계산 비용이 전혀 발생하지 않는 해결책을 제안합니다. 또한 추가적인 계산을 통해 취약성 추정의 신뢰성을 더욱 향상할 수 있음을 보입니다.
코드 대규모 언어 모델(CodeLLM)의 최근 발전으로 인해 이들 모델은 현대 소프트웨어 공학에서 필수적인 도구가 되었습니다. 그러나 이러한 모델들은 때때로 독점적이거나 민감한 코드 스니펫을 포함하는 결과를 생성하여, 학습(training) 데이터의 비준수적 사용 가능성에 대한 우려를 낳고 개인정보 보호 및 지적 재산권에 대한 위험을 초래합니다. CodeLLM의 책임감 있고 규정을 준수하는 배포를 보장하기 위해 학습 데이터 탐지(TDD)가 중요한 과제가 되었습니다. 최근의 TDD 기법들은 자연어 환경에서 유망한 결과를 보여주었으나, 코드 데이터에 대한 효과는 여전히 거의 탐구되지 않은 상태입니다. 이러한 격차는 자연어와 비교하여 코드의 구조화된 문법 및 고유한 유사성 기준을 고려할 때 특히 중요합니다. 이를 해결하기 위해 본 논문에서는 8개의 CodeLLM 전반에 걸쳐 성능을 평가하며, 소스 코드 데이터에 대한 7가지 최신 TDD 기법의 포괄적인 실증적 연구를 수행합니다. 이러한 평가를 지원하기 위해 3개 프로그래밍 언어의 9,000개 코드 샘플로 구성된 함수 수준 벤치마크 데이터셋(dataset)인 CodeSnitch를 도입하며, 각 샘플은 CodeLLM 학습에 포함되었거나 제외된 것으로 명시적으로 라벨링되어 있습니다. 기존 CodeSnitch에 대한 평가를 넘어, 세 가지 서로 다른 환경에서 TDD 기법의 강건성을 테스트하기 위한 표적 변이(mutation) 전략을 설계합니다. 이러한 변이 전략은 잘 정립된 Type-1부터 Type-4까지의 코드 클론 탐지 분류 체계에 기반을 두고 있습니다. 본 연구는 현재 코드 대상 TDD 기술에 대한 체계적인 평가를 제공하며, 향후 더욱 효과적이고 강건한 탐지 기법 개발을 이끌 통찰을 제시합니다.
안전한 AI 모델을 개발할 때 핵심 도구 중 하나는 데이터 감사(data auditing)로, 이는 통계적 도구를 사용하여 블랙박스 모델의 학습 데이터에 유해 콘텐츠가 포함되었는지 판별하는 것이다. 불행히도, 이러한 유형의 감사를 수행하는 데 사용되는 대부분의 멤버십 추론 공격(MIA)은 쿼리 데이터와 동일한 분포의 유해 콘텐츠 예시에 대한 접근(access)을 전제로 한다. 실제 감사 시나리오에서는 감사자가 법적·윤리적 제약으로 인해 MIA 모델을 효과적으로 학습하기 위한 대표적인 유해 콘텐츠 샘플 집합에 접근하지 못하는 경우가 많다. 우리는 이 설정을 추상화하여 새로운 데이터 접근 모델인 'unseen class' 설정으로 형식화하고, 최신(SOTA) MIA가 전체 타깃 분포에 대한 접근 부족으로 실패함을 보인다. 이 설정에서 분위수 회귀 공격(quantile regression attacks)이 일반적으로 SOTA로 간주되는 접근법보다 우수함을 보인다. 이를 실증적으로와 이론적으로 모두 입증하며, 분위수 회귀 공격이 실제로 섀도우 모델(shadow model) 기반 접근법 대비 최대 11배의 TPR(참양성률)을 달성함을 보이고, 이 접근법이 성공하기 위해 필요한 일반화(generalization) 특성을 개괄하는 이론적 모델을 제시한다. 본 연구는 기존 MIA의 중요한 실패 양상을 밝히고, AI 안전성(safety)의 실제 응용에서 기존 도구를 그대로 사용하려는 실무자들에게 경종을 울린다.
의료, 법 집행, 금융 등 민감한 분야에 배포된 머신러닝(ML) 모델은 유틸리티 요구사항뿐 아니라 공정성과 프라이버시 보장도 충족해야 한다. 기존 연구는 대체로 프라이버시 보존 기법이 공정성에 미치는 영향을 살펴보았지만, 그 역방향 질문—공정성 향상 알고리즘이 프라이버시 유출에 어떤 영향을 미치는지—는 아직 충분히 탐구되지 않았다. 본 연구는 공정성 개입이 하위 집단(subpopulation) 수준에서 멤버십 추론(membership inference) 프라이버시 위험에 어떤 영향을 미치는지에 대한 최초의 포괄적 연구를 제시한다. 하위 그룹(subgroup) 감사를 위해 Likelihood Ratio Attack(LiRA)을 적응하여, 집계 평가가 감추는 프라이버시 불균형을 밝힌다. 또한 차분 프라이버시(Differential Privacy, DP)가 다양한 범주에서 공정성 향상 방법과 어떻게 상호작용하는지 분석하며, DP의 프라이버시 이점과 유틸리티 비용이 하위 집단 전반에 고르게 분포하지 않음을 보인다. 결과는 공정성 개입이 프라이버시 위험을 균일하게 증가시키지 않으며, 그 영향이 모델 아키텍처, 하위 그룹 크기, 완화 전략에 따라 달라짐을 보여준다. 이러한 발견은 공정성, 프라이버시, 유틸리티를 하위 집단 수준에서 공동으로 평가해야 함을 드러내며, 실무에서 이러한 감사를 지원하기 위한 최초의 통합 실증 프레임워크를 제안한다.
듯
{
"title_ko": "얼굴 인식 모델의 초구면 임베딩 기하에서 학습 멤버십 정보의 정량화",
"abstract_ko": "얼굴 인식 모델은 동일 신원의 임베딩을 클러스터링하고 각도 마진(angular-margin) 손실을 통해 서로 다른 신원을 분리함으로써, 각 얼굴을 단위 초구면(unit hypersphere) 상의 임베딩 벡터로 표현한다. 이러한 손실은 학습 신원에만 작용하기 때문에, 비멤버(non-member) 신원은 서로 다른 기하적 특성을 갖는 클러스터를 형성할 수 있다. 본 논문에서는 이러한 차이의 크기와 이를 조절하는 학습 시점 요인을 정량화한다. IResNet 백본 크기, 손실 헤드, 학습 기간, 학습 신원 수에 대한 요인 설계(factorial design) 하에서 180개의 얼굴 인식 모델에 걸쳐 클러스터 기하에 기반한 네 가지 통계량을 계산하고, 각 설정을 아홉 개의 벤치마크에서 평가한다. 결과에 따르면 학습 신원 수가 멤버/비멤버 분리성에 가장 큰 영향을 미치는 반면, 백본과 손실 헤드의 기여는 훨씬 적으며, 동일 도메인 홀드아웃 기준(same-domain held-out reference)에서 학습에 더 많은 신원이 추가될수록 기하학적 멤버십 신호는 단조적으로 감소한다. 교차 도메인(포즈, 연령, 품질, 인종) 비멤버 벤치마크에 대한 분석을 제공하며, 이러한 벤치마크가 겉보기 멤버십 신호를 부풀린다고 보고한다. 마지막으로, 네 가지 통계량을 모두 학습된 분류기와 융합하여 최상의 개별 통계량을 넘어서는 추가 멤버십 정보를 드러낸다."
}
데이터 수집에서의 데이터 부족과 프라이버시 제약을 극복하기 위해, 학계와 산업 전반에서 실제 학습 데이터를 텍스트-이미지(text-to-image, T2I) 생성 합성 데이터로 증강하는 것이 표준 관행이 되었으며, 우리는 이 패러다임을 실제-합성 혼합 학습(Real-Synthetic Mix-Training, RSMT)이라고 부른다. 민감한 실제 샘플을 합성 데이터로 대체하는 것이 대체된 데이터의 프라이버시 노출을 완화하는 수단으로 널리 여겨지지만, 학습에 적극적으로 참여하는 남은 실제 샘플에 대한 위험은 대체로 검토되지 않았다. 본 연구는 처음으로 RSMT가 이러한 실제 학습 샘플의 프라이버시 유출을 상당히 증폭시킬 수 있음을 밝힌다. 우리는 RSMT 기억 증폭(RSMT Memorization Amplification)이라는 이론적 프레임워크를 수립하여, 합성 데이터를 통합하면 실제 샘플이 혼합 특징(feature) 공간의 주변 영역으로 밀려나게 되고, 그 결과 모델이 이를 더욱 공격적으로 기억하도록 강요됨을 증명한다. 이 기반을 바탕으로, 우리는 멤버십 추론(membership inference) 공격(MIA)을 통해 이 위험을 체계적으로 평가하는 RSMixLeak을 제안한다. RSMixLeak은 적대자의 역량에 따라 두 가지 변형으로 구성된다. 비적대적(non-adversarial) 변형은 정직한 T2I 제공자를 갖춘 정상적인 RSMT 파이프라인을 감사하여, 실제 데이터와 T2I 생성 데이터 사이의 고유한 간극에 의해 유발되는 유출의 하한(lower bound)을 확립한다. 적대적(adversarial) 변형은 T2I 모델을 통제하거나 T2I 제공자에 조작된 데이터를 기여하는 적대자를 고려하며, 고수준 의미론적 속성 결합(semantic attribute binding) 또는 인지할 수 없는 픽셀 수준 코팅(coating) 중 하나를 통해 대상 클래스에서 이 분포 간극을 의도적으로 확대하여, 하류 모델 유용성을 개선하면서 실제 학습 데이터에 대한 유출을 더욱 증폭시킨다. 이러한 발견에 동기부여되어, 우리는 실제 데이터만으로 계산 가능한 경량 유출 성향(leakage propensity) 지표를 추가로 제안하며, 이는 RSMT에 진입하기에 부적합한 고위험 데이터셋(dataset)을 신뢰성 있게 식별하는 자가 평가(self-assessable) 가능한 완화(mitigation) 수단이다.
임상 AI 모델은 적대적 취약점이 감지되지 않으면 환자에게 위해를 초래할 수 있지만, 공식적인 보안 감사에는 통계 전문 지식, 전문화된 도구, 상당한 시간이 필요하다. 우리는 METR Task Standard v0.3.0을 기반으로 구축된 공개 평가 태스크를 제시하며, 이는 프론티어 AI 에이전트가 구조화된 임상 AI 보안 감사를 자율적으로 구현할 수 있는지 시험한다. 사전학습된 임상 예측 모델, 환자 데이터셋, 서면 지침이 주어지면, 각 에이전트는 의사코드로부터 네 가지 공격을 구현하고, FGSM 견고성, 멤버십 추론 저항성, 기대 교정 오차(expected calibration error), 경계 공격 저항성을 포괄하는 Security Posture Score를 계산하며, 스캐폴딩 코드 없이 bash 인터페이스만을 사용하여 Docker 컨테이너에서 구조화된 JSON 보고서를 작성해야 한다. 여섯 가지 변형은 점진적으로 강화된 방어 수준을 가진 세 가지 모델 아키텍처에 걸쳐 Wisconsin Diagnostic Breast Cancer와 MIMIC-IV ICU 사망률 데이터셋을 포괄하며, 기준 점수는 55.60에서 90.41까지이다. 세 가지 프론티어 모델에 대해 변형당 세 번의 실행으로 총 54회 평가를 수행했다. Claude Sonnet 4.6과 GPT-4.1은 18회 실행을 모두 완료했으며 완벽한 평가자 점수를 받았다. GPT-4o는 실행의 61%를 완료했으며, 제공자의 토큰화 방식이 다르긴 하지만 Claude 대비 실행당 토큰 수가 약 5배였다. 총 API 비용은 GPT-4.1 8달러, Claude Sonnet 4.6 12달러, GPT-4o 27달러였다. GPT-4o의 실패는 조기 세션 종료, 집계 오류, 빈 제출 파일과 관련되었다. 태스크, 채점 인프라, Wisconsin Breast Cancer 자산은 공개 배포되었으며, MIMIC-IV 변형은 별도의 PhysioNet 접근이 필요하다.
Flow Matching 목적 함수에 기반한 생성 모델, 특히 Rectified Flow는 효율적이고 고품질의 이미지 합성을 위한 지배적 패러다임으로 부상했다. 그러나 기존 연구가 생성 품질과 아키텍처 스케일링에 크게 우선순위를 두는 반면, RF 모델이 학습 데이터를 암기하는 기저 역학은 여전히 거의 탐구되지 않았다. 본 논문에서는 멤버십 추론 공격(Membership Inference Attack, MIA)의 검정 통계량을 통해 RF의 암기 행동을 체계적으로 조사한다. 우리는 점진적으로 세 가지 검정 통계량을 정식화하고, 이미지의 고유한 공간 복잡도를 진정한 암기 신호와 성공적으로 분리하는 복잡도 보정 지표에 이르게 한다. 이 보정은 상당한 성능 향상을 가져오며—공격 AUC를 최대 15%까지, 프라이버시에 중요한 TPR@1%FPR 지표를 최대 45%까지 끌어올려—RF에 특화된 최초의 비자명한 MIA를 확립한다. 이 정교화된 지표를 활용해 우리는 뚜렷한 시간적 패턴을 밝혀낸다: 표준적인 균등 시간 학습 하에서 모델의 MIA 취약성은 적분 중간점에서 엄격히 최고조에 이르며, 이 현상은 네트워크가 선형 근사에서 강제로 벗어나야 하는 특성을 통해 설명한다. 마지막으로, 균등 타임스텝 샘플링을 대칭 지수(Symmetric Exponential, U형) 분포로 대체하면 취약한 중간 타임스텝에 대한 노출을 효과적으로 최소화함을 보인다. 세 데이터셋에 걸친 광범위한 평가는 이 시간적 정규화가 생성 충실도를 유지하면서 암기를 억제함을 확인한다.
모델 증류(distillation) -- 더 강력한 서드파티 모델의 출력으로 학습하는 것 -- 는 성능 향상에 널리 활용되지만, 불공정한 이점 및 정책 위반에 대한 우려를 야기한다. 이는 근본적인 질문을 제기한다: 한 모델이 다른 모델로부터 증류되었는지 탐지할 수 있는가? 우리는 학생 모델(student model)로부터 교사 모델(teacher model)을 단독으로 식별하는 것은 매우 어렵지만, 참조 기반 설정에서는 다룰 수 있음을 보인다: 동일한 계보의 모델과 이전 세대 체크포인트(checkpoint)가 주어지면, 이후 체크포인트의 학습(training)에 사용된 교사 모델을 식별할 수 있다. 우리는 참조 기반 멤버십 추론(membership inference)에 기반한 증류 탐지 방법을 소개한다. 참조 체크포인트 대비 학생 모델이 서로 다른 후보 교사들의 출력과 얼마나 선호적으로 정렬되는지를 비교함으로써, 우리의 방법은 가장 유력한 교사 모델을 식별하고 증류의 증거를 탐지한다. 숨겨진 프롬프트(prompt)와 같은 알려지지 않은 증류 파이프라인을 처리하기 위해, 모델(model) 출력으로부터 직접 프록시 프롬프트 템플릿을 추론(inference)한다. 추가로, o1/o3 모델에 특유한 독특한 글리프(glyph) 수준의 신호를 식별한다. 현대 모델 계보가 이미 심하게 얽혀 있어 증류 탐지를 평가하는 것은 어렵다. 이를 해결하기 위해, 통제된 증류 실험과 실제 모델 모두를 아우르는 하이브리드 평가를 개발한다. 두 설정 모두에서, 우리의 접근법은 기반 증류 파이프라인이 대체로 알려지지 않은 경우에도 단일 교사 증류 시나리오에서 거의 완벽한 정확도로 실제 교사 모델을 복원한다. 나아가 교사 귀속(teacher attribution)과 증류 탐지 모두에 대한 통계적 검정을 도입하고, 후보 중 교사 모델이 반드시 존재하지 않는 오픈 월드(open-world) 설정으로 프레임워크를 확장한다. 우리의 방법을 현대 모델에 적용한 결과, QwQ, DeepSeek-R1, GPT-OSS와 관련된 잠재적 증류 관계에 대한 새로운 증거를 제시한다.
머신 언러닝(machine unlearning) 알고리즘이 학습 데이터의 영향을 실제로 제거하는지 검증하기 위해, 멤버십 추론 공격(membership inference attack)을 활용하여 언러닝 파라미터 $\varepsilon$의 데이터 의존적 하한을 계산하는 실용적인 감사(auditor) 기법을 제안한다. CIFAR-100과 Shakespeare 데이터셋 실험에서 model clipping, rewind-to-delete 등 이론적 보장이 있는 알고리즘은 매우 작은 $\varepsilon$ 하한을 보인 반면, Hessian 기반 언러닝 및 retain set 파인튜닝 등 경험적 방법들은 50~60을 초과하는 큰 하한값을 나타내어 언러닝이 제대로 이루어지지 않음을 실증적으로 드러냈다.
멤버십 추론 공격(MIA)을 텍스트-투-텍스트, 텍스트-투-이미지, 이미지-투-텍스트 생성 모델 전반에 통합 적용하는 최초의 통합 프레임워크를 제안하며, 생성 모델의 출력 분포가 학습 데이터 분포를 근사한다는 모달리티 독립적 특성을 활용해 공유 임베딩 공간에서 가능도 비율 검정으로 멤버십을 추론한다. 엄격한 블랙박스 환경에서 부분 지식 및 제로 지식 위협 모델 모두를 대상으로 한 실험에서 기존 단일 모달리티 최신 기법들을 능가하는 성능을 입증했다.
설명 가능성(Explainability)은 신뢰할 수 있는 AI를 구축하는 데 핵심적이지만, 설명 인터페이스는 의도치 않게 적대자에게 확장된 프라이버시 관련 공격 표면을 제공할 수 있다. 최근 연구에 따르면, 고급 멤버십 추론 공격(membership-inference attack)은 신뢰도 점수나 설명 벡터를 직접 사용하는 대신, 어트리뷰션 기반 섭동을 통해 유도된 신뢰도 하락 궤적(confidence-drop trajectory)을 판별적 특징으로 활용함으로써 성공한다는 것이 밝혀졌다. 멤버십 추론에 대한 기존 방어 기법들은 이러한 설명 기반 공격을 직접적으로 완화하지 못한다. 본 연구에서는 학습 과정에서 모델 자체의 그래디언트를 이러한 공격에 대한 방어 신호로 활용하여 멤버(member)와 비멤버(non-member) 간의 설명 프로파일을 정렬할 수 있는지 탐구한다. 이를 위해, 그래디언트 기반 섭동을 통해 시뮬레이션된 신뢰도 하락의 불규칙한 변동에 패널티를 부과하는 동시에 KL 발산(KL-divergence)을 통해 분포적 이동(distributional shift)을 최소화하는 궤적 불변 설명 정규화(TIER, Trajectory-Invariant Explanation Regularization) 방어 기법을 제안한다. 레이블 견고성을 강조하는 기존의 적대적 학습(adversarial training)과 달리, 본 접근법은 KL 발산을 통한 자기 일관성(self-consistency)을 강제하고 멤버와 비멤버 간 신뢰도 하락의 분산을 줄임으로써 설명 견고성(explanation robustness)을 목표로 한다. 광범위한 실험을 통해 본 방법이 이러한 공격을 효과적으로 완화하며, 모델 유용성과 설명 충실도를 유지하면서 프라이버시 보호를 제공함을 확인하였다.
WARP는 공개된 파인튜닝 모델의 가중치만으로 학습에 사용된 도메인 혼합 비율을 역추적하는 프레임워크로, 베이스 모델과 파인튜닝 모델 간의 보간(model merging)으로 유사 체크포인트를 생성하여 가중치 공간의 기하학적 발자국을 추출한다. BERT와 GPT-2 실험에서 각각 평균 MAE 0.046, 0.104를 달성하며 멤버십 추론(membership inference) 기반 방법 및 실제 학습 궤적에 접근 가능한 변형보다 뛰어난 성능을 보였다.
섀도 모델과 신뢰할 수 있는 보류 평가셋 없이도 후보 데이터셋의 학습 사용 비율을 추정하도록, 합성 비멤버 샘플 생성·멤버십 추론 특징 추출·혼합 비율 추정(MPE)을 결합한 NU-DUI 프레임워크를 제안한다. 확산·자기회귀 대규모 이미지 생성 모델 실험에서 멤버 비율을 신뢰성 있게 정량화하며, 섀도 모델 기반 기존 방식 대비 연산 비용을 수천 배 이상 줄인다.
Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.
Vision-Language Large Models (VLLMs) trained on massive crawled corpora raise pressing copyright and data-provenance concerns. These concerns are particularly acute in healthcare, where patient medical images paired with clinical reports demand rigorous privacy safeguards. However, existing training data detection methods either fail in cross-modal scenarios or rely on superficial output signals with insufficient discriminative power. We introduce GradAudit, a gradient-based auditing framework that examines internal optimization dynamics rather than treating VLLMs as black boxes. Our approach builds on a key observation: model parameters converge to regions where gradients on training samples become stable and well-aligned, whereas gradients on non-training samples remain noisy and inconsistent. By analyzing these gradient signatures, GradAudit achieves strong separability and detects genuine image-text associations learned during training, not merely individual modality membership. Empirically, across both medical and general-domain datasets, GradAudit substantially outperforms state-of-the-art baselines in both pretraining and fine-tuning VLLMs. In a case study employing copyrighted content, we show that existing training data detection methods not only underestimate the extent of unauthorized data usage, but that this underestimation becomes more pronounced as models become more recent and more advanced.
LLM이 특정 샘플을 그대로 암기하지 않아도 흩어진 언급으로 실세계 엔티티 지식을 축적·노출할 수 있다는 점에서, 생성 텍스트만 관측 가능한 레이블 전용 블랙박스 설정에서 대상 엔티티 관련 정보의 학습 여부를 판별하는 엔티티 수준 멤버십 추론(entity-level membership inference)을 제안한다. 제한된 엔티티 단서로 프롬프트를 구성해 응답을 유도하고 생성 텍스트의 의미적 특징으로 멤버십을 추론하는 다섯 가지 심문 전략을 형식화했으며, 인물 엔티티 실험에서 AUC 최대 0.97과 최고 기준선 대비 Balanced Accuracy 6.0%–17.5% 향상을 보였다.
PSyGenTAB은 증대 라그랑주 방법(Augmented Lagrangian Method)으로 풀 수 있는 제약 최적화(constrained optimization) 문제로 합성 임상 표(tabular) 데이터 생성을 정의하고, 학습 과정에 구성 가능한 프라이버시 제약을 직접 넣어 최소 프라이버시 임계값을 지키면서 임상 데이터 유용성을 최대화한다. 여러 임상 벤치마크에서 특징 간 임상 관계와 소수 클래스 진단 패턴을 보존했고, 합성 데이터로 학습한 모델은 실제 환자 기록으로 학습한 모델과 유사한 성능을 보였으며, 레코드 재현 감소와 멤버십 추론 공격(membership inference attack) 저항성도 확인되었다.