Adversarial Sampling for Fairness Testing in Deep Neural Network
원문 초록
In this research, we focus on the usage of adversarial sampling to test for the fairness in the prediction of deep neural network model across different classes of image in a given dataset. While several framework had been proposed to ensure robustness of machine learning model against adversarial attack, some of which includes adversarial training algorithm. There is still the pitfall that adversarial training algorithm tends to cause disparity in accuracy and robustness among different group. Our research is aimed at using adversarial sampling to test for fairness in the prediction of deep neural network model across different classes or categories of image in a given dataset. We successfully demonstrated a new method of ensuring fairness across various group of input in deep neural network classifier. We trained our neural network model on the original image, and without training our model on the perturbed or attacked image. When we feed the adversarial samplings to our model, it was able to predict the original category/ class of the image the adversarial sample belongs to. We also introduced and used the separation of concern concept from software engineering whereby there is an additional standalone filter layer that filters perturbed image by heavily removing the noise or attack before automatically passing it to the network for classification, we were able to have accuracy of 93.3%. Cifar-10 dataset have ten categories of dataset, and so, in order to account for fairness, we applied our hypothesis across each categories of dataset and were able to get a consistent result and accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이론상 인증, 실무상 붕괴: 암호학적 모델 인증의 가정 간극
Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
개인정보 보호형 기계학습 감사 프로토콜은 감사자가 모델의 내부 구조나 학습 데이터를 공개하지 않고도 정확도나 공정성(fairness) 같은 속성을 평가할 수 있게 한다. 이로 인해 의료나 금융과 같은 민감한 분야에 배포된 모델을 감사하는 데 특히 매력적이다. 그러나 이러한 프로토콜이 실제 감사 환경에서 의미를 갖으려면, 그 보장은 감사 중의 행동만을 인증하는 것이 아니라 배포 이후 모델이 어떻게 행동할지를 반영해야 한다. 기존 보안 정의는 종종 이 점을 놓친다. 대부분은 고정된 감사 데이터셋에서만 모델 행동을 인증할 뿐, 동일 분포에서 추출된 다른 데이터셋으로 같은 보장이 일반화되는지는 보장하지 않는다. 본 연구에서 보이듯, 이 간극은 모델 제공자가 학습 데이터를 정교하게 조작하여 보안 영지식 증명(ZKP)에 기반한 많은 암호학적 모델 인증(CMC) 방식을 공격할 수 있게 하며, 그 결과 감사 중에는 양호한 행동을 보이지만 실무에서는 병리적(pathological) 행동을 나타내는 모델이 만들어진다. 예를 들어, 공격자가 감사 데이터셋에서 99% 이상의 정확도를 달성한다고 인증받으면서도 동일 분포의 새로운 샘플에서는 30% 미만의 정확도를 보이는 모델을 만들 수 있음을 실증적으로 보여준다. 이 간극을 해소하기 위해 CMC 프레임워크에 맞춘 엄격한 암호학적 보안 개념을 형식화하고, 일반적인 프로토콜 템플릿을 제안하며, 이것이 해당 요구사항을 만족함을 증명한다. 따라서 본 연구 결과는 기존 접근법에 대한 경고적 증거와 함께, 안전하고 개인정보를 보호하는 ML 감사 프로토콜을 설계하기 위한 건설적 지침을 제공한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
MJ: 분해된 크레딧 할당을 통한 다중 턴 LLM 탈옥
MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.