arXiv:2111.04394

Get a Model! Model Hijacking Attack Against Machine Learning Models

Ahmed Salem, Michael Backes, Yang Zhang

제출 2021-11-08

원문 초록

Machine learning (ML) has established itself as a cornerstone for various critical applications ranging from autonomous driving to authentication systems. However, with this increasing adoption rate of machine learning models, multiple attacks have emerged. One class of such attacks is training time attack, whereby an adversary executes their attack before or during the machine learning model training. In this work, we propose a new training time attack against computer vision based machine learning models, namely model hijacking attack. The adversary aims to hijack a target model to execute a different task than its original one without the model owner noticing. Model hijacking can cause accountability and security risks since a hijacked model owner can be framed for having their model offering illegal or unethical services. Model hijacking attacks are launched in the same way as existing data poisoning attacks. However, one requirement of the model hijacking attack is to be stealthy, i.e., the data samples used to hijack the target model should look similar to the model's original training dataset. To this end, we propose two different model hijacking attacks, namely Chameleon and Adverse Chameleon, based on a novel encoder-decoder style ML model, namely the Camouflager. Our evaluation shows that both of our model hijacking attacks achieve a high attack success rate, with a negligible drop in model utility.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23394v1cs.AI공통 태그 Decoder, Data Poisoning

LLM 미세조정으로 인한 숨겨진 행동 완화를 위한 추론 시점 합의

Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning

최근 연구는 소량의 오염된 데이터만으로 언어 모델을 미세조정해도 표적화된 오동작을 심을 수 있으며, 겉보기에는 무해한 데이터도 광범위하게 일반화되는 숨겨진 선호를 전달할 수 있음을 보여준다. 데이터 필터링, 무해한 데이터 혼합, 정규화와 같은 표준 방어 기법은 이러한 효과를 약화시키지만 제거하지는 못한다. 우리는 대신 중복성을 통해 견고성을 추구한다. 서로 다른 출처에서 여러 데이터셋을 수집하고 그들 사이에 공통적인 것만 학습하는 방식이다. 따라서 출처의 일부만 악의적이라면 오동작이 차단된다. 이 방어 전략을 구현하기 위해, 우리는 각 출처의 데이터셋으로 별도의 참조 모델을 미세조정하고 디코딩 시점에 다음 토큰 분포를 집계한다. 우리는 두 가지 합의 디코더를 제안한다. 하나는 각 출처가 부여하는 최저 확률로 모든 토큰을 상한으로 제한하는 토큰 단위 최솟값이고, 다른 하나는 출처들이 상반된 방향으로 이동하는 토큰에서 기본 모델 확률로 되돌리는 기본 모델 대비(base-relative) 변형이다. 또한 출처 간 부분적 지지와 동일한 의도의 서로 다른 표면적 표현을 허용하기 위해 정확한 합의를 완화한다. 통제된 포이즈닝 과제, 잠재 학습(subliminal learning), 창발적 정렬 불일치(emergent misalignment) 전반에 걸쳐, 합의 디코딩은 공유된 바람직한 행동을 보존하면서 출처 특이적 오동작을 억제하며, 합집합 학습(union training)과 가중치 평균화가 원치 않는 행동을 유지하는 경우도 포함한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.