환상 전이(Phantom Transfer)를 유발하는 데이터셋 바이어스 식별을 위하여
Towards Identifying the Dataset Biases Causing Phantom Transfer
최근 연구에 따르면, 교사 모델(teacher model)은 해당 바이어스에 대한 모든 명시적 언급이 제거된 데이터셋을 통해서도 학생 모델에 바이어스를 전이시킬 수 있으며, 테스트된 데이터 수준 방어 기법 중 어느 것도 방어자가 무엇을 찾아야 하는지 알고 있는 경우에도 이러한 바이어스를 안정적으로 제거하거나 탐지하지 못하는 것으로 나타났다. 이러한 바이어스가 남기는 은밀한 흔적을 밝히기 위해, 우리는 데이터셋의 완성문(completions)을 Sentence-BERT로 임베딩한 뒤, 클린(clean) 참조 완성문의 임베딩을 빼고, 그 결과를 후보 주제들로 이루어진 개방형 어휘(open vocabulary)와 비교한다. 이 단순한 시그니처(signature)는 공격자의 교사 모델이 알려진 경우 매튜스 상관계수(Matthews correlation coefficient) 0.83으로, 알려지지 않은 경우 0.46으로 바이어스의 주제를 식별한다. 또한 서로 다른 교사 모델들이 동일한 바이어스를 서로 다른 어휘를 통해 표현하는 것으로 관찰되었다.