PPE-Bench: 사적-공적 얽힘 하에서 MLLM 언러닝을 평가하기 위한 벤치마크
PPE-Bench: A Benchmark for Evaluating MLLM Unlearning under Private-Public Entanglement
멀티모달 대규모 언어 모델(MLLM)은 강력한 성능을 보여주고 있지만, 웹 데이터로부터 사적 정보를 암기할 수 있어 프라이버시 우려를 야기한다. 머신 언러닝(machine unlearning)은 처음부터 재학습하지 않고도 그러한 사적 지식을 제거하는 방법을 제공한다. 그러나 기존 MLLM 언러닝 벤치마크에는 두 가지 주요 한계가 있다. 첫째, 단일 대상 개인만을 포함하는 단순화된 이미지에 의존하여 실제 사진의 시각적 복잡성을 반영하지 못한다. 둘째, 망각 세트(forget set)와 보존 세트(retain set)가 완전히 분리되어 있다고 가정하는 경우가 많아, 사적 정보가 종종 양성적인 공적 정보와 시각적으로 얽혀 있다는 사실을 간과한다. 예를 들어, 사적 개인이 공인(public figure)과 함께 등장하거나 유명 랜드마크 앞에 나타날 수 있는데, 이 경우 사적 대상을 언러닝하더라도 공적 맥락을 손상시켜서는 안 된다. 이러한 한계를 해결하기 위해, 우리는 사적-공적 얽힘 하에서 MLLM 언러닝을 평가하기 위한 새로운 벤치마크인 PPE-Bench를 제안한다. 각 이미지에는 망각되어야 할 대상 개인과 보존되어야 할 공적 정보(공인 및 랜드마크 포함)가 함께 포함된다. 아울러 언러닝 과정에서 공적 정보를 더 잘 보존하기 위한 두 가지 간단하지만 효과적인 방법을 소개한다. 실험을 통해, 기존 언러닝 방법들이 사적 정보 유출을 줄일 수 있지만 인접한 공적 정보를 상당한 수준으로 손상시키는 경우가 많다는 것을 확인하였다.