EraseSAE: 희소 오토인코더를 통한 텍스트-비디오 확산 모델에서의 정밀한 개념 소거
EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders
텍스트-비디오(T2V) 확산 모델의 최근 발전은 놀라운 생성 능력을 입증했지만, 정밀하게 정제되지 않은 학습(training) 데이터에 대한 의존도로 인해 시급한 안전성(safety) 및 저작권 문제가 제기되고 있습니다. 개념 소거(concept erasure)는 사전학습(pre-training)된 모델에서 원치 않는 의미론적 요소를 제거하면서 나머지 개념은 보존하는 원칙적인 해결책을 제공합니다. 그러나 기존 접근 방식은 일반적으로 개념 표현의 세밀하고 분산된 특성과 일치하지 않는 조악한 세분성(granularity)에서 작동하여, 불완전한 제거로 이어지거나 생성 품질을 저하시킵니다. 본 논문에서는 정밀한(surgical) 소거를 수행하려면 각 단위가 단일한 해석 가능 개념을 인코딩하는 단일 의미적(monosemantic) 특징(feature) 수준에서의 개입이 근본적으로 필요하다고 주장합니다. 이를 위해, 원칙적인 '분해-속성 분석-소거(decompose-attribute-erase)' 파이프라인을 통해 DiT 기반 T2V 확산 모델에서 정밀한 개념 소거를 달성하고자 희소 오토인코더(sparse autoencoder)를 활용하는 새로운 프레임워크인 EraseSAE를 제안합니다. 먼저, 시공간적 일관성을 보존하면서 조밀한 시공간 활성화를 얽힘이 풀린 해석 가능한 희소 특징으로 분해하는 분할 합성곱 희소 오토인코더(Partitioned Convolutional Sparse Autoencoder)를 도입합니다. 그런 다음 대조적 속성 분석 메커니즘을 통해 쌍을 이루는 프롬프트(prompt)의 활성화를 대조하여 개념 특화된 특징 커널을 분리합니다. 추론(inference) 시에는 식별된 커널에서 파생된 타임스텝 단위의 시공간 마스크를 적용하여 목표 개념이 활성화된 영역으로만 소거를 국한함으로써 관련 없는 콘텐츠는 온전히 유지합니다. 다양한 확산 모델과 개념 소거 태스크 전반에 걸친 광범위한 실험을 통해 EraseSAE가 최소한의 품질 저하만으로 정밀하고 강력한 개념 제거를 달성하며 최첨단 방법들을 크게 능가함을 입증합니다. 코드는 https://github.com/HiDream-ai/EraseSAE 에서 확인할 수 있습니다.