ELROND: 확산 모델의 내재적 능력 탐험 및 분해
ELROND: Exploring and decomposing intrinsic capabilities of diffusion models
확산 모델(diffusion model)에 전달된 단일 텍스트 프롬프트는 순전히 확률적 과정(stochastic process)에 의해 결정되는 광범위한 시각적 출력을 생성하므로, 사용자는 어떤 의미적 변형이 나타날지 직접 제어할 수 없습니다. 이러한 범위를 탐험(exploration)하는 것은 어렵습니다. 무작위 탐색은 범위를 모두 포괄한다는 보장이 없으며, 프롬프트 수정은 단어 선택의 미세한 변화만으로도 생성된 이미지를 크게 바꿀 수 있어 정밀하지 못합니다. 본 연구에서는 체계적인 탐험을 위해 모델 자체가 생성 가능한 조건부 분포를 어떻게 구조화하는지 복원해야 한다고 주장합니다. 우리는 이러한 구조를 생성 매니폴드(generative manifold)로 정식화하고, 주어진 조건화에서 해당 매니폴드의 접공간(tangent space)을 복원하는 방법론인 ELROND를 제시합니다. 이를 위해 고정된 프롬프트의 확률적 실현 간 차이를 역전파하여 얻은 그래디언트를 수집하고, 주성분 분석(PCA) 또는 희소 오토인코더(Sparse Autoencoder)를 사용하여 이를 해석 가능한 방향으로 분해합니다. 우리는 제어된 환경에서 본 방법론이 이 하위 공간을 정확하게 복원함을 보이고, 대규모 모델에서 행동적(behaviorally)으로 이를 검증합니다. 또한 이렇게 복원된 구조가 외부 표현에 의존하는 방식보다 모델 능력의 더 폭넓은 탐험을 가능하게 하며, 재학습 없이도 증류된 모델의 모드 붕괴(mode collapse)를 완화함을 입증합니다.