hidream.ai

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.03629v1cs.CV

EraseSAE: 희소 오토인코더를 통한 텍스트-비디오 확산 모델에서의 정밀한 개념 소거

EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders

텍스트-비디오(T2V) 확산 모델의 최근 발전은 놀라운 생성 능력을 입증했지만, 정밀하게 정제되지 않은 학습(training) 데이터에 대한 의존도로 인해 시급한 안전성(safety) 및 저작권 문제가 제기되고 있습니다. 개념 소거(concept erasure)는 사전학습(pre-training)된 모델에서 원치 않는 의미론적 요소를 제거하면서 나머지 개념은 보존하는 원칙적인 해결책을 제공합니다. 그러나 기존 접근 방식은 일반적으로 개념 표현의 세밀하고 분산된 특성과 일치하지 않는 조악한 세분성(granularity)에서 작동하여, 불완전한 제거로 이어지거나 생성 품질을 저하시킵니다. 본 논문에서는 정밀한(surgical) 소거를 수행하려면 각 단위가 단일한 해석 가능 개념을 인코딩하는 단일 의미적(monosemantic) 특징(feature) 수준에서의 개입이 근본적으로 필요하다고 주장합니다. 이를 위해, 원칙적인 '분해-속성 분석-소거(decompose-attribute-erase)' 파이프라인을 통해 DiT 기반 T2V 확산 모델에서 정밀한 개념 소거를 달성하고자 희소 오토인코더(sparse autoencoder)를 활용하는 새로운 프레임워크인 EraseSAE를 제안합니다. 먼저, 시공간적 일관성을 보존하면서 조밀한 시공간 활성화를 얽힘이 풀린 해석 가능한 희소 특징으로 분해하는 분할 합성곱 희소 오토인코더(Partitioned Convolutional Sparse Autoencoder)를 도입합니다. 그런 다음 대조적 속성 분석 메커니즘을 통해 쌍을 이루는 프롬프트(prompt)의 활성화를 대조하여 개념 특화된 특징 커널을 분리합니다. 추론(inference) 시에는 식별된 커널에서 파생된 타임스텝 단위의 시공간 마스크를 적용하여 목표 개념이 활성화된 영역으로만 소거를 국한함으로써 관련 없는 콘텐츠는 온전히 유지합니다. 다양한 확산 모델과 개념 소거 태스크 전반에 걸친 광범위한 실험을 통해 EraseSAE가 최소한의 품질 저하만으로 정밀하고 강력한 개념 제거를 달성하며 최첨단 방법들을 크게 능가함을 입증합니다. 코드는 https://github.com/HiDream-ai/EraseSAE 에서 확인할 수 있습니다.

arXiv:2608.28219v1cs.CV

RASA: 교차 정체성 캐릭터 애니메이션을 위한 분리된 공간-동작 사전 정보

RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation

교차 정체성 캐릭터 애니메이션(Cross-identity character animation)은 참조 이미지의 대상 정체성이 구동 비디오 속 원본 캐릭터의 동작을 따르도록 만드는 것을 목표로 한다. 핵심 과제는 두 가지 능력이 본질적으로 얽혀 있다는 점에 있다. 하나는 교차 정체성 공간 매핑(위치, 크기, 골격 비율의 정렬)이고, 다른 하나는 동작 제어(관절 움직임, 부피 일관성, 시점 일관성의 정교화)이다. 본 논문에서는 구조화된 사전 정보(prior)를 Diffusion Transformer(DiT)에 주입하여 공간 매핑과 동작 제어를 분리하는 프레임워크인 Reference-Aware Structural Alignment(RASA)를 제안한다. 본 접근법은 두 단계로 구성된다. 첫째, Spatial Prior Calibrator(SPC)는 참조 정체성과 구동 포즈를 융합하여 공간적으로 그라운딩된 초기 노이즈 잠재 변수(latent)를 생성하며, 이를 통해 구동 골격에 맞는 올바른 위치 지정, 크기 조정, 정렬을 보장한다. 둘째, Inherent Motional Guider(IMG)는 체형에 무관한(shape-agnostic) SMPL 관절 움직임 파라미터를 외형에 편향된 2D 키포인트를 넘어서는 의미론적 동작 벡터(semantic motion vector)로 인코딩한다. 이 벡터는 DiT의 중간 레이어에 주입되어 기본 포즈 조건을 보완하며, 해부학적으로 일관된 관절 움직임과 시점을 고려한 부피 정교화를 가능하게 한다. 평가를 위해 엄격한 선별 과정을 거친 고품질 벤치마크인 CIM-Bench를 구축하였다. 광범위한 실험을 통해 RASA가 동작 충실도와 시각적 품질 면에서 최신 기법들을 크게 능가함을 보인다. 본 연구는 분리된 공간 사전 정보와 동작 사전 정보가 견고한 캐릭터 애니메이션의 핵심임을 보여주는 새로운 패러다임을 제시한다. 프로젝트 페이지: https://hidream.ai.github.io/RASA/