Improving Generative Pre-Training: An In-depth Study of Masked Image Modeling and Denoising Models
원문 초록
In this work, we dive deep into the impact of additive noise in pre-training deep networks. While various methods have attempted to use additive noise inspired by the success of latent denoising diffusion models, when used in combination with masked image modeling, their gains have been marginal when it comes to recognition tasks. We thus investigate why this would be the case, in an attempt to find effective ways to combine the two ideas. Specifically, we find three critical conditions: corruption and restoration must be applied within the encoder, noise must be introduced in the feature space, and an explicit disentanglement between noised and masked tokens is necessary. By implementing these findings, we demonstrate improved pre-training performance for a wide range of recognition tasks, including those that require fine-grained, high-frequency information to solve.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성
VISTA: Video-Injected Stylized Text-to-Animation
본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.
감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성
Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance
텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.
RODR: 분리된 매니폴드 표현을 위한 리만 직교 분리 정규화
RODR: Riemannian Orthogonally Decoupled Regularization for Disentangled Manifold Representation
포인트 클라우드 노이즈 제거는 본질적으로 기하학적 복원 과제로, 노이즈가 있는 이산 ambient-space 샘플로부터 R^3에 임베드된 매끄러운 2차원 리만 매니폴드의 고유 구조를 재구성하는 것을 목표로 한다. 기하학적 표현 학습에서 현대의 매니폴드 인식 인코더와 생성적 수송(transport) 모델이 눈부신 진전을 이뤘음에도, 근본적인 목표-기하학 불일치는 여전히 충분히 탐구되지 않았다. 이론적으로, 우리는 이러한 불일치된 결합이 기하학적 그래디언트 간섭을 유발하며, 상충하는 최적화 목표가 구조적 열화와 포인트 군집화를 초래함을 확인했다. 우리는 법선(fitting) 성분과 접선(distribution) 성분을 분리함으로써 최적화 궤적을 재구성하는 리만 직교 분리 정규화(RODR)를 제안한다. 벡터-어텐션 및 엔트로피 인식 적응형 전략의 안내 하에, RODR은 샘플링 균일성을 유지하면서 고충실도 기하학적 세부를 효과적으로 보존한다. 실험 결과 RODR은 최신(state-of-the-art) 베이스라인에 필적하는 성능을 달성하며, 분포 규칙성의 개선과 국소적 응집의 효과적 감소를 시사한다. 본 연구는 포인트 클라우드 처리에서 분리된 기하학적 최적화를 위한 범용적이고 해석 가능한 프레임워크를 제시한다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.