arXiv:2312.06712

Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models

Zhipeng Bao, Yijun Li, Krishna Kumar Singh, Yu-Xiong Wang, Martial Hebert

제출 2023-12-10

원문 초록

Despite recent significant strides achieved by diffusion-based Text-to-Image (T2I) models, current systems are still less capable of ensuring decent compositional generation aligned with text prompts, particularly for the multi-object generation. This work illuminates the fundamental reasons for such misalignment, pinpointing issues related to low attention activation scores and mask overlaps. While previous research efforts have individually tackled these issues, we assert that a holistic approach is paramount. Thus, we propose two novel objectives, the Separate loss and the Enhance loss, that reduce object mask overlaps and maximize attention scores, respectively. Our method diverges from conventional test-time-adaptation techniques, focusing on finetuning critical parameters, which enhances scalability and generalizability. Comprehensive evaluations demonstrate the superior performance of our model in terms of image realism, text-image alignment, and adaptability, notably outperforming prominent baselines. Ultimately, this research paves the way for T2I diffusion models with enhanced compositional capacities and broader applicability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.12912v2cs.CV공통 태그 Test-time Adaptation공식 코드 · Papers with Code

균일성 우선: 이미지 손상에 대응하는 비전-언어 모델의 균일성 인식 테스트 시점 적응

Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption

대조적 언어-이미지 사전학습(CLIP)과 같은 사전학습된 비전-언어 모델은 뛰어난 일반화 능력을 보여 왔으며, 이를 통해 제로샷 분류를 비롯한 다양한 응용이 가능해졌다. 그러나 비전-언어 모델은 입력 샘플이 학습 샘플과 큰 차이를 보이는 분포 변화(distribution shift)를 다루는 데에는 여전히 어려움을 겪는다. 우리는 CLIP이 날씨, 조명, 노이즈와 같은 센서 조건으로 인해 발생하는 현실적인 분포 변화의 일종인 이미지 손상(image corruption)에 특히 취약함을 발견했다. 이미지 손상은 예기치 않게 발생하며 그 유형이 매우 다양하기 때문에, 미세조정을 위해 테스트 분포에서 새로운 데이터셋을 수집하는 것은 비용이 매우 크다. 따라서 우리는 레이블이 없는 테스트 데이터로 테스트 분포에 즉각적으로 적응할 수 있는 제로샷 분류의 테스트 시점 적응(test-time adaptation, TTA)을 연구한다. CLIP을 위한 기존 TTA 방법은 주로 분포 변화를 해결하기 위해 이미지 및 텍스트 임베딩이나 예측을 수정하는 데 초점을 맞춘다. 이러한 방법은 분포 외(out-of-distribution)나 입력 이미지의 서로 다른 렌디션(rendition)과 같은 도메인 변화에는 적응할 수 있지만, 이미지 손상처럼 도메인 변화를 넘어서는 분포 변화에는 적응하지 못한다. 우리는 정보량과 관련된 이미지 임베딩의 균일성(uniformity)이 도메인 변화와 그 밖의 분포 변화를 구분하는 핵심 요인임을 발견했다. 이미지 손상에 대한 적응을 가능하게 하기 위해, 우리는 균일성 인식 정보 균형 TTA(uniformity-aware information-balanced TTA, UnInfo)라는 새로운 방법을 제안한다. 분포 변화를 해결하기 위해 균일성 인식 신뢰도 최대화, 정보 인식 손실 균형 조정, 그리고 지수 이동 평균(EMA) 교사 모델로부터의 지식 증류를 도입한다. 실험을 통해 UnInfo가 균일성 측면에서 정보를 보존함으로써 이미지 손상 상황에서의 정확도를 향상시킴을 보인다. 코드는 https://github.com/kzkadc/uninfo 에서 확인할 수 있다.

arXiv:2403.01977v5cs.RO공통 태그 Test-time Adaptation공식 코드 · Papers with Code

불확실성을 꿰뚫어 보기: 강건한 시각 내비게이션을 위한 자유 에너지 기반 실시간 적응

Seeing Through Uncertainty: Free-Energy-Inspired Real-Time Adaptation for Robust Visual Navigation

자연 세계에서의 내비게이션은 적응적 추론의 한 결과물이며, 생물은 노이즈가 있고 불완전한 감각 입력 스트림에도 불구하고 목표 지향적 행동을 유지한다. 이 능력의 핵심은 자유 에너지 원리(FEP)로, 지각은 뇌가 변분 자유 에너지(VFE)를 최소화하여 세상에 대한 정확한 내부 모델을 유지하는 생성 과정이라고 본다. 딥 신경망(DNN)은 생물학적 뇌의 강력한 유사 모델 역할을 해왔지만, 갑작스러운 감각 변화를 다루는 데 필요한 실시간 가소성은 일반적으로 부족하다. 본 연구는 강건한 시각 내비게이션에서 실시간 지각 적응을 위한 생물학적 영감 기반 프레임워크인 FEP-Nav를 제안한다. VFE를 예측 오차와 베이지안 서프라이즈로 분해한 구조에 영감을 받아, FEP-Nav는 손상되지 않은 감각 입력에 대한 내부 기댓값을 제공하는 하향식 디코더(Top-down Decoder)와, 편향된 특징 분포를 사전 통계에 맞게 조정하는 적응형 정규화(Adaptive Normalisation)를 결합한다. 재구성과 정규화를 그래디언트 기반 업데이트 없이 추론 중 해당 VFE 관련 항을 줄이는 근사 메커니즘으로 해석한다. 시뮬레이션 및 실제 시각 손상 환경에서의 실험은 FEP-Nav가 시각 손상으로 인한 성능 저하를 회복하며, 비적응 기준선과 강한 적응 방법보다 우수함을 보여준다. 이러한 결과는 변분 원리가 열악한 감각 조건에서 강건한 자율 행동을 위한 유용한 설계 관점을 제공할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.