arXiv:2301.11362

Improving Cross-modal Alignment for Text-Guided Image Inpainting

Yucheng Zhou, Guodong Long

제출 2023-01-26

원문 초록

Text-guided image inpainting (TGII) aims to restore missing regions based on a given text in a damaged image. Existing methods are based on a strong vision encoder and a cross-modal fusion model to integrate cross-modal features. However, these methods allocate most of the computation to visual encoding, while light computation on modeling modality interactions. Moreover, they take cross-modal fusion for depth features, which ignores a fine-grained alignment between text and image. Recently, vision-language pre-trained models (VLPM), encapsulating rich cross-modal alignment knowledge, have advanced in most multimodal tasks. In this work, we propose a novel model for TGII by improving cross-modal alignment (CMA). CMA model consists of a VLPM as a vision-language encoder, an image generator and global-local discriminators. To explore cross-modal alignment knowledge for image restoration, we introduce cross-modal alignment distillation and in-sample distribution distillation. In addition, we employ adversarial training to enhance the model to fill the missing region in complicated structures effectively. Experiments are conducted on two popular vision-language datasets. Results show that our model achieves state-of-the-art performance compared with other strong competitors.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2509.11638v2cs.CV공통 태그 Image Restoration, Image Inpainting

IS-Diff: 더 나은 초기 시드를 통한 디퓨전 기반 인페인팅 개선

IS-Diff: Improving Diffusion-Based Inpainting with Better Initial Seed

디퓨전 모델(diffusion model)은 자유 형식 인페인팅(free-form inpainting)에서 유망한 결과를 보여왔다. 정제된 디퓨전 샘플러(diffusion sampler)나 새로운 아키텍처 설계에 기반한 최근 연구들은 사실적인 결과와 높은 데이터 일관성을 달성했다. 그러나 기본(vanilla) 디퓨전 과정에서 사용되는 무작위 초기화 시드(노이즈)는 마스킹된 영역에 불일치한 의미 정보(semantic information)를 유입시킬 수 있으며, 이는 편향된 인페인팅 결과, 예를 들어 마스킹되지 않은 다른 영역과의 낮은 일관성 및 낮은 조화성(coherence)으로 이어질 수 있다. 이 문제를 해결하기 위해, 우리는 완전히 학습이 필요 없는(training-free) 접근법인 초기 시드 정제 디퓨전 모델(Initial Seed refined Diffusion Model, IS-Diff)을 제안하며, 이는 분포적으로 조화로운 시드를 결합하여 조화로운 결과를 생성한다. 구체적으로, IS-Diff는 마스킹되지 않은 영역에서 샘플링한 초기 시드를 사용하여 마스킹된 데이터 분포를 모방함으로써, 디퓨전 절차에 유망한 방향을 설정한다. 또한, 중간 잠재(intermediate latent)에서 심각하게 부조화한 인페인팅을 탐지하고 초기화 사전(initialization prior)의 강도를 동적으로 조정하는 동적 선택적 정제(dynamic selective refinement) 메커니즘을 제안한다. 우리는 CelebA-HQ, ImageNet, Places2 데이터셋을 사용하여 표준 및 대형 마스크 인페인팅 작업 모두에서 본 방법을 검증하였으며, 최신(state-of-the-art) 인페인팅 방법들과 비교하여 모든 지표에서 효과성을 입증하였다.

arXiv:2609.28342v1cs.CV공통 태그 Image Restoration, Image Inpainting

어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거

Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement

실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.

arXiv:2607.24140v1cs.CV공통 태그 Image Restoration, Image Inpainting

확률적 역학을 통한 이미지 인페인팅

Image Inpainting via Stochastic Dynamics

이미지 인페인팅은 구조적 일관성을 유지하면서 결손 영역을 복원하는 것을 목표로 한다. 본 연구는 데이터 기반 확률적 역학에 근거한, 신경망 학습 없이 동작하는 비모수적 방법을 제안한다. 마스킹된 이미지에서 출발하여, 결손 픽셀은 참조 데이터셋에서 직접 추정한 커널 가중 보정이 적용된 역시간 확률 미분 방정식을 통해 진화한다. 이 경험적 보정은 신경망을 학습하거나 모수적 밀도 모델을 적합하지 않고도, 재구성을 데이터 분포의 고밀도 영역으로 유도한다. MNIST, Fashion-MNIST, MVTec에서의 실험 결과, 제안 방법은 PSNR, SSIM, 시각적 품질 측면에서 Mean Fill, Telea, Navier-Stokes 인페인팅을 능가한다. CelebA에서는 경쟁력 있는 성능을 유지하며, 구조에 민감한 가림에 대해서도 그럴듯한 복원 결과를 생성한다. 이러한 결과는 이미지 인페인팅을 위한 비모수적 사전(prior)으로서 경험적 참조 통계의 효과를 보여준다.

arXiv:2607.21904v1cs.CV공통 태그 Image Restoration, Image Inpainting

의료 영상 인페인팅에서의 확산 모델: 과제, 해결책 분류체계 및 향후 방향

Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions

이미지 인페인팅은 가능한 한 시각적·의미적 일관성을 유지하면서 이미지의 누락되거나 손상된 영역을 복원하는 것을 목표로 한다. 의료 영상에서는 아티팩트, 정보 누락, 병리학적 변화가 진단 신뢰도와 하류 임상 응용을 저해할 수 있기 때문에 이 과제가 특히 중요하다. 최근 확산 모델(diffusion models)은 해부학적으로 일관된 복원을 생성할 수 있다는 점 때문에 의료 영상 인페인팅을 위한 최첨단 생성 접근법으로 부상했다. 본 서베이는 60편의 연구에 보고된 주요 아키텍처, 응용, 데이터셋, 평가 전략을 다루며 의료 영상 인페인팅을 위한 확산 기반 방법에 대한 체계적 검토를 제시한다. 또한 확산 기반 접근법에 대한 분류체계를 제안한다. 분석 결과, 확산 기반 의료 영상 인페인팅에 대한 연구 관심이 급격히 증가하고 있으며, 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)과 잠재 확산 모델(latent diffusion models, LDM)이 지배적인 아키텍처로 부상하고 있음을 보여준다. 검토된 연구들은 주로 아티팩트 제거, 데이터 증강, pseudo-healthy 조직 복원, 이상 탐지에 초점을 맞추며, 특히 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상에서 다루어진다. 전반적으로 확산 모델은 해부학적으로 그럴듯한 복원을 생성하고 하류 임상 과제를 지원하는 데 강력한 성능을 보여준다. 그러나 본 검토는 표준화된 벤치마크 부재, 제한된 데이터셋 다양성, 다양한 임상 응용 및 영상 시나리오 전반에 걸친 제한적인 검증 절차 등 중요한 과제도 강조한다.

arXiv:2607.05649v1cs.CV공통 태그 Image Restoration, Image Inpainting

REVIVE: 자율주행차량의 반달리즘 탐지 및 복원을 위한 멀티모달 프레임워크

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

자율주행차량(AV)은 카메라 기반 인식 시스템을 손상시키는 반달리즘 유발 폐색 공격(VOA, Vandalism-induced Occlusion Attack)의 위협에 점점 더 많이 노출되고 있다. 탐지 프레임워크가 훼손된 이미지를 식별할 수 있는 반면, 물리적 폐색 이후 카메라 스트림의 유용성을 복원하는 방법은 아직 충분히 연구되지 않았다. 본 논문에서는 시각적 우수성을 위한 훼손 이미지 복원 및 향상 프레임워크인 REVIVE(Recovery and Enhancement of Vandalized Images for Vision Excellence)를 제안한다. 이 반달리즘 복원 파이프라인은 다음을 통합한다: (1) 이진 VOA 탐지, (2) 다중 클래스 VOA 패턴 식별, (3) EfficientNet 기반 U-Net 세그멘테이션, (4) BLIP(Bootstrapping Language-Image Pre-training) 가이드 Stable Diffusion 인페인팅, 직접 픽셀 대체, 또는 적응형 중앙값 필터링을 활용하는 유형 인식 복원. Stable Diffusion은 VOA 패턴에 따라 가변적인 복원 성능(패턴별 SSIM 0.667–0.867, PSNR 15.4–26.7dB)을 보이며, 정렬된 직접 픽셀 대체는 정렬 참조 조건 하에서 거의 동일한 복원을 달성한다. 500쌍의 추적된 정상/훼손 이미지 쌍에서, 복원되지 않은 VOA는 YOLOv8l 객체 탐지 재현율을 0.588로 저하시키는 반면, 직접 픽셀 대체는 정렬 참조 조건 하에서 재현율을 0.967, F1 점수를 0.970으로 복원한다. LaMa, Telea, Navier-Stokes 기준선은 이미지 유사도를 향상시키지만 하위 탐지 복원은 더 제한적이며, Stable Diffusion은 실시간 인식을 차단하는 단계가 아닌 품질 게이트가 적용되는 비동기 복원 분기로 처리된다. 본 논문에서는 하위 사용 전 복원 후보를 필터링하는 참조 가용 품질 게이트를 평가한다: 이를 적용하지 않을 경우 유형 인식 라우팅은 이미지당 재현율을 0.304로 저하시키는 반면, 적용 시 재현율은 복원되지 않은 기준선과 같거나 높은 0.608로 회복되어, 전달되는 스트림이 복원되지 않은 프레임보다 결코 나빠지지 않음을 보장한다. 따라서 REVIVE는 자율주행차량에서의 VOA에 대한 구조화된 복원 프레임워크를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.