arXiv:2609.28342v1 cs.CV

어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거

Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement

Arman Taghizadeh (Institute of Cognitive Science, Osnabr\"uck University, Osnabr\"uck, Germany), Ulf Krumnack (Institute of Cognitive Science, Osnabr\"uck University, Osnabr\"uck, Germany), Kai-Uwe K\"uhnberger (Institute of Cognitive Science, Osnabr\"uck University, Osnabr\"uck, Germany)

제출 2026-09-24

한국어 초록

실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.

원문 초록

Removing an object from a real image requires more than synthesizing plausible content within a mask: the method must suppress residual object features, preserve the unedited scene, and generate replacement content that is consistent with the surrounding background. This paper approaches object removal from a stage-based perspective and proposes a zero-shot framework for constrained latent inpainting with a frozen pretrained Stable Diffusion model, requiring no task-specific training or model fine-tuning. The method integrates SAM-based mask construction, BLIP image-caption conditioning, DDIM inversion, background-weighted masked null-text optimization, decoder self-attention masking, hard outside-mask latent anchoring, and localized renoise--denoise refinement into a unified pipeline. The method is evaluated through qualitative examples, quantitative local-consistency metrics, and ablation studies. The results demonstrate effective object removal and context-consistent replacement content. The ablations indicate that background-weighted masked NTI is particularly beneficial for structurally complex backgrounds, whereas the no-NTI variant is sufficient in other evaluated examples. Repeated refinement further reduces object remnants and boundary artifacts remaining after the primary editing pass.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28342v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00359v1cs.GR공통 태그 Denoising, Image Inpainting

소프트 마스크를 활용한 디퓨전 편집: 조절 가능한 강도를 통한 이미지 및 비디오의 픽셀 단위 재작업

Diffusion Editing with Soft Mask: Pixel Level Redo of Image and Video with Adjustable Strength

프롬프트(prompt) 및 참조 이미지 기반 편집 기능을 갖춘 디퓨전 모델은 빠른 발전을 이루었으나, 픽셀 단위 제어에는 여전히 너무 거칩니다. 유망한 방향 중 하나는 공간적으로 다양한 편집 강도를 지정하는 소프트 마스크(soft mask)를 통합하는 것이지만, 이러한 세밀한 제어를 학습(training)하려면 비용이 많이 드는 픽셀 단위 주석이 필요하며 기존 제로샷(zero-shot) 방법은 만족스럽지 못한 결과를 낳는 경우가 많습니다. 본 논문에서는 원본 콘텐츠를 완전히 보존하는 것부터 마스크된 영역을 완전히 재합성하는 것까지 연속적인 스펙트럼의 편집을 가능하게 하는 소프트 마스크를 활용한 새로운 제로샷 샘플링 방법인 SoftPaint를 소개합니다. 제로샷 인페인팅(inpainting) 방법을 넘어, 픽셀별 소프트 마스크 강도를 준수하는 랑주뱅 반복(Langevin iteration) 기반 샘플러를 설계하였으며, 이는 이미지 및 비디오 디퓨전 모델에 보편적으로 적용되어 비디오 편집과 같은 작업을 가능하게 합니다. 이 방법은 그래디언트(gradient)가 필요 없고 메모리 효율적이며, 여러 이미지 및 비디오 백본 전반에서 매끄러운 픽셀 단위 편집을 달성합니다.

arXiv:2609.28083v1cs.CV공통 태그 Denoising, Image Restoration

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

arXiv:2609.28235v1cs.CV공통 태그 Denoising, Image Restoration

Diff-RF: 열화 인지 학습을 통한 상호 강화 이미지 정합 및 융합

Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning

이미지 정합(registration)과 융합(fusion)은 정렬되지 않은 다중 모달(multi-modal) 소스 이미지로부터 공간적 대응 관계를 설정하고 상보적인 정보를 통합하는 것을 목표로 한다. 그러나 실제 촬영 시나리오에서는 저조도, 노이즈 등 복잡하고 다양한 열화(degradation)의 영향을 소스 이미지가 받는 경우가 많아 정합과 융합의 효과를 심각하게 저해한다. 이 문제를 해결하기 위해 열화 인지 학습을 통한 상호 강화형 이미지 정합 및 융합 확산(diffusion) 프레임워크인 Diff-RF를 제안한다. 이 방법은 열화 조건 하에서 정합-융합과 정보 복원 사이의 내재적 결합을 탐구하여, 복잡한 열화 조건에서 정합되지 않은 이미지의 고품질 융합을 가능하게 한다. 먼저 모달 내(intra-modal) 복원 모듈은 각 모달리티 내부의 정보를 활용해 모달리티 특유의 열화를 완화하도록 설계되어, 정합을 위한 보다 신뢰할 수 있는 구조적 표현을 제공하고 이후 교차 모달(cross-modal) 융합을 촉진한다. 둘째, 정합과 융합 사이의 양방향 상호작용을 구축하는 교차 모달 확산 기반 정합 및 융합 모듈을 개발한다. 융합에서 도출된 시각적 단서와 대응 관계 기반 기하학적 조건을 확산 과정에 통합함으로써, 제안 프레임워크는 공간 정렬을 점진적으로 정제하고 교차 모달 상보 정보를 활용해 협력적 향상을 달성한다. 열화 인지 정보 복원과 정합 및 융합의 협력적 최적화를 독립적인 구성요소로 다루지 않고 긴밀히 결합하여 전반적인 성능 향상을 달성한다. 여러 확장 데이터셋에 대한 광범위한 실험 결과, Diff-RF는 다양한 열화 시나리오에서 우수한 정합 정확도와 융합 품질을 달성하며 강한 견고성(robustness)과 일반화(generalization) 능력을 보인다.

arXiv:2609.24825v1cs.CV공통 태그 Denoising, Zero-Shot Learning

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2607.22719v1cs.CV공통 태그 Image Restoration, Zero-Shot Learning

$γ$-Bridge: Look-파라미터 확산 브리지

$γ$-Bridge: A Look-Parametric Diffusion Bridge

곱셈 감마(Gamma) 노이즈는 코히런트 영상에서 신호 의존적 열화이며, 합성 개구 레이더(SAR)의 스펙클 제거(despeckling)가 그 가장 두드러진 실세계 사례이다. 기존 확산 디노이저는 물리적 look 수 $L$이 아닌 추상적인 신호 대 잡음비(SNR) 스케줄로 순방향 과정을 파라미터화하므로, 배포 시나리오마다 별도로 학습된 모델이 일반적으로 필요하며, 깨끗한 ground truth 없이는 합성 감마 학습에서 실제 SAR로의 전이가 여전히 어렵다. 우리는 look-파라미터 브리지인 $γ$-Bridge를 제안한다. 이 브리지의 스케줄 $L(t)$는 $L_{obs}$에서의 노이즈 관측을 정확한 곱셈 감마 주변분포(marginal)를 통해 깨끗한 한계로 연결한다. 폐형식 감마-레비(Lévy) 역방향 사후분포는 확률적 및 결정론적 과정을 모두 허용하며, 관측 조건화와 2단계 일관성 손실이 저 SNR 단일-look 영역에서 다단계 추론을 안정화한다. 브리지 시간이 $L$을 직접 나타내므로, 하나의 조건화된 네트워크가 허용 가능한 임의의 입력 look에서 스마트 시작(smart-start)하여 목표 look 수에서 중단할 수 있다. 이 두 직교 제어는 자연 영상에 합성 감마 손상을 적용하여 $L_{obs} = 1$에서만 학습한 후에도 전체 허용 격자에 걸친 제로샷 복원을 가능하게 한다. 동질 패치(homogeneous-patch) look 추정기와 결합하면, $γ$-Bridge는 센서별 미세조정 없이 6개의 우주·항공 SAR 센서 데이터를 처리하며, 표준 합성 벤치마크에서 선도적인 결과를 달성하는 동시에 기존 디노이저에는 없던 물리적으로 해석 가능한 입력·출력 제어를 제공한다. 코드는 https://github.com/Teriri1999/GammaBridge 에서 공개되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.