A Study on the Efficient Product Search Service for the Damaged Image Information
원문 초록
With the development of Information and Communication Technologies and the dissemination of smartphones, especially now that image search is possible through the internet, e-commerce markets are more activating purchasing services for a wide variety of products. However, it often happens that the image of the desired product is impaired and that the search engine does not recognize it properly. The idea of this study is to help search for products through image restoration using an image pre-processing and image inpainting algorithm for damaged images. It helps users easily purchase the items they want by providing a more accurate image search system. Besides, the system has the advantage of efficiently showing information by category, so that enables efficient sales of registered information.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거
Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement
실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.
확률적 역학을 통한 이미지 인페인팅
Image Inpainting via Stochastic Dynamics
이미지 인페인팅은 구조적 일관성을 유지하면서 결손 영역을 복원하는 것을 목표로 한다. 본 연구는 데이터 기반 확률적 역학에 근거한, 신경망 학습 없이 동작하는 비모수적 방법을 제안한다. 마스킹된 이미지에서 출발하여, 결손 픽셀은 참조 데이터셋에서 직접 추정한 커널 가중 보정이 적용된 역시간 확률 미분 방정식을 통해 진화한다. 이 경험적 보정은 신경망을 학습하거나 모수적 밀도 모델을 적합하지 않고도, 재구성을 데이터 분포의 고밀도 영역으로 유도한다. MNIST, Fashion-MNIST, MVTec에서의 실험 결과, 제안 방법은 PSNR, SSIM, 시각적 품질 측면에서 Mean Fill, Telea, Navier-Stokes 인페인팅을 능가한다. CelebA에서는 경쟁력 있는 성능을 유지하며, 구조에 민감한 가림에 대해서도 그럴듯한 복원 결과를 생성한다. 이러한 결과는 이미지 인페인팅을 위한 비모수적 사전(prior)으로서 경험적 참조 통계의 효과를 보여준다.
의료 영상 인페인팅에서의 확산 모델: 과제, 해결책 분류체계 및 향후 방향
Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions
이미지 인페인팅은 가능한 한 시각적·의미적 일관성을 유지하면서 이미지의 누락되거나 손상된 영역을 복원하는 것을 목표로 한다. 의료 영상에서는 아티팩트, 정보 누락, 병리학적 변화가 진단 신뢰도와 하류 임상 응용을 저해할 수 있기 때문에 이 과제가 특히 중요하다. 최근 확산 모델(diffusion models)은 해부학적으로 일관된 복원을 생성할 수 있다는 점 때문에 의료 영상 인페인팅을 위한 최첨단 생성 접근법으로 부상했다. 본 서베이는 60편의 연구에 보고된 주요 아키텍처, 응용, 데이터셋, 평가 전략을 다루며 의료 영상 인페인팅을 위한 확산 기반 방법에 대한 체계적 검토를 제시한다. 또한 확산 기반 접근법에 대한 분류체계를 제안한다. 분석 결과, 확산 기반 의료 영상 인페인팅에 대한 연구 관심이 급격히 증가하고 있으며, 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)과 잠재 확산 모델(latent diffusion models, LDM)이 지배적인 아키텍처로 부상하고 있음을 보여준다. 검토된 연구들은 주로 아티팩트 제거, 데이터 증강, pseudo-healthy 조직 복원, 이상 탐지에 초점을 맞추며, 특히 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상에서 다루어진다. 전반적으로 확산 모델은 해부학적으로 그럴듯한 복원을 생성하고 하류 임상 과제를 지원하는 데 강력한 성능을 보여준다. 그러나 본 검토는 표준화된 벤치마크 부재, 제한된 데이터셋 다양성, 다양한 임상 응용 및 영상 시나리오 전반에 걸친 제한적인 검증 절차 등 중요한 과제도 강조한다.
REVIVE: 자율주행차량의 반달리즘 탐지 및 복원을 위한 멀티모달 프레임워크
REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles
자율주행차량(AV)은 카메라 기반 인식 시스템을 손상시키는 반달리즘 유발 폐색 공격(VOA, Vandalism-induced Occlusion Attack)의 위협에 점점 더 많이 노출되고 있다. 탐지 프레임워크가 훼손된 이미지를 식별할 수 있는 반면, 물리적 폐색 이후 카메라 스트림의 유용성을 복원하는 방법은 아직 충분히 연구되지 않았다. 본 논문에서는 시각적 우수성을 위한 훼손 이미지 복원 및 향상 프레임워크인 REVIVE(Recovery and Enhancement of Vandalized Images for Vision Excellence)를 제안한다. 이 반달리즘 복원 파이프라인은 다음을 통합한다: (1) 이진 VOA 탐지, (2) 다중 클래스 VOA 패턴 식별, (3) EfficientNet 기반 U-Net 세그멘테이션, (4) BLIP(Bootstrapping Language-Image Pre-training) 가이드 Stable Diffusion 인페인팅, 직접 픽셀 대체, 또는 적응형 중앙값 필터링을 활용하는 유형 인식 복원. Stable Diffusion은 VOA 패턴에 따라 가변적인 복원 성능(패턴별 SSIM 0.667–0.867, PSNR 15.4–26.7dB)을 보이며, 정렬된 직접 픽셀 대체는 정렬 참조 조건 하에서 거의 동일한 복원을 달성한다. 500쌍의 추적된 정상/훼손 이미지 쌍에서, 복원되지 않은 VOA는 YOLOv8l 객체 탐지 재현율을 0.588로 저하시키는 반면, 직접 픽셀 대체는 정렬 참조 조건 하에서 재현율을 0.967, F1 점수를 0.970으로 복원한다. LaMa, Telea, Navier-Stokes 기준선은 이미지 유사도를 향상시키지만 하위 탐지 복원은 더 제한적이며, Stable Diffusion은 실시간 인식을 차단하는 단계가 아닌 품질 게이트가 적용되는 비동기 복원 분기로 처리된다. 본 논문에서는 하위 사용 전 복원 후보를 필터링하는 참조 가용 품질 게이트를 평가한다: 이를 적용하지 않을 경우 유형 인식 라우팅은 이미지당 재현율을 0.304로 저하시키는 반면, 적용 시 재현율은 복원되지 않은 기준선과 같거나 높은 0.608로 회복되어, 전달되는 스트림이 복원되지 않은 프레임보다 결코 나빠지지 않음을 보장한다. 따라서 REVIVE는 자율주행차량에서의 VOA에 대한 구조화된 복원 프레임워크를 제공한다.
합성 개구 초음파의 적응형 IQ 신호 잡음 제거를 위한 일관성 유도 피라미드 자기 대조 분리
Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound
합성 개구 초음파(SAU)는 배열의 인접한 소자들을 부개구로 묶어 순차적으로 송신하고, 수신된 모든 신호를 합성하여 양방향 집속을 달성한다. 그러나 고유한 전자 잡음, 사이드로브, 스페클 잡음은 여전히 SAU 영상의 임상적 해석을 어렵게 한다. 기존 잡음 제거 방법은 명시적인 잡음 가정에 의존하거나 제한된 영상 도메인에서 사전 학습되어, 복잡한 \textit{in vivo} 잡음 조건에서 불가피한 도메인 이동에 직면한다. 본 연구는 B-모드 영상 형성 이전에 개구 의존적 열화를 억제하는 적응형 IQ 신호 잡음 제거 방법을 제안한다. 각 SAU 획득에서의 부개구 이벤트를 다중 잡음 측정으로 모델링하고, 개구 간 일관성을 피라미드 자기 대조 분리(PSCD) 프레임워크에서 대조 학습의 비평자로 확장한다. PSCD는 원시 IQ 텐서를 분리된 일관적 잠재 공간과 비일관적 잠재 공간으로 인코딩한 뒤, 전자로부터만 깨끗한 IQ 신호를 복원하여 일관적인 조직 정보를 유지하면서 비일관적 잡음을 억제한다. 개구 대 개구 대리 과제가 이중 도메인에서 복원을 자기 지도한다. 전체 프레임워크는 사전 학습이나 깨끗한 레이블 없이 단일 샷 데이터를 사용하여 테스트 시점에 최적화할 수 있다. 0에서 30 dB의 잡음 수준을 포함한 시뮬레이션에서 SNR 69.3$\%$, CNR 34.4$\%$의 향상을 보였다. 여섯 가지 심초음파 단면과 복부 영상을 포함한 \textit{in vivo} 실험에서는 두 개의 부개구만으로 SNR 84.8$\%$, CNR 25.7$\%$의 향상을 보였다. 또한 PSCD는 고주파 세부 정보를 보존하면서 더 높은 영상 해상도와 경계 선명도를 달성했다. 이러한 결과는 개구 간 측정 중복성을 활용하는 적응형 IQ 신호 잡음 제거가 도메인 이동과 사전 학습 비용 없이 정밀한 해부학적 시각화를 가능하게 함을 뒷받침한다.
데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사
Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning
시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.