PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.12440v2cs.CV

IAD-Unify: 산업용 이상 탐지 이해, 분할 및 생성을 위한 태스크별 인터페이스

IAD-Unify: Task-Specific Interfaces for Industrial Anomaly Understanding, Segmentation, and Generation

산업용 이상(anomaly) 검사는 관측된 결함을 설명하고, 해당 픽셀을 위치 특정(localizing)하며, 제어된 편집을 합성하는 상호보완적인 능력을 요구합니다. 본 논문에서는 태스크별 토큰(token) 인터페이스를 통해 멀티모달 언어 모델(MLLM), 고밀도(dense) 비전 전문가 및 디퓨전 에디터를 연결하는 통합 아키텍처인 IAD-Unify를 제안합니다. 다중 참조 DINOv2 경로는 고밀도 이상 필드를 형성하고 1,369개의 셀을 81개의 구조화된 증거 토큰으로 압축합니다. Qwen3.5는 그라운딩(grounding)된 답변을 위해 이 토큰들을 사용하며, 32개의 태스크 토큰과 함께 이를 조밀한 마스크 상의 의미론적 잔차(semantic residual)로 변환합니다. 별도의 256개 쿼리 인터페이스는 Qwen 상태를 Stable Diffusion의 완전한 크로스 어텐션(cross-attention) 컨텍스트로 리샘플링하는 한편, 에디터는 소스 잠재(latent) 및 하드 마스크 입력을 유지합니다. 이러한 태스크 경로들은 모든 태스크가 동일한 시각적 병목을 거치도록 강제하지 않으면서 하나의 Qwen 어댑테이션을 공유하며, 특히 증거 토큰은 생성 경로에서 제외됩니다. 단계별 최적화(optimization)는 고밀도 증거를 초기화하고, 이를 언어와 정렬(alignment)하며, 분할(segmentation)을 보정(calibrate)한 후 이전 능력을 보존하면서 디퓨전 에디터를 사전학습(pre-training) 및 특화합니다. 또한 중복 제거된 54,501개의 산업용 이미지에 걸쳐 Anomaly Evidence를 구축합니다. 품질 제어된 Anomaly Evidence Compiler 및 Industrial Edit-Pair Compiler는 독립적인 기하학, 의미론적 그라운딩 및 편집 일관성 검사를 통해 패밀리 간 분리되고 검증된 지도 신호를 생성합니다. 이러한 설계는 입력, 지도 신호 또는 출력을 혼동하지 않으면서 이해, 분할 및 국소적 생성을 위한 하나의 고정된 공유 매개변수(parameter) 세트를 제공합니다. 결과 모델은 73.02%의 MMAD Macro$_7$, 단일 참조 기준 공개된 최고 분할 AP 평균(57.10%), 가장 낮은 Controlled masked DINO 거리(0.3765)를 달성하여 추론, 픽셀 랭킹 및 의미론적 편집 충실도 전반에 걸쳐 상호보완적인 강점을 보입니다.

arXiv:2609.28342v1cs.CV

어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거

Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement

실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.

arXiv:2607.22428v1cs.HC

예술을 위한 확산 모델 언박싱: 인터랙티브 모델 벤딩과 실천 기반 설명 가능성

Unboxing Diffusion Models for the Arts: Interactive Model Bending and Practice-Based Explainability

창작 실천에서 설명 가능 AI(XAI)는 기술 중심적 설명보다 예술가가 제작(making) 과정의 일부로 모델을 검사·수정·디버깅할 수 있게 하는 데 더 중점을 둘 수 있다. 그러나 대규모 텍스트-투-이미지(text-to-image) 확산 시스템은 일반적으로 불투명한 end-to-end 도구로 제시되어 이러한 물질적(material) 참여를 제한한다. 우리는 내부 구조가 가시화되고 조작 가능해질 때 대규모 모델도 창작 재료로 기능할 수 있다고 주장한다. 이를 지원하기 위해 실험과 개입을 중심으로 한 실습 기반 설명 가능성 접근법을 제안한다. ComfyUI의 노드 기반 워크플로에 통합된 모델 벤딩(model bending)과 인터랙티브(검사) 인터페이스—인터랙티브 층 선택 및 개입 제어를 포함—를 통해 이 접근법을 구현한다. Stable Diffusion 1.5에서 벤딩 개입에 대한 정성적·정량적 분석을 통해, 확산 파이프라인의 특정 구성 요소를 조작하면 상대적으로 일관된 시각 효과군이 생성되며, 예술가들이 모델의 서로 다른 부분이 생성 이미지를 어떻게 형성하는지에 대한 실용적인 층 수준 직관을 구축할 수 있음을 보여준다.

arXiv:2607.14984v1cs.AI

질병 분류기의 바이어스 완화 및 바이어스 탐지를 위한 인구통계 조건 합성 의료 영상

Demographically-Conditioned Synthetic Medical Images for Bias Mitigation and Bias Detection in Disease Classifiers

의료 영상 분류기에 대한 하위군별 공정성 감사는 표본 크기 문제에 직면한다. 홀드아웃 테스트 세트의 소수 하위군은 표본이 너무 적어, 하위군별 성능에 대한 신뢰구간이 감사가 탐지하려는 바이어스보다 더 넓어진다. 우리는 인구통계학적으로 조건을 부여한 합성 생성기가 학습 측면에서는 바이어스를 완화하고, 평가 측면에서는 바이어스를 탐지하는 두 역할을 모두 수행할 수 있다고 주장한다. 엔드투엔드(end-to-end) 미세조정 Stable Diffusion 2.1 생성기를 사용한 COVID-19 흉부 CT 분류 실험에서 두 가지 발견을 얻었다. 바이어스 완화(학습) 측면에서, 인구통계학적으로 균형 잡힌 합성 코호트는 공동 증강(joint augmentation)이 아니라 사전학습(pre-training) 사전분포(prior)로 활용될 때 가장 유용하다. 동일한 고정 데이터에서 순차적 사전학습 후 미세조정은 공동 증강을 크게 능가하며, 그 결과 분류기는 약 $\sim$$100\times$ 실데이터 효율로 전량 실데이터 기준선을 넘어선다. 바이어스 탐지(평가) 측면에서, 다섯 개의 합성 소수 코호트와 다섯 개의 분류기 시드에 걸쳐, 합성 추정량은 충분한 검정력을 갖춘 실데이터 오라클(oracle)의 하위군 순위를 재현한다(MCC와 재현율에서 Spearman $ρ= 1.00$)며, 소규모 실데이터 테스트 세트에서 표본이 부족한 셀에서 더 신뢰할 수 있는 셀별 추정을 제공한다. 따라서 합성 코호트는 공정성 감사가 중요하게 여기는 바로 그 셀에서, 하위군 바이어스의 해결책이자 측정 수단으로서 가장 유용하다.

arXiv:2601.09238v2cs.CV

지식 임베딩 및 하이퍼네트워크 가이드 퓨샷 변전소 계량기 결함 이미지 생성 방법

Knowledge-Embedded and Hypernetwork-Guided Few-Shot Substation Meter Defect Image Generation Method

변전소 계량기는 전력망의 안정적 운영을 모니터링하고 보장하는 데 중요한 역할을 하지만, 균열 및 기타 물리적 결함의 검출은 주석이 달린 샘플의 심각한 부족으로 인해 종종 저해된다. 이 퓨샷(few-shot) 생성 과제를 해결하기 위해, 우리는 지식 임베딩(Knowledge Embedding)과 하이퍼네트워크 가이드 조건부 제어(Hypernetwork-Guided Conditional Control)를 Stable Diffusion 파이프라인에 통합한 새로운 프레임워크를 제안하며, 이를 통해 제한된 데이터로부터 사실적이고 제어 가능한 결함 이미지 합성을 가능하게 한다. 첫째, DreamBooth 방식의 지식 임베딩을 사용하여 Stable Diffusion 백본을 미세조정함으로써 자연 이미지 사전학습 모델과 산업 장비 간의 상당한 도메인 격차를 해소한다. 이 과정은 변전소 계량기의 고유한 구조적 및 질감적 사전(prior)을 인코딩하여, 생성된 이미지가 진정한 계량기 특성을 유지하도록 보장한다. 둘째, 위치, 길이, 곡률, 분기 패턴과 같은 결함 속성을 매개변수화하는 기하학적 균열 모델링 모듈을 도입하여 공간적으로 제약된 제어 맵을 생성한다. 이러한 맵은 생성 과정에서 정밀한 픽셀 수준의 가이드를 제공한다. 셋째, 제어 맵과 고수준 결함 기술자(descriptor)에 반응하여 확산 모델의 디노이징(denoising) 과정을 동적으로 변조하는 경량 하이퍼네트워크를 설계하여, 생성 충실도와 제어 가능성 사이의 유연한 균형을 달성한다. 실제 변전소 계량기 데이터셋에 대한 광범위한 실험 결과, 우리 방법은 기존 증강 및 생성 베이스라인을 크게 능가한다. Frechet Inception Distance(FID)를 32.7% 감소시키고, 다양성 지표를 높이며, 무엇보다도 증강 데이터로 학습했을 때 하류 결함 검출기의 mAP를 15.3% 향상시킨다. 이 프레임워크는 결함 샘플이 희귀한 산업 검사 시스템을 위한 실용적이고 고품질의 데이터 합성 솔루션을 제공한다.

arXiv:2607.05649v1cs.CV

REVIVE: 자율주행차량의 반달리즘 탐지 및 복원을 위한 멀티모달 프레임워크

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

자율주행차량(AV) 카메라를 겨냥한 반달리즘 유발 폐색 공격(VOA)에 대응하기 위해, REVIVE 프레임워크는 이진 탐지·다중 클래스 분류·EfficientNet 기반 U-Net 세그멘테이션·BLIP 가이드 Stable Diffusion 인페인팅을 결합한 4단계 유형 인식 복원 파이프라인을 제안한다. 품질 게이트를 적용하면 복원 후 YOLOv8l 객체 탐지 재현율이 0.608로 회복되어 미복원 기준선 이상을 유지함을 500쌍의 이미지 실험을 통해 검증했다.

arXiv:2505.06668v2cs.CV

StableMotion: 확산 사전 기반 원스텝 모션 추정

StableMotion: One-Step Motion Estimation with Diffusion Prior

본 논문은 사전학습된 대규모 이미지 확산 모델의 기하학적·콘텐츠 사전(prior)을 활용하여 Stitched Image Rectangling(SIR) 및 Rolling Shutter Correction(RSC)과 같은 단일 이미지 보정(rectification) 작업에서 모션 추정을 수행하는 새로운 프레임워크 StableMotion을 제안한다. 구체적으로 StableMotion은 텍스트-이미지 Stable Diffusion(SD) 모델을 백본으로 사용하고 이를 이미지-모션 추정기로 재구성한다. 확산 모델이 생성하는 불일관한 출력을 완화하기 위해, 여러 출력을 응집력 있는 고품질 결과로 통합하는 Adaptive Ensemble Strategy(AES)를 제안한다. 또한 샘플링 스텝 수를 늘리면 오히려 결과가 나빠질 수 있는 역설적 현상인 Sampling Steps Disaster(SSD)를 제시하고, 이는 원스텝 추론 설계의 동기가 된다. StableMotion은 두 가지 이미지 보정 작업에서 평가되었으며 두 작업 모두에서 최신(state-of-the-art) 성능을 달성했고, 보지 못한 SIR-OOD 및 실제 촬영 RSC 벤치마크에 대한 정성적 예시와 무참조(no-reference) 평가를 통해 유망한 전이 가능성도 보여준다. SSD에 힘입어 StableMotion은 효율적인 원스텝 추론을 달성하며, 선택적 AES 후처리와 함께 사용하더라도 이전 확산 모델 기반 방법 대비 100× 이상의 속도 향상을 제공한다. 코드와 가중치는 https://github.com/ivowang/StableMotion 에서 제공된다.

arXiv:2606.27234v1cs.CY

유명인에서 누구나로: 4chan에서 AI 누드화 콘텐츠, 기술, 커뮤니티 동태 특성 분석

From Celebrities to Anyone: Characterizing AI Nudification Content, Technology, and Community Dynamics on 4chan

4chan에서 AI 누드화를 대규모로 측정해 24,105건의 비동의 합성 성적 노출 이미지(SNEACI)를 식별했으며, 대상의 55.8%가 비유명인으로 기존 연구(4.7%)보다 크게 늘어 사회적 관계망 내 개인을 겨냥하는 경향이 강화됨을 보였다. Stable Diffusion과 Wan 등 오픈소스 생성 모델과 소수의 활발한 제작자가 공유 파인튜닝 모델·튜토리얼을 통해 생산을 주도하며 요청-제공형 커뮤니티 생태계를 유지한다.

arXiv:2606.20722v1cs.GR

다중모달 이미지 컬러화: 흑백-컬러 변환에서 텍스트 조건 가이던스의 영향 정량화

Multimodal Image Colorization: Quantifying the Impact of Text-Conditioned Guidance on Grayscale-to-Color Translation

흑백 입력에 여러 그럴듯한 컬러화가 가능한 문제에서, U-Net과 Stable Diffusion 1.5를 다른 조건은 동일하게 유지한 채 CLIP 텍스트 조건(text conditioning) 유무만 바꿔 PSNR·SSIM·LPIPS·colorfulness로 효과를 정량화했다. 두 아키텍처 모두에서 텍스트 조건이 픽셀·지각 지표를 일관되게 개선해 컬러화 품질 향상에 기여함을 보였다.

arXiv:2606.18555v1cs.CV

실내 장면 인식을 위한 의미 인식 데이터 증강으로서의 텍스트-투-이미지 재고

Rethinking Text-to-Image as Semantic-Aware Data Augmentation for Indoor Scene Recognition

컴퓨터 비전(computer vision) 영역에서 실내 이미지 인식은 제한된 공간 내의 복잡한 조명 조건, 폐색(occlusion), 다양한 객체 배치의 상호작용으로 인해 어려움을 겪습니다. 학습(training)용 실내 이미지의 부족을 해결하기 위해, 우리는 강력한 데이터 증강(data augmentation) 도구 역할을 하는 합성 이미지 생성을 위해 Stable Diffusion (SD)을 활용하는 새로운 접근 방식을 제안합니다. SD의 활용은 다양하고 사실적인 실내 장면을 합성하기 위한 원칙적인 프레임워크를 제공하며, 이를 통해 강건한 실내 이미지 인식 모델을 위한 학습(training) 데이터 풀을 풍부하게 만듭니다. MIT Indoor Scene 데이터셋(dataset)에 대한 실험 결과는, 진짜 데이터가 제한된 상황에서 우리가 제안한 접근 방식이 딥 모델의 학습(training)을 향상시킬 잠재력을 보여줍니다. 또한, SD 합성 이미지의 오남용을 방지하기 위해, 우리는 DIffusion Reconstruction Error (DIRE)를 기반으로 한 대응책을 소개합니다. 강력한 DIRE 표현은 경량 딥 모델만을 사용하여 강건한 분류기를 학습(training)시킬 수 있게 합니다. 실험 결과, 우리의 접근 방식이 MobilenetV3를 사용하여 100%의 정확도로 SD 생성 이미지를 완벽하게 인식할 수 있음을 보여줍니다.