arXiv:2604.12440v2 cs.CV

IAD-Unify: 산업용 이상 탐지 이해, 분할 및 생성을 위한 태스크별 인터페이스

IAD-Unify: Task-Specific Interfaces for Industrial Anomaly Understanding, Segmentation, and Generation

Haoyu Zheng, Jiang Liu, Jiaqi Zhu, Feifei Shao, Zheqi Lv, Wenqiao Zhang

제출 2026-04-14

저자 비고

arXiv Comments

16 pages, 11 figures. Revised title, author list, methodology, and experiments; supplementary material included

한국어 초록

산업용 이상(anomaly) 검사는 관측된 결함을 설명하고, 해당 픽셀을 위치 특정(localizing)하며, 제어된 편집을 합성하는 상호보완적인 능력을 요구합니다. 본 논문에서는 태스크별 토큰(token) 인터페이스를 통해 멀티모달 언어 모델(MLLM), 고밀도(dense) 비전 전문가 및 디퓨전 에디터를 연결하는 통합 아키텍처인 IAD-Unify를 제안합니다. 다중 참조 DINOv2 경로는 고밀도 이상 필드를 형성하고 1,369개의 셀을 81개의 구조화된 증거 토큰으로 압축합니다. Qwen3.5는 그라운딩(grounding)된 답변을 위해 이 토큰들을 사용하며, 32개의 태스크 토큰과 함께 이를 조밀한 마스크 상의 의미론적 잔차(semantic residual)로 변환합니다. 별도의 256개 쿼리 인터페이스는 Qwen 상태를 Stable Diffusion의 완전한 크로스 어텐션(cross-attention) 컨텍스트로 리샘플링하는 한편, 에디터는 소스 잠재(latent) 및 하드 마스크 입력을 유지합니다. 이러한 태스크 경로들은 모든 태스크가 동일한 시각적 병목을 거치도록 강제하지 않으면서 하나의 Qwen 어댑테이션을 공유하며, 특히 증거 토큰은 생성 경로에서 제외됩니다. 단계별 최적화(optimization)는 고밀도 증거를 초기화하고, 이를 언어와 정렬(alignment)하며, 분할(segmentation)을 보정(calibrate)한 후 이전 능력을 보존하면서 디퓨전 에디터를 사전학습(pre-training) 및 특화합니다. 또한 중복 제거된 54,501개의 산업용 이미지에 걸쳐 Anomaly Evidence를 구축합니다. 품질 제어된 Anomaly Evidence Compiler 및 Industrial Edit-Pair Compiler는 독립적인 기하학, 의미론적 그라운딩 및 편집 일관성 검사를 통해 패밀리 간 분리되고 검증된 지도 신호를 생성합니다. 이러한 설계는 입력, 지도 신호 또는 출력을 혼동하지 않으면서 이해, 분할 및 국소적 생성을 위한 하나의 고정된 공유 매개변수(parameter) 세트를 제공합니다. 결과 모델은 73.02%의 MMAD Macro$_7$, 단일 참조 기준 공개된 최고 분할 AP 평균(57.10%), 가장 낮은 Controlled masked DINO 거리(0.3765)를 달성하여 추론, 픽셀 랭킹 및 의미론적 편집 충실도 전반에 걸쳐 상호보완적인 강점을 보입니다.

원문 초록

Industrial anomaly inspection requires complementary capabilities: explaining an observed defect, localizing its pixels, and synthesizing a controlled edit. We present IAD-Unify, a unified architecture connecting a multimodal language model (MLLM), dense visual expert, and diffusion editor through task-specific token interfaces. A multi-reference DINOv2 pathway forms a dense anomaly field and compresses its 1,369 cells into 81 structured evidence tokens. Qwen3.5 consumes these tokens for grounded answers and, with 32 task tokens, converts them into a semantic residual over the dense mask. A separate 256-query interface resamples Qwen states into Stable Diffusion's complete cross-attention context, while the editor retains its source latent and hard-mask inputs. The task pathways share one Qwen adaptation without forcing every task through the same visual bottleneck; in particular, evidence tokens are excluded from the generation pathway. Staged optimization initializes dense evidence, aligns it with language, calibrates segmentation, and then pretrains and specializes the diffusion editor while preserving earlier capabilities. We also construct Anomaly Evidence over 54,501 deduplicated industrial images. Its quality-controlled Anomaly Evidence Compiler and Industrial Edit-Pair Compiler produce family-disjoint, validated supervision through independent geometry, semantic-grounding, and edit-consistency checks. This design provides one fixed shared parameter set for understanding, segmentation, and localized generation without conflating their inputs, supervision, or outputs. The resulting model reaches 73.02% MMAD Macro$_7$, the highest listed public segmentation AP average (57.10%) with one reference, and the lowest Controlled masked DINO distance (0.3765), with complementary strengths across reasoning, pixel ranking, and semantic edit fidelity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.12440v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10990v1cs.CV공통 태그 Image Generation, Large Language Model

Omni-Diffusion-Distill: 통합 멀티모달 확산 대규모 언어 모델의 소수 스텝 증류

Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models

통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.