Random Word Data Augmentation with CLIP for Zero-Shot Anomaly Detection
원문 초록
This paper presents a novel method that leverages a visual-language model, CLIP, as a data source for zero-shot anomaly detection. Tremendous efforts have been put towards developing anomaly detectors due to their potential industrial applications. Considering the difficulty in acquiring various anomalous samples for training, most existing methods train models with only normal samples and measure discrepancies from the distribution of normal samples during inference, which requires training a model for each object category. The problem of this inefficient training requirement has been tackled by designing a CLIP-based anomaly detector that applies prompt-guided classification to each part of an image in a sliding window manner. However, the method still suffers from the labor of careful prompt ensembling with known object categories. To overcome the issues above, we propose leveraging CLIP as a data source for training. Our method generates text embeddings with the text encoder in CLIP with typical prompts that include words of normal and anomaly. In addition to these words, we insert several randomly generated words into prompts, which enables the encoder to generate a diverse set of normal and anomalous samples. Using the generated embeddings as training data, a feed-forward neural network learns to extract features of normal and anomaly from CLIP's embeddings, and as a result, a category-agnostic anomaly detector can be obtained without any training images. Experimental results demonstrate that our method achieves state-of-the-art performance without laborious prompt ensembling in zero-shot setups.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CAST: 문맥 및 이상 구조 조건부 시계열 이상치 생성
CAST: Context- and Anomaly Structure-Conditioned Time Series Anomaly Generation
이상 시계열은 안전이 중요한 영역에서 핵심적인 역할을 하지만 본질적으로 희소하고 이질적이며 획득 비용이 높습니다. 기존 시계열 생성 방법은 주로 정상 데이터 합성에 집중되어 있어 이상 샘플이 필요할 때 제한적인 가치만을 제공합니다. 본 논문에서는 이상 생성에서 두 가지 근본적인 과제를 규명합니다. 바로 (i) 이상 데이터의 희소성과 (ii) 이상의 이질적인 형태학적 특성입니다. 이러한 과제를 해결하기 위해, 원칙적인 2단계 사전학습(pre-training) 및 파인튜닝(fine-tuning) 전략을 갖춘 문맥 및 이상 구조 조건부 시계열 이상 생성 프레임워크인 CAST를 제안합니다. 사전학습 단계에서는 풍부한 정상 시계열 데이터를 활용하여 기저의 시스템 역학을 학습함으로써 이상 데이터의 제한된 가용성을 대폭 완화합니다. 파인튜닝 단계에서는 CAST가 학습된 이상 구조 표현을 기반으로 생성기를 명시적으로 조건화하여, 유사한 문맥 조건 하에서도 이질적인 이상 형태를 포착할 수 있도록 합니다. 다양한 실제 단변량 및 다변량 데이터셋에 대한 광범위한 실험을 통해, CAST가 생성 충실도(fidelity)와 다운스트림 태스크 유용성 측면 모두에서 최신 이상 생성 방법들을 일관되게 능가함을 입증하여 제안된 접근법의 유효성을 강조합니다.
의료 영상 인페인팅에서의 확산 모델: 과제, 해결책 분류체계 및 향후 방향
Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions
이미지 인페인팅은 가능한 한 시각적·의미적 일관성을 유지하면서 이미지의 누락되거나 손상된 영역을 복원하는 것을 목표로 한다. 의료 영상에서는 아티팩트, 정보 누락, 병리학적 변화가 진단 신뢰도와 하류 임상 응용을 저해할 수 있기 때문에 이 과제가 특히 중요하다. 최근 확산 모델(diffusion models)은 해부학적으로 일관된 복원을 생성할 수 있다는 점 때문에 의료 영상 인페인팅을 위한 최첨단 생성 접근법으로 부상했다. 본 서베이는 60편의 연구에 보고된 주요 아키텍처, 응용, 데이터셋, 평가 전략을 다루며 의료 영상 인페인팅을 위한 확산 기반 방법에 대한 체계적 검토를 제시한다. 또한 확산 기반 접근법에 대한 분류체계를 제안한다. 분석 결과, 확산 기반 의료 영상 인페인팅에 대한 연구 관심이 급격히 증가하고 있으며, 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)과 잠재 확산 모델(latent diffusion models, LDM)이 지배적인 아키텍처로 부상하고 있음을 보여준다. 검토된 연구들은 주로 아티팩트 제거, 데이터 증강, pseudo-healthy 조직 복원, 이상 탐지에 초점을 맞추며, 특히 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상에서 다루어진다. 전반적으로 확산 모델은 해부학적으로 그럴듯한 복원을 생성하고 하류 임상 과제를 지원하는 데 강력한 성능을 보여준다. 그러나 본 검토는 표준화된 벤치마크 부재, 제한된 데이터셋 다양성, 다양한 임상 응용 및 영상 시나리오 전반에 걸친 제한적인 검증 절차 등 중요한 과제도 강조한다.
DOMFN: A Divergence-Orientated Multi-Modal Fusion Network for Resume Assessment
Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델
Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch
역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.
PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.
LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델
LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.