Curved Geometric Networks for Visual Anomaly Recognition
원문 초록
Learning a latent embedding to understand the underlying nature of data distribution is often formulated in Euclidean spaces with zero curvature. However, the success of the geometry constraints, posed in the embedding space, indicates that curved spaces might encode more structural information, leading to better discriminative power and hence richer representations. In this work, we investigate benefits of the curved space for analyzing anomalies or out-of-distribution objects in data. This is achieved by considering embeddings via three geometry constraints, namely, spherical geometry (with positive curvature), hyperbolic geometry (with negative curvature) or mixed geometry (with both positive and negative curvatures). Three geometric constraints can be chosen interchangeably in a unified design given the task at hand. Tailored for the embeddings in the curved space, we also formulate functions to compute the anomaly score. Two types of geometric modules (i.e., Geometric-in-One and Geometric-in-Two models) are proposed to plug in the original Euclidean classifier, and anomaly scores are computed from the curved embeddings. We evaluate the resulting designs under a diverse set of visual recognition scenarios, including image detection (multi-class OOD detection and one-class anomaly detection) and segmentation (multi-class anomaly segmentation and one-class anomaly segmentation). The empirical results show the effectiveness of our proposal through the consistent improvement over various scenarios.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
격리된 이중 양자점의 전하 상태 특성화를 위한 머신러닝
Machine Learning for Charge State Characterization of Isolated Double Quantum Dots
반도체 양자점 배열을 내결함성(fault-tolerant) 양자 컴퓨팅으로 확장하려면 스핀 큐비트의 효율적인 튠업(tuneup)이 필요하며, 이 과정은 전하 안정성 맵(CSM) 분석에 의존하고 대부분 수작업으로 이루어진다. 머신러닝은 저수지 결합(reservoir-coupled) 장치에서 CSM 분석에 널리 적용되어 왔지만, 점점 더 중요해지는 격리 모드(isolated-mode) 영역에서의 자동 튠업은 제한적인 관심만 받아왔다. 격리 모드 CSM에서는 전하 전이가 거의 수직인 선으로 나타나므로, 이는 컴팩트하고 작업 특화 모델에 잘 적합하다. 우리는 자동화된 극저온 프로빙 시스템을 사용하여 약 1 K에서 측정한 32개의 실리콘 금속-산화물-반도체(SiMOS) 이중 양자점 장치에서 수집한 CSM으로 학습된, 100만 개 미만의 파라미터를 갖는 두 개의 합성곱 신경망(CNN)을 제시한다. 16개 장치는 학습에 사용되었고 16개는 수작업 라벨링된 정답(ground truth)에 대비한 장치 간 일반화를 평가하기 위해 홀드아웃되었다. CSMClassifier는 전하 불안정성과 센서 아티팩트(artifact)를 식별하며, 2,407개의 홀드아웃 이미지에서 세 가지 품질 클래스에 대해 94%의 매크로 평균 정확도를 달성한다. ChargeLineNet은 전하 전이선을 국소화하고 전자 점유(occupancy)를 결정하며, 1,131개의 홀드아웃 이미지에서 95.3%의 정확한 선 개수 정확도를 달성한다. 단일 파이프라인으로 결합하면, 모델은 깨끗한(clean) 홀드아웃 이미지의 93.8%에 대해 전자 점유를 올바르게 결정한다. 합성 이미지에 대한 사전학습은 라벨 효율성을 크게 향상시킨다. 제한된 실험 데이터로 사전학습된 모델을 미세조정하면 90% 이상의 정확도를 유지하는 반면, 처음부터 학습하면 동일 조건에서 정확도가 크게 저하된다. 두 모델을 합치면 6.5 MB만 차지하며 표준 실험실 하드웨어에서 60 ms 미만으로 이미지를 처리하여, 양자점 장치의 확장 가능한 자동 특성화 및 튠업을 향한 실용적인 경로를 보여준다.
LARAD: 공간-논리 추론 기반 레이아웃 인식 도로 이상 탐지
LARAD: Layout-Aware Road Anomaly Detection via Spatial-Logic Reasoning
정확한 오픈 월드 장애물 탐지는 자율 주행에 매우 중요하다. 현재의 이상 분할(anomaly segmentation) 방법은 근본적인 사각지대를 가지고 있다. 분포 밖(out-of-distribution, OoD) 객체를 식별하기 위해 텍스처 신기성에 과도하게 의존하는 반면, 맥락적 공간 논리는 무시한다. 또한, 이로 인한 오탐(false positive)을 완화하려면 대규모 비전 모델을 연쇄적으로 배치해야 하는 경우가 많아, 수용하기 어려운 추론 지연이 발생한다. 이 문제를 해결하기 위해, 우리는 레이아웃 인식 도로 이상 탐지(LARAD)를 제안하며, 패러다임을 외형 매칭에서 공간-논리 추론으로 전환한다. 먼저, 텍스처는 일관적이지만 공간적으로는 유효하지 않은 학습 샘플을 생성하여 모델이 맥락적 위반을 학습하도록 하는 공간-논리 위반 합성(SLVS) 파이프라인을 도입한다. 둘째로, 표준 클로즈드셋(closed-set) 분할 네트워크에 경량의 OoD 유도 어텐션 분기를 추가한다. 광범위한 실험을 통해 LARAD가 논리적 이상에 대한 견고성을 크게 향상시키고, 단일 모델 아키텍처의 높은 효율성을 유지하면서 새로운 최신(state-of-the-art) 성능을 달성함을 보여준다.
Multi-Scale Patch-Based Representation Learning for Image Anomaly Detection and Segmentation
Nuclei Segmentation via a Deep Panoptic Model with Semantic Feature Fusion
PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.
PRISM: 정렬 위장 주장에 대한 스트레스 테스트
PRISM: Stress-Testing Alignment-Faking Claims
우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.