TaskFusion: 이질적 테이블 데이터를 위한 지속적 이상 탐지
TaskFusion: Continual Anomaly Detection for Heterogeneous Tabular Data
한국어 초록
테이블 데이터에서의 지속적 이상 탐지는 어렵고, 특히 이질적 특징 스키마, 분포 변화, 심각한 클래스 불균형이 존재하는 설정에서는 대부분 미탐구 상태로 남아 있습니다. 많은 실제 애플리케이션에서 데이터는 다양한 도메인에서 순차적으로 도착하며, 이는 고정된 입력 공간에 의존하는 기존 지속적 학습 방법의 효과를 떨어뜨립니다. 우리는 이러한 도전을 극복하고 다른 작업에서 지속적으로 학습할 수 있는 지속적 학습(CL) 방법을 제안합니다. 우리의 방법은 세 가지 주요 부분으로 구성됩니다: AGF 모델, Taskfusion 증강, 그리고 아웃라이어 노출입니다. AGF 모델은 작업별 특징을 공유 공간에 매핑한 다음, 분포를 정렬하여 표현 드리프트를 줄이고, 정렬된 공간에서 이상치 결정 경계를 학습합니다. 안정성을 향상시키기 위해 우리는 Taskfusion 증강을 도입했는데, 이는 작업 내 경계 인지 보간을 결합하여 모델의 이상치 경계를 정교화하고, 작업 간 혼합을 통해 데이터셋 간 이상치 구조를 전이합니다. 클래스 불균형과 메모리 제약을 처리하기 위해, 우리는 압축된 합성 재생 샘플을 저장하기 위해 테이블 데이터셋 증류를 사용하며, 이는 강건한 이상 탐지를 위해 증강된 데이터와 함께 아웃라이어 노출 목적 함수에서 공동으로 사용됩니다. 우리는 여러 도메인에 걸친 21개의 이질적 데이터셋에서 이 접근 방식을 평가했습니다. 결과는 우리의 접근 방식이 재앙적 망각을 줄이고 이질적 데이터셋 전반에 걸쳐 안정적인 탐지를 유지하면서, 순차적 미세조정 및 다른 CL 기준 모델에 비해 지속적 이상 탐지 성능을 크게 향상시킴을 보여줍니다.
원문 초록
Continual anomaly detection in tabular data is challenging and remains largely underexplored, particularly in settings with heterogeneous feature schemas, distribution shifts, and severe class imbalance. In many real-world applications, data arrive sequentially from diverse domains, rendering conventional continual learning methods ineffective due to their reliance on a fixed input space. We propose a continual learning (CL) method, which can overcome these challenges and continually learn from different tasks. Our method consists of three main parts: our AGF model, Taskfusion augmentation, and outlier exposure. The AGF-model maps task-specific features into a shared space, then aligns distributions to reduce representation drift, and learns anomaly decision boundaries in the aligned space. To improve stability, we introduce Taskfusion augmentation, combining boundary-aware interpolation within tasks to refine the model anomaly boundaries and cross-task mixing to transfer anomaly structure across datasets. To handle class imbalance and memory constraints, we employ tabular dataset distillation to store compact synthetic replay samples, which are jointly used with augmented data in an outlier exposure objective for robust anomaly detection. We evaluate the approach on 21 heterogeneous datasets across multiple domains. Results show that our approach substantially improves continual anomaly detection performance over sequential fine-tuning and other CL baselines while reducing catastrophic forgetting and maintaining stable detection across heterogeneous datasets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11844v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DOMFN: A Divergence-Orientated Multi-Modal Fusion Network for Resume Assessment
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단
Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC
표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.
잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법
Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation
그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.
GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장
GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation
DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.
지속 학습에서 초기 학습이 표현 변화의 후속 방향을 형성하는 방식
Early Learning Shapes Later Directions Of Representation Change In Continual Learning
네트워크가 새로운 태스크를 학습함에 따라 표현(representation)은 지속적으로 변화합니다. 본 연구에서는 초기 표현 변화가 이후의 학습을 지속적으로 형성하는 기하학적 구조를 자연스럽게 형성하는지 질문합니다. 저자들은 초기 표현 드리프트(representation drift)의 저차원 부분공간을 규명하여 이를 비계(scaffold)라 부르고, 이것이 이후 태스크 전반에 걸쳐 재사용되는지 테스트합니다. 네 가지 사전학습(pre-training)된 시각 인코더와 두 개의 데이터셋 전반에서, 후속 표현 변화는 일치하게 설정된 무작위 대조군 부분공간보다 이러한 초기에 정의된 부분공간을 일관되게 선호합니다. 이러한 재사용은 이력 의존적(history-dependent)입니다. 네트워크가 서로 다른 초기 태스크를 거친 후 동일한 후속 학습(training) 입력을 받을 때, 각 네트워크는 자체 학습 이력에 의해 유도된 비계를 우선적으로 재사용합니다. 네트워크의 지배적인 국소 반응 방향이 원래의 비계에서 벗어나더라도, 개별 옵티마이저(optimizer) 업데이트에서도 동일한 선호도가 나타납니다. 마지막으로, 비계 내부에서의 움직임을 제한하면 일치하게 설정된 무작위 제약보다 새로운 태스크 습득이 더 느려지는 반면, 이전 태스크 유지에 미치는 영향은 덜 일관적입니다. 요약하자면, 이러한 결과는 초기 경험이 신경망이 향후 태스크에 적응하는 방식에 지속적인 기하학적 흔적을 남긴다는 점을 시사합니다. 코드는 https://github.com/YuantaoDeng/latent-scaffold 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.