arXiv:1910.01064

Concept Drift Detection and Adaptation with Weak Supervision on Streaming Unlabeled Data

Abhijit Suprem

제출 2019-10-02

원문 초록

Concept drift in learning and classification occurs when the statistical properties of either the data features or target change over time; evidence of drift has appeared in search data, medical research, malware, web data, and video. Drift adaptation has not yet been addressed in high dimensional, noisy, low-context data such as streaming text, video, or images due to the unique challenges these domains present. We present a two-fold approach to deal with concept drift in these domains: a density-based clustering approach to deal with virtual concept drift (change in statistical properties of features) and a weak-supervision step to deal with real concept drift (change in statistical properties of target). Our density-based clustering avoids problems posed by the curse of dimensionality to create an evolving 'map' of the live data space, thereby addressing virtual drift in features. Our weak-supervision step leverages high-confidence labels (oracle or heuristic labels) to generate weighted training sets to generalize and update existing deep learners to adapt to changing decision boundaries (real drift) and create new deep learners for unseen regions of the data space. Our results show that our two-fold approach performs well with >90% precision in 2018, four years after initial deployment in 2014, without any human intervention.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27865v1cs.LG공통 태그 Clustering, Drift Detection

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

arXiv:2606.22026v1cs.LG공통 태그 Clustering, Drift Detection

제어된 분포 이동 하에서 효율적인 배치 모델 적응을 위한 클러스터별 국소적 드리프트 탐지

Cluster-Specific Localized Drift Detection for Efficient Batch Model Adaptation under Controlled Distribution Shift

동적 환경에 배포된 머신러닝 시스템은 비정상적(nonstationary) 데이터 분포 하에서 빈번하게 작동하며, 이 경우 제어된 분포 이동이 예측 성능을 점진적으로 저하시킬 수 있다. 그러나 널리 사용되는 많은 표 형식 벤치마크 데이터셋은 명시적인 시간적 구조를 갖추지 못하여 드리프트 적응 방법의 재현 가능한 평가를 제한한다. 본 연구는 클러스터 유도 분포 이동 시뮬레이션 프레임워크를 제안하는데, 이는 특징 공간 파티션 전반에 걸친 구조적 교란을 통해 정적 표 형식 데이터셋을 제어된 진화형 데이터 스트림으로 변환한다. 이 프레임워크를 활용하여 여섯 가지 적응 전략을 체계적으로 평가한다: 정적 학습, 슬라이딩 윈도우 재학습, 전역 ADWIN 재학습, 클러스터 로컬 ADWIN 재학습, 랜덤 서브스페이스 드리프트 탐지, 특징 분할 드리프트 탐지. 실험은 선형 모델, k-최근접 이웃(k-Nearest Neighbours), 트리 앙상블, 부스팅 방법, 적응형 온라인 학습기를 포함한 다양한 예측 모델 계열을 사용하여 분류 및 회귀 과제를 모두 포함하는 다섯 개의 벤치마크 데이터셋에서 수행된다.

arXiv:2607.01539v3cs.NE공통 태그 Clustering

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2607.05420v2cs.DL공통 태그 Clustering

AI가 분류할 때: 공공행정이란 무엇인가?

When AI Classifies: What Counts as Public Administration?

본 연구는 학술 표현의 대안적 체계들이 행정학(PA)과 인공지능 관련 행정학(AI-in-PA) 학술 연구를 어떻게 식별하고 특징짓는지를 고찰한다. 핵심 질문은 어떤 체계가 행정학에 대한 확정적 분류를 제공하는가가 아니라, 학술 분류의 대안적 체계들이 행정학의 지적 경계를 식별하고 표현하는 방식에서 어떻게 다른가이다. 본 연구는 Web of Science와 OpenAlex에 대한 탐색적·비교 분석을 통해 저자 정의 방식, 인용 기반 방식, AI 지원 방식의 표현에 기초한 다섯 가지 접근법을 비교한다. 분석 결과는 말뭉치 규모, 출판 유형, DOI 이용 가능성, 출판 매체, 시간적 양상, 주제 구조에서 상당한 차이와 제한적인 중복이 있음을 보여 준다. 대안적 접근법들은 동일한 문헌의 더 크거나 더 작은 부분집합을 식별하는 데 그치지 않고 실질적으로 서로 다른 학술 집합을 식별하기 때문에 서로 구별되는 표현을 만들어 내는 경향이 있다. 연구 결과는 알고리즘에 의한 지식 조직화가 학제 간 학술 연구가 분류되고 연결되고 이해되는 방식에, 그리고 인식론적으로는 그 가시성, 구조, 지적 정체성이 표현되는 방식에 영향을 미침을 시사한다. AI 기반 학술 분류는 중립적이지 않고 해석적이며 잠재적으로 자기강화적이어서 학문 분야 경계의 진화와 적응을 제약할 수 있다. 따라서 인간 전문가의 판단은 여전히 필수적이며, AI 지원 학술 분류에 의해 대체되기보다는 보완된다.

arXiv:2607.21426v2cs.LG공통 태그 Clustering

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.