arXiv:1905.00921

Continuous Learning for Large-scale Personalized Domain Classification

Han Li, JIhwan Lee, Sidharth Mudgal, Ruhi Sarikaya, Young-Bum Kim

제출 2019-05-02

원문 초록

Domain classification is the task of mapping spoken language utterances to one of the natural language understanding domains in intelligent personal digital assistants (IPDAs). This is a major component in mainstream IPDAs in industry. Apart from official domains, thousands of third-party domains are also created by external developers to enhance the capability of IPDAs. As more domains are developed rapidly, the question of how to continuously accommodate the new domains still remains challenging. Moreover, existing continual learning approaches do not address the problem of incorporating personalized information dynamically for better domain classification. In this paper, we propose CoNDA, a neural network based approach for domain classification that supports incremental learning of new classes. Empirical evaluation shows that CoNDA achieves high accuracy and outperforms baselines by a large margin on both incrementally added new domains and existing domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.34409v2cs.LG공통 태그 General Classification, Classification

MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기

MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series

자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.

arXiv:2610.02278v1cs.LG공통 태그 Incremental Learning, Continual Learning

CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단

CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation

인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.

arXiv:2610.02661v1cs.LG공통 태그 Incremental Learning, Continual Learning

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.