arXiv:1511.06072

Mediated Experts for Deep Convolutional Networks

Sebastian Agethen, Winston H. Hsu

제출 2015-11-19

원문 초록

We present a new supervised architecture termed Mediated Mixture-of-Experts (MMoE) that allows us to improve classification accuracy of Deep Convolutional Networks (DCN). Our architecture achieves this with the help of expert networks: A network is trained on a disjoint subset of a given dataset and then run in parallel to other experts during deployment. A mediator is employed if experts contradict each other. This allows our framework to naturally support incremental learning, as adding new classes requires (re-)training of the new expert only. We also propose two measures to control computational complexity: An early-stopping mechanism halts experts that have low confidence in their prediction. The system allows to trade-off accuracy and complexity without further retraining. We also suggest to share low-level convolutional layers between experts in an effort to avoid computation of a near-duplicate feature set. We evaluate our system on a popular dataset and report improved accuracy compared to a single model of same configuration.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.30266v2cs.LG공통 태그 Mixture-of-Experts, Incremental Learning

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

arXiv:2607.01674v4cs.AI공통 태그 Mixture-of-Experts, Incremental Learning

원시 ECG 리플레이가 없는 지속적 ECG 배포에서 전문가 유지와 자율 소스 추론의 분리

Separating Expert Retention from Autonomous Source Inference in Raw-ECG-Replay-Free Continual ECG Deployment

다중 소스 심전도(ECG) 배포 환경에서는 이전의 원시 ECG 데이터를 보관하거나 재생(replay)할 수 없는 상황에서 새로운 소스가 유입될 수 있습니다. 고정된 백본(backbone) 상에서 소스별 분류기를 격리하면 매개변수(parameter) 간섭을 방지할 수 있지만, 소스를 알 수 없는 상태의 추론(inference)에서는 여전히 적절한 전문가를 선택해야 하는 문제가 남습니다. 본 연구에서는 고정된 1024차원 ECGFounder 특징(feature)을 기반으로 구축된 통제된 지속적 배포 프레임워크인 IRFE-ECG를 통해 이러한 차이를 연구합니다. 새로운 소스가 추가될 때마다 격리된 Balanced-Softmax 선형 전문가가 추가되며, 이전에 관찰된 소스들로부터 보존된 고정 학습(training) 특징과 소스 레이블을 사용하여 경량 라우터가 재적합(re-fit)됩니다. 본 논문의 주된 기여는 새로운 라우팅 아키텍처를 제안하기보다는 보존된 전문가 성능을 자율적 소스 추론과 분리하고, 그로 인해 발생하는 배포 격차(deployment gap)를 정량화하는 것입니다. CPSC, PTB-XL, Georgia, Chapman-Shaoxing 데이터셋 전반에서 소스 인식 전문가 선택은 $0.7915 \pm 0.0036$의 Macro-F1에 도달하여, 매칭된 오프라인 독립 헤드 기준치인 $0.7885 \pm 0.0009$에 근접합니다. 소스 ID가 없는 경우 MLP 라우터는 $0.7756 \pm 0.0027$을 달성하며, 상위 2개 마진(margin) 융합은 $0.7782 \pm 0.0022$에 도달합니다. 상위 2개 융합의 개선 폭은 작으며(+0.0026), 대응 부트스트랩(paired bootstrap) 검정에서 통계적으로 유의미하지 않았습니다. 세 가지 도메인 순서 전반에서 상위 2개 방식과 오라클 간의 격차는 0.0111-0.0133으로 유지되어, 이 프로토콜 내에서 지속적인 소스 추론 격차가 존재함을 보여줍니다. 신뢰할 수 있는 환자 식별자를 사용할 수 없었기 때문에 결과는 레코드 수준(record-level)으로 평가되었습니다. 이 방법은 원시 ECG를 재생하지 않지만 라우터 업데이트를 위해 고정된 특징 벡터를 보존하므로, 메모리가 전혀 필요 없는(memory-free) 방식이라기보다는 원시 ECG 리플레이가 없는(raw-ECG-replay-free) 방식입니다. 코드는 https://github.com/yufanlu221/IRFE-ECG 에서 공개되어 있습니다.

arXiv:2609.24455v1cs.CV공통 태그 Mixture-of-Experts, Incremental Learning

MECAIL: 14.6 KB 시공간 전문가를 활용한 객체 검출용 통신 인식 증분 학습

MECAIL: Communication-Aware Incremental Learning for Object Detection with 14.6 KB Spatiotemporal Experts

지능형 교통 시스템은 동적 환경에서 전반적인 성능을 지속적으로 향상하기 위해 증분 학습(IL)이 필요하다. 그러나 대부분의 엣지 디바이스는 온디바이스 IL을 지원할 연산 자원이 부족하여, 업데이트를 중앙 서버에서 전송해야 한다. 우리는 이 구성을 활용하여 주차장, 주유소, 페리, 건설 현장과 같은 특정 시공간 맥락에 맞게 고정된 베이스 모델을 적응시키는 밀집적이고 특화된 모듈 커버리지를 얻는 것을 제안한다. 그러나 V2X, Wi-Fi, 2G–5G 하드웨어를 통해 TCP, UDP, BTP를 사용하여 이러한 모듈을 엣지 디바이스에 안정적으로 전송하기 위해, 첫 TCP 윈도우에 맞추고 UDP/BTP 단편화를 최소화하기 위해 모듈당 14.6 KB의 엄격한 한도를 설정한다. 또한 이 �strict한 요구를 충족하는 최초의 방법인 통신 인식 증분 학습을 위한 전문가 혼합(MECAIL)을 도입하며, 각 새로운 도메인 또는 환경은 베이스 모델을 적응시키는 소형 전문가 네트워크가 담당한다. D-RICO와 ODinW-13에서 MECAIL을 검증하였으며, 실용적이고 대역폭 효율적인 대규모 배포를 가능하게 하면서 매개변수 집약적 접근법의 성능과 대체로 일치한다. 이를 통해 고도로 구체적이고 집중적이며 일시적인 상황에 대해 전문가가 포괄적으로 커버할 수 있다.

arXiv:2607.02930v1cs.CV공통 태그 Mixture-of-Experts, Incremental Learning

CL-Anomaly: 이상 탐지의 지속 학습을 위한 다중모달 대규모 언어 모델 기반 층 적응형 전문가 혼합

CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection

다중모달 대규모 언어 모델(MLLM)은 다양한 비전 태스크에서 뛰어난 성능을 발휘하지만, 실세계 지식이 진화함에 따라 전체 매개변수 재학습은 계산 비용이 매우 크다. 기존의 지속 학습(continual learning) 방법들은 태스크 간 매개변수 공간에서의 의미적 얽힘(semantic entanglement)으로 인해 모델의 지속적 배포에 어려움을 겪는 경우가 많다. 이 문제는 이상 탐지(Anomaly Detection, AD)에서 특히 두드러지는데, 이상 탐지는 모달리티, 도메인, 결함 스케일 변동성에 걸친 삼중 이질성을 보여 다중 태스크 지식 전이를 크게 복잡하게 만든다. 본 논문에서는 MLLM을 활용한 이상 탐지의 지속 학습을 가능하게 하는 격리-공유 협력 기반 매개변수 효율적 미세조정 프레임워크인 CL-Anomaly를 제안한다. 우리는 태스크 전용 전문가 PrivLoRA를 도입하여 매개변수 공간에서 태스크별 부분 공간을 물리적으로 격리함으로써 다양한 시나리오에서 이상 지식의 의미적 얽힘을 방지한다. 층 적응형 공유 전문가(Layer-Adaptive Shared Experts)는 통합된 특징 공간 내에서 태스크 간 표현을 유지하여 이전 태스크와 새로운 태스크 간의 지식 공유를 가능하게 한다. 나아가, 모멘텀 기반 메커니즘을 통해 각 태스크의 층별 핵심 공유 전문가를 자동으로 선택하고 동적으로 갱신하는 층 적응형 지식 전이(Layer-Adaptive Knowledge Transfer) 전략을 제안하여 연관된 이상 탐지 태스크 간의 효과적인 지식 전이를 촉진한다. 클래스 증분, 크로스 도메인, 크로스 모달을 포함한 세 가지 이상 탐지 지속 학습 시나리오에 걸친 광범위한 실험을 통해 CL-Anomaly가 최신 방법들을 능가함을 입증한다. 코드는 https://github.com/WenDongyp/CL-Anomaly 에서 확인할 수 있다.

arXiv:2606.28835v1cs.LG공통 태그 Mixture-of-Experts, Incremental Learning

연합 클래스 증분 학습을 위한 Fisher 라우팅 전문가 혼합

Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning

연합 학습(FL)은 유망한 분산 머신러닝 패러다임으로 등장하였다. 그러나 FL을 클래스 증분 학습 시나리오로 확장하면 고유한 과제가 발생한다: 1) 공유 모델 과부하로 인한 용량 충돌 및 파국적 망각(catastrophic forgetting), 2) 비독립동일분포(Non-IID) 데이터로 인한 이질성, 3) 동기화된 클래스 불일치. 본 논문에서는 클라이언트 전반에 걸친 적응적 전문가 특화를 통해 이러한 과제를 해결하는 새로운 프레임워크인 연합 클래스 증분 학습을 위한 Fisher 라우팅 전문가 혼합(FedFMX)을 제안한다. 핵심 통찰은 지식 획득과 유지를 공동으로 최적화하는 전문가 부분집합으로 각 샘플을 라우팅하는 것이다. 구체적으로, Fisher 기반 안정성 비용과 그래디언트 기반 가소성 이득을 통해 전문가 중요도를 추정하는 Fisher 라우팅 전문가 점수화(FRES) 모듈을 도입한다. 이어서 한계 기여도를 정량화하여 적응적 전문가 부분집합을 결정하는 적응적 전문가 선택(AES) 모듈을 설계한다. 마지막으로, 라우팅 인식 정규화(RAR)를 통해 부하 균형과 효율적인 FL 학습을 달성한다. 이론적으로 $\mathcal{O}(T^{-1})$ 수렴률을 증명한다. 다양한 벤치마크에서 최신 기법들과의 광범위한 실험을 통해 FedFMX의 우수성을 입증한다.

arXiv:2606.21307v1cs.LG공통 태그 Mixture-of-Experts, Incremental Learning

고도 이질적 태스크 전반의 지속 학습을 위한 태스크 차별화 원자 스킬 확장 및 라우팅

Task-Differentiated Atomic Skill Expansion and Routing for Continual Learning Across Highly Heterogeneous Tasks

지속 학습(Continual Learning, CL)은 순차적 태스크가 의미론적으로 연관되거나 구조적으로 유사하다는 가정 하에 주로 연구된다. 그러나 태스크 간 추론 패턴과 입출력 형식이 실질적으로 상이한 고도 이질적 환경에서는 기존 방법들이 치명적 망각(catastrophic forgetting)과 비효율적인 용량 할당 문제를 겪는 경우가 많다. 이 문제를 해결하기 위해 우리는 태스크 차별화 원자 스킬 확장 및 라우팅(Task-differentiated Atomic Skill Expansion and Routing, TASER)을 제안한다. TASER는 각 태스크에 대해 도입할 새로운 원자 스킬의 수와 활성화할 스킬을 공동으로 결정하는 CL 프레임워크이다. 이 프레임워크는 먼저 원자 스킬 증분 학습(atomic skill incremental learning)을 통해 태스크 발산도와 모델 불확실성에 기반하여 용량을 동적으로 확장한다. 이후 직교성 강화 스킬 탐지(orthogonality-enhanced skill detection)를 적용하여 해당 스킬들이 의미론적으로 구분되고 독립적으로 재사용 가능하도록 보장한다. 마지막으로 스킬 동적 라우팅(skill dynamic routing) 메커니즘이 경량 태스크 조건부 게이팅을 통해 태스크와 관련된 스킬들을 조합한다. 또한 우리는 표준화된 순차 프로토콜 하에 9가지 인지 차원에 걸친 19개의 다양한 태스크로 구성된 CL용 고도 이질적 벤치마크 HeteroCLBench를 새롭게 제안한다. HeteroCLBench에서의 실험 결과, TASER는 가소성(plasticity)을 향상시키고 치명적 망각을 줄임으로써 강력한 기준 모델들을 일관되게 능가하는 것으로 나타났다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.