arXiv:2608.01437v1 cs.AI

라우팅 포화를 넘어서: 멀티모달 연속 지시 미세조정의 전문가 라우팅에 대한 장기적 클래스 증분 관점

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

제출 2026-08-02

한국어 초록

멀티모달 연속 지시 미세조정(Multimodal Continual Instruction Tuning, MCIT)은 멀티모달 대규모 언어 모델이 이전에 학습한 기능을 유지하면서 새로운 작업을 순차적으로 습득할 수 있도록 합니다. 최근의 많은 방법은 작업별 LoRA 전문가(expert)를 유지하고 추론(inference) 시 각 입력을 하나 이상의 전문가로 라우팅합니다. 그러나 전문가 라우팅의 기반이 되는 작업 식별 문제는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 널리 사용되는 MCIT 벤치마크에서 라우팅이 거의 포화 상태임을 보입니다. 작업의 정체를 유출하는 텍스트 핑거프린트와 경쟁하는 전문가 수가 적은 짧은 4~10개 작업 시퀀스가 결합하여 장기적(long-horizon) 라우팅 문제를 가리고 있습니다. 이러한 과제를 드러내기 위해, 본 연구에서는 텍스트 핑거프린트를 완화한 34개 작업 규모의 장기적 MCIT 벤치마크인 FLEX(Fingerprint-reduced Long-horizon Expert eXamination)를 소개합니다. FLEX는 유사한 지시문 및 답변 형식을 가지면서도 시각 및 지식 도메인이 다양한 작업들을 그룹화하고, 외부 템플릿을 정규화하며, 훨씬 더 큰 전문가 풀에 대해 라우팅을 평가합니다. 결정적으로, 본 논문은 점진적 LoRA 라우팅을 소프트 작업-클래스 멀티모달 클래스 증분 학습(Multimodal Class-Incremental Learning, MCIL)으로 공식화합니다. 즉, 각 작업이 증분 라우팅 클래스를 정의하며, 이의 완전한 점수 분포가 LoRA 혼합 가중치를 제공하고 하드 라우팅은 이산적인 특수 사례가 됩니다. FLEX는 확장되는 작업 식별 과제를 드러내는 한편, MCIL 공식화는 CIL 방법을 전문가 라우팅으로 전이하기 위한 원칙적인 인터페이스를 제공합니다. 본 연구는 통제된 기준선(baseline)으로서 PureLoRA를 구현하고, LoRA 전문가나 생성 파이프라인을 수정하지 않은 채 4개의 CIL 방법을 4개의 MCIT 프레임워크에 적용합니다. 이러한 플러그인 라우터는 엄격한 LoRA 매칭을 최대 16.3%포인트 향상시키고 전체 MacroScore를 최대 4.6포인트 개선합니다. 코드는 https://github.com/RINC-CL/FLEX 에서 확인할 수 있습니다.

원문 초록

Multimodal Continual Instruction Tuning (MCIT) enables multimodal large language models to acquire new tasks sequentially while retaining previously learned capabilities. Many recent methods maintain task-specific LoRA experts and route each input to one or more experts at inference. Yet the task-identification problem underlying expert routing remains under-explored. We show that routing is nearly saturated on widely used MCIT benchmarks. Textual fingerprints that leak task identity and short 4--10-task sequences with few competing experts jointly obscure the long-horizon routing problem. To expose this challenge, we introduce FLEX (Fingerprint-reduced Long-horizon Expert eXamination), a 34-task long-horizon MCIT benchmark with weakened textual fingerprints. FLEX groups tasks with similar instruction and answer formats but diverse visual and knowledge domains, normalizes their outer templates, and evaluates routing over a substantially larger expert pool. Crucially, we formulate progressive-LoRA routing as soft task-as-class Multimodal Class-Incremental Learning (MCIL): each task defines an incremental routing class, whose complete score distribution supplies the LoRA mixture weights, with hard routing as a discrete special case. FLEX exposes this expanding task-identification challenge, while the MCIL formulation provides a principled interface for transferring CIL methods to expert routing. We instantiate PureLoRA as a controlled baseline and adapt four CIL methods to four MCIT frameworks without modifying their LoRA experts or generation pipelines. Our plug-in routers improve strict LoRA matching by up to 16.3 percentage points and overall MacroScore by up to 4.6 points. Code is available at: https://github.com/RINC-CL/FLEX

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.01437v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.