Task Alignment: A Simple Proxy for Practical Model Merging Across Diverse Vision Tasks
원문 초록
Efficiently merging several models fine-tuned for different tasks, but stemming from the same pretrained base model, is of great practical interest. Despite extensive prior work, most evaluations of model merging in computer vision are restricted to image classification using CLIP, where different classification datasets define different tasks. In this work, our goal is to make model merging more practical and show its relevance on challenging scenarios beyond this specific setting. In most vision scenarios, different tasks rely on trainable and usually heterogeneous decoders. Differently from previous studies with frozen decoders, where merged models can be evaluated right away, the non-trivial cost of decoder training renders hyperparameter selection based on downstream performance impractical. To address this, we introduce the task alignment proxy, and show how it can be used to speed up hyperparameter selection by orders of magnitude while retaining performance. Equipped with the task alignment proxy, we extend the applicability of model merging to multi-task vision models beyond CLIP-based classification. Project page: https://europe.naverlabs.com/task-alignment
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.12935v3제출 시각 미확인
- arXiv:2604.12935v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
SMAT: 단순하고 효율적인 병합 인식 학습
SMAT: Simple and Efficient Merge-Aware Training
모델(model) 병합은 공동 재학습 없이도 여러 전문가(expert)의 능력을 통합하지만, 표준적인 전문가 학습(training)은 과제 손실(loss)만을 최적화하므로 병합 후의 우수한 성능을 보장하지 못합니다. 병합 인식 학습(MAT, Merge-Aware Training)은 병합된 모델의 성능을 향상시키는 것을 목표로 하지만, 기존 기법들은 일반적인 병합 연산을 충분히 고려하지 못하며 학습 비용을 가중시킵니다. 본 논문에서는 전문가의 관점에서 일반적인 병합 기법들이 세 가지 연산으로 설명될 수 있음을 관찰했습니다. 즉, 자체 업데이트의 가중치를 재조정하는 스케일(Scale), 선택된 좌표를 제거하는 마스크(Mask), 그리고 다른 전문가들의 업데이트를 추가하는 섭동(Perturb)입니다. 이러한 관점을 바탕으로, 스케일링 계수, 마스크, 가산 노이즈를 샘플링하여 생성한 시뮬레이션 병합 매개변수(parameter)에서의 기대 손실과 전문가 손실을 공동으로 최적화하는 SMAT(Simple MAT)을 제안합니다. 나아가 주기적 스케줄링, 커널(kernel) 퓨전, 매개변수 저장소 전환 기법을 도입하여 단계당 단 한 번의 순전파 및 역전파만으로 SMAT이 효율적으로 작동하도록 구현했습니다. 4개의 언어 및 비전-언어(vision-language) 백본 전반에서, SMAT은 각 백본의 가장 강력한 기준선(baseline) 대비 5가지 병합 기법의 평균 점수를 1.07~2.16점 향상시켰으며, 표준 미세조정(fine-tuning) 대비 학습 시간 오버헤드는 2% 미만에 불과했습니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구
Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
플라톤적 태스크 산술
Platonic Task Arithmetic
동일한 태스크에 특화된 서로 다른 사전학습(pre-training) 모델들은 매우 유사한 행동으로 수렴하지만, 이를 생성하는 매개변수(parameter) 업데이트는 공통의 좌표계를 공유하지 않습니다. 따라서 가중치(weight) 공간에서의 태스크 산술(task arithmetic)은 단일 모델에 국한되며, 모델 간에 업데이트를 전이하려면 구조적 대응 관계가 필요합니다. 플라톤의 동굴의 비유에 착안하여, 본 논문에서는 이러한 모델별 업데이트가 공유된 하나의 모델 무관 객체인 '플라톤적 태스크 벡터(platonic task vector)'에 의해 드리워진 그림자라는 가설을 세웁니다. 서로 다른 아키텍처를 가진 모델 간에 이를 활용할 수 있도록, 아키텍처 및 임베딩(embedding) 차원과 무관한 형태를 가지며 태스크의 기능적 효과를 기록하고 일반적인 행렬 연산으로서 덧셈과 부정(negation)을 지원하는 행렬인 '범용 태스크 기술자(Universal Task Descriptors)'를 도입하고, 두 가지 방식으로 기술자를 타깃에 전이합니다. 단 한 번의 최소제곱법(least-squares) 풀이로 타깃의 마지막 층(layer)에 접어 넣을 수 있는 선형 연산자를 얻을 수 있으며, 소스 및 태스크당 하나씩 구성된 이러한 연산자 집합은 해당 성분들의 부호가 있는 합으로서 임의의 구성을 실현합니다. 대안적으로, 편집당 한 번의 최적화(optimization) 비용을 들여 타깃 인코더의 저순위 어댑터(low-rank adapter)를 동일한 목적함수로 학습시킵니다. 공유 구성요소와 놈(norm) 크기가 유사한 모델별 잔차가 존재함에도 불구하고, 다른 모델로부터의 전이는 타깃 자체의 기술자가 달성하는 성능 향상의 74~80%를 유지합니다. 6개 모델 패밀리, 8개 태스크 및 오디오-텍스트 모델에 걸친 실험을 통해 두 가지 구현 방식 모두를 검증합니다.
LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델
LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing
근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.