FeatCal: 병합 후 모델을 위한 특징 보정
FeatCal: Feature Calibration for Post-Merging Models
한국어 초록
모델 병합(Model merging)은 여러 태스크 전문가 모델을 하나의 모델로 결합하여 공동 학습(joint training), 재학습 또는 다수의 전문가 모델 배포를 피할 수 있게 하지만, 병합된 모델은 여전히 개별 태스크 전문가 모델보다 성능이 떨어지는 경우가 많습니다. 본 연구에서는 동일한 입력에 대해 병합된 모델과 전문가 모델이 생성하는 특징(feature) 간의 차이인 특징 드리프트(feature drift)를 통해 이러한 성능 격차를 분석합니다. 본 연구의 이론은 이 드리프트를 상류 전파(upstream propagation)와 국소적 불일치(local mismatch)로 분해하고, 순방향 순서로 이후 층(layer)들을 거치며 어떻게 전파되고 결합되는지 추적하며, 최종 특징 드리프트를 출력 드리프트와 연결합니다. 이러한 관점에 기반하여 소규모 보정 데이터셋을 사용해 병합된 모델 가중치를 순방향 순서로 층별 보정하는 FeatCal을 제안합니다. FeatCal은 병합된 가중치와 가깝게 유지하면서 특징 드리프트를 줄여 모델 병합의 이점을 보존합니다. FeatCal은 경사하강법(gradient descent), 반복적 최적화(iterative optimization) 또는 추가 모듈 없이 효율적인 닫힌 형태의 해(closed-form solution)를 사용하여 모델 가중치를 업데이트합니다. 주요 CLIP 및 GLUE 벤치마크에서 FeatCal은 가장 유사한 병합 후 보정 베이스라인인 Surgery 및 ProbSurgery를 능가하여, CLIP-ViT-B/32 Task Arithmetic(TA)에서 85.5% 대 77.0%/78.8%, FLAN-T5-base GLUE에서 85.2% 대 83.7%/82.2%를 기록했습니다. CLIP-ViT-B/32의 경우 태스크당 8개의 예시만으로 82.9%에 도달하며, 태스크당 256개의 예시 기준 53초가 소요되어 두 베이스라인 대비 약 4배 빨라 더 우수한 샘플 효율성과 더 낮은 보정 비용을 보여줍니다.
원문 초록
Model merging combines task experts into one model and avoids joint training, retraining, or deploying many expert models, but the merged model often still underperforms task experts. We study this performance gap through feature drift, the difference between features produced by the merged model and by the expert on the same input. Our theory decomposes this drift into upstream propagation and local mismatch, tracks how it propagates and combines through later layers in forward order, and links final feature drift to output drift. This view motivates FeatCal, which uses a small calibration set to calibrate the merged model weights layer by layer in forward order, reducing feature drift while staying close to merged weights and preserving the benefits of model merging. FeatCal uses an efficient closed-form solution to update model weights, with no gradient descent, iterative optimization, or extra modules. On the main CLIP and GLUE benchmarks, FeatCal beats Surgery and ProbSurgery, the closest post-merging calibration baselines: 85.5% vs. 77.0%/78.8% on CLIP-ViT-B/32 Task Arithmetic (TA) and 85.2% vs. 83.7%/82.2% on FLAN-T5-base GLUE. On CLIP-ViT-B/32, 8 examples per task reach 82.9%, and 256 examples per task take 53 seconds, about 4x faster than both baselines, showing better sample efficiency and lower calibration cost.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 태스크 병합 모델로부터 태스크 전문가 복구 학습
Learning to Recover Task Experts from a Multi-Task Merged Model
다중 태스크 모델 병합은 여러 태스크별 전문가를 하나의 통합 모델로 결합하는 것을 목표로 하지만, 정적 병합은 매개변수 간섭 문제에 지속적으로 직면한다. 동적 병합 모델이 이 격차를 메우려 하지만, 많은 연구는 추론 시 중복된 전문가 구성 요소의 비용이 큰 저장 및 로딩에 의존한다. 본 연구에서는 태스크 전문가 관점에서 매개변수 간섭을 병합 과정에서 각 전문가에 도입되는 매개변수 섭동으로 본다. 우리는 이러한 매개변수 섭동이 아핀 변환(affine transformation)으로 모델링될 수 있으며, 가산적 오프셋(additive offset)으로 근사할 수 있음을 보인다. 이에 영감을 받아, 매개변수 간섭을 되돌리고 단일 병합 체크포인트에서 태스크 전문가 성능을 복구하기 위해 해당 오프셋을 예측하는 프레임워크인 Recover Task eXpert(ReTeX)를 제안한다. 태스크 정체성이 알려지지 않았을 때 적절한 전문가를 복구하기 위해, 추론 전에 오프라인으로 계산된 SVD 부분공간(subspace) 시그니처에 기반한 라우터 없는(router-free) 태스크 식별자를 도입한다. 추론 시 식별자는 주어진 입력에 대해 부분공간의 투영 잔차(projection residual)가 가장 작은 태스크를 선택한다. 그 결과 ReTeX는 비전 및 자연어 처리(NLP) 도메인 모두에서 개별 전문가 성능의 95% 이상을 복구하며, 동시에 보지 못한 태스크에 대한 일반화를 크게 향상시킨다. 중요하게도, 매개변수 오프셋 예측이 분포 외(out-of-distribution, OOD) 태스크에 대해 전문가 지식의 창발적(emergent) 적응적 보간(adaptive interpolation)으로 이어짐을 또한 보인다. ReTeX는 보지 못한 태스크를 처리하기 위해 관측된 전문가 지식을 적응적으로 보간한다. 코드는 https://github.com/BAIKLAB/ReTeX 에서 이용할 수 있다.
PACT: 모델 병합을 위한 태스크 벡터 내 앵커 코어 보존
PACT: Preserving Anchored Cores in Task-vectors for Model Merging
모델 병합은 다중 작업 학습의 학습 없는 대안으로 부상했으며, 여러 작업별 파인튜닝 모델을 단일 다중 작업 모델로 결합하는 것을 목표로 한다. 대부분의 기존 모델 병합 방법은 태스크 산술(Task Arithmetic) 패러다임을 따르며, 이는 파인튜닝된 가중치를 사전학습 매개변수와 태스크 벡터로 분해하고 태스크 벡터 공간에서만 병합을 수행한다. 이 패러다임의 효과는 암묵적으로 작업별 지식이 태스크 벡터 내에만 인코딩된다는 가정에 의존한다. 우리는 사전학습 모델의 내재적 작업 선호성 때문에 이 가정이 일반적으로 성립하지 않는다고 주장한다. 구체적으로, 우리는 Load-Bearing Wall(LBW) 차원을 밝히는데, 이는 태스크 벡터로 완전히 이전되지 않고 사전학습 가중치에 잔존하는 작업 핵심 지식을 가리킨다. 우리는 스칼라 가중치와 부분공간 관점 모두에서 LBW 차원을 특성화하여, 기존 모델 병합 방법의 주요 패러다임을 포괄한다. 분석 결과, LBW 차원을 무시함으로써 태스크 벡터 기반 방법은 작업 충돌을 완전히 해소하지 못하고 사전학습 모델에 인코딩된 작업별 지식을 의도치 않게 손상시켜 성능 저하를 초래할 수 있음을 보여준다. 이 문제를 해결하기 위해, 우리는 PACT를 제안한다. PACT는 태스크 벡터의 직교여공간을 사전학습 가중치의 부분공간과 정렬함으로써 태스크 벡터 내 앵커된 작업별 코어(즉, LBW 차원)를 보존한다. 이렇게 정렬된 부분공간 성분은 기존 모델 병합 알고리즘을 적용하기 전에 태스크 벡터에서 제거된다. 또한 확장성을 높이기 위해 randomized SVD에 기반한 효율적 변형을 개발한다. PACT는 기존 방법과 원활하게 통합될 수 있다. 여러 벤치마크에 걸친 광범위한 실험은 PACT가 주류 모델 병합 방법을 일관되게 향상시키고 새로운 최첨단 성능을 달성함을 보여준다.
파라미터에서 특징 공간으로: 모델 병합에서 백도어 완화를 위한 태스크 산술
From Parameters to Feature Space: Task Arithmetic for Backdoor Mitigation in Model Merging
모델 병합(MM)은 다수의 태스크별 모델을 하나의 통합 모델로 통합하는 비용 효율적인 접근법으로 크게 주목받고 있다. 그러나 최근 연구에 따르면 MM은 백도어 공격에 매우 취약한 것으로 밝혀졌다. 태스크 산술에 기반한 기존 방어 기법들은 직접적인 파라미터 공간 편집에 의존하기 때문에, 클린 태스크 성능을 크게 저하시키지 않고 백도어를 제거하는 데 종종 실패한다. 이러한 한계를 해소하기 위해, 우리는 백도어가 삽입된 병합 모델에 안티-백도어 태스크 벡터를 도입하는 모델 병합용 백도어 완화 프레임워크인 Linear Feature Path Minimization(LFPM)을 제안한다. 기존 접근법과 달리, LFPM은 태스크 간 특징의 근사 선형성을 활용하는 Cross-Task Linearity(CTL) 프레임워크 하에서 통합된 특징 공간 관점으로 병합 모델의 백도어 강건성을 정식화한다. 이 관점은 클린 태스크 성능을 유지하면서 백도어를 억제하는 안티-백도어 태스크의 최적화를 유도한다. 또한, 그라디언트 누적과 손실 경로 적분에 기반한 효과적인 최적화 메커니즘을 도입하여 보간 경로를 따라 강건한 백도어 억제를 보장한다. 광범위한 실험을 통해 LFPM이 완전 파인튜닝 및 파라미터 효율적 파인튜닝(PEFT) 환경 모두에서 백도어 공격에 대해 일관되게 강력한 강건성을 발휘함을 입증한다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
SMAT: 단순하고 효율적인 병합 인식 학습
SMAT: Simple and Efficient Merge-Aware Training
모델(model) 병합은 공동 재학습 없이도 여러 전문가(expert)의 능력을 통합하지만, 표준적인 전문가 학습(training)은 과제 손실(loss)만을 최적화하므로 병합 후의 우수한 성능을 보장하지 못합니다. 병합 인식 학습(MAT, Merge-Aware Training)은 병합된 모델의 성능을 향상시키는 것을 목표로 하지만, 기존 기법들은 일반적인 병합 연산을 충분히 고려하지 못하며 학습 비용을 가중시킵니다. 본 논문에서는 전문가의 관점에서 일반적인 병합 기법들이 세 가지 연산으로 설명될 수 있음을 관찰했습니다. 즉, 자체 업데이트의 가중치를 재조정하는 스케일(Scale), 선택된 좌표를 제거하는 마스크(Mask), 그리고 다른 전문가들의 업데이트를 추가하는 섭동(Perturb)입니다. 이러한 관점을 바탕으로, 스케일링 계수, 마스크, 가산 노이즈를 샘플링하여 생성한 시뮬레이션 병합 매개변수(parameter)에서의 기대 손실과 전문가 손실을 공동으로 최적화하는 SMAT(Simple MAT)을 제안합니다. 나아가 주기적 스케줄링, 커널(kernel) 퓨전, 매개변수 저장소 전환 기법을 도입하여 단계당 단 한 번의 순전파 및 역전파만으로 SMAT이 효율적으로 작동하도록 구현했습니다. 4개의 언어 및 비전-언어(vision-language) 백본 전반에서, SMAT은 각 백본의 가장 강력한 기준선(baseline) 대비 5가지 병합 기법의 평균 점수를 1.07~2.16점 향상시켰으며, 표준 미세조정(fine-tuning) 대비 학습 시간 오버헤드는 2% 미만에 불과했습니다.
플라톤적 태스크 산술
Platonic Task Arithmetic
동일한 태스크에 특화된 서로 다른 사전학습(pre-training) 모델들은 매우 유사한 행동으로 수렴하지만, 이를 생성하는 매개변수(parameter) 업데이트는 공통의 좌표계를 공유하지 않습니다. 따라서 가중치(weight) 공간에서의 태스크 산술(task arithmetic)은 단일 모델에 국한되며, 모델 간에 업데이트를 전이하려면 구조적 대응 관계가 필요합니다. 플라톤의 동굴의 비유에 착안하여, 본 논문에서는 이러한 모델별 업데이트가 공유된 하나의 모델 무관 객체인 '플라톤적 태스크 벡터(platonic task vector)'에 의해 드리워진 그림자라는 가설을 세웁니다. 서로 다른 아키텍처를 가진 모델 간에 이를 활용할 수 있도록, 아키텍처 및 임베딩(embedding) 차원과 무관한 형태를 가지며 태스크의 기능적 효과를 기록하고 일반적인 행렬 연산으로서 덧셈과 부정(negation)을 지원하는 행렬인 '범용 태스크 기술자(Universal Task Descriptors)'를 도입하고, 두 가지 방식으로 기술자를 타깃에 전이합니다. 단 한 번의 최소제곱법(least-squares) 풀이로 타깃의 마지막 층(layer)에 접어 넣을 수 있는 선형 연산자를 얻을 수 있으며, 소스 및 태스크당 하나씩 구성된 이러한 연산자 집합은 해당 성분들의 부호가 있는 합으로서 임의의 구성을 실현합니다. 대안적으로, 편집당 한 번의 최적화(optimization) 비용을 들여 타깃 인코더의 저순위 어댑터(low-rank adapter)를 동일한 목적함수로 학습시킵니다. 공유 구성요소와 놈(norm) 크기가 유사한 모델별 잔차가 존재함에도 불구하고, 다른 모델로부터의 전이는 타깃 자체의 기술자가 달성하는 성능 향상의 74~80%를 유지합니다. 6개 모델 패밀리, 8개 태스크 및 오디오-텍스트 모델에 걸친 실험을 통해 두 가지 구현 방식 모두를 검증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.