Layer patching is a key technique for model size interpolation in large language models (LLMs), in which a subset of a distilled student model's layers is replaced with corresponding teacher-model layers to construct intermediate-sized models without additional training. Prior work largely ignores the order in which layers are patched, which we show can dramatically affect the performance and reliability of the resulting models. In this work, we study the role of layer patching in model size interpolation. We cast finding the optimal layer subset for each model size as an optimization problem and prove it can be viewed as a shortest-path problem in a certain acyclic graph. In experiments, we show that patching strongly shapes interpolation behavior, with effects that vary substantially across model families. We find that simple sequential strategies---patching either from the first layer to the last or from the last to the first---often achieve surprisingly strong performance in practice. We further introduce KLPatch, a greedy patching algorithm based on KL divergence, which often improves over last-to-first patching and approximately solves the optimization problem. Together, our results provide a principled understanding of how layer patching affects model size interpolation and offer practical guidance for constructing near-optimal interpolated models. The code and models are available at https://github.com/dcml-lab/boomerang-distillation.
코드 에이전트의 추론 능력과 도구 사용 규율을 결합하기 위해 CRANE은 학습 없이 파라미터를 편집하여 Thinking 모델의 추론 능력을 Instruct 모델에 주입하는 Nullspace 편집 방법을 제안합니다. 이 방법은 Roo-Eval 및 SWE-bench-Verified 등의 벤치마크에서 두 모델을 모두 능가하는 성능을 보이면서도 Instruct 수준의 효율성을 유지합니다.
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
실시간 대화형 생성을 위해 결합 오디오-비디오 디퓨전 트랜스포머(diffusion transformer)를 배포하려면 일반적으로 두 가지 필수적인 수정이 필요합니다. 전체 클립이 완료되기 전에 프레임을 출력할 수 있도록 하는 블록 자기회귀 어텐션(block-autoregressive attention)과 각 블록의 연산 비용을 낮추기 위한 퓨샷 샘플링(few-step sampling)입니다. 기존 스트리밍 비디오 연구에서는 연쇄형 파이프라인(chained pipeline)을 통해 이 두 가지 기능을 모두 확보해 왔습니다. 즉, 양방향 교사 모델을 인과적(causal) 학생 모델로 증류한 후 이를 다시 퓨샷 학생 모델로 증류하거나, 그 반대 순서로 진행합니다. 이러한 연쇄 과정의 각 단계는 이전 단계가 생성한 가중치를 파인튜닝(fine-tuning)하므로, 이후의 목표가 이전의 기능을 훼손할 수 있습니다. 본 연구에서는 모델 병합(model merging) 개념에 착안하여 패킹된 오디오-비디오 백본에서 이 두 가지 기능을 병렬로 획득할 수 있음을 보여줍니다. 고정된 백본에 대해 인과적 어댑터를 학습하고, 기존 퓨샷 어댑터가 퓨샷 기능을 제공합니다. 두 어댑터가 서로 다른 기능적 축을 수정하기 때문에, 학습 과정에서 명시적인 직교성 제약 없이도 이들의 가중치 업데이트 방향이 거의 직교한다는 점을 예측하고 검증했습니다. 직교하는 업데이트는 상호 간섭 없이 결합될 수 있으므로 병렬 구성은 직합(direct sum) 형태가 됩니다. 두 어댑터는 공동 학습 없이 추론(inference) 시점에 단순히 더해지며, 양방향 교사 모델의 화질을 유지하는 퓨샷 스트리밍 오디오-비디오를 생성합니다. 연쇄형 베이스라인과 비교했을 때 결합된 모델은 대부분의 지표에서 이들과 대등하거나 능가하여 병렬 결합이 실용적인 접근법임을 입증합니다. 최종 스트리밍 시스템은 양자화(quantization) 없이 480×832 해상도에서 약 26 fps로 실시간 오디오-비디오를 공동 생성하며, 안정적인 화질로 30초 동안 연속 생성을 유지합니다. 데모 페이지: https://pac-demo-2027.github.io/demo/
모델(model) 병합은 공동 재학습 없이도 여러 전문가(expert)의 능력을 통합하지만, 표준적인 전문가 학습(training)은 과제 손실(loss)만을 최적화하므로 병합 후의 우수한 성능을 보장하지 못합니다. 병합 인식 학습(MAT, Merge-Aware Training)은 병합된 모델의 성능을 향상시키는 것을 목표로 하지만, 기존 기법들은 일반적인 병합 연산을 충분히 고려하지 못하며 학습 비용을 가중시킵니다. 본 논문에서는 전문가의 관점에서 일반적인 병합 기법들이 세 가지 연산으로 설명될 수 있음을 관찰했습니다. 즉, 자체 업데이트의 가중치를 재조정하는 스케일(Scale), 선택된 좌표를 제거하는 마스크(Mask), 그리고 다른 전문가들의 업데이트를 추가하는 섭동(Perturb)입니다. 이러한 관점을 바탕으로, 스케일링 계수, 마스크, 가산 노이즈를 샘플링하여 생성한 시뮬레이션 병합 매개변수(parameter)에서의 기대 손실과 전문가 손실을 공동으로 최적화하는 SMAT(Simple MAT)을 제안합니다. 나아가 주기적 스케줄링, 커널(kernel) 퓨전, 매개변수 저장소 전환 기법을 도입하여 단계당 단 한 번의 순전파 및 역전파만으로 SMAT이 효율적으로 작동하도록 구현했습니다. 4개의 언어 및 비전-언어(vision-language) 백본 전반에서, SMAT은 각 백본의 가장 강력한 기준선(baseline) 대비 5가지 병합 기법의 평균 점수를 1.07~2.16점 향상시켰으며, 표준 미세조정(fine-tuning) 대비 학습 시간 오버헤드는 2% 미만에 불과했습니다.
모델 병합(Model merging)은 여러 태스크 전문가 모델을 하나의 모델로 결합하여 공동 학습(joint training), 재학습 또는 다수의 전문가 모델 배포를 피할 수 있게 하지만, 병합된 모델은 여전히 개별 태스크 전문가 모델보다 성능이 떨어지는 경우가 많습니다. 본 연구에서는 동일한 입력에 대해 병합된 모델과 전문가 모델이 생성하는 특징(feature) 간의 차이인 특징 드리프트(feature drift)를 통해 이러한 성능 격차를 분석합니다. 본 연구의 이론은 이 드리프트를 상류 전파(upstream propagation)와 국소적 불일치(local mismatch)로 분해하고, 순방향 순서로 이후 층(layer)들을 거치며 어떻게 전파되고 결합되는지 추적하며, 최종 특징 드리프트를 출력 드리프트와 연결합니다. 이러한 관점에 기반하여 소규모 보정 데이터셋을 사용해 병합된 모델 가중치를 순방향 순서로 층별 보정하는 FeatCal을 제안합니다. FeatCal은 병합된 가중치와 가깝게 유지하면서 특징 드리프트를 줄여 모델 병합의 이점을 보존합니다. FeatCal은 경사하강법(gradient descent), 반복적 최적화(iterative optimization) 또는 추가 모듈 없이 효율적인 닫힌 형태의 해(closed-form solution)를 사용하여 모델 가중치를 업데이트합니다. 주요 CLIP 및 GLUE 벤치마크에서 FeatCal은 가장 유사한 병합 후 보정 베이스라인인 Surgery 및 ProbSurgery를 능가하여, CLIP-ViT-B/32 Task Arithmetic(TA)에서 85.5% 대 77.0%/78.8%, FLAN-T5-base GLUE에서 85.2% 대 83.7%/82.2%를 기록했습니다. CLIP-ViT-B/32의 경우 태스크당 8개의 예시만으로 82.9%에 도달하며, 태스크당 256개의 예시 기준 53초가 소요되어 두 베이스라인 대비 약 4배 빨라 더 우수한 샘플 효율성과 더 낮은 보정 비용을 보여줍니다.
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
동일한 태스크에 특화된 서로 다른 사전학습(pre-training) 모델들은 매우 유사한 행동으로 수렴하지만, 이를 생성하는 매개변수(parameter) 업데이트는 공통의 좌표계를 공유하지 않습니다. 따라서 가중치(weight) 공간에서의 태스크 산술(task arithmetic)은 단일 모델에 국한되며, 모델 간에 업데이트를 전이하려면 구조적 대응 관계가 필요합니다. 플라톤의 동굴의 비유에 착안하여, 본 논문에서는 이러한 모델별 업데이트가 공유된 하나의 모델 무관 객체인 '플라톤적 태스크 벡터(platonic task vector)'에 의해 드리워진 그림자라는 가설을 세웁니다. 서로 다른 아키텍처를 가진 모델 간에 이를 활용할 수 있도록, 아키텍처 및 임베딩(embedding) 차원과 무관한 형태를 가지며 태스크의 기능적 효과를 기록하고 일반적인 행렬 연산으로서 덧셈과 부정(negation)을 지원하는 행렬인 '범용 태스크 기술자(Universal Task Descriptors)'를 도입하고, 두 가지 방식으로 기술자를 타깃에 전이합니다. 단 한 번의 최소제곱법(least-squares) 풀이로 타깃의 마지막 층(layer)에 접어 넣을 수 있는 선형 연산자를 얻을 수 있으며, 소스 및 태스크당 하나씩 구성된 이러한 연산자 집합은 해당 성분들의 부호가 있는 합으로서 임의의 구성을 실현합니다. 대안적으로, 편집당 한 번의 최적화(optimization) 비용을 들여 타깃 인코더의 저순위 어댑터(low-rank adapter)를 동일한 목적함수로 학습시킵니다. 공유 구성요소와 놈(norm) 크기가 유사한 모델별 잔차가 존재함에도 불구하고, 다른 모델로부터의 전이는 타깃 자체의 기술자가 달성하는 성능 향상의 74~80%를 유지합니다. 6개 모델 패밀리, 8개 태스크 및 오디오-텍스트 모델에 걸친 실험을 통해 두 가지 구현 방식 모두를 검증합니다.
모델(model) 병합은 공동 재학습 없이 여러 태스크별 전문가 모델을 단일 모델로 결합하는 것을 목표로 하며, 데이터 접근 권한이나 연산 예산이 제한적인 상황에서 멀티태스크 학습의 실용적인 대안을 제공합니다. 기존의 모델 병합 방식들은 추가적인 성능 향상을 위해 강력한 병합 모델을 사전 확률(prior)로 활용하는 경우가 드뭅니다. 이러한 한계를 해결하기 위해, 우리는 앵커 중심의 사전 확률을 갖는 베이즈 선형 회귀로 모듈별 개선을 수식화하는 이중 레벨 최적화(bilevel optimization) 프레임워크인 ReForge를 제안합니다. 내부 레벨은 레이블이 지정되지 않은 보정 활성화(calibration activation)로부터 닫힌 형태(closed-form)의 MAP 추정치를 산출합니다. 외부 레벨은 베이지안 최적화를 활용하여 별도의 검증(validation) 데이터를 통해 이종 정규화(regularization) 강도와 결합 스케일을 공동으로 선택합니다. 나아가, 활성화 통계량을 태스크 벡터 그람(Gram) 행렬로 대체하여 보정 예시의 필요성을 없앤 ReForge의 데이터 무관(data-free) 변형도 개발했습니다. 비전 분야의 최대 20개 태스크 병합 및 언어 분야의 5개 태스크 병합을 포함한 광범위한 벤치마크 전반에 걸쳐, ReForge는 평가된 모든 플러그 앤 플레이 앵커 기준선(baseline)(예: TA, WUDI-Merging, TSV)을 일관되게 능가합니다. 20개 태스크의 ViT-B/32에서 ReForge는 평가된 가장 강력한 기준선인 ISO-CTS의 성능을 데이터 보조 설정에서는 77.6%에서 82.8%로, 데이터 무관 설정에서는 81.5%로 향상시킵니다. 8개 태스크의 ViT-L/14에서 데이터 보조 변형은 개별 태스크 전문가 모델들의 95.8%에 필적하는 95.1%의 평균 정확도를 달성합니다. 우리의 소스 코드는 곧 공개될 예정입니다.
추론 언어 모델(RLM)은 추론 토큰(reasoning token) 형태의 테스트 시점 연산(test-time compute)을 활용하여 인상적인 성능을 보여줍니다. 그러나 이러한 동작 방식으로 인해 RLM을 새로운 도메인에 적응시키는 것은 어렵고 비용이 많이 듭니다. 그 이유는 추가 학습이 이미 학습된 동작을 방해하고 모델 성능을 저하시킬 수 있기 때문입니다. 이로 인해 사람이 작성한 솔루션이 포함된 지도 미세조정(supervised fine-tuning) 데이터를 활용하기가 어려워집니다. 해당 데이터에는 고품질의 주석이 포함되어 있지만 추론 토큰이 부족하기 때문입니다. 본 연구에서는 이러한 어려움에도 불구하고 RLM 적응에 이러한 데이터를 효율적으로 활용할 수 있는 방법을 제시합니다. 이를 위해 먼저 표준 지시 미세조정(instruction tuning)을 적용합니다. 다음으로, 모델 병합(model merging)을 활용하여 지시 미세조정된 모델과 원본 RLM을 결합하며, 대상 도메인에서 결과 모델의 추론 동작이 복구되도록 병합 비율을 선택합니다. 코딩 및 텍스트 요약 태스크의 4개 RLM에서 본 방식을 평가한 결과, 추론 동작을 보존하고 분포 외(out-of-distribution) 점수 저하를 평균 0.7%로 제한하면서 대상 태스크 성능을 최대 11.0%까지 향상시켰습니다. 무엇보다도 본 적응 방식은 효율적이고 경제적이어서 모델당 10달러(USD $10) 미만의 비용이 듭니다.
모델 병합(model merging)은 개별 모델들을 저렴한 비용으로 결합하여 각 모델의 능력을 이어받는 모델을 생성하는 방법을 제공합니다. 일부 병합 방식은 다중 작업 학습(multitask training)의 성능에 근접할 수 있지만, 대개 휴리스틱에 기반을 두고 있어 이론적 정당성이 부족합니다. 이에 대한 원칙적인 대안은 모델 병합을 작업 간 간섭(interference)을 직접 최소화하는 층별 최적화 문제로 정의하는 것입니다. 그러나 이러한 정식화는 데이터로부터 층별 공분산 행렬(covariance matrix)을 추정해야 하므로, 병합 수행 시 데이터를 사용할 수 없는 상황에서는 한계가 있습니다. 반면, 휴리스틱 기반 방식의 다수는 보조 데이터를 필요로 하지 않아 실용적인 이점을 지닙니다. 본 연구에서는 간섭 최소화 프레임워크를 재검토하여, 특정 조건 하에서 공분산 행렬을 차이 행렬(difference matrix)로부터 직접 추정할 수 있음을 보입니다. 이를 통해 데이터를 필요로 하지 않으면서도 계산 비용을 절감할 수 있습니다. 86M 파라미터부터 7B 파라미터에 이르는 비전 및 언어 벤치마크 전반에서 제안하는 접근 방식을 검증하였으며, 기존의 최고 수준(SOTA) 데이터 프리 병합 방식들을 능가하는 성능을 보였습니다.
연합학습(FL)은 분산된 데이터를 활용하여 모델의 협력적 학습(training)을 가능하게 하는 학습 패러다임입니다. 최근 연합학습에서 사전학습(pre-training)된 가중치(weight) 초기화(initialization)의 활용이 모델(model) 성능을 효과적으로 향상시키는 것으로 입증되었습니다. 그러나 파라미터의 상당한 증가로 특징지어지는 현재 사전학습 모델의 복잡성 증가는 연합학습 적응에 필요한 통신 라운드와 관련된 문제를 현저히 가중시킵니다. 이러한 통신 비용 문제를 해결하고 연합학습에서 사전학습 모델 적응의 성능을 높이기 위해, 본 논문에서는 '로컬 슈피리어 수프(Local Superior Soups)'라는 혁신적인 모델 보간 기반 로컬 학습 기법을 제안합니다. 제안하는 방법은 서로 다른 클라이언트 전반의 로컬 학습을 개선하며, 정규화된 모델 보간을 통해 적은 통신 라운드 내에서 연결된 낮은 손실(loss) 분지의 탐험(exploration)을 유도합니다. 이 접근 방식은 연합학습에서 사전학습 모델의 원활한 적응을 위한 촉매제 역할을 합니다. 널리 사용되는 다양한 연합학습 데이터셋 전반에서 본 방법의 효과성과 효율성을 입증하였습니다. 코드는 https://github.com/ubc-tea/Local-Superior-Soups 에서 확인할 수 있습니다.
모델 병합(model merging)은 공통의 사전학습(pretrained) 모델에서 파생된 여러 파인튜닝(fine-tuned) 모델들을 추가적인 공동 학습 없이 단일 멀티태스크 모델로 결합하는 것을 목표로 한다. 최근의 스펙트럼 병합(spectral merging) 기법들은 태스크 특화 업데이트의 저랭크(low-rank) 구조를 활용하여 단순 가중치 평균화(weight averaging)보다 향상된 성능을 보이지만, 일반적으로 모든 태스크에 동일한 랭크 용량을 할당한다. 이러한 균등 할당은 태스크 벡터들이 이질적인 스펙트럼 복잡도를 가질 수 있다는 점을 간과하여 공유 병합 공간이 차선으로 활용되게 만든다. 본 논문에서는 각 태스크 벡터의 특이값(singular-value) 에너지 구조에 따라 랭크를 할당하는 단순하고 태스크 적응적인 전략인 SERA(Spectral Energy-proportional Rank Allocation)를 제안한다. SERA는 복잡하거나 고립된 태스크에는 더 풍부한 스펙트럼 용량을 할당하고 조밀한 태스크에는 더 적은 방향을 할당함으로써, SVD 기반 모델 병합을 균등 용량 병합에서 태스크 의존적 용량 할당으로 확장한다. 표준 비전 모델 병합 프로토콜 하에서의 실험 결과는 SERA가 기존 스펙트럼 병합 기법들과 동일한 총 랭크 예산을 유지하면서 멀티태스크 병합 성능을 향상시킴을 보여준다. 추가 분석을 통해 태스크 수준의 스펙트럼 집중도가 적응적 랭크 할당의 태스크별 효과와 밀접한 관련이 있음을 입증하며, SERA가 언제 그리고 왜 효과적인지에 대한 통찰을 제공한다.
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
모델 병합(Model merging)은 추가적인 학습(training) 과정 없이 여러 태스크 특화 모델(model)들을 하나로 통합하는 것을 목표로 한다. 그러나 기존의 부분공간(subspace) 기반 방법들은 태스크 업데이트를 대체로 균일하게 처리하여 내재된 스펙트럼 및 깊이별 이질성을 간과한다. 본 논문에서는 이러한 가정에서 벗어나는 두 가지 주요 편차를 확인하였다. 즉, 서로 다른 태스크는 서로 다른 부분공간 용량을 필요로 하고 스펙트럼 변환에 대해 서로 다른 허용도를 보이는 반면, 부분공간 투영은 깊이에 따른 왜곡을 유발한다는 점이다. 이러한 관찰을 바탕으로, 데이터가 필요 없는(data-free) 모델 병합을 위한 스펙트럼 인식 및 깊이 적응형 프레임워크인 SADA-Merging을 제안한다. SADA-Merging은 스펙트럼 복잡성에 따라 태스크별 부분공간 용량을 할당하고, 태스크별 가소성에 따라 스펙트럼 보존을 적응시키며, 투영으로 인한 왜곡을 보상하기 위해 깊이 의존적 앵커링을 적용한다. 이를 통해 융합 과정이 각 태스크의 고유한 기하학적 구조와 네트워크 깊이에 따른 민감도 모두에 적응할 수 있도록 한다. SADA-Merging은 태스크 업데이트에 직접 작용하며, 전체 미세조정(full fine-tuning) 및 LoRA 설정 모두에 적용 가능하다. 광범위한 실험을 통해 다양한 태스크 규모 및 적응 설정 전반에 걸쳐 기존 데이터 프리 병합 방법 대비 일관된 성능 향상을 입증한다.
Efficiently merging several models fine-tuned for different tasks, but stemming from the same pretrained base model, is of great practical interest. Despite extensive prior work, most evaluations of model merging in computer vision are restricted to image classification using CLIP, where different classification datasets define different tasks. In this work, our goal is to make model merging more practical and show its relevance on challenging scenarios beyond this specific setting. In most vision scenarios, different tasks rely on trainable and usually heterogeneous decoders. Differently from previous studies with frozen decoders, where merged models can be evaluated right away, the non-trivial cost of decoder training renders hyperparameter selection based on downstream performance impractical. To address this, we introduce the task alignment proxy, and show how it can be used to speed up hyperparameter selection by orders of magnitude while retaining performance. Equipped with the task alignment proxy, we extend the applicability of model merging to multi-task vision models beyond CLIP-based classification. Project page: https://europe.naverlabs.com/task-alignment
독립적으로 학습된 여러 LoRA 어댑터를 하나의 대규모 언어 모델(LLM)에 통합할 때 소프트 라우팅이 각 어댑터의 단위 스케일 전제를 깨뜨리는 문제를 해결하기 위해, Hard-Routed MoR-LoRA는 검증 가능한 피드백 기반 강화학습(RLVF)으로 추론 전문가를 학습한 뒤 전문가를 동결하고 하드 top-1 라우팅과 straight-through estimator로 경량 라우터만 학습하는 2단계 프레임워크를 제안한다. 5개 벤치마크 실험에서 소프트 라우팅 기반 전문가 혼합(MoE) 대비 훨씬 적은 학습 파라미터로 전문가 행동을 보존하면서도 동등하거나 더 높은 성능을 달성했다.
주변 에이전트(agent)의 정확한 동작 예측과 안전한 동작 계획은 혼잡한 환경에서의 사회적 로봇 내비게이션(social robot navigation)을 위한 밀접하게 결합된 두 가지 핵심 과제이다. 이러한 시스템을 자원이 제한된 엣지(edge) 디바이스에 배포하려면 두 과제를 동시에 수행할 수 있는 컴팩트한 통합 모델이 필요하다. 그러나 이러한 컴팩트한 공유 인코더(shared encoder) 내에서, 최근의 통합 모델들은 이웃 행동 예측과 자차 중심(ego-centric) 안전 계획이라는 상이한 목표에서 발생하는 심각한 표현 충돌(representational conflict)을 종종 간과한다. 이 문제를 해결하기 위해, 우리는 먼저 Skill Conflict(스킬 충돌)—겹치는 매개변수 할당이 서로 다른 과제가 동일한 가중치를 두고 경쟁하게 하여 모델이 개별 스킬에 완전히 특화되지 못하게 하는 현상—을 규명한다. 이를 해결하기 위해, 우리는 새로운 모델 병합(model-merging) 기반 프레임워크인 Disjoint Parameter Training(DPT)을 제안한다. DPT는 병합 전 각 과제의 핵심 역량을 보존하면서 핵심 매개변수 영역을 분리하는 분산 매개변수 학습(distributed parameter learning)을 통해 Skill Conflict로 인한 성능 저하를 완화한다. 또한, 모든 과제별 매개변수를 결합하는 대신 각 과제에 가장 영향력 있는 매개변수만 선택적으로 통합하는 sparse merging(희소 병합)이 인접 특징(feature) 간 간섭을 방지하고 표현 용량을 집중시켜 최적의 성능을 달성함을 관찰한다. DPT는 다양한 병합 방법과 병렬로 적용할 수 있다. 표준 군중 내비게이션 벤치마크(JRDB 및 JTA)에서 평가한 결과, 우리 프레임워크는 우수한 성능을 보여 안전하고 자원 효율적인 로봇 내비게이션을 위한 다목적성과 효과를 입증한다.
모델 병합은 공유 기반 모델로부터 학습된 여러 도메인 특화 전문가를 단일 다중 과제 모델로 결합하는 것을 목표로 한다. 기존 접근법은 대체로 병합 절차 자체를 개선하는 데 집중하며, 일반적으로 전체 매개변수 미세조정을 통해 얻은 전문가를 가정한다. 본 연구에서는 모델 병합을 위한 전문가 학습을 재검토한다. 먼저 프롬프트 기반 적응이 강력한 기준선을 제공함을 보인다. 독립적으로 학습된 프롬프트는 백본을 고정한 채 여러 과제에 활용할 수 있으며, 가중치 병합으로 인한 간섭을 피할 수 있다. 이 관찰을 바탕으로, 먼저 프롬프트를 학습한 다음 비전 인코더를 미세조정하는 2단계 학습 전략인 Dual-Tuned Experts(DTEs)를 제안한다. 이는 과제별 매개변수 갱신의 크기를 줄이고 병합 호환성이 더 높은 전문가를 생성한다. 다양한 CLIP 아키텍처, 전체 미세조정, LoRA 전문가에 걸친 실험은 DTEs가 표준 병합 접근법의 병합 성능을 일관되게 향상시키며, 이질적인 전문가 집합을 결합할 때에도 효과적임을 보여준다.
모델 병합(model merging)은 여러 특화 모델을 하나의 통합 모델로 결합하는 데 중요한 역할을 하며, 특히 대규모 언어 모델(LLM) 시대에 더욱 그렇다. 최근 연구는 주로 학습된 모델 간 병합 성능을 높이는 전략 개발에 집중해 왔지만, 지도 미세조정(SFT)과 강화학습(RL) 같은 학습 패러다임이 모델 병합 효과에 미치는 영향은 아직 충분히 탐구되지 않았다. 본 연구에서는 전통적인 SFT로 학습된 모델과 비교하여 RL로 학습된 LLM의 병합 거동을 체계적으로 탐구한다. 다섯 가지 대표 과제에 걸친 종합 평가를 통해, RL이 과제 충돌을 크게 줄이고 병합 후 성능 저하도 더 적게 만든다는 것을 확인했으며, 이로 인해 RL로 학습된 모델이 이 과정에 특히 적합하다. 모델 병합에 RL이 더 적합한 이유를 밝히기 위해 광범위한 실증 실험과 이론적 분석을 수행했다. 분석 결과 세 가지 핵심 요인이 드러났다: (1) RL의 온-정책 학습 데이터는 그래디언트 업데이트의 크기를 더 작게 제어하여, 모델 내 다른 과제의 기존 지식을 덮어쓸 위험을 줄인다. (2) ``적당한 것이 충분하다(enough is as good as a feast)''를 선호하는 RL 최적화 목표는 모델이 수렴함에 따라 충돌 매개변수 업데이트의 크기와 횟수를 점진적으로 줄인다. (3) RL에서 긍정·부정 예시의 공동 최적화는 모델을 편향되지 않은 과제별 매개변수 부분공간으로 이끌어, 견고한 성능을 유지하면서 매개변수 충돌을 더욱 방지한다.