arXiv:2605.12843v3 cs.LG

ReForge: 앵커 정규화 회귀를 통한 병합 모델 개선

ReForge: Refining Merged Models with Anchor-Regularized Regression

Kaiyang Li, Shaobo Han, Qing Su, Shihao Ji

제출 2026-05-13

한국어 초록

모델(model) 병합은 공동 재학습 없이 여러 태스크별 전문가 모델을 단일 모델로 결합하는 것을 목표로 하며, 데이터 접근 권한이나 연산 예산이 제한적인 상황에서 멀티태스크 학습의 실용적인 대안을 제공합니다. 기존의 모델 병합 방식들은 추가적인 성능 향상을 위해 강력한 병합 모델을 사전 확률(prior)로 활용하는 경우가 드뭅니다. 이러한 한계를 해결하기 위해, 우리는 앵커 중심의 사전 확률을 갖는 베이즈 선형 회귀로 모듈별 개선을 수식화하는 이중 레벨 최적화(bilevel optimization) 프레임워크인 ReForge를 제안합니다. 내부 레벨은 레이블이 지정되지 않은 보정 활성화(calibration activation)로부터 닫힌 형태(closed-form)의 MAP 추정치를 산출합니다. 외부 레벨은 베이지안 최적화를 활용하여 별도의 검증(validation) 데이터를 통해 이종 정규화(regularization) 강도와 결합 스케일을 공동으로 선택합니다. 나아가, 활성화 통계량을 태스크 벡터 그람(Gram) 행렬로 대체하여 보정 예시의 필요성을 없앤 ReForge의 데이터 무관(data-free) 변형도 개발했습니다. 비전 분야의 최대 20개 태스크 병합 및 언어 분야의 5개 태스크 병합을 포함한 광범위한 벤치마크 전반에 걸쳐, ReForge는 평가된 모든 플러그 앤 플레이 앵커 기준선(baseline)(예: TA, WUDI-Merging, TSV)을 일관되게 능가합니다. 20개 태스크의 ViT-B/32에서 ReForge는 평가된 가장 강력한 기준선인 ISO-CTS의 성능을 데이터 보조 설정에서는 77.6%에서 82.8%로, 데이터 무관 설정에서는 81.5%로 향상시킵니다. 8개 태스크의 ViT-L/14에서 데이터 보조 변형은 개별 태스크 전문가 모델들의 95.8%에 필적하는 95.1%의 평균 정확도를 달성합니다. 우리의 소스 코드는 곧 공개될 예정입니다.

원문 초록

Model merging aims to combine multiple task-specific expert models into a single model without joint retraining, offering a practical alternative to multi-task learning when data access or computational budget is limited. Existing model merging methods rarely exploit strong merged models as priors for further improvement. To address this limitation, we propose ReForge, a bilevel optimization framework that formulates module-wise refinement as Bayesian linear regression with an anchor-centered prior. The inner level yields a closed-form MAP estimate from unlabeled calibration activations. The outer level uses Bayesian optimization to jointly select heterogeneous regularization strengths and assembly scales using held-out validation data. Furthermore, we develop a data-free variant of ReForge that replaces activation statistics with task-vector Grams, eliminating the need for calibration examples. Across extensive benchmarks, including up to 20-task merging in vision and 5-task merging in language, ReForge consistently outperforms all evaluated plug-and-play anchor baselines (e.g., TA, WUDI-Merging, and TSV). On 20-task ViT-B/32, ReForge improves the strongest evaluated baseline, ISO-CTS, from 77.6% to 82.8% in the data-assisted setting and to 81.5% in the data-free setting. On eight-task ViT-L/14, the data-assisted variant achieves 95.1% mean accuracy, compared with 95.8% for the individual task experts. Our source code will be released soon.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.12843v3
  2. arXiv:2605.12843v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27262v2cs.CL공통 태그 Multi-Task Learning, model merging

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2609.33437v2cs.LG공통 태그 Multi-Task Learning, model merging

SMAT: 단순하고 효율적인 병합 인식 학습

SMAT: Simple and Efficient Merge-Aware Training

모델(model) 병합은 공동 재학습 없이도 여러 전문가(expert)의 능력을 통합하지만, 표준적인 전문가 학습(training)은 과제 손실(loss)만을 최적화하므로 병합 후의 우수한 성능을 보장하지 못합니다. 병합 인식 학습(MAT, Merge-Aware Training)은 병합된 모델의 성능을 향상시키는 것을 목표로 하지만, 기존 기법들은 일반적인 병합 연산을 충분히 고려하지 못하며 학습 비용을 가중시킵니다. 본 논문에서는 전문가의 관점에서 일반적인 병합 기법들이 세 가지 연산으로 설명될 수 있음을 관찰했습니다. 즉, 자체 업데이트의 가중치를 재조정하는 스케일(Scale), 선택된 좌표를 제거하는 마스크(Mask), 그리고 다른 전문가들의 업데이트를 추가하는 섭동(Perturb)입니다. 이러한 관점을 바탕으로, 스케일링 계수, 마스크, 가산 노이즈를 샘플링하여 생성한 시뮬레이션 병합 매개변수(parameter)에서의 기대 손실과 전문가 손실을 공동으로 최적화하는 SMAT(Simple MAT)을 제안합니다. 나아가 주기적 스케줄링, 커널(kernel) 퓨전, 매개변수 저장소 전환 기법을 도입하여 단계당 단 한 번의 순전파 및 역전파만으로 SMAT이 효율적으로 작동하도록 구현했습니다. 4개의 언어 및 비전-언어(vision-language) 백본 전반에서, SMAT은 각 백본의 가장 강력한 기준선(baseline) 대비 5가지 병합 기법의 평균 점수를 1.07~2.16점 향상시켰으며, 표준 미세조정(fine-tuning) 대비 학습 시간 오버헤드는 2% 미만에 불과했습니다.

arXiv:2609.27067v1cs.LG공통 태그 Bayesian Inference, Multi-Task Learning

ChipMEM: EDA 에이전트를 위한 검증 기반 메모리

ChipMEM: Verification-Grounded Memory for EDA Agents

대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.

arXiv:2609.23989v1cs.AI공통 태그 Multi-Task Learning, model merging

ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습

ACLArena: Agent Continue Learning in Multi-stage Post-training

산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.

arXiv:2609.24517v1cs.AI공통 태그 Multi-Task Learning, model merging

모든 태스크 벡터에 동일한 랭크가 필요하지는 않다: 모델 병합을 위한 에너지 비례 할당

Not All Task Vectors Need Equal Rank: Energy-Proportional Allocation for Model Merging

모델 병합(model merging)은 공통의 사전학습(pretrained) 모델에서 파생된 여러 파인튜닝(fine-tuned) 모델들을 추가적인 공동 학습 없이 단일 멀티태스크 모델로 결합하는 것을 목표로 한다. 최근의 스펙트럼 병합(spectral merging) 기법들은 태스크 특화 업데이트의 저랭크(low-rank) 구조를 활용하여 단순 가중치 평균화(weight averaging)보다 향상된 성능을 보이지만, 일반적으로 모든 태스크에 동일한 랭크 용량을 할당한다. 이러한 균등 할당은 태스크 벡터들이 이질적인 스펙트럼 복잡도를 가질 수 있다는 점을 간과하여 공유 병합 공간이 차선으로 활용되게 만든다. 본 논문에서는 각 태스크 벡터의 특이값(singular-value) 에너지 구조에 따라 랭크를 할당하는 단순하고 태스크 적응적인 전략인 SERA(Spectral Energy-proportional Rank Allocation)를 제안한다. SERA는 복잡하거나 고립된 태스크에는 더 풍부한 스펙트럼 용량을 할당하고 조밀한 태스크에는 더 적은 방향을 할당함으로써, SVD 기반 모델 병합을 균등 용량 병합에서 태스크 의존적 용량 할당으로 확장한다. 표준 비전 모델 병합 프로토콜 하에서의 실험 결과는 SERA가 기존 스펙트럼 병합 기법들과 동일한 총 랭크 예산을 유지하면서 멀티태스크 병합 성능을 향상시킴을 보여준다. 추가 분석을 통해 태스크 수준의 스펙트럼 집중도가 적응적 랭크 할당의 태스크별 효과와 밀접한 관련이 있음을 입증하며, SERA가 언제 그리고 왜 효과적인지에 대한 통찰을 제공한다.

arXiv:2609.24612v1cs.CV공통 태그 Multi-Task Learning, model merging

균일한 부분공간을 넘어서: 다중 태스크 모델 병합을 위한 스펙트럼 인식 및 깊이 적응형 융합

Beyond Uniform Subspaces: Spectrum-Aware and Depth-Adaptive Fusion for Multi-Task Model Merging

모델 병합(Model merging)은 추가적인 학습(training) 과정 없이 여러 태스크 특화 모델(model)들을 하나로 통합하는 것을 목표로 한다. 그러나 기존의 부분공간(subspace) 기반 방법들은 태스크 업데이트를 대체로 균일하게 처리하여 내재된 스펙트럼 및 깊이별 이질성을 간과한다. 본 논문에서는 이러한 가정에서 벗어나는 두 가지 주요 편차를 확인하였다. 즉, 서로 다른 태스크는 서로 다른 부분공간 용량을 필요로 하고 스펙트럼 변환에 대해 서로 다른 허용도를 보이는 반면, 부분공간 투영은 깊이에 따른 왜곡을 유발한다는 점이다. 이러한 관찰을 바탕으로, 데이터가 필요 없는(data-free) 모델 병합을 위한 스펙트럼 인식 및 깊이 적응형 프레임워크인 SADA-Merging을 제안한다. SADA-Merging은 스펙트럼 복잡성에 따라 태스크별 부분공간 용량을 할당하고, 태스크별 가소성에 따라 스펙트럼 보존을 적응시키며, 투영으로 인한 왜곡을 보상하기 위해 깊이 의존적 앵커링을 적용한다. 이를 통해 융합 과정이 각 태스크의 고유한 기하학적 구조와 네트워크 깊이에 따른 민감도 모두에 적응할 수 있도록 한다. SADA-Merging은 태스크 업데이트에 직접 작용하며, 전체 미세조정(full fine-tuning) 및 LoRA 설정 모두에 적용 가능하다. 광범위한 실험을 통해 다양한 태스크 규모 및 적응 설정 전반에 걸쳐 기존 데이터 프리 병합 방법 대비 일관된 성능 향상을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.