ReForge: 앵커 정규화 회귀를 통한 병합 모델 개선
ReForge: Refining Merged Models with Anchor-Regularized Regression
모델(model) 병합은 공동 재학습 없이 여러 태스크별 전문가 모델을 단일 모델로 결합하는 것을 목표로 하며, 데이터 접근 권한이나 연산 예산이 제한적인 상황에서 멀티태스크 학습의 실용적인 대안을 제공합니다. 기존의 모델 병합 방식들은 추가적인 성능 향상을 위해 강력한 병합 모델을 사전 확률(prior)로 활용하는 경우가 드뭅니다. 이러한 한계를 해결하기 위해, 우리는 앵커 중심의 사전 확률을 갖는 베이즈 선형 회귀로 모듈별 개선을 수식화하는 이중 레벨 최적화(bilevel optimization) 프레임워크인 ReForge를 제안합니다. 내부 레벨은 레이블이 지정되지 않은 보정 활성화(calibration activation)로부터 닫힌 형태(closed-form)의 MAP 추정치를 산출합니다. 외부 레벨은 베이지안 최적화를 활용하여 별도의 검증(validation) 데이터를 통해 이종 정규화(regularization) 강도와 결합 스케일을 공동으로 선택합니다. 나아가, 활성화 통계량을 태스크 벡터 그람(Gram) 행렬로 대체하여 보정 예시의 필요성을 없앤 ReForge의 데이터 무관(data-free) 변형도 개발했습니다. 비전 분야의 최대 20개 태스크 병합 및 언어 분야의 5개 태스크 병합을 포함한 광범위한 벤치마크 전반에 걸쳐, ReForge는 평가된 모든 플러그 앤 플레이 앵커 기준선(baseline)(예: TA, WUDI-Merging, TSV)을 일관되게 능가합니다. 20개 태스크의 ViT-B/32에서 ReForge는 평가된 가장 강력한 기준선인 ISO-CTS의 성능을 데이터 보조 설정에서는 77.6%에서 82.8%로, 데이터 무관 설정에서는 81.5%로 향상시킵니다. 8개 태스크의 ViT-L/14에서 데이터 보조 변형은 개별 태스크 전문가 모델들의 95.8%에 필적하는 95.1%의 평균 정확도를 달성합니다. 우리의 소스 코드는 곧 공개될 예정입니다.