모델 병합(model merging)은 공통의 사전학습(pretrained) 모델에서 파생된 여러 파인튜닝(fine-tuned) 모델들을 추가적인 공동 학습 없이 단일 멀티태스크 모델로 결합하는 것을 목표로 한다. 최근의 스펙트럼 병합(spectral merging) 기법들은 태스크 특화 업데이트의 저랭크(low-rank) 구조를 활용하여 단순 가중치 평균화(weight averaging)보다 향상된 성능을 보이지만, 일반적으로 모든 태스크에 동일한 랭크 용량을 할당한다. 이러한 균등 할당은 태스크 벡터들이 이질적인 스펙트럼 복잡도를 가질 수 있다는 점을 간과하여 공유 병합 공간이 차선으로 활용되게 만든다. 본 논문에서는 각 태스크 벡터의 특이값(singular-value) 에너지 구조에 따라 랭크를 할당하는 단순하고 태스크 적응적인 전략인 SERA(Spectral Energy-proportional Rank Allocation)를 제안한다. SERA는 복잡하거나 고립된 태스크에는 더 풍부한 스펙트럼 용량을 할당하고 조밀한 태스크에는 더 적은 방향을 할당함으로써, SVD 기반 모델 병합을 균등 용량 병합에서 태스크 의존적 용량 할당으로 확장한다. 표준 비전 모델 병합 프로토콜 하에서의 실험 결과는 SERA가 기존 스펙트럼 병합 기법들과 동일한 총 랭크 예산을 유지하면서 멀티태스크 병합 성능을 향상시킴을 보여준다. 추가 분석을 통해 태스크 수준의 스펙트럼 집중도가 적응적 랭크 할당의 태스크별 효과와 밀접한 관련이 있음을 입증하며, SERA가 언제 그리고 왜 효과적인지에 대한 통찰을 제공한다.
저랭크 적응(LoRA)은 매개변수 효율적 미세조정(PEFT)의 핵심 기법으로 자리 잡았으나, 균일한 랭크 할당이라는 기존 관행은 신경망 레이어의 기능적 이질성을 무시한다. 기존의 랭크 할당 방법들은 대체로 계산 비용과 휴리스틱 단순성 사이의 트레이드오프를 겪는다: 학습 기반 방법은 지나친 오버헤드에 시달리는 반면, 사전 할당 방법은 동적인 태스크 특화 표현 매니폴드를 포착하지 못한다. 본 논문에서는 활성화 공간 기하학에 기반한 학습 없는(training-free) 그래디언트 없는(gradient-free) 랭크 할당기인 RSLoRA(Representational Sensitivity LoRA)를 제안한다. 우리는 레이어 전반에 걸친 "민감도 체제 전환(sensitivity regime shift)"을 규명하며, 정적 가중치 분석과 국소 그래디언트만으로는 업데이트가 모델의 내부 표현을 어떻게 재구성하는지를 반영하기에 불충분함을 관찰한다. 이를 해결하기 위해 RSLoRA는 가상 표현 탐색(virtual representational probing) 메커니즘을 도입한다. 구조화된 저랭크 노이즈를 통해 적응을 시뮬레이션하고 Effective Rank와 Fréchet Distance를 사용하여 결과적인 매니폴드 변위를 측정함으로써, 더 높은 랭크 용량이 필요한 고민감도 모듈을 식별한다. 우리의 프레임워크는 전문가가 설계한 휴리스틱과 실제 표현적 영향 사이의 간극을 효과적으로 메운다. 광범위한 평가를 통해 RSLoRA가 주요 벤치마크에서 최신 할당기(예: AdaLoRA, GoRA)를 지속적으로 능가함을 입증한다. 반복적인 학습 시점 조정과 역방향 그래디언트의 필요성을 제거함으로써, RSLoRA는 대규모 모델 적응을 위한 고효율적이고 견고하며 표현 인식적인 솔루션을 제공한다.