한국어 초록
동일한 태스크에 특화된 서로 다른 사전학습(pre-training) 모델들은 매우 유사한 행동으로 수렴하지만, 이를 생성하는 매개변수(parameter) 업데이트는 공통의 좌표계를 공유하지 않습니다. 따라서 가중치(weight) 공간에서의 태스크 산술(task arithmetic)은 단일 모델에 국한되며, 모델 간에 업데이트를 전이하려면 구조적 대응 관계가 필요합니다. 플라톤의 동굴의 비유에 착안하여, 본 논문에서는 이러한 모델별 업데이트가 공유된 하나의 모델 무관 객체인 '플라톤적 태스크 벡터(platonic task vector)'에 의해 드리워진 그림자라는 가설을 세웁니다. 서로 다른 아키텍처를 가진 모델 간에 이를 활용할 수 있도록, 아키텍처 및 임베딩(embedding) 차원과 무관한 형태를 가지며 태스크의 기능적 효과를 기록하고 일반적인 행렬 연산으로서 덧셈과 부정(negation)을 지원하는 행렬인 '범용 태스크 기술자(Universal Task Descriptors)'를 도입하고, 두 가지 방식으로 기술자를 타깃에 전이합니다. 단 한 번의 최소제곱법(least-squares) 풀이로 타깃의 마지막 층(layer)에 접어 넣을 수 있는 선형 연산자를 얻을 수 있으며, 소스 및 태스크당 하나씩 구성된 이러한 연산자 집합은 해당 성분들의 부호가 있는 합으로서 임의의 구성을 실현합니다. 대안적으로, 편집당 한 번의 최적화(optimization) 비용을 들여 타깃 인코더의 저순위 어댑터(low-rank adapter)를 동일한 목적함수로 학습시킵니다. 공유 구성요소와 놈(norm) 크기가 유사한 모델별 잔차가 존재함에도 불구하고, 다른 모델로부터의 전이는 타깃 자체의 기술자가 달성하는 성능 향상의 74~80%를 유지합니다. 6개 모델 패밀리, 8개 태스크 및 오디오-텍스트 모델에 걸친 실험을 통해 두 가지 구현 방식 모두를 검증합니다.
원문 초록
Distinct pre-trained models specialized for the same task converge to closely similar behavior, yet the parameter updates that produce it share no common coordinate system. Weight-space task arithmetic is therefore confined to a single model, and transporting an update between models requires a structural correspondence. Drawing on Plato's allegory of the cave, we hypothesize that these model-specific updates are shadows cast by one shared, model-agnostic object, the platonic task vector. To make it operational across models of different architectures, we introduce Universal Task Descriptors, matrices whose shape is independent of architecture and embedding dimension, which record a task's functional effect and admit addition and negation as ordinary matrix operations, and we transfer a descriptor into a target in two ways. A single least-squares solve returns a linear operator folded into the target's last layer, and a bank of such operators, one per source and task, realizes any composition as a signed sum of its entries. Alternatively, a low-rank adapter of the target's encoder is trained on the same objective at the price of one optimization per edit. Despite a model-specific residual comparable in norm to the shared component, transfer from another model retains 74 to 80 percent of the gain the target's own descriptors attain. Experiments across six model families, eight tasks and audio-text models confirm both realizations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구
Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습
ACLArena: Agent Continue Learning in Multi-stage Post-training
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
모든 태스크 벡터에 동일한 랭크가 필요하지는 않다: 모델 병합을 위한 에너지 비례 할당
Not All Task Vectors Need Equal Rank: Energy-Proportional Allocation for Model Merging
모델 병합(model merging)은 공통의 사전학습(pretrained) 모델에서 파생된 여러 파인튜닝(fine-tuned) 모델들을 추가적인 공동 학습 없이 단일 멀티태스크 모델로 결합하는 것을 목표로 한다. 최근의 스펙트럼 병합(spectral merging) 기법들은 태스크 특화 업데이트의 저랭크(low-rank) 구조를 활용하여 단순 가중치 평균화(weight averaging)보다 향상된 성능을 보이지만, 일반적으로 모든 태스크에 동일한 랭크 용량을 할당한다. 이러한 균등 할당은 태스크 벡터들이 이질적인 스펙트럼 복잡도를 가질 수 있다는 점을 간과하여 공유 병합 공간이 차선으로 활용되게 만든다. 본 논문에서는 각 태스크 벡터의 특이값(singular-value) 에너지 구조에 따라 랭크를 할당하는 단순하고 태스크 적응적인 전략인 SERA(Spectral Energy-proportional Rank Allocation)를 제안한다. SERA는 복잡하거나 고립된 태스크에는 더 풍부한 스펙트럼 용량을 할당하고 조밀한 태스크에는 더 적은 방향을 할당함으로써, SVD 기반 모델 병합을 균등 용량 병합에서 태스크 의존적 용량 할당으로 확장한다. 표준 비전 모델 병합 프로토콜 하에서의 실험 결과는 SERA가 기존 스펙트럼 병합 기법들과 동일한 총 랭크 예산을 유지하면서 멀티태스크 병합 성능을 향상시킴을 보여준다. 추가 분석을 통해 태스크 수준의 스펙트럼 집중도가 적응적 랭크 할당의 태스크별 효과와 밀접한 관련이 있음을 입증하며, SERA가 언제 그리고 왜 효과적인지에 대한 통찰을 제공한다.
프롬프트 학습 기반 모델 병합을 위한 전문가 학습 재고
Rethinking Expert Training for Model Merging with Prompt Learning
모델 병합은 공유 기반 모델로부터 학습된 여러 도메인 특화 전문가를 단일 다중 과제 모델로 결합하는 것을 목표로 한다. 기존 접근법은 대체로 병합 절차 자체를 개선하는 데 집중하며, 일반적으로 전체 매개변수 미세조정을 통해 얻은 전문가를 가정한다. 본 연구에서는 모델 병합을 위한 전문가 학습을 재검토한다. 먼저 프롬프트 기반 적응이 강력한 기준선을 제공함을 보인다. 독립적으로 학습된 프롬프트는 백본을 고정한 채 여러 과제에 활용할 수 있으며, 가중치 병합으로 인한 간섭을 피할 수 있다. 이 관찰을 바탕으로, 먼저 프롬프트를 학습한 다음 비전 인코더를 미세조정하는 2단계 학습 전략인 Dual-Tuned Experts(DTEs)를 제안한다. 이는 과제별 매개변수 갱신의 크기를 줄이고 병합 호환성이 더 높은 전문가를 생성한다. 다양한 CLIP 아키텍처, 전체 미세조정, LoRA 전문가에 걸친 실험은 DTEs가 표준 병합 접근법의 병합 성능을 일관되게 향상시키며, 이질적인 전문가 집합을 결합할 때에도 효과적임을 보여준다.
도메인 일반화를 위한 Projection Pursuit CPCANet
Projection Pursuit CPCANet for Domain Generalization
도메인 일반화(DG)는 분포 변화에 강건한 표현을 학습하는 것을 목표로 한다. CPCANet과 같은 최근의 기하학적 정렬 방법들은 배치 단위 공통 주성분 분석(CPCA)을 통해 도메인 불변 구조를 추출한다. 그러나 CPCANet은 미니배치 학습에서의 소표본 문제로 인해 계수 결손(rank-deficient) 공분산 추정의 한계를 겪는다. 이 한계를 해결하기 위해, 우리는 Stiefel 다양체 위에서 전역 직교 기저를 학습하고 Cayley 변환을 통해 네트워크 파라미터와 함께 공동 최적화하는 공분산-무(covariance-free) 프레임워크인 Projection Pursuit CPCANet(PP-CPCANet)을 제안한다. 또한 우리는 밀집하고 강건한 최적화 신호로 공통 주성분(CPC)을 추출하기 위해 대칭성 깨기(symmetry-breaking) 분리-중앙값(detached-median) PP 분산(dispersion) 목적함수를 도입한다. 4개의 DG 벤치마크에서의 실험은 PP-CPCANet이 안정적인 학습을 유지하면서 SOTA 성능을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS2026