본 논문은 LoRA-CRAFT(Cross-layer Rank Adaptation via Frozen Tucker, 이하 CRAFT)를 제안한다. CRAFT는 트랜스포머 층 전반에 쌓인 사전학습 어텐션 가중치 행렬에 Tucker 텐서 분해를 적용하고, 그 결과로 얻은 동결(frozen) Tucker 인수들에 대해서만 작은 정사각 적응 행렬을 학습하는, 극도로 매개변수 효율적인 미세조정(PEFT) 방법이다. 기존 텐서 기반 PEFT 방법들은 그래디언트 갱신을 분해한다. LoTR은 공유 인수 행렬과 함께 Tucker 분해를 적용하고, SuperLoRA는 층 간 $\Delta W$를 묶어 재구성한 뒤 Tucker 분해를 적용한다. 별도로 PiSSA 같은 방법은 사전학습 가중치에 SVD를 적용하지만 층마다 독립적으로 동작한다. CRAFT는 이 두 연구 계열을 잇는다. 사전학습 가중치를 층 간 3차원 텐서로 구성한 뒤 고차 SVD(HOSVD)로 전체 Tucker 분해를 수행하고, 모든 인수를 동결한 다음, 각 인수 행렬에 가벼운 학습 가능 변환을 적용해 모델을 적응시킨다. RoBERTa-base 및 RoBERTa-large를 사용한 GLUE 벤치마크와 LLaMA2-7B 및 LLaMA3-8B를 사용한 상식 추론 벤치마크 실험에서 CRAFT는 기존 방법과 경쟁력 있는 성능을 달성하면서 Tucker 적응 매개변수만 극히 적게 요구한다. LLaMA3-8B에서는 CRAFT가 LoRA의 평균 정확도를 수백 배 적은 매개변수로 넘어선다. LLaMA2-7B에서도 0.252M 예산에서 동일한 결과가 성립한다. 결과는 모델 규모가 커질수록 CRAFT의 효율 이점이 커진다는 점을 시사한다. 동결 Tucker 인수가 더 풍부한 층 간 구조를 갖는 대규모 사전학습 모델을 더 잘 포착하기 때문이다.
최근 비전 파운데이션 모델(vision foundation models, VFM)의 발전은 다양한 단일 모달 비전 작업에서 뛰어난 성능을 보여주었다. 그러나 VFM을 참조 이미지 분할(referring image segmentation, RIS)에 적용하려면 일반적으로 전체 미세조정(fine-tuning)을 통한 정밀한 비전-언어 정렬이 필요하며, 이는 상당한 연산 오버헤드를 유발하고 치명적 망각(catastrophic forgetting)의 위험을 초래한다. 기존의 매개변수 효율적 미세조정(parameter-efficient fine-tuning, PEFT) 방법들은 최소한의 학습 비용으로 안전한 지식 전이를 가능하게 하지만, 대부분 개별 모달리티 내에서 독립적으로 작동하거나 언어에서 비전으로의 단방향 안내에만 초점을 맞추어, 점진적인 교차 모달 상호작용과 텍스트 정제를 위한 시각적 피드백을 간과한다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델의 토큰 믹싱(token-mixing) 및 채널 믹싱(channel-mixing) 레이어 내에서 계층적이고 양방향적인 정보 흐름을 촉진하는 새로운 어댑터 기반 PEFT 프레임워크인 양방향 상호 학습(Bidirectional Reciprocal Learning, BRL)을 제안한다. 구체적으로, BRL은 두 가지 상호보완적인 경량 모듈을 도입한다. 상호 어텐션 어댑터(Reciprocal Attention Adapter, RAA)는 토큰 수준에서 교차 모달 쿼리-키 교환을 수행하여, 시각적 토큰과 언어적 토큰이 서로 주목(attend)함으로써 세밀한 공간적 그라운딩(grounding)을 가능하게 한다. 상호 게이트 어댑터(Reciprocal Gate Adapter, RGA)는 채널 수준에서 교차 모달 게이팅 신호를 생성하여, 한 모달리티의 전역 의미적 맥락이 다른 모달리티의 채널 활성화를 적응적으로 재조정할 수 있도록 한다. RefCOCO, RefCOCO+, RefCOCOg 벤치마크에 대한 광범위한 실험을 통해 BRL이 기존 RIS 방법들보다 우수함을 입증하였으며, 백본 매개변수 업데이트를 0.5% 미만으로 유지하면서도 최고 수준(state-of-the-art)의 성능을 달성하였다. 코드와 모델은 https://github.com/xiaoqiang-lu/BRL 에서 공개될 예정이다.
전문가 혼합(MoE) 아키텍처는 대규모 언어 모델(LLM)에서 널리 채택되었지만, MoE 모델에 대한 매개변수 효율적 미세조정(PEFT)은 아직 충분히 탐구되지 않았다. 기존 MoE용 PEFT 방법은 균일한 어댑터로 라우터 prior를 무시하여 효율성을 떨어뜨리고 망각 위험을 키우거나, 정적 전문가 선택에 의존하여 토큰별 용량과 전문가 간 특징 학습을 제한한다. 본 논문에서는 MoE 스타일 저랭크 적응(low-rank adaptation)으로 MoE 모델을 미세조정하는 최초의 시도를 제시한다. 우리의 방법인 MoE²-LoRA는 이중 채널 라우팅 조건 투영(RCP) 모듈을 통해 사전학습된 전문가 특화와 과제별 적응성을 깊이 결합하며, 이 모듈은 기본 라우터 활성화를 재사용하여 LoRA 라우팅을 안내한다. 또한 모든 층에 걸쳐 공유되는 단일 전역 LoRA 전문가 풀을 도입하여, 창발적 층별 친화도와 균형 잡힌 전문가 활용과 함께 모델 전반에 걸친 적응을 가능하게 한다. MoE²-LoRA는 prior 재사용, 동적 어댑터 라우팅, 모델 전반 지식 공유의 장점을 동시에 누린다. 다양한 규모와 전문가 세분화를 갖춘 여러 MoE 백본에서 평가한 결과, MoE²-LoRA는 더 강한 일반 역량을 유지하면서 하류(downstream) 정확도에서 일관되게 최첨단(state-of-the-art) 성능을 달성한다.
연합 매개변수 효율적 미세조정(PEFT)은 분산된 엣지 데이터에서 대규모 사전학습 모델의 통신 효율적 적응을 가능하게 하지만, 비동일(non-IID) 클라이언트 이질성 하에서는 여전히 취약하다. 저차(rank) 적응(LoRA)에서는 서로 다른 클라이언트가 국소적으로는 유용하지만 스펙트럴적으로 정렬되지 않은 업데이트 부분공간을 학습할 수 있어, 높은 분산의 집계와 낮은 전역 전이 성능을 초래한다. 우리는 견고한 연합 PEFT를 위한 스펙트럴 제어 프레임워크인 TRISHUL을 제안한다. TRISHUL은 FL의 원시 데이터 비공유 설정을 따르지만, 그 자체로는 형식적인 프라이버시 보장을 제공하지 않는다. TRISHUL은 공유된 고정(frozen) 다중 헤드 저차(rank) 기저를 사용하여 컴팩트한 코어 업데이트의 대수적으로 정확한 집계를 얻고, 업로드 전에 클라이언트별 고차(rank) 스펙트럴 성분을 억제하기 위해 핵 노름(nuclear norm) 근접(proximal) 수축(shrinkage)을 적용하며, 사전학습된 층 용량에서 유도된 오목(concave) 워터필링(water filling) 예산 규칙을 사용하여 적응 헤드를 층 전반에 비균등하게 할당한다. 수축이 작은 코어 행렬에만 수행되므로, TRISHUL은 기본 다중 헤드 PEFT 프로토콜 대비 무시할 수 있는 계산량만 추가하며 라운드당 추가 통신은 없다. CIFAR-100, SVHN, 20 Newsgroups, MRQA, GLUE 및 LLaMA3.2-1B를 포함한 비전 및 언어 벤치마크 전반에서 TRISHUL은 연합 LoRA 기준선 대비 수렴, 안정성, 최종 성능을 향상시키며, 더 강한 이질성 하에서 더 큰 이득을 보인다.
실리콘 광학(SiPh) 가속기는 마이크로링 공진기(MRR) 뱅크에서 행렬 곱셈을 수행하여 높은 처리량과 에너지 효율을 달성함으로써, 비전 트랜스포머(ViT) 추론을 위한 유망한 플랫폼으로 부상했다. 이러한 플랫폼을 온칩 미세조정을 지원하도록 확장하는 것은 여전히 어려운 과제인데, 역전파가 대규모 활성화 저장, MRR로의 빈번한 가중치 write-back, 그리고 장치 수준 노이즈에 대한 허용을 요구하기 때문이다. 우리는 near-sensor SiPh ViT 가속기에서의 매개변수 효율적 미세조정(PEFT)을 위한 최초의 프레임워크인 Opto-ViT-v2를 제안한다. 우리의 텐서화된 저랭크 분해는 사전학습된 광학 가중치와 소수의 학습 가능한 전자적 인자(ViT-Base의 경우 최소 8K 매개변수)를 분리하여, 활성화 저장과 가중치 업데이트를 크게 줄이면서 실용적인 온칩 학습을 가능하게 한다. 또한 일회성 top-k 그래디언트 마스킹을 통해 중요도가 낮은 가중치를 고정하는 그래디언트 누적 희소 분류기를 도입하여, 분류기 학습 비용을 약 40% 줄인다. 또한 광학 온칩 학습을 위한 최초의 시스템 수준 노이즈 모델을 개발하여, 순전파와 역전파 모두에서 MRR 크로스토크, 열 드리프트, 레이저 진폭 노이즈의 영향을 포착한다. 200개 이상의 제작된 MRR 장치 측정값으로 보정된 이 모델은, 동일한 노이즈 조건에서 저랭크 인자 업데이트가 전체 미세조정 및 기존의 층별 저랭크 적응보다 더 견고함을 보여준다. VTAB-1K(19개 태스크) 및 FGVC 퓨샷 벤치마크 실험에서 Opto-ViT-v2는 측정된 광학 노이즈 하에서 클린 소프트웨어 정확도 대비 0.3~0.8%p 이내로 성능을 회복하면서 100 KFPS/W 이상을 달성하여, 광학 엣지 비전 시스템을 위한 실용적인 온칩 도메인 적응을 가능하게 함을 보여준다.
클라우드, 엣지, 기업 환경 전반에 걸친 머신러닝 시스템의 급속한 배포는 모델 최적화를 시스템 엔지니어링의 핵심 과제로 부각시켰다. 양자화, 가지치기, 지식 증류, 매개변수 효율적 미세조정(PEFT), 추론 시간 최적화에 이르는 풍부한 문헌에도 불구하고, 실무자들은 원칙적인 방법론보다는 휴리스틱을 통해 이러한 기법들을 탐색하는 경우가 많다. 우리는 최적화를 제약 기반 다목적 엔지니어링 의사결정으로 공식화해야 한다고 주장하며, 데이터 가용성, 지연 시간 예산, 메모리 예산, 정확도 허용치, 재학습 예산의 다섯 가지 상호작용하는 제약 차원을 따라 모든 프로덕션 배포를 특성화하는 통합 프레임워크를 제안한다. 이 분류 체계를 바탕으로, 연구 문헌 전반에 보고된 실증적 이득을 종합하고 이를 알고리즘 범주가 아닌 운영상 제약에 매핑한다. 실용적 관련성을 확보하기 위해, 우리는 최근 문헌을 검토하여 핵심 배포 병목에 대한 측정 가능한 개선을 보고하는 방법들을 선별했다. 우리는 규범적 의사결정 프레임워크를 제안하고, 실무에서 이를 설명하기 위해 네 가지 대표적인 산업 시나리오에 대한 최적화 파이프라인을 제공한다. 우리가 아는 한, 본 연구는 연구 문헌의 정량적 증거를 종합하여 모델 최적화를 제약 인식 다목적 엔지니어링 프로세스로 공식화하려는 최초의 구조화된 시도 중 하나를 제공한다.
대규모 언어 모델(LLM)에서 평생 학습(lifelong learning)을 가능하게 하려면, 안정성-가소성(stability-plasticity) 딜레마(즉, 모델이 기존 표현을 덮어쓰지 않으면서 새 지식을 통합해야 함)를 해결하면서 매개변수 증가가 제한된 조건에서 확장성(scalability)을 유지해야 한다. 기존 PEFT(파라미터 효율적 미세조정) 방법은 이 세 가지 조건을 동시에 충족하지 못한다. 공유 매개변수 방식은 치명적 간섭(catastrophic interference)에 취약하고, 과업(task)별로 격리된 확장은 지식 전이를 막으며 매개변수가 선형적으로 증가한다. 우리는 모델 용량을 재사용 가능하고 조합적인 원시 구성요소(primitives)로 분해하는 모듈형 희소(sparse) 프레임워크인 SubExpert 혼합(Mixtures of SubExperts, MoSEs)을 제안한다. MoSEs는 트랜스포머 층에 경량 SubExpert와 과업 입력에 따라 모듈의 희소 부분집합을 동적으로 선택·조합하는 학습된 서브 라우팅(sub-routing) 함수를 추가한다. 이를 통해 지식이 국소화되면서도 접근 가능한 매개변수 공간의 구조적 분해가 유도되어, 간섭을 완화하면서 재사용을 보존한다. 구체적으로 MoSEs는 세 가지 기둥을 통해 딜레마를 균형 잡는다: (i) 희소하게 활성화된 모듈 내에서 지식을 격리함으로써 안정성, (ii) 라우팅 기반 재조합과 선택적 확장을 통한 가소성, (iii) 유효 용량의 차선형(sublinear) 증가를 통한 확장성. 특히 라우팅 메커니즘은 조합적 일반화(compositional generalization)를 가능하게 하여, 새 과업을 이전에 습득한 하위 함수(sub-functions)의 조합으로 표현할 수 있게 한다. 우리는 TRACE와 SuperNI에서 MoSEs를 실증적으로 검증하여, 강력한 PEFT 베이스라인 대비 망각 감소, 순방향 전이(forward transfer) 개선, 더 나은 매개변수 효율을 보였다. MoSEs는 엄격한 매개변수 예산을 유지하면서 최첨단 성능을 달성하며 새로운 파레토(Pareto) 프론티어를 수립한다. 우리 결과는 모듈형 희소성과 조합적 라우팅이 포화(saturation) 없이 지속적으로 학습하는 파운데이션 모델(foundation model)을 구축하는 데 핵심적인 귀납적 편향(inductive bias)임을 시사한다.
대규모 사전학습 모델의 규모가 계속 커짐에 따라, 제한된 메모리 예산 하에서 이들을 미세조정하는 것은 점점 더 어려워지고 있다. Low-Rank Adaptation(LoRA)는 현재 가장 널리 채택된 매개변수 효율적 미세조정(PEFT) 방법 중 하나로, 저랭크 적응 행렬만을 최적화함으로써 학습 가능한 매개변수 수를 크게 줄여 이 문제를 완화한다. 매개변수 오버헤드가 실질적으로 줄어든 결과, 역전파를 위해 보관되는 활성화가 LoRA 미세조정 과정에서 남아 있는 주요 메모리 병목으로 부상했다. 이를 해결하기 위해, 우리는 데이터 인식 압축 활성화 재구성(Compressed Activation REconstruction) 프레임워크인 CARE-LoRA를 제안한다. LoRA의 고유한 투영 구조를 활용하여, CARE-LoRA는 전체 입력 활성화를 LoRA 분기에서 자연스럽게 생성되는 저랭크 압축 활성화로 대체한다. 또한 순전파 동안 미미한 추가 계산 비용으로 경량 재구성 행렬을 계산하며, 이는 역전파 시 그래디언트 신호를 재구성하는 데 사용되어 LoRA 행렬이 완전히 학습 가능한 상태를 유지한다. 다양한 모델과 하위 작업에 걸친 광범위한 실험 결과, CARE-LoRA는 전체 메모리 사용량을 실질적으로 줄이면서도 표준 LoRA 및 대표적인 LoRA 변형과 비교하여 경쟁력 있거나 심지어 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/fishandyu/CARE-LoRA 에서 공개적으로 제공된다.
추측 디코딩(speculative decoding)은 저비용 드래프터가 여러 미래 토큰을 제안하고 타깃 모델이 이를 검증함으로써 자기회귀 언어 모델 추론을 가속한다. 따라서 흔한 설계 목표는 보조 매개변수와 시스템 오버헤드를 줄이면서 드래프트 품질을 개선하는 것이다. 우리는 동일 백본 추측 디코딩 방법인 PEFT-BD를 통해 이 방향에 대한 부정적 결과를 연구한다. PEFT-BD에서는 LoRA 유사 어댑터가 자기회귀 검증기를 위한 블록-확산(block-diffusion) 드래프터 역할을 한다. PEFT-BD는 여러 매력적인 특성으로 동기가 부여된다: 토크나이저 불일치를 피하고, 별도의 드래프트 모델 로딩을 피하며, 학습 가능한 매개변수를 소량만 추가하고, BD3LM 스타일의 디노이징(denoising) 목표함수를 사용해 토큰 블록을 병렬로 제안한다. 이러한 장점에도 불구하고, PEFT-BD는 Qwen3-0.6B 실험에서 실질적인 속도 향상을 제공하지 않는다. 비록 이 방법이 사소하지 않은 수락 접두사를 얻기는 하지만, 프로파일링은 각 추측 단계가 어댑터 활성화된 전체 백본 드래프트 패스와 이어지는 어댑터 비활성화된 전체 백본 검증 패스를 필요로 함을 보여준다. 따라서 드래프터는 매개변수 효율적이지만 연산 효율적이지는 않다. 우리 결과는 성공적인 추측 디코딩을 위한 단순하지만 중요한 조건을 분리해낸다: 드래프터는 검증기보다 실행 비용이 실질적으로 더 저렴해야 한다. 수락 접두사가 더 길어지는 것만으로는, 드래프트 연산이 검증기 수준에 머무를 때 이를 보상할 수 없다.
CORA(Coherent Orthogonal Rotation Adaptation)는 최소 섭동 이론에 기반하여 가중치 행렬의 각 행 슬라이스에 공유 직교 회전 $Q_i$를 적용함으로써 사전학습된 좌·우 특이 기저의 결합 기하 구조를 명시적으로 보존하는 SVD 기반 파인튜닝 방법으로, LoRA 대비 약 4배 적은 파라미터로 상식 추론 및 코드 생성 태스크에서 LoRA, DoRA, PiSSA, MiLoRA를 능가한다.
순차적 상태 누적이 필요한 장문 컨텍스트 미세조정에서 LoRA의 위치 독립적 한계를 보완하기 위해, 경험적 Hankel Gramian Balanced Truncation으로 초기화한 SSM 기반 HRM 어댑터를 MLP 블록에 주입하고 FFT 병렬 스캔으로 LoRA와 동등한 계산 비용을 달성한다. Mistral-7B 동일 매개변수(8.4M) 평가에서 LongBench QuALITY·QMSum을 포함해 LoRA를 능가하며, DFA·Parity 상태 추적과 enwik8에서도 일관된 우위를 보인다.
작업 레이블 없이 적절한 PEFT 어댑터를 고르는 문제에 대해, ARIADNE는 각 어댑터를 학습 데이터 임베딩의 중심점(centroids)으로 표현하고 입력과의 잠재 공간 근접성으로 라우팅하는 학습 없는 어댑터 독립적 프레임워크를 제안합니다. Llama 3.2 1B Instruct 기준 23개 자연어 처리(NLP) 작업에서 상한 성능의 97.44%를 회복했고, 44개 작업으로 확장해도 추가 학습 없이 평균 89.7%의 어댑터 선택 정확도를 달성했습니다.
지속적 적응(continual adaptation)에서의 치명적 망각(catastrophic forgetting)은 일반적으로 매개변수 드리프트, 리플레이, 또는 증류를 통해 연구되지만, 이러한 관점들은 어떤 출력 공간 방향이 취약한지 식별하지 못합니다. 우리는 NTK(신경망 접선 커널) 체제에서 함수 공간적 설명을 제시합니다: 새 작업 학습은 교차 작업 커널을 통해 이전 작업 예측 드리프트를 유발하며, 이는 새 작업의 그래디언트 스텝 이전에 망각 벡터에 대한 닫힌 형식 예측기를 산출합니다. 학습 가능한 매개변수에 대해 모델이 선형인 동결된 백본 선형 헤드 PEFT-CL(지속적 학습을 위한 파라미터 효율적 미세조정)에서, 예측기는 수치적 정밀도 내에서 정확합니다. 비선형 어댑터나 완전 미세조정의 경우, 이는 국소 NTK 근사입니다. 동일한 식은 망각이 소수의 이전 작업 NTK 고유모드에 집중됨을 보여주며, 동결된 선형 헤드 하에서는 취약 랭크에 대한 크로네커 스케일링 규칙을 제공합니다. 이러한 결과들은 기존 NTK 중첩 이론과의 관계를 명확히 하고, 매개변수 공간 정규화기가 출력 공간 간섭을 놓칠 수 있는 이유를 설명하며, 표적화된 스펙트럴 정규화기를 제안합니다.
엣지 디바이스에 소형 언어 모델(SLM)을 배포하려면 모델의 범용 능력을 저하시키지 않으면서 새로운 작업에 적응하는 효율적인 미세조정 전략이 필요합니다. 본 연구에서는 5개의 10억 미만 매개변수 모델(135M-1B)을 수학적 추론 과제에서 평가하여 중요한 취약점을 발견했습니다. 3억 매개변수 미만의 모델에서 완전 미세조정(Full FT)은 성능을 적극적으로 해치며, 종종 정확도를 제로샷(zero-shot) 기준선보다 떨어뜨립니다. 이러한 '네거티브 전이(negative transfer)'는 파라미터 효율적 미세조정(PEFT)을 단순한 효율성 선호가 아닌 안정성 요구사항으로 만듭니다. 우리는 LoRA와 가중치 분해 LoRA(DoRA)가 유사한 성능을 보이지만 강점이 작업에 따라 다르다는 것을 발견했습니다. DoRA는 복잡한 추론(GSM8K)에서 뛰어난 반면, LoRA는 패턴 매칭(OrcaMath)에서 우위를 점합니다. 특히 완전 미세조정은 정렬된 모델(Qwen2.5-0.5B)에서 LoRA에 의해, 가장 작은 아키텍처(SmolLM2-135M)에서는 단순한 5샷 문맥 내 학습(ICL)에 의해서도 성능이 뒤처집니다. 이러한 발견을 바탕으로, 우리는 모든 정렬된 10억 미만 매개변수 모델에 대해 PEFT를 기본값으로 사용할 것을 권장하며, 재앙적 망각을 방지하기 위해 5억 매개변수 미만의 모든 아키텍처에 대해 완전 미세조정 사용을 자제할 것을 권고합니다. 이 연구의 재현 결과는 https://github.com/gulguluu/tiny-slm-finetune-compare에서 확인할 수 있습니다.
LoRA는 파라미터 효율적 파인튜닝(PEFT)을 위한 널리 채택된 방법이 되었으며, 그 초기화 방법들이 점점 더 많은 관심을 받고 있다. 그러나 기존 방법들에는 눈에 띄는 한계가 있다. 많은 방법들은 타깃 도메인 데이터를 반영하지 않으며, 그래디언트 기반 방법들은 일 단계 그래디언트 분해에 의존하여 데이터를 얕은 수준에서만 활용한다. 본 논문에서는 데이터 인식 LoRA 초기화를 위한 이론적 프레임워크를 수립한다. 파인튜닝된 모델과 타깃 모델 간 매개변수 불일치의 기대값을 최소화하는 것에서 출발하여, 두 구성 요소를 갖는 최적화 문제를 도출한다. 하나는 파인튜닝된 모델과 타깃 모델 간 매개변수 거리와 관련된 바이어스 항으로, 이방성(anisotropy)을 보존하기 위해 Fisher-그래디언트 공식화를 사용하여 근사된다. 다른 하나는 Fisher 정보를 통해 샘플링 확률성으로 도입된 불확실성을 반영하는 분산 항이다. 이 문제를 풀면 LoRA에 대한 최적 초기화 전략이 도출되며, 이를 바탕으로 효율적인 알고리즘 LoRA-DA를 개발한다. 여러 벤치마크에 걸친 실험 결과는 LoRA-DA가 기존 초기화 방법들보다 최종 정확도를 일관되게 향상시킴을 보여준다. 추가 연구에서는 LoRA-DA가 더 빠르고 안정적인 수렴, 랭크에 걸친 견고성, 그리고 작은 초기화 오버헤드만을 갖는 것을 보여준다. 소스 코드는 https://github.com/zqy0126/LoRA-DA 에서 이용할 수 있다.