arXiv:2605.14841v3 cs.LG

GPart: 전역 매개변수 분할을 통한 종단간 등거리 미세조정

GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

제출 2026-05-14

저자 비고

arXiv Comments

Code available at https://github.com/SamsungLabs/GPart

한국어 초록

로우랭크 적응(LoRA)은 대규모 심층 학습(deep learning) 모델의 매개변수 효율적 미세조정(PEFT)을 위한 지배적인 패러다임이 되었습니다. 그러나 LoRA의 쌍선형 매개변수화는 매개변수 의존적 기하구조를 유발합니다. 즉, 학습 가능한 매개변수에서 가중치 업데이트로의 매핑이 일반적으로 거리를 보존하지 않습니다. Uni-LoRA와 같이 저차원 벡터를 LoRA의 매개변수 공간에 투영하는 관련 방법들은 매개변수 효율성을 향상시키지만, 이어지는 쌍선형 맵이 종단간 등거리성(isometry)을 깨뜨립니다. 본 논문에서는 희소 등거리 분할 행렬을 통해 $d$차원 학습 가능 벡터를 전체 가중치 공간으로 직접 매핑하는 고도의 매개변수 효율적 미세조정 방법인 GPart(전역 분할 미세조정)를 제안합니다. GPart는 고정된 전역 매개변수 공유 사전확률(prior)을 유지하면서 LoRA 기반 방법에서 사용되는 추가적인 로우랭크 재구성을 제거합니다. 이를 통해 단일 주요 하이퍼파라미터($d$), 정확한 종단간 등거리성, 학습 가능 벡터와 랜덤 시드로만 구성된 최소한의 체크포인트 표현을 갖춘 단순한 매개변수화를 달성합니다. GPart는 로우랭크 행렬 분해 없이도 전체 가중치 공간의 무작위 저차원 부분공간 내에서 효과적인 미세조정이 가능하다는 전제를 기반으로 구축되었습니다. 자연어 이해, 컴퓨터 비전(CV), 수학적 추론 벤치마크 전반에 걸쳐 GPart는 극도로 낮은 매개변수 예산에서도 기존 PEFT 방법과 대등하거나 더 뛰어난 성능을 보입니다. 수학적 취급 용이성과 메모리 효율성을 제공하는 것 외에도, GPart의 직접적인 선형 매개변수화는 모델 선택을 간소화하고 컴팩트한 어댑터 결합을 위한 길을 열어줍니다. 전반적으로 GPart는 학습 가능한 좌표와 가중치 공간 업데이트 사이의 고정되고 예측 가능한 기하구조를 바탕으로, 적은 매개변수 예산 조건의 미세조정에서 우아하고 경쟁력 있는 대안을 제공합니다.

원문 초록

Low-rank adaptation (LoRA) has become a dominant paradigm for parameter-efficient fine-tuning (PEFT) of large-scale deep learning models. However, its bilinear parameterization induces a parameter-dependent geometry: the mapping from trainable parameters to weight updates is not generally distance-preserving. Related methods that project a low-dimensional vector into LoRA's parameter space, such as Uni-LoRA, improve parameter efficiency, but the subsequent bilinear map breaks end-to-end isometry. We propose GPart (Global Partition fine-tuning), a highly parameter-efficient fine-tuning method that maps a $d$-dimensional trainable vector directly into the full weight space through a sparse, isometric partition matrix. GPart retains a fixed global parameter-sharing prior while removing the additional low-rank reconstruction used by LoRA-based methods. This yields a simple parameterization with a single main hyperparameter ($d$), exact end-to-end isometry, and a minimal checkpoint representation consisting of the trainable vector and a random seed. GPart builds on the premise of effective fine-tuning within random low-dimensional subspaces of the full weight space without requiring a low-rank matrix factorization. Across natural language understanding, computer vision, and mathematical reasoning benchmarks, GPart matches or improves over existing PEFT methods at ultra-low parameter budgets. Beyond offering mathematical tractability and memory efficiency, the direct linear parameterization of GPart streamlines model selection and paves the way for compact adapter composition. Overall, GPart provides an elegant and competitive alternative for fine-tuning under small parameter budgets, with a fixed and predictable geometry between trainable coordinates and weight-space updates.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.14841v3
  2. arXiv:2605.14841v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.22272v2cs.CL공통 태그 parameter-efficient fine-tuning, lora

MixedPEFT: 비지도 도메인 적응을 위해 혼합 목적함수로 여러 PEFT 기법을 결합하는 방법

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

사전학습된 언어 모델을 전체 미세조정(fine-tuning)을 통해 새로운 도메인에 적용하는 것은 연산 비용이 많이 들고 치명적 망각(catastrophic forgetting)이 발생하기 쉽습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 맞춤형 PEFT 아키텍처와 혼합 목적함수 학습(training)을 결합한 비지도 도메인 적응(unsupervised domain adaptation)을 위한 새로운 매개변수 효율적 전략을 소개합니다. 제안된 방법은 가역 어댑터(invertible adapter)와 LoRA(Low-Rank Adaptation)를 통합하며, 레이블이 지정된 소스 도메인 데이터에 대한 분류(classification)와 레이블이 지정되지 않은 타깃 도메인 데이터에 대한 마스크 언어 모델링을 공동으로 최적화합니다. 이러한 공동 학습 방식은 타깃 도메인의 지식을 보존하면서 태스크 적응을 지원합니다. 본 연구는 20개의 도메인 이동에 걸쳐 Multi-Genre Natural Language Inference(MNLI) 데이터셋(dataset)에서 해당 방법을 평가합니다. 제안하는 접근법은 모델(model) 매개변수(parameter)의 7%만 업데이트하면서도 매개변수 효율적 SOTA인 UDapter 대비 평균 1.41%p, 전체 미세조정된 DANN 기준선(baseline) 대비 1.26%p, DSN 대비 0.86%p의 성능 향상을 달성합니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응에 대한 새로운 SOTA 결과를 확립하며, 동시 최적화를 갖춘 정교하게 설계된 PEFT 조합이 매개변수 효율적 접근법과 기존의 전체 미세조정 접근법 모두를 능가할 수 있음을 입증합니다.

arXiv:2605.06183v2cs.AI공통 태그 parameter-efficient fine-tuning, lora

어댑터 배치의 재고: 지배적 적응 모듈 관점

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective

로우랭크 적응(LoRA)은 고정된 사전학습 모델에 학습 가능한 로우랭크 어댑터를 배치하는 널리 쓰이는 매개변수 효율적 미세조정(PEFT) 방법입니다. 최근 연구들에 따르면 더 적은 수의 LoRA 어댑터를 사용하더라도 성능을 유지하거나 오히려 향상시킬 수 있음이 나타났으나, 기존 방법들은 여전히 어댑터를 광범위하게 분산시키고 있어 '성능을 극대화하기 위해 제한된 수의 어댑터를 어디에 배치해야 하는가'라는 문제를 여전히 미해결 상태로 남겨두고 있습니다. 이를 탐구하기 위해, 본 논문에서는 각 후보 LoRA 어댑터에 주어지는 초기 학습 가능 그래디언트 에너지를 추정하는 그래디언트 기반 민감도 프로브인 PAGE(Projected Adapter Gradient Energy)를 도입합니다. 놀랍게도 두 모델 패밀리와 네 가지 다운스트림 태스크 전반에서 PAGE가 단 하나의 얕은 FFN 다운 프로젝션에 고도로 집중되어 있음을 발견했습니다. 본 연구는 이 모듈을 지배적 적응 모듈(dominant adaptation module)이라 명명하고, 해당 층의 인덱스가 아키텍처에 따라 달라지지만 태스크에는 안정적임을 보입니다. 이러한 발견에 착안하여, 지배적 적응 모듈에 단 하나의 어댑터만 배치하는 배치 방법인 DomLoRA를 제안합니다. 바닐라 LoRA의 학습 가능한 매개변수의 0.7%만을 사용함에도 불구하고, DomLoRA는 지시 따르기(instruction following), 수학적 추론, 코딩, 다중 턴 대화를 포함한 다운스트림 태스크 전반에서 평균적으로 바닐라 LoRA를 능가합니다. 또한 이 방법은 다른 LoRA 변형들과 동등하거나 더 나은 성능을 달성하며 광범위한 배치 대비 학습 시간을 최대 2.74배 단축함으로써, 지배적 적응 모듈 관점이 실용적인 어댑터 배치 지침이 될 수 있음을 뒷받침합니다.

arXiv:2610.02353v1cs.LG공통 태그 parameter-efficient fine-tuning, lora

모든 사용자에게 개별 LoRA가 필요한가? 개인화와 사용자별 적응의 분리

Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation

개인화된 대규모 언어 모델(LLM)은 종종 각 사용자에 대해 완전한 적응(adaptation) 상태를 필요로 합니다. 그러나 이러한 패러다임은 사용자 수가 증가함에 따라 확장성이 떨어집니다. 본 연구에서는 개인화 용량 할당(personalization capacity allocation)이라는 관점에서 이러한 설계를 재검토합니다. 즉, 사용자 간에 얼마나 많은 적응 용량을 공유할 수 있는지, 공유된 용량을 어떻게 구성해야 하는지, 그리고 얼마나 많은 부분이 사용자 전용으로 남아 있어야 하는지를 탐구합니다. 우리는 세 가지 상호보완적인 실증 분석을 통해 이에 답합니다. 독립적인 사용자 어댑터에는 상당한 수준의 사용자 간 재사용 가능한 구조가 포함되어 있고, 재사용 가능한 방향의 유용성은 사용자 관련성과 쿼리 전반의 변동성을 모두 반영하며, 사용자 이력은 컴팩트한 개별 보정을 위한 전이 가능한 신호를 제공한다는 점을 발견했습니다. 이러한 발견에 착안하여, 우리는 LINEUP을 제안합니다. 이 방법은 재사용 가능한 저랭크(low-rank) 개인화 팩터 뱅크를 학습하고, 사용자 조건부 재현율(recall) 및 쿼리 의존적 캘리브레이션을 통해 이를 구성하며, 대상 사용자 적응을 공유 보정 공간 상의 극소형 사용자 코드로 제한합니다. 이러한 설계는 표현력 있는 개인화 용량을 사용자별 학습 가능 상태와 분리합니다. 모든 공유 컴포넌트가 고정된 상태에서 각 대상 사용자는 단 8개의 스칼라만을 최적화합니다. 이에 비해 평가된 프라이빗 LoRA 구성은 사용자당 419만 개의 파라미터를 사용합니다. 우리의 이론적 분석은 유한 스텝, 유한 이력 위험 한계(risk bound)와 사용자 코드 개선이 이력 초기화(initialization)보다 향상되기 위한 충분조건을 제시합니다. 개인화 분류(classification), 예측, 생성을 아우르는 6개 태스크에서 LINEUP은 3회의 독립적인 실행을 거쳐 평균화된 12개 지표 모두에서 우위를 점했습니다(예: 가장 강력한 기준선(baseline) 대비 LaMP-3 RMSE 11.4% 감소). 또한 제한된 이력 환경에서도 우위를 유지합니다. 이러한 결과는 풍부한 개인화가 주로 재사용 가능하고 조건부로 구성된 공유 용량에 의해 지원될 수 있으며, 독립적인 사용자 적응은 아주 작은 보정 상태로만 국한되어도 충분함을 보여줍니다.

arXiv:2505.18315v5cs.CV공통 태그 parameter-efficient fine-tuning, lora

COLORA: 광간섭단층촬영 이미지 분류 사례 연구를 통한 합성곱 모델의 효율적 미세조정

COLORA: Efficient Fine-Tuning for Convolutional Models with a Study Case on Optical Coherence Tomography Image Classification

우리는 합성곱 신경망(CNN)을 위한 매개변수 효율적 미세조정 방법인 CoLoRA(Convolutional Low-Rank Adaptation)를 소개한다. CoLoRA는 커널 업데이트를 경량의 depthwise 및 pointwise 성분으로 분해하여 LoRA를 합성곱 층으로 확장한다. 이 설계는 전체 합성곱 미세조정과 비교해 학습 가능한 합성곱 업데이트 매개변수의 수를 80% 이상 줄이면서도, 학습된 업데이트를 사전학습된 합성곱 커널에 병합할 수 있게 하여 원래 모델 크기와 추론 복잡도를 유지한다. MedMNIST 데이터셋, 특히 OCTMNISTv2에 대한 실험은 VGG16과 ResNet50에 적용한 CoLoRA가 학습 가능한 매개변수 수를 크게 줄이면서도 경쟁력 있는 분류 성능을 달성함을 보여준다. 전이학습, 어댑터, BitFit, 합성곱 LoRA 변형과의 비교는 예측 성능, 학습 가능한 매개변수, 학습 비용 간의 트레이드오프를 추가로 규명한다. CIFAR-100과 Cats vs. Dogs에 대한 추가 실험은 제안한 적응 전략이 비의료 이미지 분류 과제에도 전이됨을 보여주는 예비 증거를 제공한다. 최대 GPU 메모리 측정은 또한 매개변수 효율성이 비례적인 학습 메모리 절감으로 직결되지 않으며, 메모리 소비가 적응된 합성곱 층의 배치에 크게 좌우됨을 보여준다. 전반적으로 CoLoRA는 합성곱 모델에 대한 전체 미세조정의 매개변수 효율적이고 배포 효율적인 대안을 제공한다.

arXiv:2607.20561v1cs.LG공통 태그 parameter-efficient fine-tuning, lora

CT-Merging: LoRA 어댑터 병합을 위한 합의 방향과 태스크 수준 스케일링

CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging

LoRA 어댑터는 사전학습된 모델을 다양한 다운스트림 태스크에 특화시키는 효율적인 방법을 제공하지만, 태스크마다 하나의 어댑터를 배포하려면 어댑터 저장 공간과 추론 시 태스크 선택이 필요하다. 모델 병합은 독립적으로 학습된 어댑터들을 하나의 멀티태스크 어댑터로 결합함으로써 이 문제를 해결한다. 최근 SVD 기반 LoRA 병합 방법들은 주로 공유 또는 태스크별 방향을 구성하는 데 초점을 맞추지만, 최종 방향에 할당되는 계수는 종종 원본 태스크 SVD에서 직접 가져온다. 고정된 병합 기저 위에서, 상속된 계수는 높은 rank 상관을 유지하며 성분 순서를 보존하지만, 그 크기는 태스크 업데이트로 유도된 계수와 실질적으로 다르다. 이 불일치를 해결하기 위해, 우리는 평균 태스크 부분공간 투영자로부터 합의 방향을 추정하고 최종 업데이트에 태스크 수준 RMS 계수 스케일을 할당하는 LoRA 인식 병합 알고리즘인 CT-Merging을 제안한다. CT-Merging은 태스크 SVD 부분공간 전반에 걸친 반복적 지지를 사용하여 공통 기저를 구성하고, 방향 구성 이후 rank별 SVD 크기에 대한 의존을 줄인다. DC-Merge CLIP 어댑터 벤치마크에서 CT-Merging은 최신 병합 방법들 대비 우수한 평균 정규화 정확도를 달성하며, ViT-B/32에서는 2.56점, ViT-L/14 KnoTS 학습 체크포인트에서는 1.51점 DC-Merge 대비 추가로 향상된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.