어댑터 배치의 재고: 지배적 적응 모듈 관점
Rethinking Adapter Placement: A Dominant Adaptation Module Perspective
한국어 초록
로우랭크 적응(LoRA)은 고정된 사전학습 모델에 학습 가능한 로우랭크 어댑터를 배치하는 널리 쓰이는 매개변수 효율적 미세조정(PEFT) 방법입니다. 최근 연구들에 따르면 더 적은 수의 LoRA 어댑터를 사용하더라도 성능을 유지하거나 오히려 향상시킬 수 있음이 나타났으나, 기존 방법들은 여전히 어댑터를 광범위하게 분산시키고 있어 '성능을 극대화하기 위해 제한된 수의 어댑터를 어디에 배치해야 하는가'라는 문제를 여전히 미해결 상태로 남겨두고 있습니다. 이를 탐구하기 위해, 본 논문에서는 각 후보 LoRA 어댑터에 주어지는 초기 학습 가능 그래디언트 에너지를 추정하는 그래디언트 기반 민감도 프로브인 PAGE(Projected Adapter Gradient Energy)를 도입합니다. 놀랍게도 두 모델 패밀리와 네 가지 다운스트림 태스크 전반에서 PAGE가 단 하나의 얕은 FFN 다운 프로젝션에 고도로 집중되어 있음을 발견했습니다. 본 연구는 이 모듈을 지배적 적응 모듈(dominant adaptation module)이라 명명하고, 해당 층의 인덱스가 아키텍처에 따라 달라지지만 태스크에는 안정적임을 보입니다. 이러한 발견에 착안하여, 지배적 적응 모듈에 단 하나의 어댑터만 배치하는 배치 방법인 DomLoRA를 제안합니다. 바닐라 LoRA의 학습 가능한 매개변수의 0.7%만을 사용함에도 불구하고, DomLoRA는 지시 따르기(instruction following), 수학적 추론, 코딩, 다중 턴 대화를 포함한 다운스트림 태스크 전반에서 평균적으로 바닐라 LoRA를 능가합니다. 또한 이 방법은 다른 LoRA 변형들과 동등하거나 더 나은 성능을 달성하며 광범위한 배치 대비 학습 시간을 최대 2.74배 단축함으로써, 지배적 적응 모듈 관점이 실용적인 어댑터 배치 지침이 될 수 있음을 뒷받침합니다.
원문 초록
Low-rank adaptation (LoRA) is a widely used parameter-efficient fine-tuning method that places trainable low-rank adapters into frozen pre-trained models. Recent studies show that using fewer LoRA adapters may still maintain or even improve performance, but existing methods still distribute adapters broadly, leaving \emph{where to place a limited number of adapters to maximize performance} largely open. To investigate this, we introduce \textbf{PAGE} (\textbf{P}rojected \textbf{A}dapter \textbf{G}radient \textbf{E}nergy), a gradient-based sensitivity probe that estimates the initial trainable gradient energy available to each candidate LoRA adapter. Surprisingly, we find that PAGE is highly concentrated on a single shallow FFN down-projection across two model families and four downstream tasks. We term this module the \textbf{dominant adaptation module} and show that its layer index is architecture-dependent but task-stable. Motivated by this finding, we propose \textbf{DomLoRA}, a placement method that places a single adapter at the dominant adaptation module. With only \textbf{0.7\%} of vanilla LoRA's trainable parameters, DomLoRA outperforms it on average across downstream tasks, including instruction following, mathematical reasoning, coding, and multi-turn conversation. This method also matches or improves other LoRA variants and reduces training time by up to \textbf{2.74}$\times$ compared with broad placement, supporting the dominant adaptation module perspective as a practical placement guideline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모든 사용자에게 개별 LoRA가 필요한가? 개인화와 사용자별 적응의 분리
Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation
개인화된 대규모 언어 모델(LLM)은 종종 각 사용자에 대해 완전한 적응(adaptation) 상태를 필요로 합니다. 그러나 이러한 패러다임은 사용자 수가 증가함에 따라 확장성이 떨어집니다. 본 연구에서는 개인화 용량 할당(personalization capacity allocation)이라는 관점에서 이러한 설계를 재검토합니다. 즉, 사용자 간에 얼마나 많은 적응 용량을 공유할 수 있는지, 공유된 용량을 어떻게 구성해야 하는지, 그리고 얼마나 많은 부분이 사용자 전용으로 남아 있어야 하는지를 탐구합니다. 우리는 세 가지 상호보완적인 실증 분석을 통해 이에 답합니다. 독립적인 사용자 어댑터에는 상당한 수준의 사용자 간 재사용 가능한 구조가 포함되어 있고, 재사용 가능한 방향의 유용성은 사용자 관련성과 쿼리 전반의 변동성을 모두 반영하며, 사용자 이력은 컴팩트한 개별 보정을 위한 전이 가능한 신호를 제공한다는 점을 발견했습니다. 이러한 발견에 착안하여, 우리는 LINEUP을 제안합니다. 이 방법은 재사용 가능한 저랭크(low-rank) 개인화 팩터 뱅크를 학습하고, 사용자 조건부 재현율(recall) 및 쿼리 의존적 캘리브레이션을 통해 이를 구성하며, 대상 사용자 적응을 공유 보정 공간 상의 극소형 사용자 코드로 제한합니다. 이러한 설계는 표현력 있는 개인화 용량을 사용자별 학습 가능 상태와 분리합니다. 모든 공유 컴포넌트가 고정된 상태에서 각 대상 사용자는 단 8개의 스칼라만을 최적화합니다. 이에 비해 평가된 프라이빗 LoRA 구성은 사용자당 419만 개의 파라미터를 사용합니다. 우리의 이론적 분석은 유한 스텝, 유한 이력 위험 한계(risk bound)와 사용자 코드 개선이 이력 초기화(initialization)보다 향상되기 위한 충분조건을 제시합니다. 개인화 분류(classification), 예측, 생성을 아우르는 6개 태스크에서 LINEUP은 3회의 독립적인 실행을 거쳐 평균화된 12개 지표 모두에서 우위를 점했습니다(예: 가장 강력한 기준선(baseline) 대비 LaMP-3 RMSE 11.4% 감소). 또한 제한된 이력 환경에서도 우위를 유지합니다. 이러한 결과는 풍부한 개인화가 주로 재사용 가능하고 조건부로 구성된 공유 용량에 의해 지원될 수 있으며, 독립적인 사용자 적응은 아주 작은 보정 상태로만 국한되어도 충분함을 보여줍니다.
하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
인공적 에파노르토시스: 대규모 언어 모델이 고전 수사학적 기법을 과다 사용하는 이유와 완화 방법
Artificial Epanorthosis: Why large language models overuse a classical rhetorical figure, and how to mitigate it
2천 년 전 키케로와 퀀틸리아누스가 분류한 수사학적 기법이 대규모 언어 모델(LLM)의 텍스트에서 체계적으로 다시 나타난다: 에파노르토시스(epanorthosis), 즉 «This is not a course. It is a journey of transformation»와 같은 자기 수정이다. 본 에세이는 이러한 과다 사용이 학습된 성향이며, 주로 홍보적 산문이 풍부한 학습 분포와 확신에 찬 강조적 표현을 보상하는 선호 튜닝(RLHF)에 의해 주도된다고 주장한다. 생성의 좌→우 특성은 근본 원인이라기보다 증폭 요인이다. 모델이 인간의 수사학적 스타일과 벗어난다는 증거와, Fontanier의 에파노르토시스를 사고의 figure(figure of thought)로 분류한 것을 바탕으로, 장르별 인간 기준선 대비 이 기법을 Epanorthosis Index(인간 비율 대비 밀도)로 점수화하는 프로그램을 제시한다. 하나의 인스트럭션 튜닝 모델 패밀리의 세 가지 크기에 대한 첫 측정은, 문체(register) 양방향에서의 오보정(miscalibration)을 보여준다: 모델은 연설체(oratory)에서 과다(약 2배, 이탈리아어에서는 거의 3배, 더 큰 tier에 집중)하고, 비공식 Q&A 글쓰기에서는 과소하며, 논증, 저널리즘, 백과사전적 산문에서는 인간과 일치한다. 세 가지 건설적 기여가 이어진다: 경량 LoRA 어댑터를 중심으로 한 완화 기법 개관; 이탈리아어에서 한 줄 instruction이 이 기법을 절반에서 거의 3/4까지 줄이고, 지도 미세조정(supervised fine-tuning) 어댑터가 거의 완전히 제거하며, scaling coefficient가 감소를 다시 인간 비율로 맞춘다는 시연; 그리고 목표는 제거가 아니라 각 장르별 인간 비율에 대한 calibration이라는 주장. 마지막으로 그 함의를 짚는다: 진짜 위험은 우리가 기계처럼 쓰기 시작하는 것이다.
절차적 지식은 저랭크가 아니다: LoRA가 다단계 절차를 내재화하지 못하는 이유
Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
LoRA와 같은 매개변수 효율적 미세조정 방법은 대규모 언어 모델(LLM)을 적응시키는 기본 방식이 되었으며, 인스트럭션 따르기(instruction following), 스타일 전환(style transfer), 사실적 적응(factual adaptation)에서 성공을 거두었다. 우리는 절차적 지식—조건부 분기를 거쳐 종료 상태까지 다단계 절차를 따르는 능력—에 대해 LoRA가 효율성 이점을 유지하는 rank에서 전체 미세조정(full fine-tuning)에 미치지 못함을 보인다. 절차적 여행 예약 작업(14 nodes)에 대한 체계적 ablation(r = 16--128)에서 모든 LoRA 구성이 균일하게 실패했으며(작업 성공률 <= 2.54 vs. 전체 미세조정 4.11, 모두 p < 0.001), 대화 완료율 95--99%를 유지함에도 불구하고 rank가 높을수록 점수가 감소했다. 8B에서 Zoom 지원(14 nodes) 및 보험 청구(55 nodes)에 대한 교차 도메인 재현은 이 실패가 일반화됨을 확인한다: LoRA는 r = 32와 r = 128 모두에서 평균 0.8--2.2점만큼 전체 미세조정보다 저조한 성능을 보였으며, 가장 복잡한 절차에서 격차가 가장 컸다. rank를 32에서 128로 4배 늘리는 것은 미미한 개선을 제공하지만 격차를 메우지는 못한다. 전체 미세조정이 만든 가중치 변화에 대한 SVD 분석이 그 이유를 설명한다: 3B와 8B 모두에서 세 도메인에 걸쳐 업데이트의 평균 유효 rank는 761에서 1,026까지 범위이며, rank 128은 squared Frobenius norm의 43--51%만 포착한다. 종합하면, 이러한 발견은 절차적 작업에서 LoRA가 전체 미세조정에 크게 미치지 못한다는 것—에이전트(agentic) 응용에 대한 근본적 한계—을 확립한다.
CT-Merging: LoRA 어댑터 병합을 위한 합의 방향과 태스크 수준 스케일링
CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging
LoRA 어댑터는 사전학습된 모델을 다양한 다운스트림 태스크에 특화시키는 효율적인 방법을 제공하지만, 태스크마다 하나의 어댑터를 배포하려면 어댑터 저장 공간과 추론 시 태스크 선택이 필요하다. 모델 병합은 독립적으로 학습된 어댑터들을 하나의 멀티태스크 어댑터로 결합함으로써 이 문제를 해결한다. 최근 SVD 기반 LoRA 병합 방법들은 주로 공유 또는 태스크별 방향을 구성하는 데 초점을 맞추지만, 최종 방향에 할당되는 계수는 종종 원본 태스크 SVD에서 직접 가져온다. 고정된 병합 기저 위에서, 상속된 계수는 높은 rank 상관을 유지하며 성분 순서를 보존하지만, 그 크기는 태스크 업데이트로 유도된 계수와 실질적으로 다르다. 이 불일치를 해결하기 위해, 우리는 평균 태스크 부분공간 투영자로부터 합의 방향을 추정하고 최종 업데이트에 태스크 수준 RMS 계수 스케일을 할당하는 LoRA 인식 병합 알고리즘인 CT-Merging을 제안한다. CT-Merging은 태스크 SVD 부분공간 전반에 걸친 반복적 지지를 사용하여 공통 기저를 구성하고, 방향 구성 이후 rank별 SVD 크기에 대한 의존을 줄인다. DC-Merge CLIP 어댑터 벤치마크에서 CT-Merging은 최신 병합 방법들 대비 우수한 평균 정규화 정확도를 달성하며, ViT-B/32에서는 2.56점, ViT-L/14 KnoTS 학습 체크포인트에서는 1.51점 DC-Merge 대비 추가로 향상된다.
IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현
NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task
우리는 NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 공유 태스크(제한 조건, 단음원 트랙)에 맞게 재구현하며, 지정된 구성 요소인 음성 인코더로서의 SeamlessM4T-v2-large와 대규모 언어 모델(LLM) 백본으로서의 Qwen3-4B-Instruct에 적응시킨다. 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합으로 이루어진 3단계 접근 방식은 원래 설계에서 그대로 유지된다. 또한 제공된 말뭉치로부터 열 가지 음성 중심 태스크 유형(태스크당 1만 개)에 걸쳐 총 10만 개의 합성 인스트럭션 팔로잉 예시를 구축하며, 이는 추가적인 3단계 미세조정에 적합하다. 우리의 주요 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역에 대해 COMET 0.781을, 영어 SQA에 대해 BERTScore-F1 0.346을 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.