PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06183v2cs.AI

어댑터 배치의 재고: 지배적 적응 모듈 관점

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective

로우랭크 적응(LoRA)은 고정된 사전학습 모델에 학습 가능한 로우랭크 어댑터를 배치하는 널리 쓰이는 매개변수 효율적 미세조정(PEFT) 방법입니다. 최근 연구들에 따르면 더 적은 수의 LoRA 어댑터를 사용하더라도 성능을 유지하거나 오히려 향상시킬 수 있음이 나타났으나, 기존 방법들은 여전히 어댑터를 광범위하게 분산시키고 있어 '성능을 극대화하기 위해 제한된 수의 어댑터를 어디에 배치해야 하는가'라는 문제를 여전히 미해결 상태로 남겨두고 있습니다. 이를 탐구하기 위해, 본 논문에서는 각 후보 LoRA 어댑터에 주어지는 초기 학습 가능 그래디언트 에너지를 추정하는 그래디언트 기반 민감도 프로브인 PAGE(Projected Adapter Gradient Energy)를 도입합니다. 놀랍게도 두 모델 패밀리와 네 가지 다운스트림 태스크 전반에서 PAGE가 단 하나의 얕은 FFN 다운 프로젝션에 고도로 집중되어 있음을 발견했습니다. 본 연구는 이 모듈을 지배적 적응 모듈(dominant adaptation module)이라 명명하고, 해당 층의 인덱스가 아키텍처에 따라 달라지지만 태스크에는 안정적임을 보입니다. 이러한 발견에 착안하여, 지배적 적응 모듈에 단 하나의 어댑터만 배치하는 배치 방법인 DomLoRA를 제안합니다. 바닐라 LoRA의 학습 가능한 매개변수의 0.7%만을 사용함에도 불구하고, DomLoRA는 지시 따르기(instruction following), 수학적 추론, 코딩, 다중 턴 대화를 포함한 다운스트림 태스크 전반에서 평균적으로 바닐라 LoRA를 능가합니다. 또한 이 방법은 다른 LoRA 변형들과 동등하거나 더 나은 성능을 달성하며 광범위한 배치 대비 학습 시간을 최대 2.74배 단축함으로써, 지배적 적응 모듈 관점이 실용적인 어댑터 배치 지침이 될 수 있음을 뒷받침합니다.