arXiv:2610.11620v1 cs.AI

적응 위치의 중요성: 성능 유지를 위한 층 선택적 미세조정

Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention

Zhiqiang Pang, Zihong Sun, Qi Xie, Jun Shu, Deyu Meng, Zongben Xu

제출 2026-10-08

한국어 초록

매개변수 효율적 미세조정(PEFT)은 대규모 언어 모델(LLM)이 특화된 작업에 적응할 수 있도록 지원하지만, 사전학습 과정에서 획득한 일반적인 능력을 저하시키는 대가를 치르는 경우가 많습니다. 기존 접근법은 주로 데이터 재생(data replay)이나 정규화를 통해 이러한 트레이드오프를 완화하며, 추가 데이터나 명시적인 최적화 제약 조건에 의존합니다. 본 연구에서는 이 대신 '어느 위치에 적응을 적용해야 하는가?'라는 다른 질문에 집중합니다. 우리는 서로 다른 트랜스포머 층을 미세조정할 때 목표 작업에서의 성능 향상과 능력 저하의 정도가 서로 다르게 나타남을 발견했으며, 이는 모든 층이 적응에 동일하게 적합한 것은 아님을 시사합니다. 이러한 차이를 규명하기 위해 층별 경험적 피셔 정보(empirical Fisher information)를 사용하여 목표 작업 민감도를 측정합니다. 그러나 피셔 점수를 계산하려면 역전파 연산이 필요하며 대형 모델일수록 계산 비용이 급증합니다. 따라서 우리는 층별 민감도 순위를 매기기 위한 경량의 순전파 전용 대용 지표로 입출력 코사인 유사도(input--output cosine similarity)를 도입합니다. 다양한 모델과 작업 전반에 걸쳐 입출력 유사도가 낮은 층일수록 일관되게 더 높은 경험적 피셔 점수를 나타냈습니다. 이러한 관찰을 바탕으로, 우리는 입출력 유사도가 낮은 층에만 학습 가능한 LoRA 어댑터를 배치하는 층 선택적 LoRA(Layer-Selective LoRA, LS-LoRA)를 제안합니다. 수학적 추론 및 코드 생성 실험 결과, LS-LoRA는 표준적인 모든 층 LoRA(all-layer LoRA) 대비 평균 목표 작업 성능을 향상시키는 동시에 상식 추론 능력을 훨씬 더 많이 유지함을 보여주었으며, 이는 적응할 위치를 신중하게 선택하는 것이 목표 작업 적응과 일반 능력 유지 간의 균형을 맞추는 단순하고도 효과적인 방법을 제공할 수 있음을 입증합니다.

원문 초록

Parameter-efficient fine-tuning (PEFT) enables large language models (LLMs) to adapt to specialized tasks, but often at the cost of degrading general capabilities acquired during pretraining. Existing approaches primarily mitigate this trade-off through data replay or regularization, relying on additional data or explicit optimization constraints. We instead focus on a different question: where should adaptation be applied? We find that fine-tuning different Transformer layers produces different target-task gains and degrees of capability degradation, suggesting that not all layers are equally suitable for adaptation. To characterize this difference, we use layer-wise empirical Fisher information to measure target-task sensitivity. However, computing Fisher scores requires backward computation and becomes increasingly expensive for large models. We therefore introduce input--output cosine similarity as a lightweight, forward-only proxy for ranking layer sensitivity. Across models and tasks, layers with lower input--output similarity consistently exhibit higher empirical Fisher scores. Building on this observation, we propose Layer-Selective LoRA (LS-LoRA), which places trainable LoRA adapters only in layers with low input--output similarity. Experiments on mathematical reasoning and code generation show that LS-LoRA improves average target-task performance while retaining substantially more commonsense reasoning capability than standard all-layer LoRA, demonstrating that carefully choosing where to adapt can provide a simple and effective way to balance target-task adaptation and general capability retention.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11620v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.