PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10550v1cs.CL

Diffu-LoRA: 개인화된 확산 모델을 위한 새로운 저순위 적응 기법

Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models

소수의 참조 이미지로부터 텍스트-투-이미지(text-to-image) 확산 모델(diffusion model)을 개인화하려면 새로운 문맥을 설명하는 프롬프트를 따르면서도 피사체의 정체성을 보존해야 합니다. 전체 모델 미세조정(full-model fine-tuning)은 매개변수 소모가 큰 반면, 저순위 적응(LoRA, Low-Rank Adaptation)은 학습 가능한 매개변수 수를 줄이지만 레이어 전반에 적응 용량을 어떻게 분배해야 하는지에 대한 문제는 미해결 상태로 남겨둡니다. 본 논문에서는 게이트 기반 저순위 적응을 통해 이러한 할당을 학습하는 매개변수 효율적 방법인 Diffu-LoRA를 소개합니다. Diffu-LoRA는 트랜스포머 블록의 선형 레이어에 학습 가능한 저순위 구성 요소를 삽입하고 각 구성 요소에 학습 가능한 게이트를 할당합니다. 이단계 최적화(bilevel optimization)는 별도의 데이터 분할에서 적응 가중치와 게이트 매개변수를 업데이트하며, 점진적 가지치기는 정해진 랭크 예산을 충족하기 위해 게이트 값이 가장 낮은 구성 요소를 제거합니다. 이 절차는 사전학습된 백본을 동결 상태로 유지하면서 레이어 전반에 적응 용량을 비균일하게 할당합니다. DreamBooth의 피사체 및 추가 수집된 데이터셋을 바탕으로 Stable Diffusion을 사용해 진행한 실험은 평가된 미세조정 베이스라인 대비 전반적인 피사체 충실도 및 프롬프트 정렬이 개선되었음을 보여줍니다. 절제 연구(ablation study)에서는 이단계 최적화, 점진적 가지치기, 어댑터 배치의 기여도를 검토합니다. 이러한 결과는 학습된 랭크 할당이 매개변수 효율적인 확산 모델 개인화를 위한 실용적인 접근법임을 뒷받침합니다.