PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23655v1cs.CV

물리적 도메인 전반에서 BLIP 미세조정의 전역 그래디언트 노름 불균형 재평가

Reassessing Global Gradient-Norm Imbalance in BLIP Fine-Tuning Across Physical Domains

비전-언어(vision-language) 모델의 시각 경로와 언어 경로 간 그래디언트 크기 불균형은 흔히 교정해야 할 결함으로 취급된다. 우리는 이러한 전제를 하나의 교정 계열에 대해 검증하며, 이 연구 범위 밖의 기전적으로 별개인 부류인 적응형·신호 기반 기법(예: BalGrad, OGM, PMR, CGGM)은 의도적으로 제외한다. 서로 다른 물리적 도메인 변화—수중, 항공, 방사선—를 아우르는 아홉 가지 미세조정 조건, 세 개의 시드, 세 개의 캡셔닝 데이터셋에 걸쳐 매개변수 정규화 형태로 보고되는 언어 대 시각 그래디언트 노름 비율을 측정한 결과, 불균형의 크기는 도메인 간에 뚜렷하게 달라지며 예측 가능한 순서를 보이지 않음을 발견했다. 단순한 학습률 감소만으로도 불균형이 크게 줄어들며, 모든 데이터셋에서 최상의 방법과 BLEU 몇 점 이내의 차이를 보인다. 단계적 동결(staged freezing)은 모든 도메인에서 비율을 낮추지만 결코 1위를 차지하지 못하며, 스케줄만 적용한 대조군은 한 데이터셋에서는 동결이 원인임을 밝혀내지만 나머지 두 데이터셋에서는 그렇지 않다. 두 그래디언트 그룹의 크기를 강제로 동일하게 맞추면 모든 도메인에서 매개변수당 불균형이 거의 0에 가까워지지만, 동일한 설정임에도 서로 다른 데이터셋에서 이는 이 연구의 최상의 결과이자 동시에 전체 미세조정 방법들 중 최하위라는 상반된 결과를 보인다. 그래디언트 노름 비율의 감소는 도메인 전반에 걸쳐 캡셔닝 성능을 일관되게 예측하지 못하며, 주어진 수준의 균형에 어떻게 도달했는지가 그 수준 자체만큼이나 중요하다. 부차적인 발견으로, BLIP에 흔히 재사용되는 LoRA 구성이 시각 매개변수를 전혀 적응시키지 않는다는 것을 발견했으며, 이를 수정하면 세 데이터셋 모두에서 BLEU-4가 향상된다.