PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.21175v2cs.AI

제로샷 비전-언어 모델을 위한 영공간 적응 기반 메모리-프리 지속 학습

Memory-Free Continual Learning with Null Space Adaptation for Zero-Shot Vision-Language Models

CLIP과 같은 사전학습(pre-training) 비전-언어 모델(VLM)은 뛰어난 제로샷 일반화 성능을 보여, 추가적인 과제별 학습 없이도 다양한 실세계 과제에 배포할 수 있다. 그러나 환경이 변하거나 새 클래스가 등장하는 실제 배포 시나리오에서는 모델이 필연적으로 분포 이동과 새로운 과제에 직면한다. 이러한 맥락에서는 정적인 제로샷 능력만으로는 부족하며, 치명적 망각(catastrophic forgetting)을 피하면서 시간에 따라 모델이 적응할 수 있는 지속 학습(continual learning) 방법에 대한 수요가 커지고 있다. 본 논문은 이 문제를 해결하기 위해 설계된 경량의 메모리-프리 지속 학습 프레임워크인 NuSA-CL(Null Space Adaptation for Continual Learning, 지속 학습을 위한 영공간 적응)을 제안한다. NuSA-CL은 저랭크 적응(low-rank adaptation)을 사용하고, 과제별 가중치 업데이트가 모델의 현재 파라미터에 대한 근사 영공간(null space) 안에 놓이도록 제약한다. 이 전략은 이전에 습득한 지식과의 간섭을 최소화하여 원본 모델의 제로샷 능력을 효과적으로 보존한다. 리플레이 버퍼(replay buffer)나 비용이 큰 지식 증류(distillation)에 의존하는 방법과 달리, NuSA-CL은 계산 및 메모리 부담을 최소화하여 자원이 제한된 실세계 지속 학습 환경에서의 배포에 실용적이다. 실험 결과, 본 프레임워크는 제로샷 전이(transfer) 능력을 효과적으로 보존할 뿐만 아니라 지속 학습 벤치마크에서 매우 경쟁력 있는 성능을 달성한다. 이러한 결과는 NuSA-CL을 실세계 응용에서 지속적으로 진화하는 제로샷 VLM을 위한 실용적이고 확장 가능한 해결책으로 자리매김한다.