PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01723v1cs.CV

확산 모델의 암기 완화에 대한 재고: 텍스트 조건화 강화

Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning

텍스트-이미지 확산 모델(diffusion model)은 이미지 합성에서 괄목할 만한 발전을 이루었으나, 개별 학습(training) 예제를 거의 그대로 재현하는 암기(memorization) 현상을 보일 수 있습니다. 효과적인 암기 완화는 대안적인 묘사를 유도하기 위해 유용한 프롬프트(prompt) 정보를 보존해야 합니다. 본 연구에서는 추가적인 노이즈 제거기(denoiser) 평가 없이, 가우시안 평활화(Gaussian smoothing)를 통해 교차 어텐션(cross-attention)을 재분배한 후 콘텐츠 토큰(token)의 기여도를 강화하고 패딩의 기여도를 감쇄하는 학습 불필요(training-free) 방식을 제안합니다. 이러한 개입을 통해 더 강력한 콘텐츠 조건화는 유사한 수준의 학습 이미지 유사도에서도 프롬프트 정렬(alignment)을 향상할 수 있습니다. 국소 분석(local analysis)을 통해 재분배가 국소화된 어텐션 질량을 줄이는 동시에 강화가 공유된 값(value) 정보를 보존하는 조건을 규명합니다. Stable Diffusion v1.4 및 v2.0에서 평가된 모든 평활화 너비는 학습 이미지 유사도 대비 프롬프트 정렬 및 이미지 선호도 모두에 대한 실증적 파레토 최적(Pareto frontier) 선상에 위치합니다. Stable Diffusion에서 선택된 구성은 추가적인 튜닝 없이도 DeepFloyd IF의 템플릿 재현을 감소시킵니다. 이러한 결과는 프롬프트와 일관된 대안적 생성을 위해 조건화 할당과 강도를 함께 제어해야 함을 뒷받침합니다.

arXiv:2606.18767v1cs.CL

대규모 언어 모델에서의 암기 완화를 위한 출력 벡터 편집

Output Vector Editing for Memorization Mitigation in Large Language Models

LLM의 학습 데이터 암기를 줄이기 위해, 활성화를 0으로 만드는 대신 암기된 연속을 담당하는 MLP 뉴런의 출력 벡터(output vector)를 최소 수정해 어휘 공간에 방해 요소를 넣고 잔차 스트림 기여를 재지향하는 출력 벡터 편집을 제안한다. OLMo-7B 등 360M~7B 네 모델에서 6831개 암기 시퀀스를 대상으로 최대 87.9% 억제를 달성했고, 권장 단일 모드는 81.5%이며 MLP만으로는 약 14%가 남아 어텐션 헤드 소거가 보완적 대안이 된다.