PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10859v1cs.CV

소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화

Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models

텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.

arXiv:2610.10655v1cs.LG

Nullify: 학습이 필요 없는 LLM 언러닝을 위한 영공간 활성화 스티어링

Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

대규모 언어 모델(LLM)은 사전학습 과정에서 상당한 양의 민감하거나 사적인 정보를 불가피하게 내재화하는 반면, LLM 언러닝(unlearning)은 모델 효용의 손실을 최소화하면서 개인정보 유출을 방지하기 위해 특정 지식을 선택적으로 삭제하는 것을 목표로 합니다. 그러나 기존 방법들은 망각 품질과 모델 효용 사이의 균형을 유지하는 데 어려움을 겪으며, 일반적으로 매개변수 미세조정으로 인해 상당한 계산 비용이 발생합니다. 이를 해결하기 위해 본 논문에서는 학습이 필요 없고 비파괴적인 LLM 언러닝용 활성화 스티어링(activation steering) 기법인 Nullify를 제안합니다. Nullify는 추론 중에 스티어링 벡터를 사용하여 프라이버시 관련 활성화를 기억된 답변으로부터 다른 방향으로 유도하는 동시에, 모델 효용을 유지하기 위해 유지 대상 쿼리(retained-query)의 활성화에는 실질적으로 영향을 주지 않는 영공간(null-space) 제약 조건을 만족합니다. TOFU 및 MUSE에 대한 평가 결과, Nullify는 망각 품질에서 기존 베이스라인과 대등하거나 이를 능가하는 동시에 모델 효용을 거의 손실 없이 보존하는 것으로 나타났습니다. Nullify는 가중치 업데이트를 전적으로 배제함으로써 효율적인 플러그 앤 플레이(plug-and-play) 추론 시점 개입 프레임워크로 기능합니다.

arXiv:2512.04144v3cs.AI

RippleBench: 기존 지식 저장소를 활용한 파급 효과 포착

RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories

언어 모델에 대한 타겟팅된 개입(intervention), 예를 들어 언러닝(unlearning)이나 모델 편집(model editing)은 특정 정보를 수정하는 것을 목표로 하지만, 그 효과는 종종 관련된 의도치 않은 영역으로 전파됩니다(예: 바이러스학 내용을 제거하면 알레르기 관련 성능이 저하될 수 있음). 이러한 부작용은 흔히 파급 효과(ripple effect)라고 불립니다. 본 논문에서는 지식 저장소에서 임의의 소스 개념에 대한 의미적 이웃(semantic neighbors)을 검색하고 다양한 의미적 거리에서 객관식 질문을 생성하는 자동 파이프라인인 RippleBench-Maker를 소개합니다. 영어 위키피디아 기반의 오픈소스 RAG 시스템인 WikiRAG를 사용하여 이 프레임워크를 구현함으로써 RippleBench-WMDP-Bio(584개 시드 토픽, 352,961개 질문)를 구축하고, Llama3-8B-Instruct에서 8가지 언러닝(unlearning) 방법을 평가했습니다. 8가지 방법 모두 언러닝된 타겟 근처에서 가장 크고 의미적 거리가 멀어질수록 감소하는 정확도 하락을 보였으며, 각각 독특한 전파 프로파일을 나타냈습니다. Mistral-7B, Zephyr-7B, Yi-34B에서도 이러한 발견을 재현했으며, 모델 간 델타 곡선이 거의 동일하여 파급 효과가 기본 모델의 특성이라기보다는 언러닝(unlearning) 방법의 특성임을 시사합니다. 4가지 실험으로 구성된 Mechanical Turk 연구(5,200개 이상의 응답, 61명의 작업자)를 통해 모든 주요 파이프라인 단계를 검증했습니다. 모든 코드, 데이터, 인프라를 공개합니다.

arXiv:2606.26036v1cs.CL

Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning

추상적 텍스트 요약 LLM의 파인튜닝 단계 데이터 포이즈닝을 막기 위해, 독성 학습 데이터는 영향 함수(influence function) 분석과 의미 일관성 검사로 찾아 그래디언트 상승(gradient-ascent) 언러닝(unlearning)으로 제거하고, 독성 모델은 의미 보존 입력 교란에 대한 과민성(SAP)으로 학습 데이터 없이 감사하는 통합 사후 방어 프레임워크를 제시한다. 9개 아키텍처와 6개 벤치마크에서 적응형 공격에도 탐지 정밀도 85–92%를 달성하며, ROUGE 저하 0.6% 미만으로 원래 요약 행동의 최대 96%를 복원한다.

arXiv:2606.24063v1cs.CL

Selective Capability Unlearning in End-to-End Spoken Language Understanding

회귀형 end-to-end 음성 언어 이해(SLU)에서 특정 intent만 억제하면 intent prefix가 주어질 때 slot 생성 조건부 매핑이 남는 capability persistence 문제를 지적하고, Binding Subspace Unlearning(BSU)로 intent-slot 결합 표현 방향을 격리·약화하는 표현 수준 언러닝을 제안한다. SLU 벤치마크에서 BSU는 강제 prefix 복원 가능성을 크게 줄이면서(BRR@10 약 60%, 의미 유사도 약 56% 감소) 유지 intent 성능은 보존한다.

arXiv:2606.19222v1cs.LG

RLVR 유도 추론을 위한 메커니즘 기반 선택적 언러닝

Mechanism-Guided Selective Unlearning for RLVR-Induced Reasoning

우리는 표준 전체 매개변수 업데이트보다 부수적 손상이 훨씬 낮은 RLVR 유도 추론 언러닝을 위한 메커니즘 기반 방법인 MAST(Mechanism-Aligned Selective Targeting)를 제안합니다. Qwen2.5-Math-1.5B 및 Qwen3-1.7B-Base의 매칭된 SFT/RLVR 체크포인트에서, SFT에서 RLVR로의 증분은 토큰 수준 델타 로그 확률 측면에서 SFT 업데이트와 크게 다르며, 전체 매개변수 그래디언트 상승은 유지해야 할 MATH 및 GSM8K를 손상시켜서만 망각합니다. MAST는 어텐션 프로젝션 텐서를 비주요 에너지(off-principal energy), 업데이트 크기, 망각 그래디언트 결합 크기에 따라 순위를 매긴 후, 상위 순위의 부분 집합만 업데이트합니다. 주요 모델에서 MAST는 GSM8K(+0.8pp)와 MATH 유지(-0.5pp)를 보존하면서 통계적으로 유의미한 타겟 망각(MATH forget 45/150 to 37/150; McNemar p=0.0078)을 유도합니다. 이 이점은 시드, NPO/SimNPO 목적 함수, Qwen3 전반에 걸쳐 재현되며, 여기서 MAST는 GSM8K를 보존하는 반면 전체 매개변수 언러닝은 이를 붕괴시킵니다.

arXiv:2606.12841v1cs.LG

TimeROME-DLM: 마스크드 디퓨전 언어 모델을 위한 시간적 인과 추적 및 저순위 추론 시점 지식 편집

TimeROME-DLM: Temporal Causal Tracing and Low-Rank Inference-Time Knowledge Editing for Masked Diffusion Language Models

마스크드 디퓨전 언어 모델(MDLM)을 위해 학습이나 그라디언트 없이 추론 시점에 지식 편집이 가능한 TimeROME-DLM 프레임워크를 제안한다. 시간적 간접 효과(TIE) 인과 추적과 저순위 잔차 편집 메모리를 결합하여 추가 VRAM 없이도 기존 방식 대비 빠른 속도와 우수한 편집 성능을 달성했다.