PyTorchKR Papers

업데이트된 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26629v2cs.LG

From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models

Weight-protecting regularizers such as elastic weight consolidation (EWC) are a standard defense against catastrophic forgetting; however, in the sequential fine-tuning of large language models, they exhibit a stability-plasticity tradeoff that penalty tuning cannot resolve. We attribute this limitation in part to polysemanticity: because each weight participates in many unrelated concepts, a per-weight importance score has difficulty isolating the knowledge that requires protection. We instead regularize in activation space, using a pretrained sparse autoencoder (SAE) as a fixed dictionary of approximately monosemantic features. We formulate continual learning as constrained optimization over feature drift, with a stability constraint on the features to be preserved and a plasticity constraint on the features used by the current task, and we show that the resulting squared-hinge loss is a regularized Lagrangian relaxation of this problem, with EWC as a special case. A replay variant measures drift on 200 stored sequences per previous task, whereas a data-free variant stores only a 197 KB feature mask per task, versus 6.5 GB for EWC. On TRACE (Gemma-2 9B, Llama-3.1 8B) and MedCL (Gemma-2 9B), the replay variant matches or exceeds SAE-based feature distillation at approximately one third of its per-step cost, and the data-free variant attains the highest mean overall performance among methods that store no previous-task data and add no task-specific parameters. Task-relevant units are linearly separable in the SAE basis but not in the neuron basis (ROC-AUC of 0.87-0.88 versus 0.50), and weight-space protection constrains the features of other tasks nearly as strongly as those of the protected task.

arXiv:2606.06857v3cs.CL

언어 모델의 희소 특징을 이용한 언어에 대한 뇌 반응 해석

Interpreting Brain Responses to Language with Sparse Features from Language Models

A central goal of cognitive neuroscience is to characterize the features that are represented by human language cortex. Artificial language models (LMs) have emerged as a powerful tool to address this challenge, but studies relating biological and artificial representations are often criticized as relating one black box to another. The present work introduces Augmented Sparse Encoding Models, an encoding framework that replaces dense LM hidden states with hierarchically-organized sparse autoencoder (SAE) features, while explicitly including surprisal as a predictor. Using this approach, we (i) produce interpretations of neural responses and (ii) test whether model-brain alignment reflects primary or idiosyncratic variation in LM representations. Using a high-field 7T fMRI dataset of eight participants listening to 200 linguistically diverse sentences, we first validate our modeling framework by recovering previous interpretations of voxel populations tuned to processing difficulty and meaning abstractness. We then interpret a previously-uncharacterized (but reliable) voxel population and find that it is tuned to people-related content. Next, we show that the fronto-temporal human language network is predicted by a common set of features across its constituent regions, but find that frontal regions are relatively well-explained by surprisal alone, even in the absence of LM-based features. Finally, we show that brain responses are best explained by the features that tend to capture the most general information encoded in LM representations, suggesting a nontrivial correspondence between brain and LM language representation.

arXiv:2610.03498v2cs.RO

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2607.21620v2cs.AI

프로필에서 스티어링 벡터로: 개인화 텍스트 생성을 위한 전역 희소 사전과 지역적 의미 보정

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

개인화 텍스트 생성은 모델이 과거 데이터로부터 사용자 고유의 문체를 포착해야 한다. 검색, 매개변수 효율적 미세조정, 또는 활성화 스티어링(activation steering)에 기반한 기존 접근법은 추론 및 저장 오버헤드를 유발하거나, 문체적 신호와 의미적 내용을 분리하는 데 어려움을 겪는다. 우리는 희소 사전(sparse priors)을 활용한 전역-지역 활성화 스티어링(Global-Local Activation Steering)을 통해 개인화 생성을 수행하는 학습 없는(training-free) 프레임워크인 GLASS를 제안한다. GLASS는 희소 오토인코더(sparse autoencoders)를 사용하여 과거 응답으로부터 전역 사용자 문체 사전을 추출하고, 클러스터링된 상호작용 시나리오에 대해 지역적 대조적 문체 벡터를 구성한다. 추론 시, 전역 및 지역 벡터를 서로 다른 모델 레이어에 공동으로 주입하여, 검색이나 매개변수 업데이트 없이 문맥 인식 개인화를 가능하게 한다. LaMP 및 LongLaMP에서의 실험은 GLASS가 ROUGE 지표와 LLM-as-judge 평가 전반에 걸쳐 검색-, 미세조정-, 스티어링 기반 베이스라인을 능가함을 보여준다. 추가 분석은 SAE 기반 표현이 주제 및 길이 변화에 더 강건하여, 문체 정보와 의미적 잔여(semantic residue)의 더 나은 분리를 시사함을 보여준다.