arXiv:2606.12841v1 cs.LG

TimeROME-DLM: 마스크드 디퓨전 언어 모델을 위한 시간적 인과 추적 및 저순위 추론 시점 지식 편집

TimeROME-DLM: Temporal Causal Tracing and Low-Rank Inference-Time Knowledge Editing for Masked Diffusion Language Models

Zhengtao Yao, Liuyang Song, Hongbo Zhang, Chenhao Wei, Haoyan Xu, Guang Yang, Siheng Wang

제출 2026-06-11

한국어 초록

LLaDA와 같은 마스크드 디퓨전 언어 모델(MDLM)은 이제 자기회귀(AR) LLM과 견줄 만한 성능을 보이지만, 기존의 모든 지식 편집 및 언러닝(unlearning) 방법(ROME, MEMIT 등)은 AR 트랜스포머를 대상으로 하며, 반복적 디노이징(denoising) 하에서 성립하지 않는 가정을 두거나, 역전파(backward-pass) 활성화로 인해 수십 GB의 추가 VRAM이 필요한 그래디언트 업데이트를 요구하고 표준 학습률에서 MDLM이 붕괴되기도 한다. 본 논문은 MDLM을 위한 최초의 학습 없는(training-free), 그래디언트 없는(gradient-free) 추론 시점 지식 편집 프레임워크인 TimeROME-DLM을 제안한다. 이 방법은 두 구성요소를 결합한다. 하나는 각 사실(fact)에 대해 이후 디노이징 단계에서 객체(object) 예측을 가장 강하게 유도하는 개입 좌표를 식별하는 시간적 간접 효과(TIE) 인과 추적 프로토콜이다. 다른 하나는 모든 망각(forget) 사실에 걸친 주어(subject) 키와 목표 델타를 집계하고, 매 디퓨전 순전파(forward)마다 해당 좌표에 단일 릿지(ridge) 정규화 업데이트를 적용하며, 유틸리티 spillover를 제한하기 위해 희소화(sparsification)를 수행하는 폐형식(closed-form) 저순위 잔차 편집 메모리다. 백본(backbone) 가중치는 고정된 채 유지되며, 소규모 검증 분할(validation split)에서 세 개의 하이퍼파라미터(alpha, lambda, q)만 조정한다. TOFU 파인튜닝(fine-tuning)된 LLaDA-8B-Base에서 TOFU forget01에 대해 TimeROME-DLM은 망각 집합(forget-set) 로그 확률(log-probability)을 약 83 nats만큼 감소시킨다. 동일 설정은 LLaDA-8B-Instruct, Dream-7B, MMaDA-8B, DiffuLLaMA-7B, LLaDA-MoE-1.4B로 전이된다. 50개의 순차 삽입 사실에 걸쳐 유지(retain) 집합 로그 확률을 거의 변화 없이(유틸리티 안전 운영 지점에서 ~1 nat 이내) 유지하고, 가장 강력하게 수렴한 학습 시점 베이스라인 대비 추가 VRAM 없이 4~14배의 wall-clock 속도 향상을 제공하며, 400개 사실까지 아선형(sub-linear)으로 확장된다. TimeROME-DLM은 훨씬 적은 계산 비용으로 AR LLM과 MDLM 간의 위치 식별 후 편집(locate-then-edit) 격차를 메운다.

원문 초록

Masked diffusion language models (MDLMs) such as LLaDA now rival autoregressive (AR) LLMs, but every existing knowledge-editing and unlearning method (ROME, MEMIT, etc.) targets AR transformers and either makes assumptions that fail under iterative denoising, or requires gradient updates whose backward-pass activations cost tens of GB of extra VRAM and which collapse MDLMs at standard learning rates. We introduce TimeROME-DLM, the first training-free, gradient-free, inference-time knowledge-editing framework for MDLMs. It couples two components: a Temporal Indirect Effect (TIE) causal-tracing protocol that identifies, for each fact, the coordinate whose intervention most strongly drives the object prediction at later denoising steps; and a closed-form, low-rank residual edit memory that aggregates subject keys and target deltas across all forget facts and applies a single ridge-regularised update at that coordinate at every diffusion forward, with sparsification to limit utility spillover. Backbone weights stay frozen; only three hyperparameters (alpha, lambda, q) are tuned on a small validation split. On TOFU forget01 with TOFU-finetuned LLaDA-8B-Base, TimeROME-DLM cuts forget-set log-probability by roughly 83 nats. The same configuration transfers to LLaDA-8B-Instruct, Dream-7B, MMaDA-8B, DiffuLLaMA-7B, and LLaDA-MoE-1.4B. It keeps retain-set log-probability nearly flat (within ~1 nat at the utility-safe operating point) across 50 sequentially inserted facts, delivers a four- to fourteen-fold wall-clock speedup with zero additional VRAM over the strongest converged training-time baseline, and scales sub-linearly to 400 facts. TimeROME-DLM closes the locate-then-edit gap between AR LLMs and MDLMs at a fraction of the computational cost.

요약

마스크드 디퓨전 언어 모델(MDLM)을 위해 학습이나 그라디언트 없이 추론 시점에 지식 편집이 가능한 TimeROME-DLM 프레임워크를 제안한다. 시간적 간접 효과(TIE) 인과 추적과 저순위 잔차 편집 메모리를 결합하여 추가 VRAM 없이도 기존 방식 대비 빠른 속도와 우수한 편집 성능을 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12841v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13835v1cs.LG공통 태그 Language Modeling, knowledge editing

전문가가 더 빠르게 학습한다: 사전학습에서의 지식 구조화가 지식 업데이트 효율성을 결정한다

Specialists Learn Faster: Knowledge Organization in Pre-training Shapes Knowledge Update Efficiency

이상적인 (언어) 모델은 지식을 지속적으로 업데이트해야 한다. 기존 연구는 주로 학습 이후에 이러한 업데이트를 효율적으로 만드는 데 초점을 맞춰왔다. 본 연구에서는 사전학습 동안 시간에 따라 변화하는 지식의 구조화(organization)가 이후 업데이트의 효율성에 어떤 영향을 미치는지 조사한다. 시간순으로 정렬된 지식으로 학습된 모델은 가장 최근에 접한 지식에 특화되는데, 이러한 모델을 전문가(specialist) 모델이라 부른다. 반면, 동일한 지식을 무작위로 섞은 순서로 학습한 모델은 포함된 모든 시간대에 걸쳐 고르게 우수한 성능을 보이는데, 이러한 모델을 범용(generalist) 모델이라 부른다. 놀랍게도, 전문가 모델은 새로운 지식을 획득하는 데 범용 모델보다 훨씬 적은 업데이트 스텝을 필요로 한다. 이러한 이점을 설명하기 위해, 우리는 업데이트 비용을 모델의 최적화 동역학(optimization dynamics)과 연관시키는 법칙을 제1원리로부터 유도하였으며, 이는 실험 결과를 정확하게 예측한다. 이러한 발견을 바탕으로, 안정적인 과거 지식을 보존하면서도 현재 지식에 대한 효율적인 업데이트를 가능하게 하는 사전학습 데이터 구조화 전략을 설계한다. 또한 시간적 지식 구조화의 이점이 실제 사전학습된 모델과 기존의 지식 업데이트 도구에도 확장되며, 다른 지식 순서화 방식에도 일반화됨을 보인다. 프로젝트 페이지: https://horizon-lab.org/specialist/

arXiv:2607.22720v2cs.LG공통 태그 Causal Inference, Language Modeling

CausalGate: 트랜스포머 모듈 가지치기를 위한 인과적 중요도 증류

CausalGate: Causal Importance Distillation for Transformer Module Pruning

기존 대규모 언어 모델(LLM)의 적응형 추론 방법은 은닉 상태 유사도나 활성화 크기와 같은 관찰적 휴리스틱에 의존하여 중복 모듈을 제거한다. 그러나 이러한 상관관계 기반 지표는 의미적 정확도에 필수적인 미묘하고 비선형적인 구조적 연산을 포착하는 데 종종 실패한다. 우리는 연산 효율적인 트랜스포머 추론을 위한 개입 기반 프레임워크인 CausalGate를 제안한다. 보정 단계 동안 CausalGate는 개별 어텐션 및 MLP 하위 층을 분리하고, 각각의 출력을 0으로 만든 다음, 최종 로짓 분포의 Kullback-Leibler 발산을 통해 정확한 의미적 손상을 측정한다. 런타임 라우팅 오버헤드를 제거하기 위해, 이 구조적 중요도 계층은 지수 이동 평균(EMA) 평활화 목적 함수와 미분 가능한 쌍별 순위 손실을 결합하여 정적이고 경량의 스칼라 게이트 전역 집합으로 증류된다. TinyLlama-1.1B, Qwen2.5-3B, Llama-3.1-8B에서 언어 모델링 및 상식 추론 벤치마크로 평가한 결과, CausalGate는 주요 동적 라우팅 및 층 건너뛰기 기준선을 일관되게 능가하며, 이론적 연산 절감을 운영 오버헤드 없이 구체적인 하드웨어 지연 시간 감소로 전환한다.

arXiv:2607.20433v1cs.CL공통 태그 Language Modeling, knowledge editing

Moir: 모델이 자신의 이야기를 스스로 이끌게 하는 강건한 교차 도메인 지식 편집

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

언어 모델은 학습 시점의 상태로 동결된 채 유지되는 반면, 세상은 끊임없이 변화한다. 지식 편집은 전체 재학습의 핵심 대안으로 부상했지만, 배포는 핵심 역량의 침식에 병목을 받는다: 수학적·프로그래밍적 추론은 붕괴하는 반면 백과사전적 재현은 온전히 남아 있다. 우리는 이러한 비대칭적 성능 저하를 분포 불일치에 기인한다고 추적한다. 공분산 기반 편집기는 참조 코퍼스가 생성하는 부분공간만 보존하지만, SFT와 DPO 같은 사후 학습이 형성한 실효 분포는 포착하지 못한다. Wikipedia를 포함한 정적 외부 코퍼스, 심지어 원래 사전학습 혼합물조차도 이 이동된 매니폴드를 복원할 수 없다. 우리는 Moir를 제안한다. Moir는 모델의 디코딩 분포에서 직접 샘플링하여 보존 공분산 $C$를 모델 자체로부터 추정한다. 단일 무작위 어휘 토큰으로 생성을 시드하면, 그렇지 않으면 샘플링된 출력을 지배하는 지시 따르기 템플릿을 우회하여, 모델이 내재화한 더 넓은 부분공간을 드러낸다. Moir는 외부 데이터가 필요 없으며, 대부분의 최신 LLM의 사전학습 및 사후 학습 코퍼스에 공개 접근이 불가능하다는 점을 고려할 때 실용적 이점인, 모든 공분산 기반 편집기에 즉시 적용 가능한 구성 요소로 사용할 수 있다. OLMo-2, Llama-3.1, Qwen-3(7-8B) 전반에 걸쳐 MEMIT과 AlphaEdit 모두에서, 배치 및 순차 체제 모두에서 Moir는 가장 취약한 도메인에서 보존을 일관되게 확장한다. 가장 두드러진 사례는 Qwen3-8B에서 20,000회 AlphaEdit 배치 편집 후 Wikipedia 기준선의 10.9%에 비해 GSM8K 정확도 79.9%를 유지한 경우이다. 이러한 결과는 보존 분포를 모델의 실효 분포에 정렬하는 것이 비파괴적 편집의 핵심 요인이며, 배포된 시스템에서 그 분포에 대한 가장 접근 가능한 원천이 모델 자체일 수 있음을 시사한다.

arXiv:2607.20596v1cs.LG공통 태그 Causal Inference, Language Modeling

단일 토큰 희소 오토인코더 특징은 인과적으로 필요한가? 층 깊이와 SAE 계열 효과

Are Single-Token Sparse Autoencoder Features Causally Necessary? Layer-Depth and SAE-Family Effects

희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.

arXiv:2607.20952v1cs.LG공통 태그 Causal Inference, Language Modeling

침묵의 가중치: 잠재 체스 추론에서 스크래치패드보다 가중치를 우선하는 인과적 근거

The Weight of Silence: A Causal Case for Weights Over the Scratchpad in Latent Chess Reasoning

잠재(latent) 또는 침묵(silent) 추론은 언어 모델이 중간 계산을 단어 대신 연속적인 벡터 공간에서 수행하게 하며, 추론 중 모델이 능동적으로 참조하는 내부 스크래치패드(scratchpad)로 기능한다고 널리 가정된다. 그 가정이 강화학습 이후에도 성립하는지는 직접 검증되지 않았다. 기존 잠재 추론의 인과 분석은 수학 및 논리 과제에 한정되어 있으며, 단일 체크포인트 내에서 모델의 사고 의존도만 비교할 뿐 강화학습 단계 전후를 비교한 적은 없다. 단계적 잠재 추론 커리큘럼과 이어지는 강화학습을 통해 체스 플레이 모델을 학습시킨 결과, 합법성은 강화학습 전 기준선 48%에서 단조롭게 61%까지 상승하고 체크메이트 날조(confabulation)는 완전히 사라졌다. 이 이득의 원인을 규명하기 위해 동일 모델에 대해 강화학습 전후로 6조건 인과 개입 실험을 수행했다. 잠재 사고 벡터를 대체하거나 동일한 노이즈를 추가해도 성능은 변하지 않고, 이를 제거(ablate)하면 경미한 저하만 발생하며, 정확히 영(zero) 벡터일 때만 붕괴가 일어난다. 이 견고성 격차 자체가 발견이다. 정확한 영 벡터 손상 하에서 합법성은 강화학습 전 1%, 강화학습 후 9%로 붕괴하며, 이 격차는 전체 검정 배터리에 대한 다중 검정 보정 후에도 유지된다. 더 완화된 조건들도 유사한 경향을 보이나 개별적으로는 유의성에 이르지 못한다. 강화학습은 사고 내용에 대한 의존이 아니라 교란에 대한 견고성을 더하는 것으로 보인다. 이 결과는 잠재 사고가 추론 시점에 능동적으로 참조되는 스크래치패드로 기능한다는 분야의 기본 가정에 반론을 제기하며, 대신 여기서 잠재 추론의 주된 효과는 학습 중 모델의 매개변수를 형성하는 데 있다는 점을 시사한다. 또한 수학·논리 설정 밖의 영域인 체스에서 작동하는 강화학습 이득을 입증했는데, 여러 그룹이 동일한 잠재 추론+강화학습 레시피가 SFT(지도 미세조정) 대비 정확도를 개선하지 못한다고 보고한 바로 그 맥락과 대비된다.

arXiv:2607.20469v1cs.AI공통 태그 Causal Inference, Language Modeling

DecodeShare: LLM 디코드 시점 결정의 공유 부분공간 추적

DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions

대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.