arXiv:2610.11160v1 cs.CL

LadderEdit: 메모리 효율적인 LLM 평생 편집을 위한 편집 수준 잔차 압축

LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs

Xiaobing Yu, Peijie Qiu, Jin Yang, Xuanzhao Dong, Weiwei Ma, Zhaoqi An, Xiaoqi Zhao, Xiaofeng Liu

제출 2026-10-08

저자 비고

arXiv Comments

EMNLP 2026 Main Conference Long Paper

한국어 초록

대규모 언어 모델(LLM)의 평생 편집(Lifelong editing)은 편집을 획득한 후 수천 개의 편집 사항을 저장해야 합니다. 널리 사용되는 접근 방식 중 하나는 편집마다 하나의 LoRA 어댑터를 부착하는 것으로, 이는 동작을 보존하지만 저장 공간이 선형적으로 증가합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 각 LoRA 어댑터를 획득한 후 압축하는 기법인 LadderEdit을 제안합니다. 각 편집은 먼저 저순위(low rank)의 저렴한 스케치 형태로 저장됩니다. 그런 다음 프로브 프롬프트에서 이 스케치가 재작성, 일반화, 국소성(locality) 계약을 여전히 만족하는지 확인합니다. 통과한 편집은 스케치를 유지하며, 실패한 편집은 계약이 충족될 때까지 사다리를 따라 더 높은 순위로 승격됩니다. 모든 편집이 일정 수준의 표현을 유지하므로 커버리지가 유지되며, 까다로운 편집만이 더 많은 순위를 소비합니다. LLaMA-3-8B, Mistral-7B, Qwen2.5-7B를 대상으로 한 ZsRE, CounterFact, WikiBigEdit 벤치마크 전반에서 LadderEdit은 정확한 LoRA 저장 공간을 5.2배 적은 메모리로 추적하며, 50,000개의 순차적 편집에서도 효과적인 성능을 유지합니다.

원문 초록

Lifelong editing of LLMs requires storing thousands of edits after acquisition. A widely used family of approaches attaches one LoRA adapter per edit, which preserves behavior but grows linearly in storage. To address this challenge, we propose LadderEdit, a method that compresses each LoRA adapter after it is acquired. Each edit is first stored at low rank as a cheap sketch. We then check whether this sketch still satisfies the rewrite, generalization, and locality contract on probe prompts. Edits that pass keep the sketch; those that fail are promoted to a higher rank along a ladder until the contract is met. Because every edit retains some representation, coverage is maintained, and only hard edits consume more rank. Across ZsRE, CounterFact, and WikiBigEdit benchmarks on LLaMA-3-8B, Mistral-7B, and Qwen2.5-7B, LadderEdit tracks exact LoRA storage at 5.2x less memory and remains effective at 50,000 sequential edits.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11160v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.