Extracting memorized pieces of (copyrighted) books from open-weight language models
한국어 초록
저작권 관련 생성 AI 소송에서 원고와 피고는 대형 언어 모델(LLM)이 원고의 보호받는 표현을 얼마나 암기했는지에 대해 상반된 과장된 주장을 자주 제기합니다. 본 논문은 적대적 머신러닝(Adversarial ML)과 저작권법을 바탕으로, 이러한 양극화된 입장이 암기와 저작권 간의 관계를 지나치게 단순화하고 있음을 보여줍니다. 이를 위해 최근 개발된 확률적 추출 기법을 활용하여 13개의 공개 가중치 LLM에서 Books3 데이터셋의 일부를 추출하였습니다. 다수의 실험을 통해, 서로 다른 LLM에서 적어도 일부 책의 상당 부분을 추출하는 것이 가능함을 입증하였습니다. 이는 해당 LLM들이 추출된 텍스트를 암기했으며, 이 암기된 내용이 모델 파라미터 내에 복제되어 있음을 의미합니다. 그러나 결과는 복잡합니다. 암기 정도는 모델과 책에 따라 모두 다르게 나타났습니다. 구체적인 실험 결과, 가장 큰 LLM들은 대부분의 책을 전체 또는 부분적으로 암기하지 않는 것으로 나타났습니다. 반면, Llama 3.1 70B 모델은 해리 포터(Harry Potter)와 1984(1984)와 같은 일부 책을 거의 완전히 암기하는 것으로 확인되었습니다. 본 연구 결과는 저작권 소송에 중대한 함의를 가지나, 어느 한쪽에 명확히 유리한 결론을 내리지는 않는다는 점을 논의합니다.
원문 초록
Plaintiffs and defendants in copyright lawsuits over generative AI often make sweeping, opposing claims about the extent to which large language models (LLMs) have memorized plaintiffs' protected expression. Drawing on adversarial ML and copyright law, we show that these polarized positions dramatically oversimplify the relationship between memorization and copyright. To do so, we leverage a recent probabilistic extraction technique to extract pieces of the Books3 dataset from 13 open-weight LLMs. Through numerous experiments, we show that it's possible to extract substantial parts of at least some books from different LLMs. This is evidence that the LLMs have memorized the extracted text; this memorized content is copied inside the model parameters. But the results are complicated: the extent of memorization varies both by model and by book. With our specific experiments, we find that the largest LLMs don't memorize most books -- either in whole or in part. However, we also find that Llama 3.1 70B memorizes some books, like Harry Potter and 1984, almost entirely. We discuss why our results have significant implications for copyright cases, though not ones that unambiguously favor either side.
요약
대규모 언어 모델(LLM)이 저작권 보호된 텍스트를 얼마나 암기하는지에 대한 법적 논쟁에서, 암기와 저작권 간 관계가 단순하지 않음을 보여준다. 확률적 추출 기법을 활용해 13개의 공개 가중치 LLM에서 Books3 데이터셋 일부를 추출한 결과, 일부 모델은 특정 도서를 상당 부분 암기하고 있음을 확인하였다. 다만 암기 정도는 모델과 도서에 따라 크게 다르며, 가장 큰 모델들은 대부분의 도서를 암기하지 않는 반면 Llama 3.1 70B는 일부 도서(예: 해리포터, 1984)를 거의 완전히 암기하는 특징을 보였다. 이러한 결과는 저작권 소송에 중요한 시사점을 제공하지만, 어느 한쪽에 명확히 유리한 결론을 내리기는 어렵다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델에서 사실(factoid)의 연속적 암기
Continual Memorization of Factoids in Language Models
새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
Dataset distillation for memorized data: Soft labels can leak held-out teacher knowledge
LexiMark: Robust Watermarking via Lexical Substitutions to Enhance Membership Verification of an LLM's Textual Training Data
Capacity Matters: a Proof-of-Concept for Transformer Memorization on Real-World Data
Diffusion models under low-noise regime
토론
이 논문과 연결된 포럼 글이 아직 없습니다.