arXiv:2505.17441

Discovering Forbidden Topics in Language Models

Can Rager, Chris Wendler, Rohit Gandikota, David Bau

제출 2025-05-23

원문 초록

Refusal discovery is the task of identifying the full set of topics that a language model refuses to discuss. We introduce this new problem setting and develop a refusal discovery method, LLM-crawler, that uses token prefilling to find forbidden topics. We benchmark the LLM-crawler on Tulu-3-8B, an open-source model with public safety tuning data. Our crawler manages to retrieve 31 out of 36 topics within a budget of 1000 prompts. Next, we scale the crawl to a frontier model using the prefilling option of Claude-Haiku. Finally, we crawl three widely used open-weight models: Llama-3.3-70B and two of its variants finetuned for reasoning: DeepSeek-R1-70B and Perplexity-R1-1776-70B. DeepSeek-R1-70B reveals patterns consistent with censorship tuning: The model exhibits "thought suppression" behavior that indicates memorization of CCP-aligned responses. Although Perplexity-R1-1776-70B is robust to censorship, LLM-crawler elicits CCP-aligned refusals answers in the quantized model. Our findings highlight the critical need for refusal discovery methods to detect biases, boundaries, and alignment failures of AI systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.07175v3cs.CL공통 태그 Memorization공식 코드 · Papers with Code

언어 모델에서 사실(factoid)의 연속적 암기

Continual Memorization of Factoids in Language Models

새로운 지식이 빠르게 축적되면서, 사전학습된 지식을 갖춘 언어 모델(LM)은 급속히 시대에 뒤처지게 된다. LM을 업데이트하는 일반적인 접근은 새로운 지식에 직접 미세조정하는 것이다. 그러나 최근 연구들은 암기를 위한 미세조정이 지식 저장에 비효율적일 수 있거나 환각(hallucination)을 악화시킬 수 있음을 보여준다. 본 연구에서는 연속적 암기(continual memorization)라고 부르는 설정을 제안한다. 이 설정에서 모델은 후속 데이터셋에 대한 여러 단계의 미세조정을 거치면서 일련의 사실(factoid)을 암기하고 유지해야 한다. 광범위한 실험을 통해 망각 패턴을 분석한 결과, LM이 광범위하게 망각에 시달리며, 특히 두 번째 단계에서 사실을 암기해야 할 때 더욱 그러함을 보인다. 망각은 학습 동역학을 수정함으로써 완화할 수 있다고 가정한다: (1) 사실을 학습할 때 암기 과정을 보호하거나 (2) 후속 학습 단계로 인한 간섭을 줄이는 것. 흥미롭게도, 다양한 학습 단계에서 무작위로 생성된 단어 시퀀스나 사전학습 코퍼스에서 샘플링한 일반 데이터를 혼합하는 것이 망각을 효과적으로 완화함을 발견한다(REMIX: Random and Generic Data Mixing). REMIX는 심각한 망각으로부터 성능을 회복할 수 있으며, 리플레이(replay) 방법 및 기타 연속 학습 베이스라인을 능가한다. REMIX가 학습 과정에 미치는 영향을 분석한 결과, 견고한 암기는 뚜렷한 패턴을 따름을 확인한다: 모델이 사실을 평소보다 더 이른 레이어에 저장하고 이를 보존하는 레이어를 다양화하며, 이로 인해 학습한 사실을 더 쉽게 회상하고 조작할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.