한국어 초록
사전학습(pre-training)은 대규모 언어 모델(LLM)에 역할, 스타일, 가치관 및 목표와 연관된 폭넓은 행동 패턴 레퍼토리를 부여합니다. 사후 학습(post-training)은 조건부 발현을 학습시키고 도움이 되는 어시스턴트(Assistant)를 기본값으로 설정하지만, 가중치(weight)에서 대안적인 모드를 완전히 삭제하지는 못합니다. 따라서 명시적인 프롬프트(prompt)를 통해 판단, 언어, 행동을 지속적으로 형성하는 페르소나를 이끌어낼 수 있습니다. 오픈 가중치 환경에서는 런타임 제어가 제거될 수 있으므로, 새로운 컨텍스트에서도 지정된 페르소나를 이끌어내거나 발현하기 어렵게 만드는 가중치 수준의 수정인 '페르소나 언러닝(persona unlearning)'의 필요성이 제기됩니다. 본 논문에서는 3개 계열의 6개 LLM과 5개 페르소나를 아우르며 정렬된 망각/유지 세트, 미학습 지시어 패러프레이징, 4개 축의 평가를 제공하는 모델 맞춤형 쌍 구성 벤치마크인 PersonaUnlearnBench를 소개합니다. 이 벤치마크를 통해 표준 언러닝 기법들은 유의미한 생성 능력이나 일반적인 유용성을 희생하지 않고는 목표 페르소나를 안정적으로 삭제할 수 없음을 확인했습니다. 이에 따라 동일한 질문에 대한 목표 응답과 바람직한 응답을 비교하여 내부 행동 방향을 특정한 후, 목표 프롬프트 상태가 목표 모드에서 벗어나 매칭된 바람직한 응답으로 향하도록 학습시키는 PaCE를 제안합니다. 실험 결과, PaCE는 적당한 수준의 유용성 손실만으로 높은 응답 품질과 유용한 대응 행동을 유지하면서 목표 페르소나를 일관되게 억제하는 것으로 나타났습니다. 이러한 결과는 페르소나 언러닝이 차별화된 행동 수준 편집 문제이자 잠재적 LLM 응답 정책의 지속적 제어를 위한 실용적인 접근법임을 입증합니다.
원문 초록
Pre-training equips large language models (LLMs) with a broad repertoire of behavioral patterns associated with roles, styles, values, and goals. Post-training teaches conditional enactment and makes a helpful Assistant the default, but it does not erase alternative modes from the weights; explicit prompts can therefore elicit personas that repeatedly shape judgment, language, and action. In open-weight settings, runtime controls can be removed, motivating persona unlearning: a weight-level edit that makes a designated persona difficult to elicit and enact on unseen contexts. We introduce PersonaUnlearnBench, a model-specific paired benchmark spanning six LLMs from three families and five personas, with aligned forget/retain sets, held-out instruction paraphrases, and four-axis evaluation. The benchmark shows that standard unlearning methods cannot reliably erase the target persona without sacrificing meaningful generation or general utility. We therefore propose PaCE, which compares target and desirable responses to the same questions to locate an internal behavior direction, then trains target-prompt states away from the target mode and toward the matched desirable response. Experiments show that PaCE consistently suppresses target personas with high response quality and useful counterpart behavior, at moderate utility cost. These results establish persona unlearning as a distinct behavior-level editing problem and a practical route toward persistent control of latent LLM response policies.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
PAPER2LLM++: 연구 논문을 통한 대규모 언어 모델(LLM)의 지속적 자기 진화
PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers
대규모 언어 모델(LLM)에 관한 연구는 모델의 한계점과 그 원인, 잠재적 해결책을 지속적으로 밝혀내고 있습니다. 그러나 이러한 인간의 발견은 모델의 진화와 대체로 단절되어 있으며, LLM은 자신의 실패 사례를 다룬 새로운 연구로부터 자동으로 학습하지 못합니다. 본 논문에서는 연구 논문을 기반으로 LLM이 지속적으로 자기 진화할 수 있도록 지원하는 프레임워크인 PAPER2LLM++를 소개합니다. PAPER2LLM++는 논문을 단순한 검색 대상 지식으로 취급하는 대신, 계속해서 늘어나는 문헌들을 모델 개선을 위한 증거이자 지도 신호(supervision)의 연속적인 흐름으로 활용합니다. 새로 유입되는 논문마다 근거 기반의 연구 결과를 추출하고, 보고된 한계점이 현재 모델에 여전히 존재하는지 테스트하며, 필요한 경우 이러한 발견을 후보 학습 신호로 변환합니다. 이후 '시도-평가-반영(try-evaluate-commit)' 절차를 통해 이전 개선 사항을 크게 잊거나 일반적인 성능을 저하시키지 않으면서 목표한 동작을 개선할 때에만 업데이트를 통합합니다. 연구를 통해 발견된 LLM 실패 사례들의 순차적 흐름 전반에 걸쳐, 모델이 이전의 성능 향상을 유지하면서 새로운 연구 결과를 점진적으로 통합할 수 있음을 보여줍니다. 따라서 PAPER2LLM++는 인간의 발견과 모델 진화 사이의 간극을 좁히는 한 걸음을 내딛으며, 모델이 자신의 한계와 개선 방안에 대한 연구로부터 지속적으로 학습할 수 있도록 합니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.