원문 초록
Black-box LLMs (accessible only via API) are vulnerable to distillation attacks, in which an attacker queries the model and trains a student on its outputs. A recent line of work proposes output perturbation defenses that modify the teacher's output to reduce student performance while preserving utility for legitimate users. As a relatively new family of approaches, output perturbation defenses lack a shared threat model, making it difficult to compare them, reason about composing them with other attacks, or evaluate their robustness against realistic adversaries. This underspecification matters beyond technical evaluation: when defenses are deployed to protect intellectual property or justify regulatory compliance, an imprecise threat model can create a false sense of security. We propose a threat model framework that describes attackers along three dimensions: a query budget, a data budget, and an interface profile that captures how attackers interact with the API. Using antidistillation sampling as a case study, we show that whether the defense is considered effective depends on the assumed threat model. We argue that future work on distillation defenses, along with any governance or policy frameworks built around them, should explicitly specify and stress-test attacker capabilities along our three dimensions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.25059v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.
영공간 투영을 통한 LoRA 미세조정 LLM의 백도어 정제
Backdoor Purification for LoRA-Tuned LLMs via Null-Space Projection
대규모 언어 모델(LLM)과 파라미터 효율적 미세조정(PEFT) 방법이 빠르게 채택됨에 따라 백도어 공격의 위험이 더욱 심각해졌다. 기존의 백도어 정화 방법은 일반적으로 트리거에 대한 사전 지식, 깨끗한 참조에 대한 접근, 또는 공격적인 재학습과 같은 강한 가정 중 적어도 하나에 의존하며, 포괄적인 평가가 부족한 경우가 많다. 이러한 제약은 실제 적용 가능성을 크게 제한한다. 이러한 문제를 극복하기 위해, 본 연구는 이러한 가정 없이, 심지어 의심되는 파라미터의 사후 재학습 없이 LoRA로 튜닝된 LLM을 정화하는 방법을 제안한다. 우리의 목표는 (i) 기반 모델의 일반 능력과 (ii) 어댑터를 통해 학습된 새로운 하위 과제 기술을 모두 보존하면서 공격 성공률(ASR)을 크게 낮추는 것이다. 일련의 검토를 통해 텍스트 분류 환경의 단일 레이어에서 생성 과제의 전체 파라미터 LLM에 이르기까지 접근법을 점진적으로 확장한다. 신중한 데이터 선별과 특징 근사를 통해 충실도가 높은 백도어 방향을 추출하고, 각 레이어 또는 헤드에 대해 입력 및 출력 채널 모두에서 직교 영공간(null space)을 구성하여 LoRA 업데이트를 그 위로 사영한다. 실험적으로, 우리의 영공간 사영 방법은 하위 과제 적응 중에도 기반 모델의 정상 성능과 어댑터가 학습한 능력을 보존하면서 ASR을 거의 100%에서 10% 미만으로 낮춘다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.