PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09532v1cs.LG

깊은 신경망에서 통계적으로 탐지 불가능한 백도어

Statistically Undetectable Backdoors in Deep Neural Networks

우리는 적대적 모델 트레이너가 깊은 피드포워드 신경망의 광범위한 클래스에 백도어를 심을 수 있는 방법을 제시한다. 이러한 백도어는 화이트박스 설정에서 통계적으로 탐지 불가능한데, 이는 백도어가 삽입된 모델과 정직하게 학습된 모델이 모델의 전체 설명(예: 모든 가중치)이 주어진 경우에도 전체 변동 거리(total variation distance) 측면에서 가깝다는 것을 의미한다. 해당 백도어는 모든 입력에 대해 불변성 기반 적대적 예제(invariance-based adversarial examples)에 대한 접근을 제공하며, 서로 멀리 떨어진 입력을 비정상적으로 가까운 출력으로 매핑한다. 그러나 백도어 없이는 표준 암호학적 가정 하에서 다항 시간 내에 그러한 적대적 예제를 생성하는 것이 증명 가능하게 불가능하다. 우리의 이론적 및 예비 실증적 결과는 모델 트레이너와 모델 사용자 간의 근본적인 권력 비대칭성을 보여준다.

arXiv:2606.30360v1cs.LG

모델 병합에 대한 매개변수 수준 방어의 취약성에 관하여

On the Vulnerability of Parameter-Level Defenses to Model Merging

모델 병합을 통한 전문가 모델의 학습 없는 통합은 무임승차자들이 무단으로 전문화된 모델을 결합할 수 있게 하는 심각한 보안 위험을 노출시켰다. 최근 연구들은 이 위협을 무력화하기 위해 선형 매개변수 변환을 활용하는 매개변수 수준의 방어 방법을 제안한다. 본 논문에서는 이러한 방어 방법들을 체계적으로 분석하고, 보호된 태스크 벡터(task vector)가 본질적으로 크기가 작다는 사실을 밝힌다. 결과적으로, 보호된 가중치는 사전학습 모델에 의해 압도적으로 지배된다. 이 관찰을 바탕으로, 우리는 사전학습 모델을 정적 참조 앵커(anchor)로 지정하고 기존 방어 체계를 우회하기 위한 앵커 유도 공격(Anchor-Guided Attack, AGA)을 제안한다. 구체적으로, AGA는 보호된 모델을 이 앵커에 정렬하여 변환 행렬을 해석적으로 복원한다. 광범위한 평가를 통해 AGA가 현실적인 방어 비인식(defense-agnostic) 시나리오에서 개별 방어 및 복합 방어 모두를 일관되게 우회함을 검증한다. 나아가, AGA가 활용하는 앵커 지배성을 완화하기 위한 방어 방법인 앵커 반발 미세조정(Anchor-Repulsive Fine-tuning, ARF)을 제시한다. 실험 결과, ARF가 제안된 공격을 효과적으로 방어함을 확인한다. 코드는 https://github.com/krumpguo/secure-merge-attack에서 확인할 수 있다.

arXiv:2606.21638v1cs.CR

위험 없는 오픈 가중치 모델을 향하여: LLM에서 공개·비공개 기능 분리

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

오픈 가중치 공개와 민감 기능 접근 제어를 함께 달성하기 위해, 비밀 키가 소규모 매개변수 부분집합의 순열을 지정해 동일 가중치 위에 대체 연산 그래프를 형성하는 계층형 언어 모델(TLM)을 제안하고 공동 사전학습과 정규화 기반 비공개 미세조정으로 공개·키 구성의 기능 분리를 학습한다. 1.8억 및 6.5억 매개변수 TLM에서 키 구성은 새 언어, 지시 따르기, 비공개 사실 지식을 습득하고 공개 구성에는 누출되지 않으며, 입력 공간이 아닌 가중치 구조에서 인가가 작동해 미세조정 기반 추출과 부분 키 노출에 더 견고하다.