PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.22737v4cs.LG

증류 게임: 적응형 평가와 효율적인 방어

The Distillation Game: Adaptive Evaluations & Efficient Defenses

증류(distillation) 공격은 모델 제공자에게 배포상의 트레이드오프를 만든다: 모델을 더 유용하게 만드는 바로 그 출력이 모델을 더 쉽게 모방하게 만들 수도 있다. 우리는 효용이 제약된 교사(teacher)와 적응형 학생(student) 간의 미니맥스 게임을 통해 이 트레이드오프를 연구한다. 우리의 프레임워크는 다루기 쉬운 일방적 대응 규칙들을 도출한다: 학생이 고가치 예제의 가중치를 재조정하는 적응형 평가 규칙과, 증류에 가장 유용한 출력을 억제하는 교사 측 방어 템플릿이다. 예제 가치에 대한 저비용 프록시(proxy)로부터, 우리는 Product-of-Experts(PoE)를 도출한다. 이는 생성 과정에서 교사와 프록시 학생을 결합하는, 순전파(forward-pass)만으로 작동하는 단순한 방어 기법이다. 실험적으로, 적응형 평가는 큰 수동(passive)-적응(adaptive) 간극을 드러낸다: 최신 방어 기법들에 대해, 적응형 학생은 GSM8K와 MATH에서 수동 평가가 암시하는 것보다 상당히 더 많은 능력을 회복한다. 이러한 더 강력한 평가 하에서, 고비용 방어 기법과 PoE 사이의 겉보기 강건성(robustness) 격차는 상당히 좁아지며, 동시에 PoE는 훨씬 더 저비용을 유지하면서 더 높은 품질의 추론 과정(reasoning trace)을 보존한다. 전반적으로, 우리의 결과는 강력한 증류를 막기가 여전히 어렵다는 것을, 그리고 항증류(antidistillation) 연구의 진전은 수동적 학생이 아니라 적응형 학생을 기준으로 평가되어야 한다는 것을 시사한다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/ysfalh/distillation-game.

arXiv:2607.00174v1cs.CV

패치 크기를 훔쳐라: 비전-언어 모델의 적대적 조작

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

배포된 비전-언어 모델(VLM)의 비공개 패치 크기 및 입력 전처리 파이프라인을 블랙박스 API 접근만으로 복원하는 모델 탈취(model-stealing) 공격을 제안하며, ViT 방식의 패치화(patchification) 시 격자 이미지 경계 단서가 소거되어 주기적 정확도 저하가 발생하는 부채널(side channel)을 활용한다. Qwen-VL, GPT, Claude 등 다양한 모델에서 토크나이저 관련 파라미터를 안정적으로 복원하였으며, 이를 통해 전처리 인식 전이 공격 및 모델 표적 적대적 조작이 가능함을 실증하였다.

arXiv:2606.06854v1cs.LG

마지막 층 모델 탈취의 기하학

The Geometry of Last-Layer Model Stealing

본 논문은 기하학을 활용하여 머신러닝 모델이 기존의 잘 알려진 방법을 통해 어떻게 탈취될 수 있는지 설명합니다. 저자는 트랜스포머 네트워크의 마지막 층을 완벽하게 복제하는 데 필요한 정확한 조건을 제시했습니다. 은닉층 깊숙이 살펴볼 때 저자는 명확한 한계를 설명했습니다. 또한 저자는 최종 결과만을 관찰해서는 은닉 네트워크를 완전히 역공학할 수 없음을 입증했습니다. 본 연구는 모델에서 무엇이 탈취 가능하고 무엇이 불가능한지를 명확히 규명합니다.