PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.26526v2cs.LG

가중치 공개 LLM 미세조정 방어 기법의 단순 공격 취약성

Open-Weight LLM Fine-Tuning Defenses are Susceptible to Simple Attacks

가중치 공개(open-weight) 대규모 언어 모델(LLM)을 보호하기 위한 최근의 방어 기법들은 적대적 사용을 방지하는 것을 목표로 한다. 이러한 방어 기법의 기저에는 유해한 새로운 동작이 모델 탈옥(jailbreaking)을 통해 유도되기보다는 미세조정(fine-tuning)을 통해 학습된다는 가정이 깔려 있다. 그러나 사전학습된 LLM은 이미 여러 영역에 걸쳐 상당한 유해 지식을 인코딩하고 있어 중요한 의문을 제기한다. 공격자가 미세조정을 전혀 거치지 않고도 보호된 모델을 탈옥시켜 유해한 사용을 달성할 수 있는가? 본 논문에서는 가중치 공개 보호 장치가 잘 알려져 있음에도 불구하고 이러한 방어 기법을 대상으로 체계적으로 평가되지 않았던 더 단순한 전략들에 취약함을 보여준다. 구체적으로, 그래디언트(gradient) 기반 최적화에 의존하지 않는 두 가지 저비용 공격인 제거(abliteration)와 프리필링(prefilling)을 평가한다. 세 가지 유해성 평가 벤치마크(BeaverTails, HarmBench, AdvBench)에 걸쳐 이러한 공격들은 보호된 가중치 공개 모델에 대한 공격 성공률을 10% 미만에서 16%~96% 범위로 증가시킨다. 이러한 취약점을 완화하기 위해 저자들은 학습 과정에 제거 기반 목적 함수를 결합한 제거 저항 튜닝(ART, abliteration-resistant tuning)을 도입한다. ART는 기존 방어 기법 위에 중첩 적용될 수 있으며, 제거, 프리필링 및 이들의 결합 공격 성공률을 10%~20% 감소시킨다. 이러한 결과는 가중치 공개 모델의 공격 표면이 이전에 규명된 것보다 더 넓으며, 보호 방어 기법에 대한 평가가 적대적 미세조정을 넘어 더 다양한 공격 전략을 포함해야 함을 시사한다.

arXiv:2607.02714v1cs.CR

모든 거부가 동등하지 않다: 안전성 정렬이 대규모 사이버보안에서 실패하는 방식

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

안전성 정렬(safety alignment)이 대규모 언어 모델(LLM) 학습의 필수적인 단계라는 점은 의심할 여지가 없다. 그러나 개념적으로 안전성 정렬은 다양한 도메인과 쿼리의 잠재적 위해 수준을 구분하지 않으며, 이는 모델이 합법적이고 승인된 작업의 목표를 달성하기 위해 안전 회로에 의해 제한받아서는 안 되는 사이버보안과 같은 분야에서 중대한 문제를 야기한다. 본 연구에서는 24개의 오픈소스 LLM에 대한 대규모 어블리터레이션(abliteration) 실험 결과를 공유하고, 1조 매개변수 규모의 Kimi K2를 예시로 표준 방법론을 통해 도메인 특화 어블리터레이션이 달성 가능함을 보인다. LLM의 거부(refusal)가 레이어 내 다차원 부분공간을 차지한다는 최근 연구를 토대로, 거부가 레이어 전반에 걸쳐 광범위하게 분산되어 있음을 발견하였으며, 특히 1조 매개변수 규모의 전문가 혼합(MoE) 아키텍처에서 두드러짐을 확인한다. 이에 따라 사이버보안 도메인의 유해한 개념을 독점적으로 나타내는 부분만을 포착하는 것을 목표로 한다. 또한 모델의 특성과 도메인 특화 어블리터레이션 효과 간의 상관관계를 조사하여, 안전성 학습 유형과 아키텍처가 가장 신뢰할 수 있는 예측 인자임을 확인한다. 마지막으로 모델을 3가지 어블리터레이션 민감도(abliteration susceptibility) 등급으로 분류하고, 특정 모델에서 해당 개입으로 인해 특정 효과가 관찰될 수 있는 이유에 대한 일련의 추측을 제시한다.