PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02413v1cs.LG

구별하도록 유도하기: 실제 환경에서 악의적 입력 탐지 프로브 일반화하기

Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild

대규모 언어 모델(LLM) 에이전트는 프롬프트 주입(prompt injection), 탈옥(jailbreak), 안전하지 않은 요청에 대응하는 런타임 모니터로서 활성화 프로브(activation probe)에 점점 더 많이 의존하고 있으며, 에이전트가 행동을 취하기 전에 유해한 입력을 감지하기 위해 모델 자체의 은닉 상태를 읽어냅니다. LLM-as-a-judge 프롬프팅에서 착안하여 점점 더 널리 쓰이는 저비용 접근법은 사용자 턴 뒤에 짧은 분류(classification) 지시문을 덧붙이고 해당 지점에서 프로브를 읽어 판별력을 높이는 방식입니다. 즉, 이 지시문은 모델이 들어오는 요청을 하나의 클래스로 표현하도록 요구하여 프로브가 분리해야 할 신호를 집중시키며, 이때 추가 서빙 비용은 거의 들지 않습니다. 그러나 이러한 접미사(suffix)의 문구가 실제로 중요한지, 그리고 배포된 모니터가 직면하게 되는 상황인 학습(training) 중 한 번도 보지 못한 공격 유형에 대해서도 실제 환경에서 그 이점이 유지되는지는 명확하지 않습니다. 본 연구에서는 13개 안전성(safety) 벤치마크(탈옥, 주입, 일반 대화)와 세 가지 오픈 가중치(open-weight) 모델 제품군(Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B)을 대상으로 엄격한 LODO(leave-one-dataset-out) 평가를 수행하여 사용자 뒤에 붙는 접미사들을 체계적으로 통제하며 테스트했습니다. 단일 위치 프로브에서 분류 접미사는 접미사가 없을 때보다 분포 외(out-of-distribution) 탐지 성능을 일관되게 향상시켰습니다(최대 약 4 AUC 포인트). 그러나 어떤 접미사를 사용하는지가 중요합니다. 내용이 없는 라벨로라도 입력을 분류하도록 모델에 프롬프트를 제공하는 방식이 확실한 우위를 보인 반면, 주제를 벗어나거나 단순히 주의만 환기하는 접미사는 거의 도움이 되지 않았습니다. 이러한 이득은 명시된 기준이 아니라 분류 형식 자체에서 비롯됩니다. 내용이 없는 무의미한 접미사도 실제 악성/정상 분류 접미사와 대등한 성능을 보였으며, 명시적 기준은 엄격한 임계값에서만 정밀도(precision)를 더할 뿐이었습니다. 이는 단일 위치 읽기의 특이 결과가 아닙니다. 이 이점은 프로덕션 환경에서 사용되는 다중 위치 풀링(pooling) 프로브(어텐션, multi-max, MLP)로도 이어졌으나, 여기서 가장 우수한 성능을 내는 접미사는 판독(readout) 방식에 따라 달라졌습니다. KV-캐시 포크를 통해 서빙할 경우 이는 모든 활성화 프로브 모니터에 손쉽게 대체 적용할 수 있는 저비용 방식이지만 무조건적인 해결책은 아닙니다. 어떤 접미사가 얼마만큼 도움이 되는지는 모델과 판독 방식에 따라 달라집니다.

arXiv:2610.02853v1cs.AI

수축 제약 상태 공간 모델을 통한 유계 도달 가능성 및 탈옥 탐지

Bounded Reachability & Jailbreak Detection via Contraction-Constrained State Space Models

안전 헤드(safety head)는 생성 전에 유해한 입력을 감지하기 위해 사전학습(pre-training)된 언어 모델에 부착되는 경량 분류기입니다. 이들의 실증적인 탐지 성능은 연구되었으나, 정형화된 강건성(robustness) 특성은 여전히 거의 탐구되지 않은 상태입니다. 본 연구에서는 상태 공간 모델(State Space Model, SSM) 기반 안전 헤드가 유계 임베딩(embedding) 공간 섭동(perturbation) 내의 모든 입력에 대해 동일한 예측을 생성함을 언제 보증할 수 있는지 묻습니다. 우리는 그 답이 단 하나의 조건에 달려 있음을 증명합니다. 즉, 상태 전이 행렬의 $l_\infty$ 노름이 $\norm{A}_\infty<1$(수축 조건, contraction condition)을 만족해야 하며, 이는 선형 시불변 분류기에 대한 정확한 구간 경계 전파(interval bound propagation, IBP) 보증을 가능하게 합니다. 수축 조건이 성립할 때 도달 가능한 출력 구간은 유계의 정상 상태(steady-state) 너비를 가지며 예제들이 강건하게 분류된 것으로 보증될 수 있습니다. 반면 조건이 성립하지 않으면 구간이 시퀀스 길이에 따라 지수적으로 증가하여 실용적인 섭동 반경에서는 보증이 불가능해집니다. 우리는 힌지 페널티(hinge penalty)로 수축을 강제하며, 유해 댓글 데이터에서 보증 비율이 41%에서 59%로 향상되고 이론과 일치하게 $\norm{A}_\infty=1$에서 뚜렷한 실증적 상전이(phase transition)가 나타남을 보입니다. JailbreakBench의 탈옥(jailbreak) 탐지에 수축 정규화된 S4 헤드를 적용하여, AdvBench(탐지율 DR=0.994) 및 HarmBench(DR=0.988)로의 제로샷(zero-shot) 전이를 달성했습니다. 평균 풀링(mean-pooled)된 Mamba-130M 임베딩에 대한 로지스틱 회귀는 모든 탐지 지표에서 S4 헤드와 대등하거나 이를 능가하여, 유해한 의도가 임베딩 공간에서 이미 선형적으로 분리 가능함을 확인해 줍니다. S4 안전 헤드의 기여는 더 뛰어난 구별 능력이 아니라, 프로브(probe) 기반 접근법에서는 제공할 수 없는 정형 보증(formal certification)을 제공한다는 점입니다.

arXiv:2602.18154v3cs.CL

FENCE: 금융 및 멀티모달 탈옥 탐지 데이터셋

FENCE: A Financial and Multimodal Jailbreak Detection Dataset

금융 분야 비전-언어 모델(VLM)의 탈옥(jailbreak) 취약성을 해결하기 위해 금융 관련 쿼리와 이미지 기반 위협을 포함한 한영 이중 언어 데이터셋인 FENCE를 소개한다. FENCE로 학습된 탐지기는 99%의 내분포 정확도를 달성하며 외부 벤치마크에서도 강건한 성능을 입증했다.

arXiv:2606.21082v1cs.CL

긴 대화의 다중 턴 탈옥 탐지를 위한 확장 가능한 계층적 어텐션 트랜스포머

Scalable Hierarchical Attention Transformers for Multi-Turn Jailbreak Detection in Long Conversations

다중 턴 탈옥(jailbreak)은 점진적 에스컬레이션, 재구성(reframing), 역할 조작(role manipulation)을 통해 대화 전체에 불안전한 의도를 분산시킴으로써 턴 수준 모더레이션을 우회할 수 있다. 우리는 다중 턴 탈옥 탐지를 대화 수준 분류 문제로 다루고, 비용이 큰 긴 컨텍스트 연결(concatenation)을 피하면서도 턴 간 추론을 유지하는 효율적인 계층적 탐지기를 제안한다. 모델은 개별 턴을 인코딩하여 간결한 턴 표현을 형성하고, 대화 역학을 포착하며 필요 시 세밀한 증거에 선택적으로 어텐션하는 경량 대화 모듈을 적용한다. 14,038개 대화로 구성된 어려운 평가 벤치마크에서 우리 접근법은 F1 0.9394를 달성하며, 가장 강력한 경쟁 기준선인 Claude Opus 4.7보다 0.07 높은 성능을 보이면서 그 오탐(false-positive)률을 절반으로 줄였다. Ablation 연구는 각 아키텍처 구성 요소가 의미 있게 기여함을 확인했으며, 대화 모듈에서 cross-attention과 self-attention을 결합하면 self-attention만 사용한 변형 대비 오탐률이 2.26 percentage point 감소한다.

arXiv:2606.11202v1cs.CL

하나의 Jailbreak, 수많은 언어: 다국어 Jailbreak 탐지를 위한 언어 비민감 의도 표현 학습

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

대규모 언어 모델(LLM)의 안전성 학습이 주요 언어에 편중되어 발생하는 다국어 jailbreak 취약점을 해결하기 위해 MLJailDe 프레임워크를 제안한다. 다국어 역번역 데이터 증강과 상대 거리 제약 조건을 통해 언어 간 표현 분산을 줄여 교차 언어 일반화를 개선하며, 보지 못한 언어에서 평균 97.1%의 F1 점수를 달성했다.