mindgard.ai

이 이메일 도메인이 관측된 논문 3건

arXiv:2610.10742v1cs.CR

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2607.02121v1cs.CR

Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring

HTTP, 어휘(lexical), 응답 시간 신호를 행동 모니터링하는 최초의 블랙박스 가드레일 탐지 방법론을 제안하며, 가드레일 존재 여부를 100% 정확도로 탐지하고 가드레일 차단과 대규모 언어 모델(LLM) 자체 거절을 평균 F1 98%로 구별한다. 이 접근법은 대상 시스템에 대한 사전 지식 없이도 가드레일이 차단하는 콘텐츠 범주를 식별하여, 현실적인 적대적 에뮬레이션 연구에서 공격 전략 선택의 정밀도를 높인다.

arXiv:2607.02072v1cs.LG

kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail

kNNGuard는 파인튜닝 없이 기존 대규모 언어 모델(LLM)의 숨겨진 활성화(hidden activation) 공간을 활용해 안전하지 않거나 주제를 벗어난 적대적 프롬프트를 탐지하는 가드레일 프레임워크로, 50개의 레이블된 예시만으로 은행을 구성해 다층 kNN 분류를 수행한다. 6개 도메인 평가에서 파인튜닝 기반 최신 가드레일과 동등하거나 우수한 F1 성능을 달성하면서도 추론 속도는 최대 2.7배 빠르고, 새로운 도메인 적응은 10초 이내에 완료된다.