PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10625v1cs.CR

한 루프에서는 안전하고 다른 루프에서는 위험하다: 루프형 언어 모델의 순환 깊이 전반에 걸친 안전성 정렬

Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models

루프형 언어 모델(Looped Language Model, LoopLM)은 순환 단계 전반에서 공유 매개변수를 반복적으로 사용하여 모델 역량을 확장하는 매개변수 효율적인 접근법을 제공합니다. 각 순환 깊이(recurrent depth)를 독립적으로 판독할 수 있기 때문에, 단일 LoopLM은 추론 깊이에 걸쳐 더 넓은 출력 공간을 드러내며, 이는 순환 연산 전반에서 안전성이 유지되는지에 대한 중요한 질문을 제기합니다. 이전 평가에서는 더 깊은 순환이 유해한 쿼리에 대한 안전성을 향상시킬 수 있음을 시사하지만, 탈옥(jailbreak) 공격에 대한 강건성은 여전히 불분명합니다. 이에 따라 본 연구에서는 서로 다른 순환 깊이를 겨냥한 탈옥 공격 하에서 LoopLM에 대한 포괄적인 안전성 평가를 수행합니다. 연구 결과, 더 깊은 추론 깊이에서 공격 성공률이 증가할 수 있으며, 동일한 쿼리가 깊이에 따라 서로 다른 안전성 동작을 유발할 수 있고, 특정 깊이를 대상으로 구성된 공격이 다른 깊이로 전이될 수 있음을 확인했습니다. 더욱이 지도 미세조정(SFT)과 선호도 정렬(preference alignment)만으로는 이러한 안전성 격차를 해소하지 못하며, 이는 LoopLM에 맞게 설계된 정렬 기법의 필요성을 시사합니다. 본 연구는 공유된 순환 계층에 대한 경량 깊이별 제어, 선택적 상태 브리징(state bridging), 순환 깊이 전반에 걸친 공동 안전성 감독을 결합한 SafeBridge를 제안합니다. 다양한 모델 규모, 다수의 공격 방식, 안전성 벤치마크 전반에 걸쳐 SafeBridge는 동일 깊이 및 교차 깊이 공격 모두에서 공격 성공률을 대폭 감소시킵니다. 또한 기존 바닐라 모델 대비 전반적인 유용성을 개선하는 동시에 유사한 수준의 과도한 거부(over-refusal) 동작을 유지합니다. 본 결과는 LoopLM의 안전성을 단일 순환 깊이만으로 추론할 수 없음을 보여주며, 순환 연산 전반에 걸친 안전성 정렬의 필요성을 강조합니다. 본 논문의 코드와 모델 체크포인트는 게재 승인 시 공개될 예정입니다.

arXiv:2504.21307v5cs.CV

해석 가능한 토큰의 선형 기하학: 언러닝된 확산 모델을 위한 탈옥 공격 및 방어

The Linear Geometry of Interpretable Tokens: Jailbreaking Attacks and Defenses for Unlearned Diffusion Models

확산 모델(diffusion model)은 고품질 이미지를 생성하는 데 탁월하지만, 프롬프트가 주어지면 유해한 개념을 기억하고 재생성할 수 있습니다. 대상 개념을 언러닝(unlearn)하기 위해 미세조정(fine-tuning) 방법들이 제안되었으나, 다른 개념에 대한 생성 품질을 유지하면서 해당 개념을 완전히 지우는 데 어려움을 겪어 모델이 탈옥(jailbreak) 공격에 취약한 상태로 남게 됩니다. 기존 탈옥 방법들은 이러한 취약점을 보여주지만, 언러닝된 모델이 유해한 개념을 어떻게 유지하는지에 대한 제한적인 통찰만을 제공하여 효과적인 방어책 개발을 제한합니다. 본 연구에서는 지워진 개념의 일관되고 해석 가능하며 공격 접근이 가능한 선형 잔차(linear residual)를 토큰 임베딩 공간에서 복구할 수 있음을 보여주며, 공격과 방어 모두 이 구조로부터 도출될 수 있음을 보입니다. 우리는 사람이 해석할 수 있는 텍스트 요소들의 선형 결합으로 구성된 직교 공격 토큰 임베딩 세트를 학습하여 이 부분공간을 읽어내는 새로운 탈옥 공격인 SubAttack을 소개하며, 이를 통해 언러닝된 모델이 관련된 텍스트 구성요소를 통해 여전히 대상 개념을 유지하고 있음을 밝힙니다. 나아가 우리의 공격은 텍스트 프롬프트, 초기 노이즈, 언러닝된 모델 전반에 걸쳐 이전 공격들보다 더 강력하고 전이 가능합니다. 반대로 동일한 부분공간을 투영하여 제거(projecting out)함으로써 언러닝된 모델 내 잔차 개념을 억제하는 경량 플러그앤플레이(plug-and-play) 방어 메커니즘인 SubDefense를 도출합니다. SubDefense는 안전한 생성 품질을 더 잘 보존하면서 기존 방어 기법보다 더 강력한 견고성을 제공합니다. 여러 언러닝 방법, 개념, 공격 유형에 걸친 광범위한 실험은 우리의 접근 방식이 확산 모델 언러닝의 취약점에 대한 이해와 완화 모두를 진전시킴을 입증합니다.

arXiv:2606.20470v4cs.CR

에이전틱 AI 시스템에 대한 모델 유도 자동화 공격에 맞선 방어적 오도 분석

Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems

에이전틱 AI(Agentic AI) 시스템은 지시문 해석, 외부 데이터 처리, 도구 호출, 다른 에이전트와의 조율을 위해 언어 모델 컴포넌트에 점점 더 많이 의존하고 있습니다. 이러한 기능은 특히 공격자가 탐침(probing), 프롬프트 정제, 응답 평가를 확장하기 위해 모델 유도 자동화를 도입함에 따라 프롬프트 주입 및 탈옥(jailbreak) 공격의 파급력을 더욱 키웁니다. 본 연구는 대상 시스템, 방어 메커니즘, 공격자의 자동화된 판정자(judge)에 대한 확률 모델을 통해 공격-방어 환경을 분석합니다. 분석에 따르면, 예측 가능한 거절 반응이 자동화된 탐색에 유용한 피드백을 제공하기 때문에 기존의 '탐지 및 차단(detect-and-block)' 방어는 질의 예산(query budget)이 증가함에 따라 공격자 성공률(ASR)이 1에 수렴하도록 허용할 수 있습니다. 이에 본 연구에서는 악의적인 상호작용이 감지되었을 때 공격자의 판정자가 위양성(false-positive) 오류를 일으키도록 설계된 통제된 비작동 응답을 제공하는 '탐지 및 오도(detect-and-misdirect)' 전략을 살펴봅니다. 이 전략은 공격자가 선택한 후보의 양성 예측도(PPV)를 낮추고 유계된(bounded) 점근적 ASR을 유도합니다. 본 연구는 자동화된 탈옥 환경에서 예측 가능한 거절 텍스트를 안전하지만 전략적으로 오도하는 응답으로 대체하도록 설계된 경량 대화형 오도 기법인 CMPE(Contextual Misdirection via Progressive Engagement)를 통해 이 전략의 개념 증명 구현을 평가합니다. 탈옥 벤치마크에서 CMPE는 추정된 ASR 상한을 최대 2자릿수(orders of magnitude)까지 낮추었으며, PAIR, GPTFuzz, AutoDAN-Turbo를 사용한 엔드투엔드 실험에서 검증된 공격 성공을 거의 제거했습니다.

arXiv:2610.00341v1cs.CR

UnifiedAttack: 시너지 유해 이미지-텍스트 생성에서 대규모 멀티모달 모델의 안전성 평가

UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation

대규모 멀티모달 모델(LMM)이 네이티브 통합 아키텍처로 전환됨에 따라, 시너지 효과를 내는 유해 이미지-텍스트 생성 작업에서 이들의 안전성을 평가하는 것은 중요한 과제가 되었습니다. 단일 모달 위협과 달리, 시너지 위험은 텍스트와 이미지 모달리티가 조율되어 개별 구성 요소를 크게 초과하는 유해성을 생성할 때 발생합니다. 본 논문에서는 크로스 모달 시너지를 통해 달성되는 유해성 이득에 초점을 맞추어 협력적 시나리오에서 LMM 안전성을 평가하도록 설계된 새로운 벤치마크인 UnifiedAttack을 소개합니다. 이 벤치마크는 멀티모달 잠재력을 기준으로 필터링된 샘플과 함께 합성된 허위 정보 쿼리의 새로운 하위 집합을 포함합니다. 식별된 취약점을 검증하기 위해, 문맥 내 리스킨(In-Context Reskinning, ICR)과 인지 계획 주입(Cognitive Planning Injection, CPI)을 특징으로 하는 시너지 하이재킹 프레임워크를 제안합니다. ICR은 퓨샷(few-shot) 학습을 활용하여 적대적 의도를 무해한 가상 외피로 감싸 안전성 필터를 둔감화하며, CPI는 계획 후 실행(plan-then-execute) 패러다임을 강제하여 추론 경로를 가로챕니다. 시스템이 중립적인 논리적 계획을 따르도록 강제함으로써, 내부의 일관성 유지 성향을 악용하여 유해한 멀티모달 콘텐츠의 동기화된 생성을 유도합니다. 최신 아키텍처에 대한 광범위한 평가는 UnifiedAttack이 현대의 정렬(alignment)을 일관되게 우회함을 보여줍니다. 본 연구 결과는 통합 모델의 구조적 유용성과 논리적 일관성이 체계적으로 무기화될 수 있음을 밝히며, 시너지 생성 작업에서 논리 인식 방어의 시급한 필요성을 강조합니다. 코드는 https://github.com/bingjunluo/UnifiedAttack 에서 확인할 수 있습니다.

arXiv:2607.02961v1cs.CV

대규모 비전-언어 모델 탈옥을 위한 정보 과부하 공격

Overloading Large Vision-Language Models for Jailbreaking

대규모 비전-언어 모델(LVLM)은 뛰어난 비전-언어 능력을 보여주며, 개인 비서, 문서 분석 시스템, 구현 에이전트 등 실제 응용 분야에 점점 더 많이 배포되고 있다. 그러나 이중 모달 공격 표면으로 인해 탈옥(jailbreak) 공격에 취약하다. 기존 LVLM 탈옥 공격은 짧은 텍스트와 분포 외(out-of-distribution) 이미지 등 단순한 설계에 의존한다. 그럼에도 최근 대규모 언어 모델(LLM) 백본과 멀티모달 메커니즘의 발전은 이러한 공격, 특히 모델 아키텍처 간 전이성을 약화시키고 있다. 이 한계를 극복하기 위해, 본 논문은 방대한 텍스트와 다차원 이미지 공격을 모두 갖춘 새로운 정보 과부하(information overloading) 방법을 제안한다. 이러한 구성 요소들은 재귀 기반 이미지-타이포그래피 레이아웃으로 배열되어 멀티모달 정보 복잡도를 지수적으로 증가시킨다. 이 과부하 방식은 교차 모달 처리를 증폭시켜 LVLM의 안전성 정렬(safety alignment)을 약화시킨다. 오픈소스 및 상용 LVLM에 대한 광범위한 실험을 통해 본 방법이 새로운 최첨단 LVLM 탈옥 공격임을 입증한다. 오픈소스 모델에서는 평균 공격 성공률(ASR) 88.6%를, 상용 LVLM에서는 평균 ASR 84.0%를 달성하여 최고 기준선(baseline)을 48.7% 초과한다. 나아가 오픈소스 대리 모델에서 최적화된 프롬프트는 모델 계열 전반에 걸쳐 효과적으로 전이된다. 실험 결과 외에도, 피해 LVLM 내 안전성에 중요한 정보 흐름을 분석한다. 분석 결과, 복잡한 이미지-타이포그래피 구성이 교차 모달 처리를 강화하고 거부 응답 생성에 대한 모델의 확신을 감소시키는 것이 관찰된다. 이러한 발견들은 정보 과부하가 실제 LVLM 배포 환경에서 실질적이고 새롭게 부상하는 안전성 위험임을 강조하며, 복잡한 멀티모달 탈옥 입력에 대한 더 강력한 방어의 필요성을 부각시킨다.