arXiv:2610.00341v1 cs.CR

UnifiedAttack: 시너지 유해 이미지-텍스트 생성에서 대규모 멀티모달 모델의 안전성 평가

UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation

Bingjun Luo, Jialin Guo, Tony Wang, Siqi Li

제출 2026-09-29

한국어 초록

대규모 멀티모달 모델(LMM)이 네이티브 통합 아키텍처로 전환됨에 따라, 시너지 효과를 내는 유해 이미지-텍스트 생성 작업에서 이들의 안전성을 평가하는 것은 중요한 과제가 되었습니다. 단일 모달 위협과 달리, 시너지 위험은 텍스트와 이미지 모달리티가 조율되어 개별 구성 요소를 크게 초과하는 유해성을 생성할 때 발생합니다. 본 논문에서는 크로스 모달 시너지를 통해 달성되는 유해성 이득에 초점을 맞추어 협력적 시나리오에서 LMM 안전성을 평가하도록 설계된 새로운 벤치마크인 UnifiedAttack을 소개합니다. 이 벤치마크는 멀티모달 잠재력을 기준으로 필터링된 샘플과 함께 합성된 허위 정보 쿼리의 새로운 하위 집합을 포함합니다. 식별된 취약점을 검증하기 위해, 문맥 내 리스킨(In-Context Reskinning, ICR)과 인지 계획 주입(Cognitive Planning Injection, CPI)을 특징으로 하는 시너지 하이재킹 프레임워크를 제안합니다. ICR은 퓨샷(few-shot) 학습을 활용하여 적대적 의도를 무해한 가상 외피로 감싸 안전성 필터를 둔감화하며, CPI는 계획 후 실행(plan-then-execute) 패러다임을 강제하여 추론 경로를 가로챕니다. 시스템이 중립적인 논리적 계획을 따르도록 강제함으로써, 내부의 일관성 유지 성향을 악용하여 유해한 멀티모달 콘텐츠의 동기화된 생성을 유도합니다. 최신 아키텍처에 대한 광범위한 평가는 UnifiedAttack이 현대의 정렬(alignment)을 일관되게 우회함을 보여줍니다. 본 연구 결과는 통합 모델의 구조적 유용성과 논리적 일관성이 체계적으로 무기화될 수 있음을 밝히며, 시너지 생성 작업에서 논리 인식 방어의 시급한 필요성을 강조합니다. 코드는 https://github.com/bingjunluo/UnifiedAttack 에서 확인할 수 있습니다.

원문 초록

As Large Multimodal Models (LMMs) transition toward natively unified architectures, evaluating their safety in synergistic harmful image-text generation tasks becomes a critical challenge. Unlike unimodal threats, synergistic risks emerge when text and image modalities are coordinated to produce harm that significantly exceeds their individual components. We introduce UnifiedAttack, a novel benchmark designed to evaluate LMM safety in collaborative scenarios by focusing on the harmfulness gain achieved through cross-modal synergy. The benchmark incorporates samples filtered for their multimodal potential alongside a novel subset of synthesized disinformation queries. To verify identified vulnerabilities, we propose a synergistic hijacking framework featuring In-Context Reskinning (ICR) and Cognitive Planning Injection (CPI). ICR utilizes few-shot learning to wrap adversarial intent in benign virtual shells to desensitize safety filters, while CPI hijacks the reasoning path by enforcing a plan-then-execute paradigm. By compelling the system to commit to a neutral logical plan, we exploit its internal drive for consistency to induce the synchronized generation of harmful multimodal content. Extensive evaluations on state-of-the-art architectures demonstrate that UnifiedAttack consistently bypasses modern alignment. Our findings reveal that the structural helpfulness and logical coherence of unified models can be systematically weaponized, highlighting the urgent need for logic-aware defenses in synergistic generation tasks. Code is available at https://github.com/bingjunluo/UnifiedAttack .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00341v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10625v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak attack

한 루프에서는 안전하고 다른 루프에서는 위험하다: 루프형 언어 모델의 순환 깊이 전반에 걸친 안전성 정렬

Safe at One Loop, Risky at Another: Aligning Safety Across Recurrent Depths in Looped Language Models

루프형 언어 모델(Looped Language Model, LoopLM)은 순환 단계 전반에서 공유 매개변수를 반복적으로 사용하여 모델 역량을 확장하는 매개변수 효율적인 접근법을 제공합니다. 각 순환 깊이(recurrent depth)를 독립적으로 판독할 수 있기 때문에, 단일 LoopLM은 추론 깊이에 걸쳐 더 넓은 출력 공간을 드러내며, 이는 순환 연산 전반에서 안전성이 유지되는지에 대한 중요한 질문을 제기합니다. 이전 평가에서는 더 깊은 순환이 유해한 쿼리에 대한 안전성을 향상시킬 수 있음을 시사하지만, 탈옥(jailbreak) 공격에 대한 강건성은 여전히 불분명합니다. 이에 따라 본 연구에서는 서로 다른 순환 깊이를 겨냥한 탈옥 공격 하에서 LoopLM에 대한 포괄적인 안전성 평가를 수행합니다. 연구 결과, 더 깊은 추론 깊이에서 공격 성공률이 증가할 수 있으며, 동일한 쿼리가 깊이에 따라 서로 다른 안전성 동작을 유발할 수 있고, 특정 깊이를 대상으로 구성된 공격이 다른 깊이로 전이될 수 있음을 확인했습니다. 더욱이 지도 미세조정(SFT)과 선호도 정렬(preference alignment)만으로는 이러한 안전성 격차를 해소하지 못하며, 이는 LoopLM에 맞게 설계된 정렬 기법의 필요성을 시사합니다. 본 연구는 공유된 순환 계층에 대한 경량 깊이별 제어, 선택적 상태 브리징(state bridging), 순환 깊이 전반에 걸친 공동 안전성 감독을 결합한 SafeBridge를 제안합니다. 다양한 모델 규모, 다수의 공격 방식, 안전성 벤치마크 전반에 걸쳐 SafeBridge는 동일 깊이 및 교차 깊이 공격 모두에서 공격 성공률을 대폭 감소시킵니다. 또한 기존 바닐라 모델 대비 전반적인 유용성을 개선하는 동시에 유사한 수준의 과도한 거부(over-refusal) 동작을 유지합니다. 본 결과는 LoopLM의 안전성을 단일 순환 깊이만으로 추론할 수 없음을 보여주며, 순환 연산 전반에 걸친 안전성 정렬의 필요성을 강조합니다. 본 논문의 코드와 모델 체크포인트는 게재 승인 시 공개될 예정입니다.

arXiv:2610.00430v1cs.SI공통 태그 Adversarial Attack, Adversarial Robustness, Misinformation

밈적 트로이목마: 에이전트 네트워크에서 적대적 페이로드의 매개체로서의 사회적 전염

Memetic Trojans: Social Contagions as Carriers of Adversarial Payloads in Agent Networks

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.

arXiv:2607.23838v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Misinformation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.