PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00341v1cs.CR

UnifiedAttack: 시너지 유해 이미지-텍스트 생성에서 대규모 멀티모달 모델의 안전성 평가

UnifiedAttack: Evaluating the Safety of Large Multimodal Models in Synergistic Harmful Image-Text Generation

대규모 멀티모달 모델(LMM)이 네이티브 통합 아키텍처로 전환됨에 따라, 시너지 효과를 내는 유해 이미지-텍스트 생성 작업에서 이들의 안전성을 평가하는 것은 중요한 과제가 되었습니다. 단일 모달 위협과 달리, 시너지 위험은 텍스트와 이미지 모달리티가 조율되어 개별 구성 요소를 크게 초과하는 유해성을 생성할 때 발생합니다. 본 논문에서는 크로스 모달 시너지를 통해 달성되는 유해성 이득에 초점을 맞추어 협력적 시나리오에서 LMM 안전성을 평가하도록 설계된 새로운 벤치마크인 UnifiedAttack을 소개합니다. 이 벤치마크는 멀티모달 잠재력을 기준으로 필터링된 샘플과 함께 합성된 허위 정보 쿼리의 새로운 하위 집합을 포함합니다. 식별된 취약점을 검증하기 위해, 문맥 내 리스킨(In-Context Reskinning, ICR)과 인지 계획 주입(Cognitive Planning Injection, CPI)을 특징으로 하는 시너지 하이재킹 프레임워크를 제안합니다. ICR은 퓨샷(few-shot) 학습을 활용하여 적대적 의도를 무해한 가상 외피로 감싸 안전성 필터를 둔감화하며, CPI는 계획 후 실행(plan-then-execute) 패러다임을 강제하여 추론 경로를 가로챕니다. 시스템이 중립적인 논리적 계획을 따르도록 강제함으로써, 내부의 일관성 유지 성향을 악용하여 유해한 멀티모달 콘텐츠의 동기화된 생성을 유도합니다. 최신 아키텍처에 대한 광범위한 평가는 UnifiedAttack이 현대의 정렬(alignment)을 일관되게 우회함을 보여줍니다. 본 연구 결과는 통합 모델의 구조적 유용성과 논리적 일관성이 체계적으로 무기화될 수 있음을 밝히며, 시너지 생성 작업에서 논리 인식 방어의 시급한 필요성을 강조합니다. 코드는 https://github.com/bingjunluo/UnifiedAttack 에서 확인할 수 있습니다.

arXiv:2510.13698v4cs.CV

어텐션은 시각적 위험을 놓친다: 멀티모달 안전성 정렬을 위한 위험 적응형 스티어링

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

최신 AI 모델조차도 유해 의도가 이미지에 숨겨진 멀티모달 쿼리에 취약한 경우가 많다. 안전성 정렬(alignment)을 위한 널리 쓰이는 접근은 대규모 멀티모달 안전 데이터셋으로 학습하는 것이지만, 데이터 큐레이션과 학습 비용이 종종 감당하기 어렵다. 이를 완화하기 위해 최근 추론 시점 정렬(inference-time alignment)이 연구되었으나, 다양한 멀티모달 jailbreak에 걸쳐 일반화되지 못하는 경우가 많고, 응답 정제를 위한 추가 순전파(forward pass)나 무거운 배포 전 보정(calibration) 절차로 인해 여전히 상당한 오버헤드가 발생한다. 본 연구에서는 멀티모달 안전 실패의 핵심 원인 중 하나로 안전에 중요한 이미지 영역에 대한 시각적 어텐션 부족을 지적한다. 이 통찰을 바탕으로 Multimodal Risk-Adaptive Steering(MoRAS)을 제안하며, 간결한 시각적 컨텍스트를 통해 안전에 중요한 시각적 어텐션을 강화하여 정확한 멀티모달 위험 평가를 가능하게 한다. 이 위험 신호는 위험 적응형 스티어링을 통해 직접 거절을 가능하게 하여, 다양한 멀티모달 jailbreak에 일반화 가능성을 유지하면서 추론 오버헤드를 줄인다. 특히 MoRAS는 멀티모달 위험을 추정하기 위해 소규모 보정 세트만 필요하여 배포 전 오버헤드를 크게 줄인다. 여러 벤치마크와 MLLM 백본에 걸쳐 다양한 실증 검증을 수행한 결과, 제안한 MoRAS가 최첨단 추론 시점 방어 수단 대비 jailbreak를 지속적으로 완화하고 유틸리티를 보존하며 계산 오버헤드를 줄이는 것을 확인했다.

arXiv:2606.31876v1cs.AI

Harnessing Textual Refusal Directions for Multimodal Safety

멀티모달 대규모 언어 모델(MLLM)의 안전성 강화를 위해 멀티모달 안전 데이터 없이 LLM 백본의 텍스트 거부 방향(refusal direction)이 이미지·비디오 등 다른 모달리티에도 전이됨을 분석하고, 모달리티 불일치를 활성화 재중심화(activation re-centering)로 보정하는 학습 불필요 방법인 MARS(Modality-Agnostic Refusal Steering)를 제안한다. 5개의 최신 MLLM과 안전성·유용성·비디오 jailbreak 벤치마크에서 평가한 결과, MARS는 유용성을 유지하면서 안전성을 일관되게 향상시켰으며, 특히 Qwen3-VL에서 비디오 jailbreak 거부율이 최대 +59.4%p 향상되었다.

arXiv:2606.25034v2cs.CV

Yuvion VL: 적대적 콘텐츠 및 AI 안전성을 위한 멀티모달 기반 모델

Yuvion VL: A Multimodal Foundation Model for Adversarial Content and AI Safety

범용 모델은 콘텐츠 및 AI 안전성이 지닌 본질적인 멀티모달 적대적 특성으로 인해 실세계 멀티모달 위험을 신뢰성 있게 식별하고 이해하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 콘텐츠 및 AI 안전성을 전용으로 구축한 멀티모달 대규모 언어 모델(LLM) 패밀리인 Yuvion VL을 소개하며, 인스트럭션 튜닝 변형과 추론 지향 변형 모두를 제공합니다. Yuvion VL은 안전성을 본질적으로 적대적이고 멀티모달한 문제로 간주하고, 전체 파이프라인을 적대적 견고성(adversarial robustness)을 중심으로 설계함으로써 이러한 격차를 해소합니다. 데이터 구축 측면에서는 적대적 인식 데이터 합성과 다단계 품질 관리를 통합한 자동화 파이프라인을 개발하여, 도메인 지식 및 추론 어노테이션으로 보강된 대규모 고품질 멀티모달 샘플을 생성합니다. 학습 측면에서는 위험 개념의 크로스모달 정렬을 위한 지속적 사전학습(continued pretraining), 프로덕션 수준의 안전성 태스크를 위한 인스트럭션 사후 학습, 그리고 복잡한 태스크에서의 해석 가능성과 성능 향상을 위한 추론 사후 학습으로 구성된 3단계 파이프라인을 채택합니다. 또한 모델별 혼동 사례를 발굴하고 다중 이미지 대조 그룹을 구성하여 세밀한 시각-의미 요소의 명시적 변별을 강제하는 대조 학습 프레임워크인 Confuse-then-Contrast 미세조정(Fine-Tuning)을 추가로 제안합니다. 이를 통해 모델은 적대적 안전성 태스크에서 시각적으로 유사하지만 안전성 함의가 다른 사례를 구별할 수 있습니다. 엄밀한 평가를 지원하기 위해, 콘텐츠 및 AI 안전성, 적대적 견고성, 실세계 역량 요구사항에 초점을 맞춘 다양한 공개·내부 평가를 포함하는 벤치마크 모음인 Yuvion VL RiskEval(YVRE)을 함께 소개합니다. 실험 결과, Yuvion VL-32B는 유사한 규모의 오픈소스 모델 및 최고 수준의 클로즈드소스 상용 모델을 능가하는 업계 최고 수준의 안전성 성능을 달성하는 동시에 범용 역량을 동등하게 유지함을 보여줍니다.

arXiv:2606.22873v3cs.CV

SingGuard: 동적 추론을 갖춘 정책 적응형 멀티모달 LLM 가드레일

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

비전-언어 모델(VLM)은 소비자, 의료, 금융, 기업 애플리케이션에 점점 더 광범위하게 배포되고 있다. 이러한 광범위한 배포는 안전성 표면을 확장시킨다. 위험은 멀티모달 질의응답, 어시스턴트 응답, 교차 모달 합성에서 발생할 수 있으며, 모더레이션 정책은 제품, 지역, 배포 단계에 따라 달라질 수 있다. 기존 가드레일의 대부분은 고정된 분류 체계에 의존하거나 좁은 범위의 상호작용 설정만을 대상으로 하여, 배포 시점에 안전성 규칙이 변경될 때 적응성이 제한된다. 본 논문에서는 멀티모달 대화의 안전성 평가를 위한 정책 적응형 멀티모달 가드레일 모델 패밀리인 \textbf{SingGuard}를 제시한다. SingGuard는 활성 정책을 런타임 입력으로 처리한다. 자연어 규칙이 주어지면, 활성 정책의 규칙을 하나씩 검토하여 대상 콘텐츠를 점검하고 안전성 레이블과 트리거된 규칙을 모두 예측한다. 효율성과 해석 가능성의 균형을 위해, SingGuard는 직접적인 안전성 판단부터 정책 기반 숙고에 이르는 빠름-느림 추론 스펙트럼을 따라 빠른(fast), 하이브리드(hybrid), 느린(slow) 추론 방식을 지원한다. 이러한 동작을 빠름-느림 분리형 강화학습으로 추가 최적화한다. 또한 \textbf{SingGuard-Bench}를 소개한다. 이는 멀티모달 QA, 적대적 공격, 동적 규칙 평가 설정에 걸쳐 80가지 이상의 세분화된 위험 유형을 아우르는 56,340개의 예시를 포함하는 멀티모달 가드레일 벤치마크로, 각 모달리티는 단독으로는 무해하지만 조합 시 안전하지 않은 의도를 내포하는 교차 모달 복합 위험 사례도 포함한다. 여섯 개 벤치마크 패밀리(35개 데이터셋) 전반에 걸쳐 SingGuard는 모든 패밀리에서 최고 평균 F1을 달성한다. 동적 규칙 평가에서는 런타임 정책 변경 시 정책 준수 정확도가 0.6465에서 0.7415로 향상됨을 확인하였다. 코드는 https://github.com/inclusionAI/Sing-Guard에서 공개되어 있다.

arXiv:2606.24081v1cs.CR

PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation

As Text-to-Image (T2I) jailbreak techniques evolve rapidly, existing benchmarks and reproduction workflows often struggle to keep pace. More importantly, T2I jailbreak evaluation is not a single prompt-level test, but a pipeline-level problem shaped by multiple stages, including prompt transformation, image generation, safety filtering, and multimodal judging. This makes results across papers difficult to reliably reproduce and fairly compare. To bridge this gap, we propose PixJail, a self-evolving paper-to-pipeline agent framework for reproducible T2I jailbreak evaluation. Given a T2I jailbreak paper and optional reference code, PixJail rapidly constructs a paper-specific attack module and a runnable evaluation pipeline under a unified contract, while faithfully reproducing the original experimental results. PixJail further maintains a memory bank that stores paper digests, attack evolution patterns, reusable templates, failure cases, and versioned artifacts, enabling future reproduction efforts to reuse prior experience. We reproduce eleven representative T2I jailbreak methods, including both code-available and code-unavailable papers. Under their original settings, our framework accurately recovers prior results with minimal error (2.1\% average, 0\% median). We hope that PixJail can serve as a unified foundation for future T2I jailbreak reproduction and evaluation, significantly reducing manual effort.