Yuvion LLM: 콘텐츠 및 AI 안전을 위한 적대적 인식 대규모 언어 모델
Yuvion LLM: An Adversarially-Aware Large Language Model for Content And AI Safety
한국어 초록
대규모 언어 모델(LLM)이 실제 시스템에 점점 더 널리 배포됨에 따라, 안전성 실패는 여전히 유해한 출력과 위험한 오용으로 이어질 수 있다. 우리는 안전성의 본질이 적대적(adversarial)임을 주장한다: 많은 실패는 자연 입력만에서 기인하는 것이 아니라, 모델 정책과 보호 장치를 회피하려는 전략적 시도에서 발생한다. 그러나 기존 범용 모델 개발은 대체로 이러한 적대적 특성을 간과하며, 계획, 도구 사용, 다단계 추론을 포함한 현실적인 안전 시나리오에 종종 불충분한 채로 남아, 측정된 안전 성능이 실제 배포 견고성(robustness)을 과대평가하게 만든다. 이 격차를 해소하기 위해, 우리는 적대적으로 견고한 콘텐츠 안전과 더 넓은 AI 안전을 위해 구축된 대규모 언어 모델인 Yuvion LLM을 제시한다. Yuvion LLM은 적대적 견고성과 에이전트(agentic) 역량을 일급 목표로 취급한다. 그 파이프라인은 적대적 인식 데이터 구축, 지식 강화 지속 사전학습(continued pretraining), 그리고 위험 인식 지도 미세조정 및 강화학습 기반 정책 최적화를 포함하는 정책 기반 다중 과제 안전 사후 학습을 결합하며, 복잡한 안전 시나리오에서의 도구 사용과 다단계 추론을 위한 안전 인식 에이전트 강화학습도 함께 포함한다. 우리는 또한 Yuvion LLM RiskEval(YLRE)을 도입한다. 이는 4개 평가 카테고리에 걸친 93개 벤치마크 모음으로, 안전성, 적대적 견고성, 실제 세계 역량 요구사항에 초점을 맞춘 다양한 공개 및 내부 평가를 포괄한다. 이러한 평가 전반에서 Yuvion LLM은 안전 중심 벤치마크에서 뚜렷한 우위를 보이며, 특히 적대적 조건 하에서 강한 견고성을 나타내면서 전반적인 역량도 견실하게 유지한다. 특히 Yuvion-8B는 여러 안전 과제에서 GPT-5.4 및 Qwen3-MAX와 같이 훨씬 더 큰 모델을 포함한 최신(state-of-the-art) 베이스라인 대부분을 능가한다.
원문 초록
As large language models are increasingly deployed in real-world systems, safety failures can still lead to harmful outputs and dangerous misuse. We argue that the essence of safety is adversarial: many failures arise not from natural inputs alone, but from strategic attempts to evade model policies and safeguards. However, existing general-purpose model development largely overlook this adversarial nature, and often remain insufficient for realistic safety scenarios involving planning, tool use, and multi-step reasoning, causing measured safety performance to overestimate real deployment robustness. To address this gap, we present Yuvion LLM, a large language model built for adversarially robust content safety and broader AI safety. Yuvion LLM treats adversarial robustness and agentic capability as first-class objectives. Its pipeline combines adversarially aware data construction, knowledge-enhanced continued pretraining, and policy-grounded multi-task safety post-training, including risk-aware supervised fine-tuning and reinforcement learning-based policy optimization, together with safety-aware agentic reinforcement learning for tool use and multi-step reasoning in complex safety scenarios. We further introduce the Yuvion LLM RiskEval (YLRE), a collection of 93 benchmarks across four evaluation categories, covering diverse open and internal evaluations with a focus on safety, adversarial robustness, and real-world capability requirements. Across these evaluations, Yuvion LLM demonstrates clear advantages on safety-focused benchmarks and particularly strong robustness under adversarial conditions, while maintaining solid overall capability. Notably, Yuvion-8B outperforms most state-of-the-art baselines, including substantially larger models such as GPT-5.4 and Qwen3-MAX, on several safety tasks.
요약
적대적 입력에서 비롯된 안전성 취약점을 해소하기 위해, Alibaba Security AGI Lab은 적대적 견고성과 에이전트 역량을 핵심 목표로 삼아 지식 강화 지속 사전학습, 정책 기반 다중 과제 안전 사후학습, 안전 인식 에이전트 강화학습의 3단계 파이프라인으로 Yuvion LLM을 개발하였다. 93개 벤치마크로 구성된 YLRE 평가 프레임워크에서 Yuvion-32B는 콘텐츠 안전성 Macro F1 78.2%로 GPT-5.4(72.2%)를 능가하였으며, 8B 규모의 소형 모델도 GPT-5.4 및 Qwen3-MAX를 포함한 대부분의 최신 베이스라인을 여러 안전 과제에서 상회하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27632v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MLCommons 탈옥 벤치마크 v1.0
MLCommons Jailbreak Benchmark v1.0
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
BRANCH: 다중 스캐너 AI 가드레일 우회 기법
BRANCH: Bypassing Multi-Scanner AI Guardrails
AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.
음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성
How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys
음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법
How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense
안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.
NOMOS: 문서화된 정책을 LLM 에이전트를 위한 정적으로 검증된 도구 호출 게이트로 컴파일하기
NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents
도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.
모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크
Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review
과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.