Repeated safety evaluation of open-weight large language models requires generating and judging responses for many related checkpoints. We introduce RAS (Refusal Alignment Score), a representation-based, reference-relative indicator of harmful-request refusal computed by the five-stage SafeVec procedure. SafeVec extracts layer-wise refusal directions from an aligned reference model, measures their alignment in related targets, and calibrates a score from 0 to 100 using behavioral attack success rates (ASR) from reference and calibration models. Subsequent target scoring uses input forward passes alone. Across 18 held-out variants from the Llama, Gemma, and Qwen families, RAS correlates with $100(1-\mathrm{ASR})$ (Pearson 0.934, Spearman 0.851) and achieves 83.0% pairwise ordering agreement. Across five prompt configurations for the Llama reference, directions have mean cosine similarity 0.939. With calibration ASR already available, setup-inclusive evaluation of five targets achieves a speedup of 3.2 to 80.5 times over the specified behavioral protocol. These results support refusal alignment as an efficient signal for screening related checkpoints and prioritizing behavioral audits.
As LLMs acquire stronger reasoning capabilities, deceptive behavior becomes an increasingly serious safety concern. Existing deception monitors typically either score visible transcripts or derive scalar probe scores from representation vectors, leaving little inspectable evidence about why a response is suspicious. We introduce StateWitness, an audit decoder for deception monitoring. It reads a target model's hidden states to answer audit queries and produce confession-style reports of potential failures or violations. We evaluate generalization beyond the decoder's audit training data across two target reasoning models and seven deception datasets. StateWitness achieves 0.916 mean AUROC, with relative gains of 11.6% and 25.0% over the best black-box and activation-probe baselines, respectively, under the same evaluation protocol. When combined with existing monitors, StateWitness reduces missed deceptive examples in simple threshold ensembles. Beyond scalar detection, the decoder returns query-level answers, schema reports, and token- or sentence-level evidence traces for human inspection. We envision StateWitness as one monitoring layer in a broader defense-in-depth strategy.
안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.
대규모 언어 모델(LLM)의 배포 시점 안전성(safety) 기법은 대부분 지도학습 방식이며 안전하지 않은 학습(training) 데이터에 접근할 수 있다고 가정한다. 그럼에도 불구하고 새로운 공격과 위해 유형은 주기적으로 발생하며, 이러한 지도학습 방식으로 훈련된 모델로는 이를 포착하지 못한다. 대안적인 접근법은 이 문제를 이상치 탐지(anomaly detection)의 관점에서 바라보는 것, 즉 안전한 데이터만을 모델링하고 분포 외(out-of-distribution) 입력을 식별하는 데에만 의존하는 것이다. 그러나 LLM 활성화 값은 고차원 공간에 존재하기 때문에 이상치 탐지가 통계적으로 실현 가능한지에 대한 우려가 제기된다. 본 논문에서는 선형 표현 가설(LRH) 하에서 실제로 가능성이 있음을 보인다. 일반적으로 희소 오토인코더(SAE)를 통해 복원되는 LRH 개념 공간에서는 인접한 점들이 작고 공통된 활성 지지 집합(active support)을 공유한다. 이러한 국소적 희소성(sparsity)에 대한 통찰을 바탕으로, 이론적 근거를 갖춘 국소 마스킹 SAE 기반 이상치 탐지 프레임워크를 제안한다. 능력 평가 데이터셋과 안전성 특화 데이터셋을 모두 포함하여 다양한 아키텍처와 데이터셋에서 이를 검증한다. 마지막으로, 보정(calibration)을 위해 알고리즘이 1%의 분포 외 데이터를 사용할 수 있도록 허용했을 때, 국소적 희소성 기반 방식은 거의 최적에 가까운 성능을 달성하여 연산에 SAE 뉴런의 1-2%만을 사용하면서도 의미 있는 안전성 정보를 포착할 수 있음을 입증한다.
최근 연구에 따르면 대규모 언어 모델(LLM)은 무해한 태스크와의 구성을 통해 유해한 의도를 은닉하는 탈옥(jailbreak) 공격에 취약할 수 있음이 나타났습니다. 단독으로는 거부되는 유해한 요청도 겉보기에 무해한 더 큰 질의 내에 포함되면 다른 응답을 유도할 수 있습니다. 본 연구에서는 이러한 구성적 의도 은닉 탈옥을 정보이론적 관점에서 연구합니다. 본 공식화는 각 태스크를 유해하다고 판단될 추정 확률과 연계합니다. 전체 태스크 집합에 대한 평균은 유해 의도의 사전 확률을 정의하고, 대상 태스크를 포함하는 선택된 번들에 대한 평균은 사후 확률을 정의합니다. 이러한 평균들이 일치하도록 보조 태스크를 선택하는 방식(이를 사전-사후 일치라고 부름)은 번들 내에 유해 대상이 남아있음에도 추정 의도를 변경되지 않은 상태로 유지합니다. 질의 생성이 최적화의 일부인지 여부에 따라 달라지는 두 가지 설정을 연구합니다. 질의 독립적 설정에서는 최종 질의에서 태스크가 어떻게 표현될지와 무관하게 태스크를 선택합니다. 번들 크기 제약 하에서 정확한 사전-사후 일치는 계산적으로 어렵다는 점을 보이고, 분수 가중치에 대한 최적의 워터 필링(water-filling) 해법을 도출하며, 규정된 안전성(safety) 임계값을 만족하는 가장 작은 번들의 특성을 밝힙니다. 질의 의존적 설정에서는 태스크 선택과 질의 구성을 공동으로 고려하며, 결과 질의에 대해 의도 은폐와 대상 보존을 평가합니다. 번들 크기, 질의 생성기, 여러 오픈소스 모델 전반에서 탈옥 효과와 대상 행동 보존을 평가합니다. 이러한 결과는 평가된 탐색 예산 하에서 구성적 질의가 직접 요청 기준선(baseline)을 넘어 대상 행동을 유도할 수 있음을 보여주는 동시에, 번들 크기가 증가함에 따라 여러 모델에서 응답 수준의 대상 보존이 감소하는 경향이 있다는 트레이드오프를 밝혀냅니다.
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
대규모 언어 모델(LLM)의 안전성(safety) 평가는 여전히 영어 중심적이어서, 저자원 언어(LRL), 특히 아프리카 언어에 대한 탐색은 심각하게 부족한 상황이다. 본 논문에서는 JBB(JailbreakBench) 프롬프트의 인간 번역, 아프리카 맥락에 맞춘 영어 각색 후 인간 번역, GPT-5.2와의 상호작용을 통해 검증된 인간 큐레이션 프롬프트, 그리고 영어와 아프리카 언어를 결합한 코드 스위칭 프롬프트의 네 가지 설정을 통해 단순 번역을 넘어 JailbreakBench(JBB)를 확장한 7개 아프리카 언어 대상 탈옥 벤치마크인 TUKABENCH를 소개하며, 언어, 문화적 그라운딩(cultural grounding), 프롬프트 회피성이 모델 안전성에 미치는 영향을 분리하여 분석한다. 폐쇄형 및 오픈형 모델 전반에서 아프리카 언어로 프롬프팅할 경우 영어 대비 거부율이 감소하며, 문화적으로 각색된 프롬프트가 가장 낮은 거부율을 보였다. 또한 본 평가는 저자원 언어에서의 모델 이해 실패와 LLM-as-a-judge 신뢰도 저하라는 두 가지 구조적 한계를 드러낸다. 첫 번째 문제를 포착하기 위해 저자들은 Refused(거부) 및 Jailbroken(탈옥)과 함께 Deflection(회피/빗겨가기)을 도입하고, 두 번째 문제를 평가하기 위해 인간 주석으로 출력을 검증하여 자원이 더 부족한 언어와 덜 보편적으로 지원되는 문자 체계에서 판정관과 인간 간의 일치도가 떨어진다는 점을 보여준다.
대규모 언어 모델(LLM)은 매우 설득력 있는 허위 정보를 생성할 수 있지만, 언어와 인구통계 집단에 걸쳐 이를 얼마나 효과적으로 개인화하는지에 대해서는 알려진 바가 거의 없다. 우리는 LLM에 의한 페르소나 대상 허위 정보 생성에 대한 최초의 대규모 다국어 연구를 제시한다. 레드팀 테스팅(red-teaming) 방법론을 사용하여, 네 가지 언어(영어, 러시아어, 포르투갈어, 힌디어)에서 324개의 거짓 내러티브와 150개의 인구통계 페르소나로 8개의 선도 모델에 프롬프트를 제공하고, 160만 개의 개인화된 허위 정보 텍스트로 구성된 데이터셋 AI-TRAITS를 구축했다. 모델이 안전 고지를 동반하든 직접적으로든 요청된 거짓을 생성할 때마다 안전장치가 무력화된 것으로 본다. 모델 전반에 걸쳐, 안전장치는 비개인화 프롬프트의 80%와 개인화 프롬프트의 77.7%에서 실패했으며, Grok는 94% 이상의 사례에서 허위 정보를 생성했다. 모든 모델은 대상 페르소나에 맞게 출력을 효과적으로 맞춤화했으며, 비개인화 콘텐츠보다 상당히 더 많은 설득 기법을 사용했다. 추가 분석은 페르소나별 언어적·심리적 패턴을 드러내고, 안전장치의 효과가 언어에 따라 현저히 달라짐을 보여준다. 이러한 결과는 현재 LLM 안전 메커니즘의 중대한 약점을 드러내며, 개인화된 AI 생성 허위 정보에 대응하는 더 견고한 다국어 안전장치의 필요성을 강조한다.
대규모 언어 모델(LLM)이 법률, 금융, 의학과 같은 고위험 분야에 점점 더 배포됨에 따라, 이들의 도메인별 안전성과 준수 여부를 체계적으로 평가하는 것이 중요해졌다. 기존 연구는 이러한 분야에서 LLM 성능 향상에 주로 초점을 맞춰 왔지만, 도메인별 안전성 위험 평가는 종종 간과해 왔다. 이 격차를 메우기 위해, 우리는 먼저 AMA 의료 윤리 원칙, ABA 변호사 직업윤리 모범규칙, CFA Institute 윤리강령을 바탕으로 LLM에 대한 도메인별 안전성 원칙을 정의한다. 이 기반 위에서 우리는 법률, 금융, 의학 분야의 LLM 안전성을 구체적으로 대상으로 하는 벤치마크 Trident-Bench를 제안한다. Trident-Bench에서 범용 및 도메인 특화 모델 19개를 평가한 결과, 이 벤치마크가 핵심 안전성 격차를 효과적으로 드러냄을 보였다 — 강력한 범용 모델(예: GPT, Gemini)은 기본 기대를 충족할 수 있는 반면, 도메인 특화 모델은 미묘한 윤리적 뉘앙스에서 종종 어려움을 겪는다. 이는 보다 세밀한 도메인별 안전성 개선의 시급한 필요성을 부각한다. Trident-Bench를 도입함으로써, 본 연구는 법률과 금융 분야 LLM 안전성 연구를 위한 최초의 체계적 자원 중 하나를 제공하며, 전문적으로 규제되는 분야에 LLM을 배포할 때의 안전성 위험을 줄이기 위한 향후 연구의 토대를 마련한다. 코드와 벤치마크는 https://github.com/zackhuiiiii/TRIDENT 에서 공개될 예정이다.
실패한 jailbreak 프롬프트를 성공적인 것으로 바꾸는 교란(perturbation) 기법은 지속적으로 진화하고 있으며, 이는 LLM 안전성(safety)에 대한 주요 보안 위협을 구성한다. 본 논문에서는 Qwen-2.5-1.5B/-3B/-7B-Instruct 및 Llama-3.2-1B/-3B/-3.1-8B-Instruct 계열의 소형 가중치 모델에서, 이러한 문자열 수준(string-level) 교란 jailbreak 입력의 내부 표현(internal representation)을 조사한다. 두 가지 표현 공간을 선택한다: 마지막 층-마지막 토큰 임베딩 공간과 상위 50개 다음 토큰 확률 공간. 전자의 공간은 철자와 형식에 따라 프롬프트를 분리하는 반면, 후자의 공간은 사실상 일차원(one-dimensional)이지만 클러스터링하기에는 더 복잡해 보인다. 거부(refusal)가 지배적인 답변 집합 내에서 두 공간 모두에서 행동적(behavioral) 초평면(hyperplane)을 찾지 못한다. 1.5B Qwen 모델에서는 다음 토큰 "Sure"만, 1B Llama 모델에서는 "," 및 "ĊĊ" 토큰 모두가 순응(compliant) 라벨이 붙은 답변과 유의미한 연관성을 보인다.
프로덕션 LLM 애플리케이션은 일반적으로 모델 측 정렬 앞에 regex 필터를 겹쳐 쌓는다. 선행 연구는 활성 regex 필터 뒤에 라이브 Gemini 백엔드를 추가해도 측정 가능한 커버리지 이득이 없음을 밝혔다. 우리는 말뭉치가 \emph{regex를 우회하도록 설계되었을 때} 그 한계가 유지되는지 묻는다. $L_5$-no-regex — $L_4$-real(Gemini-2.5-flash, 토큰 예산 상한, rate limit, output scrub)과 동일하지만 9-패턴 필터가 비활성화됨 — 를 도입하고, 세 하위 말뭉치(carry-forward, regex-bypass, alignment-isolate)에 걸친 $N{=}45$개의 적대적 프로브에 대해 평가하며, Gemini 패러프레이즈와 PAIR로 $N{=}5$회 반복에 걸쳐 ${\sim}1{,}555$개의 프로브-실행 쌍으로 증폭한다. 1차 부분 문자열 분류기 하에서 H1은 기각된다: $L_5$ 차단률은 5개 OWASP LLM Top-10 카테고리 전반에서 $0,\%$이다 ($L_0$ 대비 $\Delta\text{pp}{=}0$, $p{=}1.00$; Wilson 상한 ${<}5,\%$). PAIR 변형에 대한 2차 LLM-judge 지표는 $56$--$100,\%$ 차단률을 보여준다 ($p{<}0.01$). 이는 정렬이 적대적으로 구성된 프로브에 반응하지만, 부분 문자열 매칭에는 너무 미묘한 거부를 생성함을 드러낸다. 하위 말뭉치 차등 예측은 뒷받침되지 않는다 ($p{=}1.00$). 정렬의 기여는 \emph{지표 의존적}이다: 자연어 유해 요청 프로브에서는 regex를 넘어 관측된 커버리지를 전혀 추가하지 않으며, 적대적으로 구성된 변형에서는 LLM judge가 부분 문자열 분류기가 놓치는 거부를 감지한다. 잠금 말뭉치, 변이 아티팩트, 내보내기 스크립트는 재현을 위해 공개된다.
Safety as Polytope(SaP)는 LLM 은닉 공간에서 선형 반공간 제약을 학습하지만, 제약 개수 K에 대한 카테고리별 튜닝이 필요하다. 우리는 희소 오토인코더(SAE) 특징 추출이 이를 해결함을 보인다: Qwen3.5-9B에서 14개 카테고리 중 12개에 대해 K=2가 최적이 되며, BeaverTails 분류 벤치마크에서 카테고리당 96-99% 정확도를 달성하여, (무작위 초기화를 사용한 K=4-25에 대한) 포괄적 탐색의 필요성을 대부분 없앤다. 두 평면으로의 이러한 수렴은 선형 표현 가설(Linear Representation Hypothesis)과 일치하며, 이 설정에서 안전성 경계가 SAE 특징 공간에서 저차원 선형 기술을 허용함을 시사하는 증거를 제공한다. 이 기하학적 관점을 바탕으로, 학습 가능한 개구(aperture)가 각 카테고리의 클러스터 집중도에 적응하는 원뿔 제약을 도입하며, 3단계 학습에 의해 안정화된다.
우리는 지도 미세조정이나 인간 피드백 강화학습(RLHF) 없이 대규모 언어 모델(LLM)을 정렬하기 위한 무학습 안전성 향상 방법을 제안한다. 핵심 아이디어는 모델이 하류 작업에 적응될 때 섀도우 정렬(shadow alignment)을 방지하기 위한 견고한 플러그 앤 플레이 접근법을 제공하는 것이다. 구체적으로, 지식 증류를 활용해 잘 정렬된 LLM으로부터 정렬 신호를 추출하고, 모델 융합(model fusion)을 통해 섀도우 정렬 모델에 주입하여 플러그 앤 플레이 방식의 정렬 교정을 가능하게 한다. 우리 방법론에서는 델타 디버깅(delta debugging)을 사용해 효과적인 증류에 필요한 지식의 핵심 구성 요소를 식별한다. 유해 질문 데이터셋(harmful question dataset)에서 우리 방법은 17개의 영향을 받은 LLM 전반에 걸쳐 평균 방어 성공률을 약 14.42% 향상시켜 최대 51.39%에 이르며, 성능을 저하시키지 않는다. 코드는 https://github.com/NWULIST/DAPA 에서 확인할 수 있다.
문맥은 주제나 표면 형태를 바꾸지 않으면서도 요청이 해로운지 여부를 바꿀 수 있다. 우리는 잔차 스트림(residual-stream) 프로브가 유용한 운영 지점에서 해로운 요청을 표면적으로 일치하는 양성(benign) 대조군과 구별할 수 있는지 조사한다. 세 가지 7-8B 모델 계열 전반에서, 활성화 센서는 분류체계로 선정된 집합에서 판정기(judge)가 분류한 준수(compliant) 공격의 95.5-97.7%를 차단한다. 또한 XSTest 프롬프트의 59.6-68.4%를 차단한다. 완전히 분리된 감사(audit)는 거의 상한에 가까운 소스 대비(source-contrast) AUROC(0.996-0.999)를 재현하지만, 고정 전이(transfer)를 일치 쌍(matched pairs)에 적용하면 성능이 더 약하다: guard가 선정한 Twin-n70 부분집합에서 0.656-0.819, 전체 Twin-n163 코호트에서 0.590-0.690이다. 우리는 기준(reference) 계열에서 10개 축, 모든 계열 전반에서 7개 축을 누출(leakage), 홀드아웃(hold-out), 순열(permutation) 통제와 함께 테스트한다. Twin-n163에서, 직접적인 쌍 경계(pair-boundary) 적합(fitting) 없이 평가된 어떤 축도 지정된 수치 임계값에 도달하지 못한다. 해당 전체 코호트에 대한 지속성(persistence) 요구 조건은 분석 시점에 추가되었다. 별도로 명시된 24B/32B 확장 실험에서도 동일한 결과를 얻는다. 쌍으로 학습된 분류기는 범주(category) 및 생성 배치 홀드아웃 하에서 성능이 약화되며, 코퍼스 내 TPR 95%에서 XSTest의 79.6-100%를 오차 차단(false-block)한다. 테스트된 판독(read) 지점에서, 이 활성화 점수들은 독립적인 문맥 판정기라기보다 광범위 위험 탐지기로 동작한다.
취약한 사용자의 보호자로 설정되었으나 명시적인 역량 경계가 주어지지 않을 때, 대규모 언어 모델(LLM)은 자신의 한계를 인정하기보다 응급 서비스에 연락하거나 돌봄을 제공하는 것과 같이 실제로 수행할 수 없는 현실 세계의 보호 조치를 이미 취했거나 현재 취하고 있다고 응답할 수 있다. 우리는 이 현상을 보호 역량 환각(Protective Capacity Hallucination, PCH)이라 부른다. 이는 보호 역할을 맡은 모델이 언어 모델로서의 수행 가능 범위(affordance)를 초과하는 물리적 또는 제도적 행위 주체성(agency)을 주장하는 자기 참조적 오귀속(misattribution)이다. 8개 LLM과 13,600개 세션에 걸친 3단계 연구에서, PCH는 상황적 심각성과 상호작용 형식에 의해 공동으로 조절됨을 발견했다. 다자 대화형 입력은 일반 서비스 도메인에서 대부분의 모델에서 이를 상한(ceiling) 수준까지 끌어올리는 반면, 안전성 정렬(safety alignment)이 명시적으로 다루는 친밀한 관계 내 갈등(intimate-partner conflict)에서는 물리적 심각성이 더 크더라도 8개 모델 모두에서 하한(floor)에 머문다. 우리는 PCH를 역할 부여와 역량 경계 명세 사이의 배포 설계 격차의 징후로 해석한다. 이는 도움을 주려는 보편적으로 학습된 압력이, 어떻게 도울지에 대한 도메인 선택적 명세를 앞서는 부분적 정렬(partial alignment)의 부산물이다. 억제가 심각성이 아닌 정렬 적용 범위(alignment coverage)를 따르기 때문에, 역량 경계에 대한 배포 측 명세가 일반적인 완화(mitigation) 목표로 부상한다.
대규모 언어 모델(LLM) 기반 에이전트 시스템은 자율적 작업에 점점 더 많이 활용되고 있지만, 기존 평가는 에이전트가 언제 행동을 삼가야 하는지 파악하는 능력보다 작업 성공 여부에 주로 초점을 맞춰왔다. 이 격차는 실질적인 위험을 초래한다. 모호한 상황, 상충하는 제약 조건, 또는 도구 오류 하에서 에이전트는 의도하지 않은 되돌릴 수 없는 행동을 실행할 수 있다. 이 격차를 해소하기 위해 우리는 에이전트적 행동 절제(agentic abstention)에 대한 최초의 체계적 평가 프레임워크를 제시한다. 행동 절제란 도구를 사용하는 LLM 에이전트가 언제 행동하지 말아야 하는지를 인식하는 보정된 능력을 의미한다. AgentAbstain의 핵심은 실행 전 추론과 런타임 발견에 걸친 8가지 행동 절제 시나리오의 에이전트 고유 분류 체계를 기반으로 구축된 쌍(paired) 작업 벤치마크이다. 이 벤치마크는 42개의 실행 가능한 샌드박스 환경에 걸쳐 263개의 쌍 작업을 포함하며, 각 쌍은 행동해야 하는(should-act) 작업과 명령어, 도구, 또는 환경 상태에 대한 통제된 변형을 통해 생성된 행동을 삼가야 하는(should-abstain) 변형 작업으로 구성된다. 이 쌍 설계를 확장하고 데이터 오염에 저항하기 위해 우리는 AbstainGen을 제안한다. AbstainGen은 샌드박스 환경을 합성하고 쌍 작업을 종단간(end-to-end)으로 생성하는 완전 자동화 파이프라인으로, 결정론적 재현(replay)과 의미론적 LLM 판정기(judge)로 검증된다. 새로운 작업 인스턴스는 요청 시 재생성할 수 있으며, 세 명의 독립적인 주석자가 샘플링된 작업의 94~98%를 잘 설계된 것으로 평가하였다. 4개의 에이전트 하네스에서 17개의 최신 LLM을 평가한 결과, 가장 우수한 에이전트(Gemini 3.1 Pro)도 쌍 정확도(act와 abstain 양쪽 모두 정확히 처리) 59.5%에 그쳤다. 더 중요한 점은, 행동 절제 능력이 일반적인 작업 해결 능력과 대체로 독립적이라는 것으로, 작업 해결 능력만을 스케일링하는 것으로는 이 격차를 해소할 수 없음을 시사한다. 우리는 또한 사후 절제(post-hoc abstention)와 같은 실패 유형을 규명하는데, 이는 에이전트가 절제 트리거를 인식하기 전에 되돌릴 수 없는 행동을 실행하는 현상이다. 코드와 데이터셋은 agentabstain.github.io에서 오픈소스로 공개되어 있다.
대규모 언어 모델(LLM)은 점점 더 IDE에 통합된 코딩 에이전트로 배포되고 있으며, 이러한 에이전트는 태스크를 분해하고 파일을 생성·편집하며 코드를 실행하고 여러 턴에 걸쳐 출력을 개선한다. 그러나 이들의 안전성은 여전히 챗봇처럼 평가되는 경우가 많다: 유해한 프롬프트 하나와 응답 하나를 독립적으로 판단하는 방식이다. 우리는 워크플로우 수준 탈옥 구성(workflow-level jailbreak construction)을 소개한다. 이는 유해한 목적이 단일 직접 프롬프트를 통해 생성되는 것이 아니라 소프트웨어 개발 워크플로우의 일반적인 단계에 걸쳐 조립되는 실패 모드이다. Visual Studio Code에서 GitHub Copilot을 사용하여 네 가지 비공개 가중치(closed-weight) 백엔드인 Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro, Gemini 3.5 Flash를 연구하였다. Hammurabi's Code, HarmBench, AdvBench에서 수집한 204개의 프롬프트에 걸쳐, 직접 채팅·CSV 읽기·단일 단계 코드 수정 기준선 조건에서 모델들은 거의 완전한 거부 반응을 보였으며, 각 기준선 조건에서 성공적인 응답은 816개 중 8개에 불과하였다. 그러나 전체 워크플로우 조건에서는 동일한 프롬프트와 백엔드가 816/816개의 안전하지 않은 교시 샷(teaching-shot) 완성을 생성하였으며, 이는 엄격한 루브릭 하에 두 명의 전문가 평가자가 독립적으로 확인하였다. 이러한 결과는 대화형 거부 벤치마크가 배포된 코딩 에이전트의 안전성을 크게 과대평가할 수 있음을 보여주며, 개별 채팅 턴뿐만 아니라 다중 턴 IDE 워크플로우와 그 생성 아티팩트 전반에 걸쳐 안전성을 추론하는 방어 기제의 필요성을 제기한다.
YuFeng-XGuard는 대규모 언어 모델(LLM) 상호작용에서 다차원적 위험 인식을 수행하는 추론 중심(reasoning-centric) 가드레일 모델로, 불투명한 이진 판단 대신 명시적 위험 카테고리, 신뢰도 점수, 자연어 설명을 포함한 구조화된 위험 예측을 생성한다. 첫 번째 디코딩 토큰 기반의 즉각적 위험 결정과 온디맨드 추론 설명을 지원하는 계층적 추론 패러다임과 모델 재학습 없이 런타임에서 안전 정책을 조정할 수 있는 동적 정책(Dynamic Policy) 메커니즘을 도입하여, 다양한 공개 안전성 벤치마크에서 최고 수준의 성능을 달성했다.
정신 건강 관련 대화에 활용되는 대규모 언어 모델(LLM)의 안전성(safety)을 평가하기 위해, 8개 상용 LLM을 DSM-5 16개 임상 질환과 4가지 적대적 공격(adversarial attack) 변형에 걸쳐 평가하고 8차원 피해 분류 체계와 다차원 평가 프레임워크를 제안하였다. 자살·자해를 제외한 섭식 장애, 물질 사용 장애, 주요 우울 장애 등의 조건에서 안전장치 실패율이 최대 100%에 달하는 것으로 나타나, 취약 계층이 접근하는 학교·검색 엔진·소비자용 챗봇 등 공개 서비스에서의 LLM 통합이 심각한 위험을 초래할 수 있음을 경고한다.
대규모 언어 모델(LLM)이 발전함에 따라, 복잡한 사회적 맥락에서의 오남용에 대한 우려가 더욱 커지고 있다. 기존 연구는 현실적인 상호작용에서 LLM의 범죄적 능력을 체계적으로 이해하고 평가하는 것을 간과했다. 우리는 다섯 가지 특성—허위 진술(False Statements), 누명 씌우기(Frame-Up), 심리적 조작(Psychological Manipulation), 감정 위장(Emotional Disguise), 도덕적 분리(Moral Disengagement)—에 걸친 LLM의 범죄 잠재력을 정량화하기 위한 통합 프레임워크 PRISON을 제안한다. 현실에 기반한 고전 영화에서 각색한 구조화된 범죄 시나리오를 사용하여, LLM의 범죄 잠재력과 범죄 대응(anti-crime) 능력을 모두 평가한다. 결과는 최신(state-of-the-art) LLM이 명시적 지시 없이도 잦게 창발적(emergent) 범죄 성향을 보인다는 것을 보여준다. 예를 들어 오해를 부르는 진술이나 회피 전술을 제안하는 경우가 있다. 게다가 탐정 역할을 맡았을 때, 모델들은 속임수 행동을 평균 44%의 정확도로만 인식하여, 범죄적 행위를 실행하는 것과 탐지하는 것 사이에 현저한 불일치가 있음을 드러낸다. 이러한 발견은 LLM의 더 넓은 배포 이전에 적대적 견고성(adversarial robustness), 행동 정렬(behavioral alignment), 안전성(safety) 메커니즘에 대한 시급한 필요성을 강조한다.