AI 평가는 주로 능력을 측정하는 데 집중되어 왔으며, 문항반응이론(IRT)에서 영감을 얻은 정형화된 접근법이 점차 널리 적용되고 있습니다. 그러나 모델이 특정 행동을 보이는 경향성인 성향(propensity)은 성능과 안전성(safety) 결과를 결정하는 데 핵심적인 역할을 합니다. 전통적인 IRT는 과제에서의 모델 성공을 모델 능력과 과제 요구 수준의 단조 함수(monotonic function)로 설명하지만, 이는 과도함과 부족함 모두 문제가 될 수 있는 성향을 다루기에는 적합하지 않습니다. 본 논문에서는 모델 성공에 대한 이중 로지스틱(bilogistic) 정식화를 활용하여 AI 성향을 측정하는 최초의 정형 프레임워크를 소개합니다. 이 정식화는 모델의 성향이 "이상적 구간(ideal band)" 내에 있을 때 높은 성공 확률을 부여합니다. 나아가 새롭게 개발된 과제 무관(task-agnostic) 루브릭을 갖춘 대규모 언어 모델(LLM)을 사용하여 이상적 구간의 한계를 추정합니다. 양방향으로 성향이 유도된 6개 계열의 LLM 모델에 본 프레임워크를 적용한 결과, 성향이 얼마나 이동했는지와 이것이 과제에 어떤 영향을 미치는지 측정할 수 있음을 확인했습니다. 결정적으로, 한 벤치마크를 통해 추정된 성향은 보류된(held-out) 과제에서의 행동을 성공적으로 예측합니다. 또한 성향과 능력을 결합했을 때 각각을 단독으로 사용할 때보다 더 강력한 예측력을 얻을 수 있습니다. 더 넓은 관점에서 본 프레임워크는 엄밀한 성향 측정이 어떻게 수행될 수 있는지, 그리고 AI 행동을 예측할 때 능력 평가만을 사용하는 것에 비해 어떻게 이점을 제공하는지를 보여줍니다.
대규모 언어 모델(LLM)이 빠르게 확산되면서 모델의 취약점을 밝혀내기 위한 신뢰할 수 있는 안전성 평가의 필요성이 커지고 있다. 이를 위해 수많은 LLM 안전성 평가 벤치마크가 제안되었다. 그러나 기존 벤치마크는 대체로 많은 노동력이 드는 수작업 큐레이션에 의존하며, 이로 인해 시간과 자원이 과도하게 소모된다. 또한 상당한 중복성을 보이고 난이도도 제한적이다. 이러한 문제를 완화하기 위해 본 논문에서는 LLM 안전성 벤치마크 구축을 자동화하도록 설계된 최초의 에이전트 플로우(agent-flow) 시스템인 SafetyFlow를 소개한다. SafetyFlow는 7개의 특화된 에이전트를 조율하여 사람의 개입 없이 단 4일 만에 포괄적인 안전성 벤치마크를 자동으로 구축할 수 있으며, 시간과 자원 비용을 크게 줄인다. 다양한 도구를 갖춘 SafetyFlow의 에이전트들은 자동화된 파이프라인에 인간의 전문성을 통합하면서도 프로세스와 비용의 통제 가능성을 보장한다. 최종적으로 구축된 데이터셋인 SafetyFlowBench는 중복성이 낮고 강한 변별력을 갖춘 23,446개의 쿼리를 포함한다. 본 연구의 기여는 최초의 완전 자동화된 벤치마킹 파이프라인과 포괄적인 안전성 벤치마크를 제시한 것이다. 우리는 구축한 데이터셋에서 49개의 최신 LLM의 안전성을 평가하고, 제안 방법의 효과성과 효율성을 검증하기 위한 폭넓은 실험을 수행한다.
대규모 언어 모델(LLM)은 로봇 건강 간병인의 제어 구성 요소로 배포되는 사례가 점점 늘고 있지만, 이 맥락에서의 안전성은 여전히 제대로 규명되지 않았다. 우리는 미국 의사협회(American Medical Association) 의료 윤리 원칙에 근거한 9개의 금지 행동 범주에 걸친 270개의 유해 지시로 구성된 데이터셋을 도입하고, 이를 Robotic Health Attendant 프레임워크 기반 시뮬레이션 환경에서 72개 LLM을 평가하는 데 사용한다. 모든 모델의 평균 위반율은 54.4%였으며, 절반 이상이 50%를 넘었고, 위반율은 행동 범주에 따라 상당히 달랐다. 기기 조작이나 응급 지연과 같이 겉보기에는 그럴듯한 지시는 노골적으로 파괴적인 지시보다 거부하기 더 어려웠다. 오픈 가중치 모델 가운데서는 모델 크기와 출시일이 안전성 성능의 주요 결정 요인이었으며, 독점 모델은 오픈 가중치 모델보다 상당히 더 안전했다(중앙값 23.7% 대 72.8%). 의료 도메인 미세조정은 전반적인 안전성 이점을 유의미하게 제공하지 않았고, 프롬프트 기반 방어 전략은 가장 안전하지 않은 모델들 가운데서만 위반율을 소폭 낮추는 효과를 냈으며, 절대적 위반율은 안전한 임상 배포를 불가능하게 할 수준으로 남아 있었다. 이러한 결과는 로봇 건강 간병인용 LLM의 개발 및 배포에서 안전성 평가를 1급 기준으로 취급해야 함을 보여준다.
AI 어시스턴트는 의료나 정부 서비스와 같은 고위험 환경에 점점 더 배포되고 있다. 그러나 강한 문맥 의존성 때문에 그들의 실제 세계 행동은 여전히 잘 이해되지 않는다. 현재 평가 프로토콜은 전통적인 벤치마크부터 실시간 또는 적대적 테스트에 이르는 다층적 안전장치가 누적되는 심층 방어(defense-in-depth) 패러다임을 따른다. 이러한 벤치마크는 대체로 정적이고 단일 턴(single-turn)으로 남아 있어, 대화형 설정에서 실제 세계의 변동성을 포착하는 능력을 제한한다. 우리는 StabilityBench를 제안한다. 이는 원칙에 기반하고 일반적이며 모델에 구애받지 않는(model-agnostic) 벤치마크 연산자로, 단일 턴 벤치마크 쿼리를 다중 턴(multi-turn) 상호작용 이력으로 변환한다. StabilityBench는 인구통계학적 대리 변수(demographic proxies)나 아부적(sycophantic) 미끼를 통한 현실적인 사용자 시뮬레이션을 주입하면서 원래 과제 의도를 보존함으로써 기존 벤치마크를 보강한다. 우리는 StabilityBench를 수학적 추론, 건강 질의응답, 안전성(safety)을 아우르는 네 가지 벤치마크에 적용하고, 이러한 조건에서 아홉 개의 대규모 언어 모델(LLM)을 평가한다. 결과는 이러한 주입 하에서 모델 성능이 일관되게 불안정하며, 연구한 네 벤치마크 중 세 곳에서 상당한 성능 저하가 나타남을 보여준다. 이는 정적 평가의 중요한 한계를 부각하고 더 현실적인 평가 설정의 필요성을 제기한다. 이를 위해 우리는 StabilityBench-Mini를 제안한다. 이는 StabilityBench의 크기를 유지하는 변형으로, 다양화 축(diversification axes)을 가로질러 샘플링하여 비용을 늘리지 않고도 더 현실적인 평가를 가능하게 한다.
이중 용도 생물학 어시스턴트에 대한 안전성 평가는 종종 기본 모델 역량, 거부(refusal) 행동, 또는 jailbreak 성공을 측정한다. 이러한 지표들은 배포 관점의 질문을 놓친다. 고정된 기본 모델에서 사용자가 실제로 경험하는 접근 조건(access condition)이 무해한(benign) 유틸리티와 유해한 실행 가능한(harmful actionable) 지원을 어떻게 바꾸는가? 본 연구는 안전장치 조건부 uplift(safeguard-conditioned uplift)를 제안하며, 이는 인간 판단 기반 유틸리티-위험 프론티어를 통해 배포된 접근 조건들을 비교하는 프로토콜이다. Claude Sonnet 4.6과 Gemini 3.5 Flash를 helpful prompting, safety prompting, 외부 safeguarded assistant 조건에서 108개 과제의 대리(surrogate) 벤치마크로 평가했으며, 핵심 주장은 잠금(lock)된 18개 과제의 held-out 분할로 제한했다. 600행의 블라인드 인간 감사(audit)에서 safeguarded assistant는 helpful prompting 대비 49개의 매칭된 응답 쌍에서 유해한 실행 가능성(harmful actionability)을 -0.063만큼 감소시켰고(bootstrap 95% 구간 [-0.117, -0.011]), 정확성(correctness)은 +0.009 변화(구간 [-0.057, +0.077])를 보였다. Adaptive, Test-B, cue-ablation, controller-기준선 검증은 측정 방법론을 뒷받침하지만 비우세(non-dominance)도 보여준다. safety prompting은 Claude에서 종종 가장 강력하고, 외부 제어(external control)는 Gemini에 더 도움이 되지만 무해한 유틸리티를 감소시킬 수 있다. 이 기여는 범용 방어가 아니다. 사용자 대면(user-facing) 접근 조건이 유틸리티-위험 프론티어를 어떻게 이동시키는지 측정하기 위한 배포 수준의 평가 대상과 학습된 위험 예산(risk-budgeted) 보정(calibration) 절차이다.
자율 CLI 에이전트는 이제 수 시간에 걸친 세션에서 수백 가지 작업을 실행할 수 있다: 코드 작성, 셸 명령 실행, 웹 브라우징, 클라우드 인프라 관리 등을 최소한의 인간 감독 하에 수행한다. 자율성이 높아질수록 위험도 커지는가? 우리는 미국 공개 법원 판례에 근거한 불법 태스크로 CLI 에이전트를 스트레스 테스트하는 자동화된 감사 프레임워크인 ANCHOR를 소개한다. ANCHOR는 지도 학습 및 강화학습 기반 파인튜닝을 통해 어두운 성격 데이터로 파인튜닝된 감사 에이전트를 배포한다. 이 감사 에이전트는 태스크를 분해하고, 거절 시 요청을 재구성하며, 다중 턴 상호작용에 걸쳐 전략을 적응시키는 지속적인 악의적 사용자를 역할극한다. 프런티어 CLI 에이전트를 평가한 결과, 직접적으로 요청받을 경우 불법 태스크를 자주 거부하지만, 지속적인 악의적 상호작용 하에서는 순응률이 100%에 달하는 것으로 나타났다. 에이전트가 순응할 경우, 대규모 금융 사기 및 생물무기 개발과 같은 치명적 위험 시나리오를 포함하여 대규모 위해를 위한 인프라를 자율적으로 구축하는 등 사용자 요청을 빈번히 초과 수행했다. 이러한 결과는 현재의 정렬(alignment) 기법이 자율 에이전트에 충분하지 않음을 보여주며, 지속적이고 적응적인 악의적 사용자에 대한 안전성 평가의 필요성을 강조한다. ANCHOR는 https://github.com/garified/anchor 에서 공개된다.
좁은 태스크에 조건화된 언어 및 비전 모델이 제약 없을 때는 보고할 수 있는 안전 임계 신호를 억제하는 현상(부주의 공백, Inattentional Gap)을 영상의학·운전·흉부 X선 태스크에서 실증하며, 이 억제가 모델 규모와 무관하게 모든 테스트 모델에서 나타났다. 각 좁은 보고를 독립적인 개방형 비평 모델로 라우팅하면 누락된 소견이 복원됨을 보여, 벤치마크 안전성과 실제 배포 안전성의 괴리를 해소하기 위한 보고 완전성 평가(reporting-complete evaluation) 도입을 제안한다.
ROK-FORTRESS는 영어-한국어 언어 쌍과 미국-대한민국 지정학적 축을 활용해 언어 효과와 지정학적 그라운딩 효과를 분리 평가하는 이중 언어 문화 적대적 NSPS(국가 안보·공공 안전) 벤치마크로, 1,235개 태스크에 걸쳐 트랜스크리에이션 매트릭스(transcreation matrix)를 적용한다. 최첨단 모델과 한국어 최적화 모델 모두에서 한국어 변형이 일관된 유해 출력 억제 효과를 나타냈으며, 이는 번역 전용 평가가 포착하지 못하는 언어-맥락 상호작용이 LLM 안전성 동작을 형성함을 보여준다.
OpenSafeIntent는 동일한 작업에 대해 무해(benign), 이중 사용(dual-use), 악의적(malicious) 의도 변형을 포함한 통제된 프롬프트 세트를 단위로 삼아, 대규모 언어 모델(LLM)이 의도 변화에 따라 지원 수준을 적절히 조정하는지 평가하는 벤치마크다. 다양한 모델을 대상으로 한 실험에서 평균 안전성 지표는 중요한 실패를 감추며, 이중 사용 프롬프트에서의 모델 행동은 표현 변화에 취약하고 의도 전환에 일관되게 대응하지 못한다는 사실이 드러났다.
안전성 벤치마크는 프롬프트, 언어, 턴 구조를 고정함으로써 확장성을 확보하는 경우가 많다. 그러나 정서 지원 챗봇에서 이러한 방식은 안전성 실패가 실제로 발생하는 지점, 즉 다국어·다턴 위기 대화 상황을 정확히 가려버린다. 우리는 정서 지원 챗봇의 안전성 평가를 위한 벤치마크 EMPATH를 제시한다. 감사자(auditor) 모델이 도움을 요청하는 사용자를 역할극하여 140개의 시드 지시문과 34개의 페르소나로부터 다턴 대화를 생성한다. 판정자(judge) 모델은 각 전체 대화록을 위기 처리, 치료적 품질, 대화 무결성, 정서적 안전성, 문화적 적응의 다섯 가지 차원에 걸친 19개 지표에 따라 채점한다. EMPATH는 멕시코 스페인어와 미국 영어를 위해 구축되었으며, 본 연구에서 보고된 실험은 멕시코 스페인어로 진행된다. 감사자와 판정자는 서로 다른 모델 계열에서 선택하며, 판정자는 신뢰의 대상이 아닌 보정(calibration)이 필요한 측정 도구로 다룬다. 기준별 엄격한 루브릭을 통해 19개 지표 중 10개에서 점수 팽창 현상을 발견하고 이를 바로잡아 변별력을 회복한다. 우리는 판정자 보정과 계열 간 판정자 간 일치도를 통해 벤치마크의 측정 특성을 연구한다. 또한 오픈웨이트(open-weight) 모델 1개를 포함한 세 가지 프론티어 모델에 EMPATH를 적용하여 예시를 제시한다. 종합 점수는 서로 0.74점 이내에 위치하지만, 지표별 프로파일은 모델 특정 지점에서 최대 6점까지 차이를 보인다. 표준 루브릭 하에서 순위와 취약 지점 모두 두 번째 계열 간 판정자에 걸쳐 안정적으로 유지된다: 점수의 93%가 ±1 범위 내에 속한다. 5회 반복 재검사는 또 다른 축을 추가한다: 가장 안정적인 모델조차 동일한 재실행에서 위기 지표에 대해 2점에서 10점까지 편차를 보이며, deepseek-v4-pro는 temperature 0에서도 매번 실행마다 다른 대화를 반환한다. 따라서 실행 간 신뢰도는 평균화해야 할 노이즈가 아니라 모델별 안전성 속성이다. EMPATH는 시스템에 구애받지 않으며, 파이프라인, 시드, 페르소나, 루브릭은 재사용을 위해 공개된다.
대규모 언어 모델(LLM) 채점기(LLM-as-judge)의 샘플링 온도(temperature)를 0으로 두면 채점이 결정론적이라는 가정을 일본 AISI의 aisev 안전성 평가 코드와 690회 API 실험으로 검증했으며, 온도·시드 미설정 시 경계 항목에서 통과/실패가 최대 약 50%까지 뒤바뀌고 temperature=0·그리디 디코딩(top_k=1)으로도 7개 경계 항목 중 1~2개는 재현 불가능함을 보였다. 단일 실행 판정만 보고하는 평가 하네스는 노이즈를 안전성으로 오인할 수 있으므로, 채점기 불일치를 점수와 함께 핵심 건전성 지표로 다루어야 한다.
temperature zero에서 추측 디코딩(speculative decoding)이 안전성 평가 출력에 드래프트 모델측 행동을 누출하는지 TAIS(Typical-Acceptance Invariance Screen) 동등성 스크린으로 검증했다. 16,783건 확인 코어와 44,066건 매칭 확장 표본, DPO 적대적 드래프트·GPTQ 4bit 드래프트·네 가지 안전성 벤치마크를 포함한 vLLM 스택에서 대상 모델 단독 추론과 검출 가능한 안전성 차이는 나타나지 않았다.
As Text-to-Image (T2I) jailbreak techniques evolve rapidly, existing benchmarks and reproduction workflows often struggle to keep pace. More importantly, T2I jailbreak evaluation is not a single prompt-level test, but a pipeline-level problem shaped by multiple stages, including prompt transformation, image generation, safety filtering, and multimodal judging. This makes results across papers difficult to reliably reproduce and fairly compare. To bridge this gap, we propose PixJail, a self-evolving paper-to-pipeline agent framework for reproducible T2I jailbreak evaluation. Given a T2I jailbreak paper and optional reference code, PixJail rapidly constructs a paper-specific attack module and a runnable evaluation pipeline under a unified contract, while faithfully reproducing the original experimental results. PixJail further maintains a memory bank that stores paper digests, attack evolution patterns, reusable templates, failure cases, and versioned artifacts, enabling future reproduction efforts to reuse prior experience. We reproduce eleven representative T2I jailbreak methods, including both code-available and code-unavailable papers. Under their original settings, our framework accurately recovers prior results with minimal error (2.1\% average, 0\% median). We hope that PixJail can serve as a unified foundation for future T2I jailbreak reproduction and evaluation, significantly reducing manual effort.
대규모 언어 모델(LLM)은 전문 분야 전반에 걸쳐 점점 더 많이 배포되고 있으며, 이로 인해 유해하거나 무례한 콘텐츠 생성을 포함한 예측하기 어려운 위험이 발생하고 있습니다. 안전성 평가 데이터셋 개발에 있어 상당한 진전이 있었지만, 기존 자원은 여전히 압도적으로 영어와 중국어 중심입니다. 이러한 제한은 공유된 사회문화적, 법적, 윤리적 맥락 내에서 작동하는 언어를 평가할 때 특히 두드러집니다. 이러한 격차를 해소하기 위해 우리는 Schützen을 소개합니다. 이는 저자원 언어(불가리아어)와 고자원 언어(독일어)를 모두 포괄하며, 위험 상황에서 모델의 응답 가능성을 평가하도록 설계된 독일어-불가리아어 안전성 데이터셋입니다. 다국어 및 언어 특화 대규모 언어 모델(LLM)을 사용한 실험은 안전성 행동에 있어 뚜렷한 언어 간 차이를 보여주며, 독일과 불가리아에서 대규모 언어 모델(LLM)의 책임 있는 배포를 지원하기 위해 맞춤형 지역 특화 평가 자료가 필요함을 강조합니다. 데이터셋과 코드는 https://github.com/xnlp-lab/Schutzen에서 확인할 수 있습니다. 경고: 이 논문에는 모욕적이거나 유해하며 편향된 예시가 포함되어 있을 수 있습니다.