LLM 기반 안전 분석 도구 자체를 분석 대상으로 삼는다는 맹점을 해소하기 위해, Constitutional Meta-STPA는 시스템 이론적 프로세스 분석(STPA)을 도구 자신에게 적용하여 21개의 도구 원칙과 8개의 메타 안전 원칙으로 구성된 거버넌스 헌법을 도출한다. claude-opus-4.8 + claude-sonnet-4 앙상블은 이 원칙들을 도구 설계로부터 대부분 복원하였으며, 도출된 원칙을 적용한 경우 적대적 프로브 평가에서 안전 점수가 약 80% 향상된 반면 일반적인 helpful/harmless/honest 프리앰블은 효과가 없었다.
Recent literature shows that large language models (LLMs) are useful for general-purpose tasks yet perform poorly on specific domain ones. One reason is the difficulty of supplying narrow context to a general-purpose model and of bounding the task it is asked to perform. It is possible to hypothesise that a multi-agent reformulation under process-control principles offers a route to address those points, since control theory provides a discipline of decomposing a system into elements of contained scope, each defending one controlled variable, with conflicts resolved by structural priority: MIN/MAX selector networks for CV-CV switching and split-range (split-parallel) logic for MV-MV switching. The present work proposes such a reformulation, derived from Advanced Regulatory Control (ARC) theory. Each feedback loop in the ARC chain is mapped to one specialised LLM operator agent carrying the loop's control-theoretic context (controlled variable, setpoint, chain priority, selector kind). The chain's interaction logic (MIN/MAX selectors, override paths) is encapsulated as a single orchestrator agent. Two orchestrator variants are tested: a deterministic rule chain, and a Claude-based LLM orchestrator at a slower tier. The control principles limit each agent's task and inform how its limitations are handled. The multi-agent system inherits the safety property of the ARC chain: every constraint conflict is resolved deterministically by the orchestrator, regardless of the LLM output. Evaluated on a dairy-barn ventilation case over a 4-day mixed-season scenario, Qwen 2.5 7B Instruct operator agents running offline on a 24 GB consumer GPU at a 5-minute cadence produce auditable trajectories, each paired with an operator-voice rationale that supports a control campaign logbook.
대규모 언어 모델(LLM)을 인간의 가치에 정렬(alignment)하는 것은 안전한 배포와 광범위한 채택을 위해 필수적입니다. 현재 LLM 안전성 벤치마크는 개별적인 문제 쿼리의 거부에만 초점을 맞추는 경우가 많은데, 이는 쿼리가 발생하는 맥락의 중요성을 간과하며 안전한 맥락에서의 쿼리를 의도치 않게 거부하여 사용자 경험을 저하시킬 수 있습니다. 이러한 격차를 해소하기 위해 우리는 LLM의 안전성 평가에 맥락을 통합한 문맥 인식 안전성 벤치마크인 CASE-Bench를 소개합니다. CASE-Bench는 Contextual Integrity 이론에 기반하여 범주화된 쿼리에 형식적으로 기술된 고유한 맥락을 할당합니다. 또한, 소수의 어노테이터로부터 다수결 투표에 주로 의존하는 기존 연구들과 달리, 우리는 검정력 분석(power analysis)을 기반으로 실험 조건 간의 통계적으로 유의미한 차이를 검출하는 데 필요한 충분한 수의 어노테이터를 모집하였습니다. 다양한 오픈소스 및 상용 LLM에 대해 CASE-Bench를 사용한 광범위한 분석 결과, 맥락이 인간의 판단에 미치는 실질적이고 유의미한 영향(z-검정에서 p<0.0001)이 밝혀졌으며, 이는 안전성 평가에서 맥락의 필요성을 강조합니다. 또한 인간의 판단과 LLM 응답 사이의 현저한 불일치를 확인하였으며, 특히 안전한 맥락 내 상용 모델에서 두드러졌습니다.
최근 극한에서의 언어 학습(learning in the limit) 관련 결과들은, 언어 식별(language identification)은 불가능함에도 불구하고 언어 생성(language generation)은 다룰 수 있음(tractable)을 보여 주었다. 이 기초 영역이 확장됨에 따라 실세계 환경에서의 언어 생성의 함의를 고려할 필요가 있다. 본 연구는 안전한 언어 생성에 대한 최초의 이론적 분석을 제공한다. 극한 학습(learning in the limit)의 계산 패러다임을 바탕으로, 안전한 언어 식별 및 생성 과제를 형식화한다. 우리는 이 모델 하에서 안전한 언어 식별이 불가능함을, 또한 안전한 언어 생성이 (일반) 언어 식별만큼은 어렵다는 것—이 역시 불가능한 문제—을 증명한다. 마지막으로 여러 다루기 어려운(intractable) 경우와 다룰 수 있는(tractable) 경우를 논의한다.
LLM agents are increasingly being used to automate tasks for users within an open GUI environment. They inevitably encounter screens containing user-sensitive information, for which takeover of task execution by the user is highly desirable or even necessary. State-of-the-art LLM-driven agents are usually fine-tuned to complete tasks regardless of the safety implications of their actions. This makes their real-world deployment difficult and adversely affects the reliability. Therefore, it is crucial to identify and categorize user-sensitive states and define user-sensitive queries. This dataset would be to engineers to recognize and request handover to the user in critical scenarios. This short paper develops an explorer agent that systematically explores the query space starting from one demonstrated task to identify queries that, if executed, would lead to user-sensitive states in a GUI environment.
기존 안전성 벤치마크는 일반적인 적대적 시나리오를 대상으로 하지만 금융 특화 위험을 놓치고 있습니다. 금융 대규모 언어 모델(LLM)은 규제 준수 위반, 사기 조장, 시스템적 신뢰 침식 등의 문제에 직면하며, 이는 표적화된 평가가 필요합니다. 우리는 금융 전문가와 함께 개발된 금융 LLM 안전성 평가를 위한 전문가 주도 레드팀 테스팅 프레임워크인 FinRED를 소개합니다. FinRED는 규제 회피부터 복잡한 사기에 이르는 위협에 전 세계 표준(예: FATF 및 EU DORA)을 매핑하는 새로운 2단계 분류 체계를 사용하며, 전문가 정의 스키마를 통해 실제 금융 문서를 문맥이 풍부한 레드팀 테스팅 행동 프롬프트(seeds)로 변환하는 확장 가능한 파이프라인과 통합되어 있습니다. 엄격한 전문가 검증은 의미 있는 LLM 안전성 평가를 위한 시드의 타당성과 현실성을 확인합니다. 또한 면책 조항 확인을 넘어서는 전문가 검증된 금융 특화 루브릭을 제공하며, 이는 정적이고 획일적인 루브릭보다 인간 전문가와 더 밀접하게 정렬되며 중요한 미탐(false negative)을 28개에서 12개로 줄입니다. 국제적으로 채택된 위험 관리 및 정보 보안 표준(예: ISO/IEC 27001)과 정렬된 FinRED는 실제 금융 서비스에서 생성형 AI 보안 평가를 위해 한국 금융보안원(FSI) 규제 샌드박스에 배포되었습니다. 이중 용도(dual-use) 위험을 완화하기 위해 데이터셋, 생성 파이프라인, 프롬프트 템플릿 및 평가 프레임워크는 자격 있는 연구자를 위해 https://github.com/selectstar-ai/FinRED-paper 및 https://huggingface.co/datasets/datumo/FinRED에서 게이트(gated)되어 제공됩니다.