조직에서는 정책, 컴플라이언스(규정 준수), 위험 및 운영 의사결정 지원에 대규모 언어 모델(LLM)을 점차 더 많이 활용하고 있으며, 이에 따라 증거 검증, 검토 라우팅, 버전 관리 및 감사 가능성이 요구됩니다. 본 논문에서는 이러한 기능들을 실행 가능하고 버전이 관리되는 정책 역량으로 패키징하는 모듈형 런타임인 Policy-as-Skill(PaS)을 제안합니다. 고정된 Gemma4 백엔드를 바탕으로 600개의 개발 태스크에서 13가지 방식을 평가했습니다. PaS+Audit은 53.8%의 정확한 정확도(exact accuracy), 매크로 F1 0.346, 검토 F1 0.854, 인용 정밀도 1.000, 정책 참조 재현율 0.984, 감사 완전성 1.000을 달성하여 대부분의 거버넌스 및 검토 지표에서 LLM+RAG를 능가합니다. 결정론적 제어는 종합 정확도를 61.2%까지 끌어올리지만 태스크 의존성이 매우 높아, 보편적인 규칙 기반 개입보다는 선택적 개입이 효과적임을 뒷받침합니다.
대규모 언어 모델(LLM)이 법률, 금융, 의학과 같은 고위험 분야에 점점 더 배포됨에 따라, 이들의 도메인별 안전성과 준수 여부를 체계적으로 평가하는 것이 중요해졌다. 기존 연구는 이러한 분야에서 LLM 성능 향상에 주로 초점을 맞춰 왔지만, 도메인별 안전성 위험 평가는 종종 간과해 왔다. 이 격차를 메우기 위해, 우리는 먼저 AMA 의료 윤리 원칙, ABA 변호사 직업윤리 모범규칙, CFA Institute 윤리강령을 바탕으로 LLM에 대한 도메인별 안전성 원칙을 정의한다. 이 기반 위에서 우리는 법률, 금융, 의학 분야의 LLM 안전성을 구체적으로 대상으로 하는 벤치마크 Trident-Bench를 제안한다. Trident-Bench에서 범용 및 도메인 특화 모델 19개를 평가한 결과, 이 벤치마크가 핵심 안전성 격차를 효과적으로 드러냄을 보였다 — 강력한 범용 모델(예: GPT, Gemini)은 기본 기대를 충족할 수 있는 반면, 도메인 특화 모델은 미묘한 윤리적 뉘앙스에서 종종 어려움을 겪는다. 이는 보다 세밀한 도메인별 안전성 개선의 시급한 필요성을 부각한다. Trident-Bench를 도입함으로써, 본 연구는 법률과 금융 분야 LLM 안전성 연구를 위한 최초의 체계적 자원 중 하나를 제공하며, 전문적으로 규제되는 분야에 LLM을 배포할 때의 안전성 위험을 줄이기 위한 향후 연구의 토대를 마련한다. 코드와 벤치마크는 https://github.com/zackhuiiiii/TRIDENT 에서 공개될 예정이다.