언어는 안전하지만 행동은 치명적일 때: 은닉 상태 위험 공간에서 텍스트 안전성을 넘어선 물리적 위험 프로빙
When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space
대규모 언어 모델(LLM)은 임베디드 에이전트(embodied agent)의 고수준 플래너로 점점 더 많이 사용되고 있으며, 여기서는 언어적으로 무해한 지시가 물리 세계에 그라운딩(grounding)되면 안전하지 않게 될 수 있다. 우리는 이러한 물리적으로 그라운딩된 위험이 일반적인 텍스트 수준 콘텐츠 위험과 동일한 안전성 문제인지 조사한다. 은닉 상태 방향 분석과 무작위 분할 null 테스트를 통해, Qwen2.5-3B/7B/14B/32B, Phi-3.5, SmolLM2에서 콘텐츠 위험(CD)과 물리적 위험(PD)이 LLM 표현 내에서 분리 가능한 신호를 형성함을 보인다. CD/PD 분리 가능성에 기반하여, 전체 은닉 상태에 대한 단일 층 L2 정규화 로지스틱 프로브인 PRISM을 제안한다. PRISM은 SafeAgentBench에서 86.2--87.7% 정확도와 11.7--13.7% 거짓 양성률(FPR)을 달성하는 반면, 동일 규모 LLM 판정기는 24.7--39.0% FPR로 안전한 작업을 과도하게 차단한다. 또한 직접적인 위해 키워드 없이 1,000개의 물리적 위험 쌍으로 구성된 대조 벤치마크인 PhysicalSafetyBench-1K(PSB-1K)를 도입하여, 방법들이 명시적 불안전 표현이 아니라 물리적으로 그라운딩된 위험을 탐지하는지 검증한다. PSB-1K에서 PRISM은 99.6% 정확도와 0.7% FPR을 기록하는 반면, Qwen2.5-3B 판정기는 안전한 작업의 67.8%를 거부한다. PRISM은 SafeText와 EARBench에서도 재현되며, 이는 텍스트 검열을 넘어선 물리적 안전성을 위한 표현 수준 방법으로서 은닉 상태 프로빙을 뒷받침한다.