PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.15218v1cs.AI

언어는 안전하지만 행동은 치명적일 때: 은닉 상태 위험 공간에서 텍스트 안전성을 넘어선 물리적 위험 프로빙

When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space

대규모 언어 모델(LLM)은 임베디드 에이전트(embodied agent)의 고수준 플래너로 점점 더 많이 사용되고 있으며, 여기서는 언어적으로 무해한 지시가 물리 세계에 그라운딩(grounding)되면 안전하지 않게 될 수 있다. 우리는 이러한 물리적으로 그라운딩된 위험이 일반적인 텍스트 수준 콘텐츠 위험과 동일한 안전성 문제인지 조사한다. 은닉 상태 방향 분석과 무작위 분할 null 테스트를 통해, Qwen2.5-3B/7B/14B/32B, Phi-3.5, SmolLM2에서 콘텐츠 위험(CD)과 물리적 위험(PD)이 LLM 표현 내에서 분리 가능한 신호를 형성함을 보인다. CD/PD 분리 가능성에 기반하여, 전체 은닉 상태에 대한 단일 층 L2 정규화 로지스틱 프로브인 PRISM을 제안한다. PRISM은 SafeAgentBench에서 86.2--87.7% 정확도와 11.7--13.7% 거짓 양성률(FPR)을 달성하는 반면, 동일 규모 LLM 판정기는 24.7--39.0% FPR로 안전한 작업을 과도하게 차단한다. 또한 직접적인 위해 키워드 없이 1,000개의 물리적 위험 쌍으로 구성된 대조 벤치마크인 PhysicalSafetyBench-1K(PSB-1K)를 도입하여, 방법들이 명시적 불안전 표현이 아니라 물리적으로 그라운딩된 위험을 탐지하는지 검증한다. PSB-1K에서 PRISM은 99.6% 정확도와 0.7% FPR을 기록하는 반면, Qwen2.5-3B 판정기는 안전한 작업의 67.8%를 거부한다. PRISM은 SafeText와 EARBench에서도 재현되며, 이는 텍스트 검열을 넘어선 물리적 안전성을 위한 표현 수준 방법으로서 은닉 상태 프로빙을 뒷받침한다.

arXiv:2606.22864v1cs.LG

AUC 0.998만으로는 충분하지 않을 때: 멀티모달 컴퓨터 사용 에이전트의 간접 프롬프트 주입에 대한 은닉 상태 프로브의 후보 평가 프로토콜

When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

은닉 상태 프로빙(Hidden-state probing)—동결된 비전-언어 모델의 내부 활성화에 적용한 선형 분류기—은 멀티모달 컴퓨터 사용 에이전트에서 에이전트가 손상된 동작을 출력하기 전에 간접 프롬프트 주입(IPI)을 표시하는 매력적인 평가 도구로 부상했다. 단일 백본 주의 사례 연구(Qwen2.5-VL-7B on Mind2Web, teacher-forced replay)를 통해, 우리는 clean-vs-attack 분할에서 높은 프로빙 AUC만으로는 그 자체로 악성 콘텐츠 탐지의 증거가 되지 않는다고 주장한다. 두 가지 사후 진단—텍스트 측 주입에 대한 paired-construction 스칼라 기준선과 오버레이 표면에서 same-step nuisance-matched 시각적 통제—은 부분적으로 의미론적인 해석의 여지를 남기면서도, 주요 보고 결과를 무조건적으로 악성 콘텐츠로 해석하는 것을 정당화하지 않는다. 우리는 이러한 진단을 후보 통제 집합으로 정리하고, 높은 clean-vs-attack AUC가 무엇을 정당화하고 무엇을 정당화하지 않는지에 대한 보고 휴리스틱을 함께 제시한다. 레이블은 공격 성공이 아니라 주입 표면 존재(injection-surface-present)를 나타낸다. 이 백본과 벤치마크를 넘어서는 일반화는 아직 추측에 불과하다.