에이전트 안전성 오경보 감사를 위한 포지티브-비라벨 학습
Positive-Unlabeled Learning for Agent Safety False Alarm Auditing
한국어 초록
안전성(safety) 모니터는 외부 도구 및 환경과 상호작용하는 언어 모델 에이전트(agent)를 보호하는 데 도움이 되지만, 보수적인 모니터링은 많은 오경보(false alarm)를 발생시켜 광범위한 검토 자원을 소모하고 경보에 대한 신뢰를 약화시킬 수 있습니다. 오경보와 실제 경보는 기존 모니터 점수 내에서 서로 뒤섞여 있는 경우가 많기 때문에, 신뢰할 수 있는 기준값(cutoff)을 얻으려면 여전히 상당한 수작업 검증이 필요합니다. 실제 환경에서는 안전성이 검증된 소수의 비경보 궤적(trajectory)을 확보할 수 있는 반면 경보는 라벨이 지정되지 않은 상태로 남아 있어, 오경보 감사는 자연스럽게 포지티브-비라벨(Positive-Unlabeled, PU) 랭킹 문제로 귀결됩니다. 핵심 과제는 모니터로 인해 유도된 선택 편향(monitor-induced selection)입니다. 관측된 안전 레퍼런스는 모니터가 수용한 것인 반면, 복구하고자 하는 숨겨진 안전 경보는 모니터가 잘못 플래그를 지정한 것이므로, 관측된 포지티브가 복구 대상 포지티브를 제대로 대표하지 못합니다. 이러한 문제를 해결하기 위해 본 논문에서는 2단계 프레임워크를 제안합니다. 여기서는 신뢰 인식 PU 지도(Trust-aware PU Supervision)를 통해 안전 레퍼런스를 경보 도메인에 맞게 적응시키고 타당한 오경보가 과도한 네거티브 압력을 받지 않도록 보호하는 한편, 신뢰도 게이트 순위 증류(Reliability-gated Rank Distillation)를 통해 여러 PU 레퍼런스 모델의 일관된 순서 선호도를 단일 학생 모델로 통합합니다. 이후 합의 기반 구조적 정제(Consensus-guided Structural Refinement)는 계층적 안전 레퍼런스 지원, 경보 간 관계, 예측된 레퍼런스 합의를 활용하여 학생 모델의 순위를 개선합니다. 이 프레임워크는 학습을 위한 경보 안전성 라벨을 필요로 하지 않으며 기존 모니터를 변경하지 않고 그대로 유지합니다. 주요 안전성 모니터 전반에서 본 방법은 $0.6444$의 매크로 AUPRC를 달성하여 평가된 8개의 PU 기준선(baseline)을 절대 백분율 포인트 기준 5.27~16.98%p 앞섰으며, 평가된 가장 강력한 PU 기준선인 PULDA와 비교했을 때 5%의 검토 예산에서 33.3% 더 많은 오경보를 복구합니다.
원문 초록
Safety monitors help safeguard language-model agents interacting with external tools and environments, but conservative monitoring can generate many false alarms, consuming extensive review resources and weakening trust in alerts. Because false and genuine alarms often remain interleaved in native monitor scores, obtaining a reliable cutoff still requires substantial manual verification. In practice, a small set of verified-safe non-alarmed trajectories may be available while alarms remain unlabeled, naturally casting false-alarm auditing as a positive-unlabeled (PU) ranking problem. The key challenge is monitor-induced selection, since observed safe references are accepted by the monitor, while the hidden safe alarms of interest are precisely those it incorrectly flags, making the observed positives poorly representative of the positives to be recovered. To address this challenge, we propose a two-stage framework in which Trust-aware PU Supervision adapts safe references toward the alarm domain and protects plausible false alarms from excessive negative pressure, while Reliability-gated Rank Distillation consolidates consistent ordering preferences from multiple PU reference models into a single student. Consensus-guided Structural Refinement then improves the student ranking using hierarchical safe-reference support, alarm relations, and predicted reference consensus. The framework requires no alarm safety labels for fitting and leaves the underlying monitor unchanged. Across mainstream safety monitors, our method achieves a macro AUPRC of $0.6444$, outperforming eight evaluated PU baselines by 5.27--16.98 absolute percentage points; compared with PULDA, the strongest evaluated PU baseline, it recovers 33.3% more false alarms at a 5% review budget.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어
LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing
공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages