PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01236v1cs.CL

Safeguarding LLM Agents from Misalignment through Provenance Analysis

대규모 언어 모델(LLM) 에이전트가 사용자 의도에서 벗어난 도구 호출을 실행하는 정렬 오류(misalignment) 문제를 해결하기 위해, 출처 분석(provenance analysis)에 기반한 개념적 프레임워크와 다단계 런타임 가드레일 시스템인 ProvenanceGuard를 제안한다. ProvenanceGuard는 도구 선택·파라미터 할당·해석 수준의 세 가지 정렬 오류 유형을 순차적으로 검사하여, Agent-SafetyBench에서 LLM-as-a-judge 대비 오류율을 42.9%에서 1.8%로 대폭 낮추면서도 정상 작업에 대한 불필요한 개입을 유의미하게 증가시키지 않음을 10개 백본 LLM 실험으로 입증했다.