PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13994v2cs.CR

눈앞에 숨겨진 위협: DECOMPBENCH를 활용한 분해 공격 대비 에이전트 안전성 벤치마킹

Hidden in Plain Sight: Benchmarking Agent Safety Against Decomposition Attacks with DECOMPBENCH

대규모 언어 모델(LLM) 기반 에이전트(agent)의 성능이 향상되고 널리 배포됨에 따라, 실제 환경에서 적대적 오용에 대한 유인이 커지고 있습니다. 주요 신종 위협 중 하나는 분해 공격(Decomposition Attacks) \cite{glukhov2024breach, jones2024adversaries}으로, 유해한 작업을 개별적으로 실행될 때 안전성(safety) 메커니즘을 회피하지만 누적되어 악의적인 의도를 달성하는 더 단순하고 무해한 하위 작업들로 쪼개는 방식입니다. 최근의 벤치마크들은 멀티턴 및 다중 도구 사용 환경에서 에이전트 안전성을 평가하지만, 이러한 형태의 분해 기반 오용을 명시적으로 포착하지 못하며 현실적인 적대적 실행 흐름을 반영하지 못할 수 있습니다. 이를 위해 본 연구에서는 분해 공격 환경에서 에이전트 안전성을 평가하기 위해 특별히 설계된 벤치마크인 DeCompBench를 소개합니다. DeCompBench는 그래프 프레임워크를 사용하는 '설계 단계부터의 분해(decomposition-by-design)' 원칙으로 제작되었으며, 유해한 작업을 현실적인 워크플로우를 갖는 개별적으로 무해하고 실행 가능한 하위 작업으로 분해할 수 있도록 지원합니다. 맞춤형 분해기를 사용한 실험 결과에 따르면, 최신 에이전트들은 단일한 형태의 유해한 작업에 대해서는 높은 거부율을 보이지만 분해된 변형 작업에 대해서는 거부율이 크게 낮아지며, 의도치 않게 적대적 목표를 달성하는 경우가 흔한 것으로 나타났습니다. 이러한 발견은 분해 공격에 대한 안전성 평가 및 이에 상응하는 방어 기법의 필요성을 강조합니다. 본 연구의 데이터셋(dataset)은 공개되어 있으며 https://huggingface.co/datasets/decompositionbench/DeCompBench 에서 확인할 수 있습니다.