PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22698v2cs.CR

대화형 LLM 에이전트를 위한 블랙박스 포렌식

Black-Box Forensics for Conversational LLM Agents

LLM 기반 사기(scam)가 확산됨에 따라, 대화형 LLM 에이전트(agent)에 대한 블랙박스 포렌식은 익명의 엔드포인트 뒤에 숨겨진 시스템에 대한 책임성을 확보할 수 있는 방법을 제공한다. 챗봇 엔드포인트 뒤에 있는 기반 모델(model)을 모델 매개변수(parameter) 접근이나 숨겨진 시스템 프롬프트(prompt)에 대한 지식 없이 식별하는 것(귀속, attribution)은 조사자들이 AI 기반 사기를 해당 모델을 제공하는 제공자까지 추적할 수 있게 해준다. 두 엔드포인트가 완전히 동일한 시스템 프롬프트를 실행하는지 탐지하는 것(지문 추출, fingerprinting)은, 그 프롬프트가 새롭고 이전에 본 적이 없는 것이라 하더라도, 개별 사기 사례들을 범죄 네트워크로 연결하고 조용한 API 변경을 드러낼 수 있다. 우리는 이 두 가지 능력에 대한 실증적 조사를 수행한다. 우리의 귀속 분류기는 적대적이지 않은(non-adversarial) 대화 몇 턴만으로 에이전트 뒤의 기반 모델을 98%의 정확도로 식별한다. 시스템 프롬프트의 귀속은 가능하긴 하지만, 각 프롬프트마다 대량의 데이터로 재학습이 필요하다. 실제 환경에서의 시스템 프롬프트는 무한하며 계속 변화하기 때문에, 이 접근법은 비용이 많이 든다. 이러한 더 개방적인 설정을 다루기 위해, 우리의 크로스 인코더(cross-encoder) 지문 추출 방법은 전혀 본 적 없는 시스템 프롬프트에 대해 AUC 0.768과 F1 0.703을 달성하며, 각 대상 에이전트로부터 50개의 상호작용 대화를 집계하면 AUC가 0.943까지 향상된다. 따라서 본 적 없는 시스템 프롬프트를 사용하는 대화형 에이전트도 일반적인 대화 몇 턴만으로 견고한 정확도로 지문을 추출할 수 있다.