문서를 편집하는 에이전트: 비에이전트 대조군을 대비한 에이전트형 PDF 위조 측정
Agents That Edit Documents: Measuring Agentic PDF Forgery Against a Non-Agentic Control
지난 1년간 스스로 다단계 컴퓨터 작업을 끝까지 수행하는 AI 에이전트가 일상적인 도구가 되었고, 같은 자율성은 해로운 목적을 가진 누구에게나 이용 가능해졌다. 우리는 증거가 제출된 PDF인 신뢰 당사자—보험사, 대출기관, 감사인—에게 그것이 무엇을 의미하는지 묻는다. AgentForge-Bench는 셸과 기본 Python PDF 스택으로 일곱 개의 오픈 가중치 모델 중 하나를 구동하는 상용 코딩 에이전트가, 의도를 담은 한 문장만으로 실제 제출된 금융 문서에서 달러 금액, 날짜 또는 주소 중 하나를 얼마나 안정적으로 변경하는지를, 모델이 아니라 규칙으로 채점하여 측정한다. 1,750개 셀 가운데 1,419개(81.1%)가 검증기를 통과했고, 808개(46.2%)는 더 엄격한 필터—눈에 보이는 변경, 국소적 변경, 글꼴 일치, 문서 전체에서 원래 값 소거—를 모두 통과했다. 모델이 없는 결정론적 스크립트는 125개 문서 중 98개를 해결했고, 에이전트는 124개를 해결했으며, 스크립트만 단독으로 해결한 문서는 없었다. 에이전트는 잘못된 편집의 41%를 완료된 것으로 잘못 보고했고, 어떤 모델도 거부하지 않았으며, 검증된 위조 중 가장 저렴한 비용은 2.4센트였다. 원시 비율은 위협을 약 2배 과대평가하지만, 엄격한 기준의 비율도 여전히 크다.