PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23189v1cs.AI

유능하지만 부주의한: 컴퓨터 사용 에이전트는 맥락적 무결성을 따르는가?

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

컴퓨터 사용 에이전트(CUA)는 이제 이메일, 캘린더, 할 일 목록 등 개인 애플리케이션 전반에 걸쳐 사용자를 대신해 행동한다. 이러한 교차 애플리케이션 접근은 유용하지만, 지금까지 크게 간과되어 온 프라이버시 위험을 초래한다. 에이전트가 하나의 맥락에서 작업할 때 해당 맥락에서는 부적절한 다른 맥락의 정보를 끌어올 수 있다는 점이다. 이에 우리는 이 위험을 실행 가능하고 결정론적으로 채점 가능한 시나리오로 변환하는 평가 프레임워크인 AgentCIBench를 소개한다. 우리는 CUA의 세 가지 주요 실패 유형을 대상으로 한다: UI에서 작업 대상 옆에 위치한 금지 항목을 에이전트가 끌어오는 시각적 공동 배치(visual co-location), 불충분하게 지정된 프롬프트에 응답하여 에이전트가 밀도 높은 개인 정보를 과도하게 공유하는 작업 모호성 과잉 공유(task-ambiguity overshare), 그리고 에이전트가 부적절한 수신자에게 콘텐츠를 전송하는 수신자 불일치(recipient misalignment)이다. 15개의 최전선 에이전트를 평가한 결과, 놀랍도록 높은 실패율이 나타났다: 15개 중 11개가 50% 이상의 시나리오에서 정보를 유출하였으며 평균 유출률은 67.9%였고, 에이전트가 환경 내에서 작업을 완수하기 위해 엔드투엔드로 행동할 때도 동일한 실패가 지속되었다. 우리는 더 안전한 컴퓨터 사용 에이전트 개발을 장려하고 맥락적 정보 공개 테스트를 배포 전 안전성 점검으로 자리매김하기 위해 AgentCIBench를 공개한다.

arXiv:2606.18782v1cs.CL

RedactionBench

RedactionBench

대규모 언어 모델(LLM)은 개인 식별 정보(PII)의 수정(redaction)이 필요한 민감한 도메인에 점점 더 많이 적용되고 있습니다. PII 수정은 데이터 정제의 필수 전제 조건이지만, 기존 벤치마크(benchmark)는 추출 메커니즘과 프라이버시 의미론을 혼동하고 있습니다. 공개된 전화번호는 의료 기록에 포함된 전화번호와 동일하지 않습니다. 정보가 위반에 해당하는지 여부는 누가, 왜, 그리고 어떤 맥락에서 보유하는지에 크게 의존하며, 이는 수정(redaction)을 단순 개체명 인식과 근본적으로 구별합니다. 문맥적 무결성(contextual integrity)에 기반하여, 우리는 대부분 실제 소스에서 시드된 11개 도메인에 걸친 200개의 다양한 문서로 구성된 수동 주석 벤치마크인 RedactionBench를 소개합니다. 또한, 의미론적으로 유사한 수정을 동등하게 처리하고 전화번호에 대한 다양한 마스킹 스타일과 같은 표면적인 형식 선택을 무효화하는 새로운 문자 수준 메트릭인 R-Score를 소개합니다. 개체명 인식 모델, 개체 추출 소형 언어 모델(SLM), 그리고 에이전트 도구를 장착한 프론티어 모델(frontier models)에 대한 평가 결과, 문맥적 수정은 여전히 미해결 문제임을 보여줍니다. RedactionBench에 대한 80명 이상의 사용자를 대상으로 한 인간 평가는 프라이버시 인식에서 뚜렷한 이분법을 보여줍니다. 주석자들은 필수 수정(89.4%)과 안전한 텍스트 보존(94.1%)에 대해서는 목표 라벨과 합의를 보이지만, 문맥적 수정(47.7%)에 대해서는 합의에 도달하지 못했습니다. 이러한 차이는 문맥적 프라이버시의 주관적 성격을 보여주며, 문맥적 모호성을 엄격한 정밀도(precision)로부터 분리하는 R-Score의 도입을 이끌었습니다. 우리는 여러 계열에 걸친 35개 모델을 비교하고 PII 수정에 대한 성능을 보고합니다. 마지막으로, 우리는 미래의 프라이버시 보존 시스템을 위한 기준선(baseline)을 확립하기 위해 RedactionBench를 공개하며, 효율적인 모델 설계와 표준화된 평가에 영감을 주기를 희망합니다.