RedactionBench
RedactionBench
대규모 언어 모델(LLM)은 개인 식별 정보(PII)의 수정(redaction)이 필요한 민감한 도메인에 점점 더 많이 적용되고 있습니다. PII 수정은 데이터 정제의 필수 전제 조건이지만, 기존 벤치마크(benchmark)는 추출 메커니즘과 프라이버시 의미론을 혼동하고 있습니다. 공개된 전화번호는 의료 기록에 포함된 전화번호와 동일하지 않습니다. 정보가 위반에 해당하는지 여부는 누가, 왜, 그리고 어떤 맥락에서 보유하는지에 크게 의존하며, 이는 수정(redaction)을 단순 개체명 인식과 근본적으로 구별합니다. 문맥적 무결성(contextual integrity)에 기반하여, 우리는 대부분 실제 소스에서 시드된 11개 도메인에 걸친 200개의 다양한 문서로 구성된 수동 주석 벤치마크인 RedactionBench를 소개합니다. 또한, 의미론적으로 유사한 수정을 동등하게 처리하고 전화번호에 대한 다양한 마스킹 스타일과 같은 표면적인 형식 선택을 무효화하는 새로운 문자 수준 메트릭인 R-Score를 소개합니다. 개체명 인식 모델, 개체 추출 소형 언어 모델(SLM), 그리고 에이전트 도구를 장착한 프론티어 모델(frontier models)에 대한 평가 결과, 문맥적 수정은 여전히 미해결 문제임을 보여줍니다. RedactionBench에 대한 80명 이상의 사용자를 대상으로 한 인간 평가는 프라이버시 인식에서 뚜렷한 이분법을 보여줍니다. 주석자들은 필수 수정(89.4%)과 안전한 텍스트 보존(94.1%)에 대해서는 목표 라벨과 합의를 보이지만, 문맥적 수정(47.7%)에 대해서는 합의에 도달하지 못했습니다. 이러한 차이는 문맥적 프라이버시의 주관적 성격을 보여주며, 문맥적 모호성을 엄격한 정밀도(precision)로부터 분리하는 R-Score의 도입을 이끌었습니다. 우리는 여러 계열에 걸친 35개 모델을 비교하고 PII 수정에 대한 성능을 보고합니다. 마지막으로, 우리는 미래의 프라이버시 보존 시스템을 위한 기준선(baseline)을 확립하기 위해 RedactionBench를 공개하며, 효율적인 모델 설계와 표준화된 평가에 영감을 주기를 희망합니다.