의료 또는 사회과학 분야에서 수집된 대화 데이터는 연구 및 자동화 분석에 있어 귀중한 자원이다. 그러나 책임감 있는 데이터 공유를 위해서는 개인 프라이버시 보호를 위한 개인 식별 및 민감 정보의 탐지와 제거가 필요하다. 자동 비식별화 시스템의 개발 및 평가를 지원하기 위해, 우리는 개인정보 탐지를 위한 합성 대화 및 음성 전사문의 다국어 데이터셋인 DialogPII를 제안한다. DialogPII는 8가지 상호작용 시나리오(긴급 전화, 의료 문진 인터뷰, 치료 세션, 보험 상담, 고객 지원, AI 지원 대시보드 관련 임상 인터뷰, 경찰 보고서, 집단 치료 토론), 19개의 개체 유형, 11개 언어(영어, 아랍어, 핀란드어, 프랑스어, 독일어, 힌디어, 이탈리아어, 폴란드어, 포르투갈어, 스페인어, 터키어)를 포함한다. 대화는 대규모 언어 모델(LLM)을 활용하여 반자동으로 생성되었으며, 타당성과 다양성을 위해 수동으로 검수되었고, 국가 및 도시별 맥락에 맞게 현지화되었다. 모든 대화는 텍스트 음성 변환(text-to-speech) 합성을 통해 음성으로 변환되고, Whisper로 전사되었으며, 자동 투영 및 수동 교정을 통해 어노테이션이 부여되어 모든 언어에 걸쳐 정렬된 문어체 및 음성 전사 자원이 생성되었다. 또한 기준선(baseline) 다국어 개체명 인식(named entity recognition) 모델을 공개하고, 어노테이터 간 일치도 분석, 번역 품질 평가, 어노테이션 투영 평가, 트랜스포머(transformer) 기반 시퀀스 레이블링 모델을 활용한 벤치마크 실험을 통해 기술적 검증(validation)을 제공한다.
대규모 언어 모델(LLM) 기반 어시스턴트는 사용자 쿼리를 사용자의 감사나 통제 범위 밖에 있는 서드파티 API 엔드포인트에 그대로 전송한다. 해당 쿼리에 개인식별정보(PII)가 포함될 경우, 데이터는 침해, 법원 명령, 또는 정책 변경에 노출될 수 있는 원격 인프라에 잔류하게 된다. 플레이스홀더 난독화(redaction)(현재 주류 완화 방법)는 의미적 일관성을 희생하면서 PII를 억제하여 구조적으로 저하된 쿼리와 그에 따른 저하된 응답을 생성한다. 우리는 전송 전에 탐지된 PII를 로컬에서 생성된 유형 일관적인 대리값(surrogate value)으로 대체하고 응답에서 원본을 복원하는 클라이언트 측 프록시인 SurrogateShield를 제시한다. 실제 PII는 네트워크 경계를 넘지 않는다. 탐지는 Sweeney의 k-익명성(k-anonymity) 프레임워크에 기반한 22가지 PII 유형 및 준식별자(quasi-identifier) 조합을 다루는 3단계 캐스케이드(PatternScan, EntityTrace, ContextGuard)를 통해 수행된다. 대리값-원본 간 매핑은 기기를 벗어나지 않는 AES-256-GCM으로 암호화된 대화별 ShadowMap에 봉인된다. 1,124개 쿼리 코퍼스에 대한 평가에서 캐스케이드가 PII를 신뢰성 있게 탐지하여 전체 F1 점수 98.87%를 달성함을 보인다. 대리값 대체는 의미적 유용성 측면에서 플레이스홀더 난독화를 크게 상회하며, BERTScore(roberta-large)에서 81.59%에서 94.85%로 13.26 pp 향상을 달성한다. 해당 코퍼스 내에서 로컬 파이프라인은 테스트된 모든 쿼리 유형에 걸쳐 실제 PII 전송을 차단하였으며, 100개 쿼리 적대적 실험에서 프롬프트된 LLM 적대자는 대리값으로 대체된 메시지로부터 어떠한 원본 값도 복원하지 못하였다.
대규모 언어 모델(LLM)의 대규모 사전학습 말뭉치에는 민감한 개인정보가 포함될 수 있습니다. 따라서 개인정보 보호 규정을 준수하고 의도치 않은 정보 유출을 방지하기 위해 이러한 정보를 탐지하고 필터링하는 것이 필수적입니다. 그러나 영어 및 기타 언어와 달리 일본어에서는 민감한 개인정보에 대한 연구가 제한적이었습니다. 본 연구에서는 일본 개인정보 보호법(APPI)에 따라 특별히 주의가 필요한 개인정보(SCPI)로 정의된 민감한 개인 데이터에 초점을 맞춥니다. 우리는 LLM 기반 주석을 사용하여 SCPI 데이터셋을 구축하고, 텍스트 내 SCPI를 신속하게 탐지하기 위해 머신러닝 모델을 학습시킵니다. 그 결과, 우리의 SCPI 분류기는 SCPI와 관련된 정보를 효과적으로 식별할 수 있습니다. 이 연구는 일본어 텍스트 말뭉치에서의 SCPI 탐지를 최초로 탐구하며, 정확한 탐지의 어려움을 강조합니다.