PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.26189v2cs.CL

VietBinoculars: 베트남어 LLM 생성 텍스트 탐지를 위한 제로샷 접근법

VietBinoculars: A Zero-Shot Approach for Detecting Vietnamese LLM-Generated Text

대규모 언어 모델(LLM)의 급격한 확산으로 인해 비영어권 언어에서 인간이 작성한 글과 LLM이 생성한 텍스트를 구별하는 문제가 더욱 심화되었습니다. 본 연구에서는 보정된 글로벌 결정 임계값과 결합된 PhoGPT-4B 옵저버(observer) 및 퍼포머(performer) 모델을 결합한 제로샷(zero-shot) 탐지 프레임워크인 VietBinoculars를 소개합니다. 특화된 베트남어 BPE 토큰화를 활용함으로써, 대규모 다국어 백본에서 흔히 발생하는 바이트 수준 파편화 및 확률 희석 현상을 제거합니다. 다중 도메인 벤치마크 전반에 걸친 평가에서 VietBinoculars는 0.99를 초과하는 ROC 곡선 아래 면적(AUC)을 달성했습니다. 최적의 Youden's J 임계값 및 그리디 디코딩(greedy decoding) 조건에서 탐지 정확도는 최소 98.78%에 도달하는 동시에 창의적인 Capybara 프롬프트에서 기준선(baseline) Binoculars, 제로샷 탐지기 및 상용 도구를 크게 능가했습니다. 0.06%의 엄격한 위양성률(false positive rate) 제약 조건 하에서도 탐지기는 83.15%에서 94.70% 사이의 F1-점수를 유지합니다. 탐지 성능은 시퀀스 길이에 따라 일관되게 향상되어 450~550개의 토큰을 포함하는 구문에서 최적의 정확도로 안정화됩니다. 48가지의 서로 다른 모델 디코딩 구성과 3가지 생성 후 재작성 전략에 걸친 광범위한 스트레스 테스트를 통해 실제 운영 경계를 설정합니다. VietBinoculars는 단일 패스 패러프레이징 및 인간 스타일의 수정에 대해 강력한 회복탄력성을 보이지만, 고엔트로피 샘플링 및 반복적인 이중 패러프레이징 하에서는 상당한 성능 저하를 겪습니다.