PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06879v1cs.CL

다중 턴 스미싱 탐지를 위한 확장된 합성 대화 데이터셋

An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

우리의 이전 연구는 3,201개의 레이블이 지정된 대화로 구성된 합성 생성 다중 턴 대화형 스미싱 데이터셋인 COVA를 소개하며, 8개 모델에 대한 기준선(baseline) 탐지 벤치마크를 확립했습니다. TF-IDF 특징을 사용한 XGBoost가 72.5% 정확도와 0.691 매크로 F1 점수로 최고 성능을 달성한 반면, 트랜스포머(transformer) 모델은 부진했으며, 이는 입력 잘림과 부족한 학습 데이터 때문인 것으로 분석되었습니다. 우리는 첫 번째 반복(iteration)에서 발생한 오염, 레이블 불일치, 지시문 누출(stage-direction bleed), 프롬프트(prompt) 설계 실패를 해결하는 개선된 생성 파이프라인을 통해 생성된, 8개의 노인 대상 사기 유형을 아우르는 10,985개 대화의 확장된 데이터셋인 COVA-X를 제시합니다. 확장된 데이터셋에서 모든 분류기를 재학습한 결과, 본 연구의 핵심 발견이 도출되었습니다: Longformer가 이제 모든 평가 지표에서 XGBoost를 능가하며, XGBoost의 78.43%와 0.7563에 비해 79.71% 정확도와 0.7786 매크로 F1을 달성했습니다. 이는 트랜스포머 모델이 문맥적 이점을 실현하기 위해 더 큰 대화 말뭉치가 필요함을 직접적으로 확인시켜 줍니다. 또한 우리는 레이블 수정률이 49.8%에서 3.9%로 12.7배 개선된 품질 수명 주기, 가상 납치 인공물(artifact) 비율을 67.1%에서 46.5%로 줄인 아키텍처 개입, 그리고 사기 유형이 메커니즘에 부합하는 방식으로 결과를 조절함을 보여주는 사기 유형별 결과 분석을 문서화했습니다. 정제 전/후 민감도 분석은 데이터셋 정제가 세 가지 분류기 아키텍처 모두에서 진짜 레이블 관련 신호를 회복함을 확인했습니다.