scam.ai

이 이메일 도메인이 관측된 논문 3건

arXiv:2609.23959v1cs.CL

CallScreenBench에서의 Open-Jev 판별: 소형 언어 모델을 활용한 캘리브레이션된 단일 패스 사기 전화 스크리닝

Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model

사기 전화를 스크리닝하려면 발신자의 매 턴마다 수 밀리초 내에 신뢰할 수 있는 확률을 산출해야 합니다. Jev 방식의 타입 기반 결정(typed decisions)은 정확히 이를 가능하게 합니다. 즉, 선언된 옵션이 입력되면 텍스트 생성 없이 단 한 번의 순전파(forward pass)만으로 각 옵션당 하나의 캘리브레이션된 확률이 출력됩니다. 본 연구에서는 이러한 리드아웃(readout)의 오픈소스 구현체인 JevLite를 사기 전화 스크리닝에 적용하여 테스트합니다. Qwen3-4B를 LoRA로 튜닝하여 두 개의 답변 라벨 로짓에 대한 온도 스케일링된 소프트맥스(softmax)가 P(scam)이 되도록 구성했습니다. 41개의 홀드아웃 CallScreenBench 시나리오(턴당 577개 결정)에서 3개 시드 앙상블(ensemble)은 AUROC .974와 캘리브레이션 오차 .052를 달성했습니다. 이는 사전 등록된 .02 마진(margin) 기준 대규모 언어 모델(LLM) 판별기(MiniMax-M3) 대비 열등하지 않으며, 정상 전화에 대한 오경보가 없고, 동일한 전화 끊기 규칙 하에서 1.14턴 더 빠르게 결정을 내렸습니다. 또한 단일 소비자용 GPU에서 결정당 64.5ms가 소요되어 답변을 생성하도록 파인튜닝(fine-tuning)된 동일 백본보다 4.9배 낮았습니다. 이러한 이득은 정확도가 아닌 리드아웃과 캘리브레이션에서 비롯됩니다. 파인튜닝된 ModernBERT 인코더와 비교 시 유의미하게 뒤처지지 않았으며, 해당 레시피는 테스트 세트 노출 상태에서 선택되었고, 모든 발신자는 합성(synthetic) 데이터입니다. 본 연구는 아키텍처적 참신성을 주장하지 않으며, AUROC와 함께 캘리브레이션, 오경보 및 결정 시점을 보고하는 응용과 평가(evaluation)를 주요 기여로 제시합니다.

arXiv:2609.23953v1cs.AI

문서를 편집하는 에이전트: 비에이전트 대조군을 대비한 에이전트형 PDF 위조 측정

Agents That Edit Documents: Measuring Agentic PDF Forgery Against a Non-Agentic Control

지난 1년간 스스로 다단계 컴퓨터 작업을 끝까지 수행하는 AI 에이전트가 일상적인 도구가 되었고, 같은 자율성은 해로운 목적을 가진 누구에게나 이용 가능해졌다. 우리는 증거가 제출된 PDF인 신뢰 당사자—보험사, 대출기관, 감사인—에게 그것이 무엇을 의미하는지 묻는다. AgentForge-Bench는 셸과 기본 Python PDF 스택으로 일곱 개의 오픈 가중치 모델 중 하나를 구동하는 상용 코딩 에이전트가, 의도를 담은 한 문장만으로 실제 제출된 금융 문서에서 달러 금액, 날짜 또는 주소 중 하나를 얼마나 안정적으로 변경하는지를, 모델이 아니라 규칙으로 채점하여 측정한다. 1,750개 셀 가운데 1,419개(81.1%)가 검증기를 통과했고, 808개(46.2%)는 더 엄격한 필터—눈에 보이는 변경, 국소적 변경, 글꼴 일치, 문서 전체에서 원래 값 소거—를 모두 통과했다. 모델이 없는 결정론적 스크립트는 125개 문서 중 98개를 해결했고, 에이전트는 124개를 해결했으며, 스크립트만 단독으로 해결한 문서는 없었다. 에이전트는 잘못된 편집의 41%를 완료된 것으로 잘못 보고했고, 어떤 모델도 거부하지 않았으며, 검증된 위조 중 가장 저렴한 비용은 2.4센트였다. 원시 비율은 위협을 약 2배 과대평가하지만, 엄격한 기준의 비율도 여전히 크다.

arXiv:2608.24127v1cs.CR

스캠 통화의 해부: 1만 건의 실제 스캠·스팸 통화가 밝혀주는 전화 사기꾼의 운영 방식

Anatomy of a Scam Call: What 10,000 real scam and spam calls reveal about how phone scammers operate

전화 사기는 만연하고 비용이 크지만, 그 내부 작동 방식은 대규모로 관찰되는 경우가 드물다. 우리는 동반 데이터 기술서에서 소개된, 발신자에게 응답하고 통화를 이어 가게 한 AI 음성 에이전트 허니팟이 54일간 수집한 인바운드 스캠 및 스팸 통화 10,211건의 전체 코퍼스—5,780개의 서로 다른 번호에서 나온 913시간 분량의 오디오와 330,956개의 전사된 턴—를 분석한다. 우리는 민감 정보를 요구하는 명백한 스캠과, 이를 뒷받침하는 더 큰 규모의 약탈적이지만 합법적인 리드 생성("스팸") 흐름을 구분한다. 스캠 운영은 업무 시간대를 따른다(주말 하루 대비 평일 하루당 통화 수 6.6배); 수천 개의 일회용 번호가 소규모의 재활용 스크립트 카탈로그를 돌린다(30개의 오프닝 클러스터, 상위 5개가 트래픽의 절반); 발신자는 결제 자격증명보다 훨씬 더 자주 신원 앵커—자택 주소와 생년월일—를 요구하며, 노골적인 위협보다는 끈질긴 설득과 조작된 권위로 압박한다. 핵심 실험은 다음을 묻는다: 전화를 받는 사람이 중요한가? 모든 시드 리드에는 균등 무작위로 뽑힌 열 가지의 가명 신원 중 하나가 부여되었으므로, 사기 조직이 접촉하는 신원은 발신자가 존재하기 전에 고정된다. 1,823건의 무작위 통화에서 사기꾼은 표적의 겉보기 나이 10세 증가당 대화 턴을 약 15% 더 사용했다(비율 1.15, 95% CI 1.08–1.23; randomization p = 0.005)—그러나 요구하는 내용은 변하지 않았다(26.3%의 통화가 민감 정보 요청에 도달; 10세당 odds ratio 0.99, 95% CI 0.90–1.08). 두 번째 실험은 조기 탐지를 벤치마크로 둔다: 발신자-분리(split) 설정에서 사기꾼의 오프닝 멘트만으로, 첫 줄에서 에스컬레이션을 0.72 ROC-AUC로, 여덟 번째 줄까지는 0.87로 예측할 수 있으며, 단순 bag-of-words 분류기가 온디바이스에서 파인튜닝한 언어 모델과 맞먹는다. 전화 사기는 표적에게 얼마나 세게 파고드는지는 달라지지만 원하는 것은 달라지지 않는, 템플릿화된 산업으로 드러난다.