arXiv:2609.23959v1 cs.CL

CallScreenBench에서의 Open-Jev 판별: 소형 언어 모델을 활용한 캘리브레이션된 단일 패스 사기 전화 스크리닝

Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model

Simiao Ren, Kidus Zewde, Xingyu Shen, Yuchen Zhou, Dennis Ng, Ankit Raj, Tommy Duong, Yuxin Zhang, Neo Tiangratanakul

제출 2026-09-22

한국어 초록

사기 전화를 스크리닝하려면 발신자의 매 턴마다 수 밀리초 내에 신뢰할 수 있는 확률을 산출해야 합니다. Jev 방식의 타입 기반 결정(typed decisions)은 정확히 이를 가능하게 합니다. 즉, 선언된 옵션이 입력되면 텍스트 생성 없이 단 한 번의 순전파(forward pass)만으로 각 옵션당 하나의 캘리브레이션된 확률이 출력됩니다. 본 연구에서는 이러한 리드아웃(readout)의 오픈소스 구현체인 JevLite를 사기 전화 스크리닝에 적용하여 테스트합니다. Qwen3-4B를 LoRA로 튜닝하여 두 개의 답변 라벨 로짓에 대한 온도 스케일링된 소프트맥스(softmax)가 P(scam)이 되도록 구성했습니다. 41개의 홀드아웃 CallScreenBench 시나리오(턴당 577개 결정)에서 3개 시드 앙상블(ensemble)은 AUROC .974와 캘리브레이션 오차 .052를 달성했습니다. 이는 사전 등록된 .02 마진(margin) 기준 대규모 언어 모델(LLM) 판별기(MiniMax-M3) 대비 열등하지 않으며, 정상 전화에 대한 오경보가 없고, 동일한 전화 끊기 규칙 하에서 1.14턴 더 빠르게 결정을 내렸습니다. 또한 단일 소비자용 GPU에서 결정당 64.5ms가 소요되어 답변을 생성하도록 파인튜닝(fine-tuning)된 동일 백본보다 4.9배 낮았습니다. 이러한 이득은 정확도가 아닌 리드아웃과 캘리브레이션에서 비롯됩니다. 파인튜닝된 ModernBERT 인코더와 비교 시 유의미하게 뒤처지지 않았으며, 해당 레시피는 테스트 세트 노출 상태에서 선택되었고, 모든 발신자는 합성(synthetic) 데이터입니다. 본 연구는 아키텍처적 참신성을 주장하지 않으며, AUROC와 함께 캘리브레이션, 오경보 및 결정 시점을 보고하는 응용과 평가(evaluation)를 주요 기여로 제시합니다.

원문 초록

Screening a phone call for fraud needs a trustworthy probability after every caller turn, in milliseconds. Jev-style typed decisions promise exactly that: declared options go in, one calibrated probability per option comes out of a single forward pass, with no generated text. We test an open implementation of this readout, JevLite, on scam-call screening: Qwen3-4B is LoRA-tuned so that the temperature-scaled softmax over two answer-label logits is P(scam). On 41 held-out CallScreenBench scenarios (577 per-turn decisions) a three-seed ensemble reaches AUROC .974 with calibration error .052, non-inferior to an LLM judge (MiniMax-M3) at a pre-registered .02 margin, with no false alarms on legitimate calls, decisions 1.14 turns earlier under the same hang-up rule, and 64.5 ms per decision on one consumer GPU, 4.9x lower than the same backbone fine-tuned to generate its answer. The gain is in the readout and calibration, not accuracy: a fine-tuned ModernBERT encoder is not significantly worse, the recipe was selected with test-set exposure, and all callers are synthetic. We claim no architectural novelty; the contribution is the application and an evaluation reporting calibration, false alarms and decision timing alongside AUROC.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23959v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.