Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams
원문 초록
Scam phone calls exploit vulnerable communities worldwide, yet research on detection has focused almost exclusively on English and other high-resource languages. In low-resource settings such as Turkish, detection is especially difficult, as annotated data is scarce and technological defenses remain limited. This research investigates how large language models (LLMs) can support scam detection in Turkish by introducing the first public multi-modal dataset of 100 aligned audio-transcript pairs of scam and benign conversations. We evaluate seven LLMs spanning three model families: Gemini 2.5 (Flash, Flash-Lite, Pro), GPT-4o, and Qwen (Max, Plus, Turbo), under three input conditions: raw audio, automatic speech-to-text transcripts, and transcripts refined by a native speaker. Our results suggest that transcript-based inputs consistently outperform direct audio processing, while human-corrected and uncorrected transcripts perform comparably. By centering a low-resource language and real world threat, this work highlights the urgent need for culturally and linguistically inclusive AI safety research and more robust multi-modal systems for fraud prevention.
요약
저자들은 터키어 전화 사기·정상 통화 100건의 오디오-전사 쌍으로 구성된 최초 공개 멀티모달 데이터셋을 제시하고, Gemini 2.5·GPT-4o·Qwen 등 7개 대규모 언어 모델(LLM)을 원시 오디오·자동 전사·원어민 교정 전사 세 조건에서 평가했다. 전사 기반 입력이 원시 오디오보다 일관되게 우수했고(F1 평균 약 0.99 대 0.97), 원어민 교정과 미교정 전사는 성능 차이가 거의 없었으며, 오디오 조건의 주요 실패 원인은 욕설·협박 등이 포함된 통화에 대한 모델 안전 필터 거부였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24523v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Jev 스타일 타입 기반 결정 모델에서 레이블이 정의를 압도하는 현상
Labels Override Definitions in Jev-Style Typed Decision Models
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
에이전트 안전성 오경보 감사를 위한 포지티브-비라벨 학습
Positive-Unlabeled Learning for Agent Safety False Alarm Auditing
안전성(safety) 모니터는 외부 도구 및 환경과 상호작용하는 언어 모델 에이전트(agent)를 보호하는 데 도움이 되지만, 보수적인 모니터링은 많은 오경보(false alarm)를 발생시켜 광범위한 검토 자원을 소모하고 경보에 대한 신뢰를 약화시킬 수 있습니다. 오경보와 실제 경보는 기존 모니터 점수 내에서 서로 뒤섞여 있는 경우가 많기 때문에, 신뢰할 수 있는 기준값(cutoff)을 얻으려면 여전히 상당한 수작업 검증이 필요합니다. 실제 환경에서는 안전성이 검증된 소수의 비경보 궤적(trajectory)을 확보할 수 있는 반면 경보는 라벨이 지정되지 않은 상태로 남아 있어, 오경보 감사는 자연스럽게 포지티브-비라벨(Positive-Unlabeled, PU) 랭킹 문제로 귀결됩니다. 핵심 과제는 모니터로 인해 유도된 선택 편향(monitor-induced selection)입니다. 관측된 안전 레퍼런스는 모니터가 수용한 것인 반면, 복구하고자 하는 숨겨진 안전 경보는 모니터가 잘못 플래그를 지정한 것이므로, 관측된 포지티브가 복구 대상 포지티브를 제대로 대표하지 못합니다. 이러한 문제를 해결하기 위해 본 논문에서는 2단계 프레임워크를 제안합니다. 여기서는 신뢰 인식 PU 지도(Trust-aware PU Supervision)를 통해 안전 레퍼런스를 경보 도메인에 맞게 적응시키고 타당한 오경보가 과도한 네거티브 압력을 받지 않도록 보호하는 한편, 신뢰도 게이트 순위 증류(Reliability-gated Rank Distillation)를 통해 여러 PU 레퍼런스 모델의 일관된 순서 선호도를 단일 학생 모델로 통합합니다. 이후 합의 기반 구조적 정제(Consensus-guided Structural Refinement)는 계층적 안전 레퍼런스 지원, 경보 간 관계, 예측된 레퍼런스 합의를 활용하여 학생 모델의 순위를 개선합니다. 이 프레임워크는 학습을 위한 경보 안전성 라벨을 필요로 하지 않으며 기존 모니터를 변경하지 않고 그대로 유지합니다. 주요 안전성 모니터 전반에서 본 방법은 $0.6444$의 매크로 AUPRC를 달성하여 평가된 8개의 PU 기준선(baseline)을 절대 백분율 포인트 기준 5.27~16.98%p 앞섰으며, 평가된 가장 강력한 PU 기준선인 PULDA와 비교했을 때 5%의 검토 예산에서 33.3% 더 많은 오경보를 복구합니다.
스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어
LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing
공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.