arXiv:2606.06837v1 eess.AS

SEAM: 면접 가드레일을 위한 대본 기반 발화 대 자발적 발화의 지름길 인지 실시간 탐지

SEAM: Shortcut-Aware Real-Time Detection of Scripted vs. Spontaneous Speech for Interview Guardrails

Vsevolod, Kovalev, Pranay Manocha

제출 2026-06-05

한국어 초록

대본 기반 발화 대 자발적 발화 탐지는 면접 가드레일(interview guardrails)에 유용하지만, 벤치마크 성능은 발화 스타일 자체보다는 말뭉치 식별 정보, 채널 조건, 녹음 인공물(recording artifacts)과 연결된 지름길(shortcuts)에 의해 과대평가될 수 있습니다. 본 논문에서는 균일한 전처리, 지름길 인지 샘플링(seam-aware sampling), 비음성 증강, 그리고 소형 DistilHuBERT 백본을 결합한 실시간 대본 기반 발화 탐지를 위한 지름길 인지 프레임워크인 SEAM을 제시합니다. 8초 윈도우를 사용하여 해당 모델은 외부 면접 도메인 평가 셋에서 0.971 +- 0.004 ROC-AUC를 달성했습니다. 지름길 방지 구성 요소를 제거하면 내부 검증 지표는 향상되지만 외부 성능은 급격히 저하되어, 이는 지름길 학습(shortcut learning)이 있었음을 시사합니다. 사후 학습(post-training) 양자화(quantization)를 통해 모델 크기는 41.8MB로 축소되었으며, 외부 성능 손실은 미미했습니다. 결과는 강건한 실시간 대본 기반 발화 탐지가 백본뿐만 아니라 지름길 인지 데이터 설계 및 평가에 의존함을 보여줍니다. 코드와 모델 체크포인트를 공개합니다.

원문 초록

Scripted vs spontaneous speech detection is appealing for interview guardrails, but benchmark performance can be inflated by shortcuts tied to corpus identity, channel conditions, and recording artifacts rather than speaking style itself. We present SEAM, a shortcut-aware framework for real-time scriptedness detection that combines uniform preprocessing, seam-aware sampling, non-speech augmentation, and a compact DistilHuBERT backbone. With 8s windows, the model achieves 0.971 +- 0.004 ROC-AUC on an external interview-domain evaluation set. Removing the shortcut-prevention components improves internal held-out metrics but sharply reduces external performance, indicating shortcut learning. Post-training quantization reduces the model footprint to 41.8MB with little loss in external performance. The results demonstrate that robust real-time scriptedness detection depends not only on the backbone, but on shortcut-aware data design and evaluation. We release code and model checkpoints.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06837v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32382v2cs.CL공통 태그 Data Augmentation, Quantization

PlurVA-LLM-2026 공유 태스크 트랙 1: 다국어 미세조정 및 임계값 보정을 통한 대규모 언어 모델(LLM)의 다원적 가치 정렬

PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration

본 논문에서는 중국, 인도네시아, 스리랑카 맥락에서의 다원적 가치 정렬(pluralistic value alignment)에 초점을 맞춘 PlurVA-LLM 2026 공유 태스크(Shared Task) 트랙 1을 위한 시스템을 제시합니다. 이러한 자원 제약적 트랙을 위해 4비트 QLoRA를 사용하여 Llama 3.1 8B Instruct를 미세조정(fine-tuning)했습니다. 본 연구의 접근 방식은 중국어 데이터를 위한 선택지 순열 증강(option-permutation augmentation), 인도네시아어 데이터를 위한 주석자 투표 확장(annotator vote expansion), 스리랑카 데이터를 위한 이진 재구성 및 SinhalaMMLU 증강을 결합합니다. 또한 스리랑카 데이터의 예측에 조건부 임계값 보정(threshold calibration)을 적용했습니다. 최종 시스템은 중국어 0.785, 인도네시아어 0.715, 스리랑카 0.916의 정확도를 달성하여 전체 매크로 평균 정확도 0.805를 기록했습니다.

arXiv:2609.37243v2cs.CV공통 태그 Quantization, Classification

구조적으로 이종인 특징을 위한 코드북 기반 교차 모달 지식 증류

Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features

교차 모달 지식 증류(cross-modal knowledge distillation)는 교사 모달리티에서 학생 모달리티로 지식을 전달한다. 기존의 특징 수준 정렬(feature-level alignment) 방법들은 일반적으로 교사와 학생의 특징이 구조적으로 정렬 가능한 표현 공간에 존재한다고 가정한다. 그러나 2D 공간 시각 그리드와 1D 시간 오디오 시퀀스처럼 교차 모달 특징이 구조적으로 이종이며 명확한 단위 수준 대응 관계가 결여된 경우에는 이러한 가정이 성립하지 않아 특징 수준 정렬의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 본 논문에서는 벡터 양자화(vector-quantized) 코드북을 통해 구조적으로 이종인 특징 공간 전반에서 효과적인 지식 전달을 가능하게 하는 교차 모달 증류 프레임워크를 제안한다. 구체적으로, 교사 특징은 본래의 특징 구조와 무관하게 일련의 벡터 형태 코드로 추상화되며, 선택된 코드는 학생 학습을 위한 개념 수준의 앵커(anchor) 역할을 한다. 코드 선택은 태스크 관련성과 학생 호환성 모두에 의해 유도되므로, 학생은 직접적인 단위 수준 특징 정렬 없이도 전달 가능한 교사 지식을 습득할 수 있다. 다양한 교차 모달 증류 시나리오에 걸친 실험 결과는 분류(classification) 및 시맨틱 분할(semantic segmentation) 태스크에서 제안된 프레임워크의 효과를 입증한다.

arXiv:2609.27378v1cs.SD공통 태그 Quantization, Automatic Speech Recognition

전이중 음성-음성 대화 모델의 적대적 강건성을 위한 심리음향 정렬 잠재 스무딩

Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models

엔드투엔드(End-to-end) 음성-음성 대화 모델은 동시에 듣고 말하기 때문에, 지속적으로 열려 있는 음향 채널이 적대적 조작에 노출됩니다. 본 연구에서는 전이중(full-duplex) 에이전트에 대한 감지 불가능한 공격을 타깃 시맨틱 하이재킹(targeted semantic hijacking), 응답 억제(response suppression), 정책 탈옥(policy jailbreaking)이라는 세 가지 목표 하에 캐리어 음성의 심리음향 마스킹 임계값 이하로 제한된 부가적 섭동에 대한 최적화 문제로 정형화합니다. 방어가 없는 Moshi 스타일의 에이전트를 상대로 화이트박스 공격은 최대 91.7%의 시도에서 성공합니다. 이어 저자들은 심리음향 정렬 잠재 스무딩(PALS)을 제안합니다. PALS는 잔차 벡터 양자화(RVQ) 잠재 인터페이스에서 국소 코드북 공분산에 의해 형성된 비등방성 가우시안 노이즈를 주입하고, 공격자를 제한하는 마스킹 임계값에 의해 형성된 입력 노이즈를 적용하며 쿨백-라이블러(KL) 일관성 목적 함수로 학습됩니다. 추론(inference) 시간 비용 없이 배포 가능한 PALS는 깨끗한 음질(clean quality) 저하를 2.3% 이내로 유지하면서 하이재킹을 8.3%, 음소거를 11.2%, 탈옥을 9.1%로 감소시킵니다. 몬테카를로 스무딩 변형은 최대 0.616의 타원체 잠재 반경을 인증하여, 경험적 강건성이 훨씬 상회하는 보장된 하한선을 제공합니다.

arXiv:2609.27762v1cs.SD공통 태그 Data Augmentation, Classification

"무슨 소리지?": 환경 소리 인식을 위한 다재다능하고 견고하며 경량화된 합성곱 트랜스포머

"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition

기존의 보청기는 음성이 아닌 오디오를 감지하도록 설계되지 않아 비용이 많이 들고 사용에 한계가 있습니다. 본 연구의 목적은 청각 장애인의 안전성(safety)을 향상하기 위해 주변 소리를 식별하는 보다 정확하고 경제적인 메커니즘을 제공하는 머신러닝 솔루션을 개발하는 것입니다. 예를 들어 보행자 뒤에서 자동차가 경적을 울리거나 총성이 발생했을 때 발생원으로부터 벗어나야 하는 상황 등이 이에 해당합니다. 오디오에 무작위 증강을 추가하고, 멜 주파수 켑스트럼 계수(MFCCs) 다이어그램과 로그-멜 스펙트로그램을 결합하며, 트랜스포머(Transformer) 아키텍처에 합성곱 신경망(CNN)을 포함함으로써, 무작위 오디오 증강 계층형 합성곱 트랜스포머(RALCT) 모델은 다양화된 오디오 표현으로부터 특징을 효율적으로 추출합니다. 또한, RALCT는 매개변수 수가 약 310,000개에 불과할 정도로 작아 모바일 기기에 배포할 수 있습니다. UrbanSound8K 데이터셋에 대한 실험 결과, RALCT의 모든 변형 모델에서 지속적으로 93% 이상의 정확도를 보였으며 최고 94.56%를 기록하여 최고 수준(SOTA)에 도달했습니다. 이 기술의 역량을 활용하기 위해 모델과 통합되어 실시간 안전 제어를 제공하는 모바일 앱이 개발되었습니다. 따라서 RALCT는 청각 장애인의 이동 및 안전을 지원하는 견고하고 경량화되며 경제적이고 다재다능한 심층 학습 도구를 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.