PC-Mix: 혼합 음성 및 환경음 조건에서의 부분 구성요소 오디오 위변조 탐지
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
한국어 초록
부분 오디오 위변조(partial audio spoofing)에 관한 최근 연구들은 주로 스튜디오 녹음 음성과 위변조 구간의 시간적 위치 파악에 초점을 맞추고 있다. 그러나 이러한 연구들은 위변조 구간과 정상(bonafide) 구간이 음성 및 환경음 구성요소에 걸쳐 동시에 공존하는 현실적인 조건을 간과하는 경우가 많다. 본 논문에서는 하나 또는 두 오디오 구성요소 모두가 부분적으로 위변조될 수 있는 부분 구성요소 위변조 탐지를 위한 최초의 데이터셋인 PC-Mix를 제안한다. PC-Mix에서는 정상 및 부분 위변조된 환경음 구성요소를 먼저 구성한 후, 기존 부분 위변조 데이터셋의 음성 신호와 혼합하여 하나 또는 두 구성요소 모두가 국소적으로 조작될 수 있는 오디오를 생성한다. 이 설계는 기존 부분 위변조 벤치마크의 두 가지 주요 공백, 즉 음성 부분 위변조 시나리오에서 현실적인 환경음의 부재와 환경음 구성요소에 대한 부분 위변조 탐지의 결여를 해소한다. 또한 표준화된 평가 프로토콜을 수립하고, 음성·환경음·혼합 오디오 전반에 걸친 위변조 탐지를 최적화하는 공동 학습 프레임워크를 설계한다. 실험 결과, 혼합 조건이 탐지 난이도를 높임을 확인하였다. 또한 대상 조건에 맞춰 학습하는 것이 음성 또는 환경음 구성요소로 학습된 모델을 직접 전이하는 것보다 효과적임을 보인다.
원문 초록
Recent studies on partial audio spoofing mainly focus on studio-recorded speech with temporal localization of spoofed segments. However, these studies often overlook realistic conditions where spoofed and bonafide segments simultaneously coexist across speech and environmental sound components. In this paper, we present PC-Mix, the first dataset for partial-component spoofing detection, where either or both audio components may be partially spoofed. In PC-Mix, bonafide and partially spoofed environmental-sound components are first constructed and mixed with speech signals from an existing partial-spoof dataset, producing audio in which either or both components may be locally manipulated. This design addresses two major gaps in existing partial spoofing benchmarks: the lack of realistic environmental sounds in speech partial spoofing scenarios and the absence of partial spoofing detection for environmental sound components. We further establish standardized evaluation protocols and design a joint learning framework to optimize spoofing detection across speech, environmental sound, and mixed audio. Experiments highlight the increased difficulty introduced by mixed conditions. The results demonstrate that training under matched target conditions is more effective than directly transferring models trained on speech or environmental sound components.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.10345v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다
Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.
MIRTO: 뇌 MRI 비지도 이상 분할을 위한 정합 제어 및 다중우주 검증 기반 평가 프로토콜
MIRTO: a registration-gated, multiverse-tested evaluation protocol for unsupervised anomaly segmentation in brain MRI
뇌 MRI를 위한 비지도 이상 탐지(UAD) 방법들은 단일 점수로 순위가 매겨지지만, 이 점수는 거의 보고되지 않는 선택 사항들에 의존합니다. 즉, 각 이상 맵이 참조 데이터와 어떻게 정렬되는지, 임계값이 어떤 데이터에서 어떻게 설정되는지, 어떤 위양성 예산, 지표, 집계 방식 및 병변 정의가 사용되는지 등입니다. 본 논문에서는 이러한 선택 사항들을 명시하고 그 영향을 측정하는 평가 프로토콜인 MIRTO를 제시합니다. MIRTO는 정합(registration) 확인 및 알려진 검정력을 가진 무라벨 진단으로 모든 비교의 기하학적 구조를 제어하고, 검증(validation) 데이터에서만 임계값을 설정하며 테스트에서 실제로 실현된 위양성 체적을 보고하고, 15,552개의 타당한 평가 파이프라인 전반에 걸쳐 각 비교를 반복하며, 다중성 제어가 적용된 대응 피험자 부트스트랩 신뢰구간을 첨부합니다. 동일한 정상 데이터로 학습(training)되고 312명의 BraTS 2020 피험자를 대상으로 테스트된 4가지 UAD 방법에 적용한 결과, MIRTO는 저장된 맵과 참조 데이터 간의 축 순서 불일치로 인해 확산 모델(diffusion model)의 복셀 AUROC가 0.873에서 0.583으로 떨어진 반면 슬라이스 수준 AUROC는 거의 변하지 않았음을 보여주었습니다. 각 지표 내에서 모델 방식은 복셀 AUROC 및 AUPRC 분산의 최소 0.95, Dice의 0.77을 설명했으나, 병변 정의와 적중 기준이 지배적이었던 병변 민감도에서는 0.14만을 설명했습니다. 검증 임계값에서 유의미했던 Dice 우위는 실현된 위양성 부담이 동일할 때 사라졌으며, 엄밀한 항등 분석을 통해 이를 임계값 전이(threshold transfer)의 영향으로 귀속시켰습니다. REFLECT의 잠재 집계 방식을 학습 없이 변경함으로써 동일 부담에서 Dice를 0.052 향상했습니다. 9개의 가설이 명시적 기준에 따라 검정되었으며, 프로토콜 개발에 동일한 코호트가 사용되었으므로 모든 추론(inference)은 탐색적입니다.
CRF-based Single-stage Acoustic Modeling with CTC Topology
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
텍스트 기반의 장기 인간 동작 생성은 지속적으로 작동하는 디지털 아바타와 같은 응용에 필수적이다. 짧은 클립에 대해서는 최근 진전이 있었음에도, 기존 모델은 이전 구간에서 설정된 제약이 시간에 걸쳐 유지되어야 하는 조응(anaphora)을 포함한 다중 구간 지시문에서 어려움을 겪는다. 본 논문에서는 이러한 조응적 구성으로부터의 장기 동작 생성이라는 새로운 과제를 도입한다. 이 격차를 해소하기 위해 구간 간 의존성을 보존하는 조밀한 구간 수준 주석을 갖춘 에피소드형 장기 동작 데이터셋 ELMA를 제시한다. 완전 자동화된 수집 및 필터링 파이프라인으로 구축된 ELMA는 실환경 영상에서 고품질의 연속적인 30초 클립을 추출하여 장거리 상태 모델링에 필요한 에피소드형 서사를 담는다. ELMA를 사용하여 독립적 지시문 설정과 조응적 지시문 설정에서 대표적인 장기 동작 생성 모델을 벤치마크하고, 맥락적 미세 조정이 장거리 상태 모델링을 향상시키는지 연구한다. 폭넓은 실험을 통해 기존 모델이 맥락 의존적 지시문을 처리하는 능력과 한계에 대한 통찰을 제공한다. 이러한 결과는 구간 간 의존성 모델링의 어려움을 부각하며, 더 일관되고 의미적으로 정합적인 장기 동작 생성 모델 개발을 위한 유의미한 방향을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.