arXiv:2603.27001v2 eess.AS

PHONOS: 온라인 스트리밍 응용을 위한 음성학적 중화

PHONOS: PHOnetic Neutralization for Online Streaming Applications

Waris Quamer, Mu-Ruei Tseng, Ghady Nasrallah, Ricardo Gutierrez-Osuna

제출 2026-09-24

한국어 초록

화자 익명화(SA) 시스템은 지역적 또는 비원어민 억양 단서는 그대로 두면서 음색(timbre)만 바꾸는데, 이러한 단서가 화자의 모국어나 지리적 배경을 드러내고 익명 집합을 좁힐 수 있어 문제가 된다. 이 문제를 해결하기 위해 실시간 SA를 위한 스트리밍 모듈인 PHONOS를 제안한다. PHONOS는 프라이버시 관점에서 억양 중화를 수행하며, 비원어민 분절음(segmental) 실현을 선택한 목표 억양 영역으로 변환하여 억양 기원 단서를 줄인다. 우리 접근법은 무음 인식 DTW 정렬과 제로샷(zero-shot) 음성 변환을 사용하여 외국어 분절음을 원어민 분절음으로 바꾸되 원본 음색과 리듬은 유지하는 golden speaker 발화를 사전 생성한다. 이 발화는 비원어민 콘텐츠 토큰을 원어민에 해당하는 것으로 매핑하며 최대 40ms look-ahead만 갖는 인과적(causal) 억양 번역기를 지도하며, 교차 엔트로피와 CTC 손실을 결합하여 학습한다. 평가 결과 비원어민 억양 신뢰도가 81% 감소했으며, 청취 테스트의 억양 정도(accentedness) 평점이 이러한 변화와 일치한다. PHONOS는 출력을 임베딩 공간에서 원 화자로부터 멀어지게 하여 임베딩 기반 프록시 하에서 연결 가능성(linkability)이 낮아짐을 시사하며, 단일 GPU에서 end-to-end 지연 시간이 $\leq241\,\mathrm{ms}$로 동작한다.

원문 초록

Speaker anonymization (SA) systems modify timbre while leaving regional or non-native accent cues intact, which is problematic because such cues can reveal a speaker's first-language or geographic background and narrow the anonymity set. To address this issue, we present PHONOS, a streaming module for real-time SA that performs accent neutralization in a privacy sense: reducing accent-origin cues by converting non-native segmental realizations toward a chosen target accent domain. Our approach pre-generates golden speaker utterances that preserve source timbre and rhythm but replace foreign segmentals with native ones using silence-aware DTW alignment and zero-shot voice conversion. These utterances supervise a causal accent translator that maps non-native content tokens to native equivalents with at most 40ms look-ahead, trained using joint cross-entropy and CTC losses. Our evaluations show an 81% reduction in non-native accent confidence, with listening-test accentedness ratings consistent with this shift. PHONOS also moves outputs away from the original speaker in embedding space, suggesting lower linkability under an embedding-based proxy, while running with $\leq241\,\mathrm{ms}$ end-to-end latency on a single GPU.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.27001v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.05253v2cs.LG공통 태그 Zero-Shot Learning, Privacy Preserving

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2609.28360v1cs.CV공통 태그 Zero-Shot Learning, Privacy Preserving

고해상도 Depth와 초저해상도 RGB를 활용한 프라이버시 보존 시맨틱 세그멘테이션

Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.

arXiv:2609.27399v1cs.SD공통 태그 Zero-Shot Learning, Privacy Preserving

누구를 잊었는지 잊기: 제로샷(zero-shot) 텍스트 음성 변환에서 재식별 방지를 위한 화자 언러닝

Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech

최근의 제로샷(zero-shot) 텍스트 음성 변환(ZS-TTS) 시스템은 불과 몇 초의 참조 음성만으로도 화자의 음성을 높은 충실도로 재현할 수 있어, 무단 음성 복제 및 사칭에 대한 우려를 낳고 있습니다. 이에 대응하여 최근 제외를 요청한(opt-out) 화자에 대해서는 이러한 기능을 선택적으로 억제하는 동시에 다른 화자에 대한 합성 능력은 보존하는 화자 정체성 언러닝(speaker identity unlearning)이 하나의 접근법으로 부상했습니다. 기존 접근법들은 화자 유사도를 낮추지만, 재식별(re-identification)을 방지하는 과정에서 음질이 심각하게 저하되는 문제에 직면하곤 합니다. 이러한 관찰에 착안하여, 본 논문에서는 동결된 TTS 백본(backbone) 상에서 학습된 화자 게이트와 화자-비의존적 활성화 스티어링(activation steering)을 결합한 경량 화자 정체성 언러닝 프레임워크인 GUARD를 제안합니다. 스티어링 벡터는 명료도와 음성 자연스러움을 보존하면서 망각 대상(forget) 화자의 출력을 모집단 수준의 사칭자(impostor) 유사도로 이동시키기 위해 집단-상대적 보상 최적화(group-relative reward optimization)를 사용하여 최적화됩니다. CosyVoice2에서 GUARD는 유지 대상(retain) 화자의 재현 성능을 보존하면서, 망각 대상 화자의 유사도를 0.541에서 0.103으로, 150명 화자 갤러리에서의 재식별 정확도를 73.5%에서 0.5%로 낮춥니다. 이러한 결과는 유사도 감소만으로는 성공적인 화자 정체성 언러닝을 완전히 특정하기 어려울 수 있음을 입증하며, 언러닝 평가(evaluation)를 위한 상호보완적 기준으로서 재식별을 강조합니다.

arXiv:2609.24688v1cs.SD공통 태그 Zero-Shot Learning, Voice Conversion

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.

arXiv:2607.12645v1cs.LG공통 태그 Zero-Shot Learning, Privacy Preserving

AdaPCLA: 롱테일 종단 EHR 생성을 위한 적응형 사전 보정 로짓 조정

AdaPCLA: Adaptive Prior-Calibrated Logit Adjustment for Long-Tailed Longitudinal EHR Generation

종단 전자건강기록(EHR)의 생성 모델링은 프라이버시 보호 연구에 점점 더 중요해지고 있지만, 표준 자기회귀(autoregressive) 모델은 꼬리 사건(즉 질병, 증상)의 공발생 구조를 과소 표현하는 경향이 있어, 희귀 하위집단에 대한 생성 데이터의 충실도와 신뢰성을 떨어뜨린다. 이를 위해 우리는 데이터 분포 인식 학습 전략을 통해 생성 모델이 EHR 데이터에 적응적으로 적합하고 생성할 수 있게 하는 AdaPCLA 프레임워크를 제안한다. 이는 시뮬레이티드 어닐링(simulated annealing) 학습을 통해 데이터 지식 매개변수를 내재화함으로써 달성된다. 또한 제로샷(zero-shot) 분포 제어를 통해 생성 시 다양한 임상 집단에 대한 무학습 적응을 지원한다. 더 나아가, 우리의 이론적 분석은 라벨별 경험적 NTK(Neural Tangent Kernel)를 통해 희귀 코드 로짓 업데이트를 특성화하고, 어닐링 속도와 NTK 조건수가 유지되는 사전(prior) 신호에 미치는 영향에 대한 사전 내재화 상한을 도출한다. 실제 데이터에 대한 실험에서 AdaPCLA는 꼬리 타당성, 하위 태스크 유용성, 제로샷 제어에서 일관된 향상을 보인다. 특히 MIMIC-III에서 HALO 대비 TailPairSeen을 114.2% 개선하고 MIMIC-IV에서는 65.1% 개선했으며, 제로샷 교차 집단 적응에서 GPT 스타일 생성보다 F1을 3.5% 더 높였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.