Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
원문 초록
The challenge of fairness arises when Automatic Speech Recognition (ASR) systems do not perform equally well for all sub-groups of the population. In the past few years there have been many improvements in overall speech recognition quality, but without any particular focus on advancing Equality and Equity for all user groups for whom systems do not perform well. ASR fairness is therefore also a robustness issue. Meanwhile, data privacy also takes priority in production systems. In this paper, we present a privacy preserving approach to improve fairness and robustness of end-to-end ASR without using metadata, zip codes, or even speaker or utterance embeddings directly in training. We extract utterance level embeddings using a speaker ID model trained on a public dataset, which we then use in an unsupervised fashion to create acoustic clusters. We use cluster IDs instead of speaker utterance embeddings as extra features during model training, which shows improvements for all demographic groups and in particular for different accents.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정
When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models
음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.
AI 에이전트를 위한 공정 보상 분산 정보 검색 및 증강
Fairly Compensated Distributed Information Retrieval and Augmentation for AI Agents
자율 AI 에이전트가 외부 및 분산 지식 소스에 점점 더 의존하면서, 탈중앙화 정보 마켓플레이스에는 근본적인 난제가 생긴다. 검색 에이전트는 구매 전에 데이터의 품질과 관련성을 평가해야 하지만, 데이터 제공자는 보장된 보상이 이루어지기 전에는 가치 있는 정보를 노출하지 않아야 한다. 이 역설은 중앙화된 중개자가 당사자 간 공정성을 강제할 수 없는 신뢰 불필요(trustless) 다중 에이전트 환경에서 특히 중요해진다. 본 논문에서는 자율 에이전트 네트워크에서 분산 정보 검색 및 증강을 위한 공정 보상 프로토콜을 제안한다. 우리 프레임워크는 검색 에이전트가 후보 문서의 평문 내용을 알지 못한 채 안전하게 평가하고 순위를 매길 수 있게 하며, 데이터 제공자는 유효한 정보가 성공적으로 전달된 경우에만 보상받도록 보장한다. 또한 악의적 적대자에 대한 프로토콜의 보안 특성을 분석하고, 구현을 통해 실용적 타당성을 평가한다. 실험 결과는 제안 설계가 기밀성, 정확성, 무결성, 공정성을 유지하면서 현재 암호학 인프라에서 실용적임을 보여준다. 이러한 메커니즘이 미래 AI 에이전트 생태계를 위한 신뢰할 수 있고 경제적으로 지속 가능한 탈중앙화 지식 마켓플레이스의 중요한 암호학적 기반을 제공한다고 본다.
Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류
Et Tu, Brute? Economic Misalignment in Personal AI Agents
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
지능형 서비스를 위한 드리프트 안정 양자 연합 학습
A Drift Stable Quantum Federated Learning for Intelligent Services
양자 연합 학습(quantum federated learning)은 분산 클라이언트가 로컬 데이터를 공유하지 않고 양자 신경망(quantum neural networks)을 학습할 수 있게 하며, 이는 프라이버시를 고려한 지능형 서비스에 유망한 접근법이다. 이 맥락에서 지능형 서비스는 사기 탐지와 유전체 분류와 같이 프라이버시에 민감한 분산 의사결정 시스템을 가리키며, 여기서는 신뢰할 수 있고 공정한 클라이언트 수준 학습이 집계 모델의 정확도만큼 중요하다. 그러나 이질적인 클라이언트 데이터와 노이즈가 많은 양자 최적화(optimization)는 종종 불안정한 로컬 업데이트, 클라이언트 드리프트(client drift), 그리고 클라이언트 간 불공정한 성능을 야기한다. 본 논문은 deep-unfolded 로컬 최적화에 기반한 드리프트 안정 양자 연합 학습 프레임워크인 DUQFL-Prox를 제안한다. 고정된 로컬 옵티마이저를 사용하는 대신, 각 클라이언트는 적응형 unfolded SPSA 업데이트를 수행하며, proximal term은 로컬 모델을 글로벌 모델에 가깝게 유지한다. 경량 컨트롤러는 집계 후 성능을 개선하기 위해 단계별 최적화 매개변수를 학습한다. 금융 사기 탐지 및 유전체 분류 작업에 대한 실험은 DUQFL-Prox가 표준 QFL(양자 연합 학습) 베이스라인 대비 안정성, 일반화, 클라이언트 공정성을 개선함을 보여준다. 결과는 deep-unfolded 양자 연합 학습이 이질적인 분산 환경에서 더 신뢰할 수 있고 공정한 지능형 서비스를 지원할 수 있음을 시사한다.
이론상 인증, 실무상 붕괴: 암호학적 모델 인증의 가정 간극
Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
개인정보 보호형 기계학습 감사 프로토콜은 감사자가 모델의 내부 구조나 학습 데이터를 공개하지 않고도 정확도나 공정성(fairness) 같은 속성을 평가할 수 있게 한다. 이로 인해 의료나 금융과 같은 민감한 분야에 배포된 모델을 감사하는 데 특히 매력적이다. 그러나 이러한 프로토콜이 실제 감사 환경에서 의미를 갖으려면, 그 보장은 감사 중의 행동만을 인증하는 것이 아니라 배포 이후 모델이 어떻게 행동할지를 반영해야 한다. 기존 보안 정의는 종종 이 점을 놓친다. 대부분은 고정된 감사 데이터셋에서만 모델 행동을 인증할 뿐, 동일 분포에서 추출된 다른 데이터셋으로 같은 보장이 일반화되는지는 보장하지 않는다. 본 연구에서 보이듯, 이 간극은 모델 제공자가 학습 데이터를 정교하게 조작하여 보안 영지식 증명(ZKP)에 기반한 많은 암호학적 모델 인증(CMC) 방식을 공격할 수 있게 하며, 그 결과 감사 중에는 양호한 행동을 보이지만 실무에서는 병리적(pathological) 행동을 나타내는 모델이 만들어진다. 예를 들어, 공격자가 감사 데이터셋에서 99% 이상의 정확도를 달성한다고 인증받으면서도 동일 분포의 새로운 샘플에서는 30% 미만의 정확도를 보이는 모델을 만들 수 있음을 실증적으로 보여준다. 이 간극을 해소하기 위해 CMC 프레임워크에 맞춘 엄격한 암호학적 보안 개념을 형식화하고, 일반적인 프로토콜 템플릿을 제안하며, 이것이 해당 요구사항을 만족함을 증명한다. 따라서 본 연구 결과는 기존 접근법에 대한 경고적 증거와 함께, 안전하고 개인정보를 보호하는 ML 감사 프로토콜을 설계하기 위한 건설적 지침을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.