P2NIA: Privacy-Preserving Non-Iterative Auditing
원문 초록
The emergence of AI legislation has increased the need to assess the ethical compliance of high-risk AI systems. Traditional auditing methods rely on platforms' application programming interfaces (APIs), where responses to queries are examined through the lens of fairness requirements. However, such approaches put a significant burden on platforms, as they are forced to maintain APIs while ensuring privacy, facing the possibility of data leaks. This lack of proper collaboration between the two parties, in turn, causes a significant challenge to the auditor, who is subject to estimation bias as they are unaware of the data distribution of the platform. To address these two issues, we present P2NIA, a novel auditing scheme that proposes a mutually beneficial collaboration for both the auditor and the platform. Extensive experiments demonstrate P2NIA's effectiveness in addressing both issues. In summary, our work introduces a privacy-preserving and non-iterative audit scheme that enhances fairness assessments using synthetic or local data, avoiding the challenges associated with traditional API-based audits.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AI 에이전트를 위한 공정 보상 분산 정보 검색 및 증강
Fairly Compensated Distributed Information Retrieval and Augmentation for AI Agents
자율 AI 에이전트가 외부 및 분산 지식 소스에 점점 더 의존하면서, 탈중앙화 정보 마켓플레이스에는 근본적인 난제가 생긴다. 검색 에이전트는 구매 전에 데이터의 품질과 관련성을 평가해야 하지만, 데이터 제공자는 보장된 보상이 이루어지기 전에는 가치 있는 정보를 노출하지 않아야 한다. 이 역설은 중앙화된 중개자가 당사자 간 공정성을 강제할 수 없는 신뢰 불필요(trustless) 다중 에이전트 환경에서 특히 중요해진다. 본 논문에서는 자율 에이전트 네트워크에서 분산 정보 검색 및 증강을 위한 공정 보상 프로토콜을 제안한다. 우리 프레임워크는 검색 에이전트가 후보 문서의 평문 내용을 알지 못한 채 안전하게 평가하고 순위를 매길 수 있게 하며, 데이터 제공자는 유효한 정보가 성공적으로 전달된 경우에만 보상받도록 보장한다. 또한 악의적 적대자에 대한 프로토콜의 보안 특성을 분석하고, 구현을 통해 실용적 타당성을 평가한다. 실험 결과는 제안 설계가 기밀성, 정확성, 무결성, 공정성을 유지하면서 현재 암호학 인프라에서 실용적임을 보여준다. 이러한 메커니즘이 미래 AI 에이전트 생태계를 위한 신뢰할 수 있고 경제적으로 지속 가능한 탈중앙화 지식 마켓플레이스의 중요한 암호학적 기반을 제공한다고 본다.
Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류
Et Tu, Brute? Economic Misalignment in Personal AI Agents
개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.
지능형 서비스를 위한 드리프트 안정 양자 연합 학습
A Drift Stable Quantum Federated Learning for Intelligent Services
양자 연합 학습(quantum federated learning)은 분산 클라이언트가 로컬 데이터를 공유하지 않고 양자 신경망(quantum neural networks)을 학습할 수 있게 하며, 이는 프라이버시를 고려한 지능형 서비스에 유망한 접근법이다. 이 맥락에서 지능형 서비스는 사기 탐지와 유전체 분류와 같이 프라이버시에 민감한 분산 의사결정 시스템을 가리키며, 여기서는 신뢰할 수 있고 공정한 클라이언트 수준 학습이 집계 모델의 정확도만큼 중요하다. 그러나 이질적인 클라이언트 데이터와 노이즈가 많은 양자 최적화(optimization)는 종종 불안정한 로컬 업데이트, 클라이언트 드리프트(client drift), 그리고 클라이언트 간 불공정한 성능을 야기한다. 본 논문은 deep-unfolded 로컬 최적화에 기반한 드리프트 안정 양자 연합 학습 프레임워크인 DUQFL-Prox를 제안한다. 고정된 로컬 옵티마이저를 사용하는 대신, 각 클라이언트는 적응형 unfolded SPSA 업데이트를 수행하며, proximal term은 로컬 모델을 글로벌 모델에 가깝게 유지한다. 경량 컨트롤러는 집계 후 성능을 개선하기 위해 단계별 최적화 매개변수를 학습한다. 금융 사기 탐지 및 유전체 분류 작업에 대한 실험은 DUQFL-Prox가 표준 QFL(양자 연합 학습) 베이스라인 대비 안정성, 일반화, 클라이언트 공정성을 개선함을 보여준다. 결과는 deep-unfolded 양자 연합 학습이 이질적인 분산 환경에서 더 신뢰할 수 있고 공정한 지능형 서비스를 지원할 수 있음을 시사한다.
이론상 인증, 실무상 붕괴: 암호학적 모델 인증의 가정 간극
Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification
개인정보 보호형 기계학습 감사 프로토콜은 감사자가 모델의 내부 구조나 학습 데이터를 공개하지 않고도 정확도나 공정성(fairness) 같은 속성을 평가할 수 있게 한다. 이로 인해 의료나 금융과 같은 민감한 분야에 배포된 모델을 감사하는 데 특히 매력적이다. 그러나 이러한 프로토콜이 실제 감사 환경에서 의미를 갖으려면, 그 보장은 감사 중의 행동만을 인증하는 것이 아니라 배포 이후 모델이 어떻게 행동할지를 반영해야 한다. 기존 보안 정의는 종종 이 점을 놓친다. 대부분은 고정된 감사 데이터셋에서만 모델 행동을 인증할 뿐, 동일 분포에서 추출된 다른 데이터셋으로 같은 보장이 일반화되는지는 보장하지 않는다. 본 연구에서 보이듯, 이 간극은 모델 제공자가 학습 데이터를 정교하게 조작하여 보안 영지식 증명(ZKP)에 기반한 많은 암호학적 모델 인증(CMC) 방식을 공격할 수 있게 하며, 그 결과 감사 중에는 양호한 행동을 보이지만 실무에서는 병리적(pathological) 행동을 나타내는 모델이 만들어진다. 예를 들어, 공격자가 감사 데이터셋에서 99% 이상의 정확도를 달성한다고 인증받으면서도 동일 분포의 새로운 샘플에서는 30% 미만의 정확도를 보이는 모델을 만들 수 있음을 실증적으로 보여준다. 이 간극을 해소하기 위해 CMC 프레임워크에 맞춘 엄격한 암호학적 보안 개념을 형식화하고, 일반적인 프로토콜 템플릿을 제안하며, 이것이 해당 요구사항을 만족함을 증명한다. 따라서 본 연구 결과는 기존 접근법에 대한 경고적 증거와 함께, 안전하고 개인정보를 보호하는 ML 감사 프로토콜을 설계하기 위한 건설적 지침을 제공한다.
공정성-프라이버시 트레이드오프 감사: 공정성 향상 알고리즘의 하위 집단 수준 효과
Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
의료, 법 집행, 금융 등 민감한 분야에 배포된 머신러닝(ML) 모델은 유틸리티 요구사항뿐 아니라 공정성과 프라이버시 보장도 충족해야 한다. 기존 연구는 대체로 프라이버시 보존 기법이 공정성에 미치는 영향을 살펴보았지만, 그 역방향 질문—공정성 향상 알고리즘이 프라이버시 유출에 어떤 영향을 미치는지—는 아직 충분히 탐구되지 않았다. 본 연구는 공정성 개입이 하위 집단(subpopulation) 수준에서 멤버십 추론(membership inference) 프라이버시 위험에 어떤 영향을 미치는지에 대한 최초의 포괄적 연구를 제시한다. 하위 그룹(subgroup) 감사를 위해 Likelihood Ratio Attack(LiRA)을 적응하여, 집계 평가가 감추는 프라이버시 불균형을 밝힌다. 또한 차분 프라이버시(Differential Privacy, DP)가 다양한 범주에서 공정성 향상 방법과 어떻게 상호작용하는지 분석하며, DP의 프라이버시 이점과 유틸리티 비용이 하위 집단 전반에 고르게 분포하지 않음을 보인다. 결과는 공정성 개입이 프라이버시 위험을 균일하게 증가시키지 않으며, 그 영향이 모델 아키텍처, 하위 그룹 크기, 완화 전략에 따라 달라짐을 보여준다. 이러한 발견은 공정성, 프라이버시, 유틸리티를 하위 집단 수준에서 공동으로 평가해야 함을 드러내며, 실무에서 이러한 감사를 지원하기 위한 최초의 통합 실증 프레임워크를 제안한다.
개인화와 프라이버시의 균형을 맞춘 프라이버시 보존 추천 시스템
Privacy Preserving Recommender Systems Balancing Personalization with Privacy
개인화 추천 시스템은 현대 이커머스 및 소매 플랫폼의 핵심이지만, 일반적으로 상세한 사용자 상호작용 데이터의 중앙집중식 저장에 의존하여 상당한 프라이버시 및 규제 문제를 야기한다. GDPR, CCPA, CPRA와 같은 규정의 요구가 증가함에 따라, 조직은 추천 품질을 크게 저하시키지 않으면서 사용자 프라이버시를 보존하는 추천 시스템을 개발해야 한다. 본 연구는 연합 학습(federated learning), 차등 프라이버시(differential privacy), 코호트 수준 모델링(cohort-level modeling), 프라이버시 인식 지능형 에이전트(privacy-aware intelligent agents)를 결합한 프라이버시 보존 추천 프레임워크를 제시하고 평가한다. 이 프레임워크는 원시 사용자 데이터를 분산 상태로 유지하면서 모델 업데이트에 수학적으로 제한된 노이즈를 도입한다. 고객 클릭스트림 및 구매 행동을 모사하는 합성 소매 데이터셋(dataset)에서 실험을 수행했다. 추천 품질은 여러 차등 프라이버시 예산에 걸쳐 클릭률(CTR), 정밀도@K(Precision@K), 재현율@K(Recall@K), 정규화 할인 누적 이득(NDCG@K)으로 평가했다. 다양한 프라이버시 제약 하에서 행렬 분해(matrix factorization), 신경망 협업 필터링(neural collaborative filtering), GRU4Rec을 평가하고 프라이버시와 유틸리티(utility) 간의 트레이드오프를 분석한다. 추천 성능, 순위 안정성, 프라이버시-유틸리티 트레이드오프, 공정성(fairness) 지표를 시각화하는 대화형 Streamlit 대시보드를 개발했다. 결과는 제안 프레임워크가 중간 수준의 프라이버시 예산(약 ε≈5)에서 경쟁력 있는 추천 품질을 유지함을 보여주며, 강력한 프라이버시 보장이 추천 효과에 제한적인 영향만으로 달성될 수 있음을 입증한다. 본 연구는 개인화, 규제 준수, 비즈니스 목표의 균형을 맞추는 프라이버시 보존 추천 시스템 배포를 위한 실용적 프레임워크를 제공하며, 차세대 AI 기반 소매 플랫폼을 위한 확장 가능한 접근법을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.