arXiv:2606.26021v1 cs.CR

Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries

Tânia Carvalho, Maxime Cordy

제출 2026-06-24

원문 초록

Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26021v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10616v1cs.LG공통 태그 Privacy Preserving, membership inference

라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출

When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.

arXiv:2609.27679v1cs.LG공통 태그 In-Context Learning, tabular data

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2607.14607v1cs.LG공통 태그 Privacy Preserving, membership inference

공정성-프라이버시 트레이드오프 감사: 공정성 향상 알고리즘의 하위 집단 수준 효과

Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms

의료, 법 집행, 금융 등 민감한 분야에 배포된 머신러닝(ML) 모델은 유틸리티 요구사항뿐 아니라 공정성과 프라이버시 보장도 충족해야 한다. 기존 연구는 대체로 프라이버시 보존 기법이 공정성에 미치는 영향을 살펴보았지만, 그 역방향 질문—공정성 향상 알고리즘이 프라이버시 유출에 어떤 영향을 미치는지—는 아직 충분히 탐구되지 않았다. 본 연구는 공정성 개입이 하위 집단(subpopulation) 수준에서 멤버십 추론(membership inference) 프라이버시 위험에 어떤 영향을 미치는지에 대한 최초의 포괄적 연구를 제시한다. 하위 그룹(subgroup) 감사를 위해 Likelihood Ratio Attack(LiRA)을 적응하여, 집계 평가가 감추는 프라이버시 불균형을 밝힌다. 또한 차분 프라이버시(Differential Privacy, DP)가 다양한 범주에서 공정성 향상 방법과 어떻게 상호작용하는지 분석하며, DP의 프라이버시 이점과 유틸리티 비용이 하위 집단 전반에 고르게 분포하지 않음을 보인다. 결과는 공정성 개입이 프라이버시 위험을 균일하게 증가시키지 않으며, 그 영향이 모델 아키텍처, 하위 그룹 크기, 완화 전략에 따라 달라짐을 보여준다. 이러한 발견은 공정성, 프라이버시, 유틸리티를 하위 집단 수준에서 공동으로 평가해야 함을 드러내며, 실무에서 이러한 감사를 지원하기 위한 최초의 통합 실증 프레임워크를 제안한다.

arXiv:2607.09000v1cs.CR공통 태그 Privacy Preserving, tabular data

RaMark: 생성된 테이블 형식 데이터를 위한 방사성 워터마킹

RaMark: Radioactive Watermarking for Generated Tabular Data

생성 모델링의 최근 발전으로 생성된 테이블 형식 데이터는 프라이버시에 민감한 데이터 공유를 위한 실용적인 솔루션이 되었으며, 워터마킹은 소유권 검증을 가능하게 한다. 그러나 기존 워터마킹 방법들은 재학습 공격에 근본적으로 취약하다. 재학습 공격에서 공격자는 워터마킹된 데이터셋으로 생성 모델을 재학습하여 워터마크가 포함되지 않은 고품질 데이터를 재생성한다. 우리는 생성 모델 재학습 이후에도 워터마크가 탐지 가능하게 유지되는 특성인 방사성(radioactivity)을 도입하여 이 문제를 해결하고, 데이터 분포의 내재적 구성 요소로 사인파 의존성을 삽입하는 방사성 워터마킹 방법인 RaMark를 제안한다. 워터마크를 기저 분포와 결합함으로써, RaMark는 데이터 유용성을 보존하는 모든 생성 모델이 워터마크 또한 보존해야 하도록 보장한다. 우리는 높은 확률로 워터마크 제거가 유용성을 저하시키고 데이터 분포를 변화시킴을 이론적으로 증명한다. 두 실제 테이블 형식 데이터셋에 대한 광범위한 실험에서, $10^5$개의 독립적인 데이터 소유자를 포함하는 대규모 소유권 검증 설정 하에, RaMark가 7가지 최신 방법들보다 실질적으로 강력한 방사성을 달성하며 재학습 공격과 데이터 수정 공격 모두에서 지속적으로 이들을 능가함을 보인다.

arXiv:2607.07756v1cs.LG공통 태그 In-Context Learning, tabular data

인코더 선택의 중요성: 테이블형-이미지 연구

The Importance of Encoder Choice:A Tabular-Image Study

멀티모달 학습은 일반적으로 각 모달리티별 전용 인코더를 필요로 한다. 테이블형 모달리티가 포함될 경우, 기존 연구들은 대부분 \emph{일반 MLP}를 인코더로 사용해 왔다. 그러나 MLP가 강력한 인코더였다면 테이블형 도메인은 "심층 학습의 마지막 미정복 성채"로 불리지 않았을 것이다. 본 연구는 이미지-테이블형 설정에서 최신 테이블형 모델들을 인코더로 처음으로 평가한다. 이 과정에서 한 가지 장애물이 부각된다. 테이블형 도메인에서 최고 성능 방법 중 하나인 문맥 내 학습(In-Context Learning) 모델은 인스턴스를 처리하기 위해 레이블을 필요로 하므로, 학습 인스턴스와 테스트 인스턴스를 동일한 방식으로 임베딩하는 것이 자명하지 않다. 우리는 이 계열의 여러 모델에 걸쳐 이 문제를 해결하였다. 본 연구를 통해 멀티모달 학습에서 인코더 요인의 중요성을 강조하고자 한다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.