arXiv:2503.07501

Trustworthy Machine Learning via Memorization and the Granular Long-Tail: A Survey on Interactions, Tradeoffs, and Beyond

Qiongxiu Li, Xiaoyu Luo, Yiyi Chen, Johannes Bjerva

제출 2025-03-10

원문 초록

The role of memorization in machine learning (ML) has garnered significant attention, particularly as modern models are empirically observed to memorize fragments of training data. Previous theoretical analyses, such as Feldman's seminal work, attribute memorization to the prevalence of long-tail distributions in training data, proving it unavoidable for samples that lie in the tail of the distribution. However, the intersection of memorization and trustworthy ML research reveals critical gaps. While prior research in memorization in trustworthy ML has solely focused on class imbalance, recent work starts to differentiate class-level rarity from atypical samples, which are valid and rare intra-class instances. However, a critical research gap remains: current frameworks conflate atypical samples with noisy and erroneous data, neglecting their divergent impacts on fairness, robustness, and privacy. In this work, we conduct a thorough survey of existing research and their findings on trustworthy ML and the role of memorization. More and beyond, we identify and highlight uncharted gaps and propose new revenues in this research direction. Since existing theoretical and empirical analyses lack the nuances to disentangle memorization's duality as both a necessity and a liability, we formalize three-level long-tail granularity - class imbalance, atypicality, and noise - to reveal how current frameworks misapply these levels, perpetuating flawed solutions. By systematizing this granularity, we draw a roadmap for future research. Trustworthy ML must reconcile the nuanced trade-offs between memorizing atypicality for fairness assurance and suppressing noise for robustness and privacy guarantee. Redefining memorization via this granularity reshapes the theoretical foundation for trustworthy ML, and further affords an empirical prerequisite for models that align performance with societal trust.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22546v1cs.CL공통 태그 Fairness, Attribute

GAND 설명: 성별 모호 자연 데이터 및 대조적 속성 분석 리소스

Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution

기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.

arXiv:2607.21774v1cs.CL공통 태그 Fairness, Attribute

Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.

arXiv:2607.20897v1cs.CV공통 태그 Fairness, Attribute

MAGE-Vein: 손가락 정맥 이미지 기반 다중 인스턴스 연령·성별 추정

MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images

손가락 정맥 이미지를 이용한 연령 추정은 공개 데이터셋의 심각한 인구통계학적 편향과 성별과 같은 생리학적 교란 요인으로 인해 실용적이지 않다고 널리 여겨져 왔다. 이러한 한계를 극복하기 위해, 우리는 새로운 다중 인스턴스, 다중 과제 학습(multi-task learning) 프레임워크인 MAGE-Vein을 제안한다. 우리의 접근법은 세 손가락의 하이브리드 특징 수준(feature-level) 융합을 통해 견고한 구조적 노화 징후를 추출하여 국소 영상 노이즈를 효과적으로 억제한다. 또한 성별 분류를 동시에 최적화함으로써 네트워크가 성별 특이적 혈관 변이를 효과적으로 제거하도록 유도한다. 인구통계학적으로 균형 잡힌 402명의 피험자 데이터셋에서 평가한 결과, MAGE-Vein은 평균 절대 오차 6.12년과 상관계수 0.880을 달성한다. 우리의 결과는 손가락 정맥 모달리티의 한계에 관한 기존 합의를 뒤집을 뿐만 아니라, 이전 추정 실패가 주로 편향된 공개 데이터셋에서 기인한 인공물이었음을 보여준다. 코드는 https://github.com/gsisaoki/MAGE-Vein 에서 제공된다.

arXiv:2607.03831v1cs.CV공통 태그 Fairness, Attribute

디퓨전 분류기는 어떻게 결정을 내리는가? 바이어스 중심 평가

How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

디퓨전 모델은 최근 제로샷 분류(zero-shot classification)에 재활용되고 있으며, 노이즈 예측 오차를 최소화하여 가장 적합한 텍스트 프롬프트를 식별하는 디퓨전 분류기가 등장하고 있다. 이러한 모델의 채택이 증가하고 있음에도 불구하고, 이 모델들이 어떻게 분류 결정을 내리는지는 여전히 제대로 이해되지 않고 있다. 우리는 속성 바인딩(Attribute binding), 크기-순서 바이어스(Size-Order bias), 배경 의존성(Background dependency)의 세 가지 차원에서 디퓨전 분류기를 평가하는 바이어스 평가 벤치마크 ASOB-Bench를 소개한다. 이 차원들은 완전한 분류 체계가 아니라, 텍스트 조건부 재구성 오차 점수가 어떻게 결정에 도달하는지를 탐색하는 표적화된 프로브로 기능한다. 이러한 관점은 판별적 비전-언어 모델에 대해서는 잘 연구되어 있지만, 디퓨전 분류기에 대해서는 여전히 간과되고 있다. 새로 구성된 데이터셋에서 다섯 가지 새로운 속성 범주로 기존 프레임워크를 확장한 결과, 디퓨전 분류기는 OpenCLIP 기준선보다 속성 오바인딩에 덜 취약하다는 것을 발견하였다. 기확립된 ComCo 벤치마크에서는 크기-순서 단축키에 실질적으로 더 취약하며, ImageNet-B에서는 훨씬 큰 정확도 하락을 보여 전경 단서보다 배경에 대한 과도한 의존성을 드러낸다. 재구성 오차 히트맵과 U-Net 교차 어텐션 시각화는 각 바이어스의 이면에 있는 메커니즘을 드러낸다. 디퓨전 분류기는 텍스트-이미지 모델과 동일한 디노이저를 공유하기 때문에, 이러한 단일 패스 진단은 생성 과정에서의 유사한 실패 모드도 시사한다. 전반적으로, 디퓨전 분류기는 비전-언어 모델과 구별되는 바이어스 프로파일을 나타내며, 더 강건한 디퓨전 기반 모델 구축을 위한 지침을 제공한다.

arXiv:2610.02418v2cs.CR공통 태그 Memorization

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.